Please use this identifier to cite or link to this item:
http://repositorio.yachaytech.edu.ec/handle/123456789/867| Title: | Design and construct a robotic arm for sign language interpretation with a neural network |
| Authors: | Cruz Varela, Jonathan David Jordan Herrera, Dioselyn Anyeline Ubilluz Ortega, Christian Nathanaél |
| Keywords: | Brazos robóticos Visión artificial Redes neuronales convolucionales Robotic arm Artificial vision Convolutional Neural Network |
| Issue Date: | Nov-2024 |
| Publisher: | Universidad de Investigación de Tecnología Experimental Yachay |
| Abstract: | La discapacidad auditiva es un problema que afecta a las personas en diferentes etapas de la vida. Solo en Ecuador, esta cifra se extiende al 14,12% de la población total siendo aproximadamente 62 mil personas que presentan problemas de audición. El uso del lenguaje de señas se presenta como una alternativa para garantizar una buena comunicación entre personas con discapacidad auditiva y personas sin esta afección. Sin embargo, pocas personas conocen sobre este lenguaje. Para ello, desarrollamos un brazo robótico con características humanas para que trabaje en conjunto con redes neuronales convolucionales para la interpretación de gestos mediante visión artificial, promoviendo el aprendizaje del lenguaje de señas de manera didáctica. Los resultados obtenidos demuestran la capacidad de las redes neuronales para detectar patrones y distinguir los diferentes tipos de señas que posee este lenguaje. Además, el uso de diversas redes neuronales permite una comparación sobre las limitaciones que poseen los diferentes modelos. La eficiencia de los modelos, en términos de porcentaje de precisión, fue del 99,27% y 98,2% para los modelos AlexNet y GoogleNet, respectivamente. En conclusión, se demuestra la importancia de implementar técnicas de aprendizaje automático para mejorar la comunicación y generar un impacto en el entorno de personas que desconocen esta problemática. Se espera que en un futuro esta tecnología pueda ser implementada en el sistema educativo para enseñar este lenguaje a niños y jóvenes, reduciendo así la brecha de comunicación desde una etapa temprana. |
| Description: | Hearing impairment is a problem that affects people at different stages of life. In Ecuador, this affection extends to 14.12% of the total population being approximately 62 thousand people with hearing problems. The use of sign language is presented as an alternative to ensure good communication between people with hearing impairment and people without this condition. However, few people know about this language. For this, we developed a robotic arm with human characteristics to work together with convolutional neural networks for the interpretation of gestures through artificial vision, promoting the learning of sign language in a didactic way. The results obtained demonstrate the ability of neural networks to detect patterns and distinguish the different types of signs in this language. In addition, the use of different neural networks allows a comparison of the limitations of the different models. The efficiency of the models, in terms of percentage accuracy, was 99.27% and 98.2% for the AlexNet and GoogleNet models, respectively. In conclusion, the importance of implementing machine learning techniques to improve communication and generate an impact on the environment of people who are unaware of this problem is demonstrated. It is hoped that in the future this technology can be implemented in the educational system to teach this language to children and young people, thus reducing the communication gap from an early stage. |
| URI: | http://repositorio.yachaytech.edu.ec/handle/123456789/867 |
| Appears in Collections: | Biomedicina |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| ECBI0223.pdf | 14.02 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.