Por favor, use este identificador para citar o enlazar este ítem: http://repositorio.yachaytech.edu.ec/handle/123456789/676
Título : Web application to learn sign language with deep learning
Autor : Morocho Cayamcela, Manuel Eugenio
Jami Jami, Bryan Eduardo
Palabras clave : Aprendizaje profundo
Visión computacional
Lenguaje de señas
Deep learning
Computer vision
Sign language
Fecha de publicación : nov-2023
Editorial : Universidad de Investigación de Tecnología Experimental Yachay
Resumen : El aprendizaje profundo y la visión por computadora se utilizan para crear aplicaciones que faciliten una mejor interacción entre humanos y máquinas. En el ´ámbito educativo, obtener información sobre el lenguaje de señas es sencillo, pero encontrar una plataforma que permita una interacción intuitiva es todo un desafío. Se ha desarrollado una aplicación web para abordar este problema mediante el empleo de aprendizaje profundo para ayudar a los usuarios a aprender el lenguaje de señas. En este estudio, se probaron dos modelos de reconocimiento de gestos con las manos, utilizando 20.800 imágenes; Los modelos probados fueron AlexNet y GoogLeNet. Durante el entrenamiento de estos modelos se ha considerado el problema de sobreajuste que se encuentra en las redes neuronales convolucionales. En este estudio se han empleado varias técnicas para minimizar el sobreajuste y mejorar la precisión general. AlexNet logró una tasa de precisión del 87% al interpretar gestos con las manos, mientras que GoogLeNet logró una tasa de precisión del 85%. Estos resultados se incorporaron a la aplicación web, cuyo objetivo es enseñar el alfabeto de la lengua de signos estadounidense de forma intuitiva.
Descripción : Deep learning and computer vision are used to create applications that facilitate a better interaction between humans and machines. In the educational domain, obtaining information about sign language is simple, but finding a platform that allows for intuitive interaction is quite challenging. A web app has been developed to address this issue by employing deep learning to assist users in learning sign language. In this study, two models for hand-gesture recognition were tested, utilizing 20,800 images; the models tested were AlexNet and GoogLeNet. The overfitting problem encountered in convolutional neural networks has been considered while training these models. Several techniques to minimize the overfitting and improve the overall accuracy have been employed in this study. AlexNet achieved an 87% of accuracy rate when interpreting hand gestures whereas GoogLeNet achieved an 85% accuracy rate. These results were incorporated into the web app, which aims to teach the alphabet of American sign language intuitively.
URI : http://repositorio.yachaytech.edu.ec/handle/123456789/676
Aparece en las colecciones: Tecnologías de la Información

Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
ECMC0139.pdf6.07 MBAdobe PDFVisualizar/Abrir


Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.