Web application to learn sign language with deep learning

Abstract

El aprendizaje profundo y la visión por computadora se utilizan para crear aplicaciones que faciliten una mejor interacción entre humanos y máquinas. En el ´ámbito educativo, obtener información sobre el lenguaje de señas es sencillo, pero encontrar una plataforma que permita una interacción intuitiva es todo un desafío. Se ha desarrollado una aplicación web para abordar este problema mediante el empleo de aprendizaje profundo para ayudar a los usuarios a aprender el lenguaje de señas. En este estudio, se probaron dos modelos de reconocimiento de gestos con las manos, utilizando 20.800 imágenes; Los modelos probados fueron AlexNet y GoogLeNet. Durante el entrenamiento de estos modelos se ha considerado el problema de sobreajuste que se encuentra en las redes neuronales convolucionales. En este estudio se han empleado varias técnicas para minimizar el sobreajuste y mejorar la precisión general. AlexNet logró una tasa de precisión del 87% al interpretar gestos con las manos, mientras que GoogLeNet logró una tasa de precisión del 85%. Estos resultados se incorporaron a la aplicación web, cuyo objetivo es enseñar el alfabeto de la lengua de signos estadounidense de forma intuitiva.