Development of an Ecuadorian Sign Language Database (LSEC) and real-time interpretation through action recognition with an LSTM deep learning model in Python

Abstract

Según los datos proporcionados por el Consejo Nacional para la Igualdad de las Discapacidades (CONADIS), se registran alrededor 62.155 de personas con discapacidad auditiva en Ecuador. Sin embargo, no existe una cifra precisa de hablantes de lengua de señas, dado que el acceso a su aprendizaje implica costos elevados y no se imparte como materia dentro del plan académico de las instituciones públicas. En este contexto, el reconocimiento de la lengua de signos mediante la detección de acciones se ha convertido en un área de investigación prometedora. Así, este proyecto se centra en la detección continua de imágenes en tiempo real mediante la identificación de señales no estáticas, con el fin de interpretar las acciones realizadas por los usuarios. Además, aportar con la creación de una base de datos, ya que actualmente no existe. Con estos antecedentes se llevó a cabo la creación de una base de datos denominada LSEC Data, que contiene 23 palabras no estáticas de la Lengua de Señas Ecuatoriana. Posteriormente, se entrenó el modelo de aprendizaje profundo basado en LSTM (Long Short-Term Memory), con el fin de mejorar la capacidad de capturar dependencias temporales complejas de los datos proporcionados. Este proyecto logró identificar con éxito características y patrones a través de puntos clave asociados a las acciones proporcionadas al sistema durante el entrenamiento del modelo. Los resultados demostraron un logro significativo, alcanzando una precisión del 99%.