End-to-end sign language translation with stochastic and natural language processing transformers (BERT)

Abstract

Las personas sordas y con dificultades auditivas utilizan el lenguaje de señas para comunicarse a través de expresiones faciales, gestos y señales visuales, los cuales son esenciales para superar las barreras de comunicación y participar plenamente en la sociedad. Al hablar de la comunicación en lenguaje de señas, nos referimos a un canal de comunicación visual compuesto por gestos de las manos y expresiones faciales, con sus propias reglas de pronunciación, orden de palabras y estructura de oraciones. Con los recientes avances en visión por computadora y aprendizaje profundo, los sistemas de reconocimiento y traducción de lenguaje de señas implementan redes neuronales convolucionales (CNN), traducción automática neuronal (NMT) o transformadores de visión (ViT) como arquitecturas para la detección y clasificación. Debido a las potentes aplicaciones de los ViT, este trabajo propone el uso de una arquitectura de transformador para realizar tareas de reconocimiento y traducción en la traducción continua de lenguaje de señas (CSLT). Incorporamos un módulo de representaciones bidireccionales de codificador de transformadores (BERT) pre-entrenado como codificador y añadimos una función de activación novedosa llamada ganadores locales toman todo (LWTA) en el módulo decodificador. El modelo se entrenó con el conjunto de datos RWTH-PHOENIX-Weather 2014 T, se evaluó utilizando protocolos de señas-a-texto (S2T) y se analizó con las métricas BLEU. La evaluación con la métrica BLEU-4 arrojo un valor de 23.83, superando en un promedio de 2.1 puntos a los modelos de referencia ejecutados y comparados en este trabajo.