Computer-assisted mispronunciation detection system for L2 kichwa speech

Abstract

Se ha realizado una evaluación inicial y experimental de un sistema de detección de errores de pronunciación para la lengua kichwa. Se empleó arquitecturas de redes neuronales convolucionales preentrenadas para clasificar espectrogramas de palabras pronunciadas con exactitud y palabras pronunciadas con inexactitud. El modelo inicial, conocido como un modelo basado en características de redes convolucionales, extrae características de las capas totalmente conectadas. A continuación, emplea una técnica de selección de características para separar las características discriminativas de las no discriminativas. Por último, estas características se clasifican mediante un clasificador KNN. El segundo modelo, basado en el aprendizaje por transferencia con redes neuronales convolucionales (CNN), utiliza el conocimiento de las capas convolucionales y adapta la capa clasificadora para la clasificación binaria, distinguiendo entre audios bien pronunciados y mal pronunciados. En cuanto al conjunto de datos utilizado, se construyeron dos conjuntos de datos que se utilizaron en este estudio: un conjunto de datos con palabras en Kichwa y palabras sintéticas, y el mismo pero con palabras sintéticas para el entrenamiento. En conclusión, el método basado en el aprendizaje por transferencia es superior al método basado en características en ambos conjuntos de datos. Concretamente, AlexNet con ajuste de hiperparámetros alcanza 0,90 y 0,92 en la métrica de valor predictivo equilibrado en ambos conjuntos de datos, respectivamente.