Hate speech detection in social media apps using deep learning and machine learning techniques

Abstract

Este trabajo presenta un modelo capaz de detectar si un tweet contiene discursos de odio o no, usando como datos primarios tweets recolectados de la plataforma X en el contexto de la Reforma Constitucional del Plebiscito de Chile de 2023. Se utilizaron enfoques de aprendizaje automático y aprendizaje profundo para procesar los datos de texto. Dado que el conjunto de datos usado presenta un desbalance en sus clases, se realizó un análisis sobre el uso de aumentación de datos y reducción de datos para encontrar cuál de estas técnicas funciona mejor en este conjunto de datos. Se concluyó que la técnica de aumento de datos fué útil en este trabajo debido al bajo número de ejemplos en el dataset para una de sus clases, pero la reducción de datos no presentó buenos resultados ya que el número de muestras en el conjunto de datos no es demasiado, haciendo que la técnica de reducción de datos no sea adecuada para este conjunto de datos. De los cuatro modelos utilizados Decision Tree Classifier, Logistic Regression y 1-dimensional Convolutional Neural Network (1D-CNN), el modelo que mejor desempeño obtuvo en todos los experimentos realizados fue el modelo 1D-CNN. Además, el experimento que mejor desempeño obtuvo fué el que utilizó aumento de datos y no utilizó reducción de datos. El mejor puntaje obtenido en la métrica de exactitud (accuracy) para esta combinación fué del 84%.