Illicit tweet detection using Transformers

Abstract

Twitter es una red social muy amplia que permite a las personas comunicarse entre sí y expresar sus ideas gracias a su enfoque corto y rápido en las publicaciones. Desafortunadamente, no está exenta de asuntos ilícitos que ocurren en la plataforma. Un problema que surge en las redes sociales en general es cómo se utilizan para promover y difundir servicios ilegales, como la trata de personas, la prostitución, las drogas ilegales, entre otros, gracias al alcance de esas plataformas. Por lo tanto, es importante identificar esta clase de mensajes para detectar actividades ilegales y actuar al respecto. En este trabajo, se presenta y desarrolla un marco para dicha detección utilizando 4 modelos basados en Transformers, la arquitectura más potente actualmente para trabajar en procesamiento del lenguaje natural. Para alimentar y entrenar a los modelos, se seleccionó y etiquetó un dataset de tweets para identificar cuáles contienen ofertas o contenido ilícito en su texto. Dos modelos no basados en Transformers también fueron usados para propósitos de comparación. Los experimentos mostraron que los modelos basados en Transformers son bastante buenos para adaptarse a las particularidades del idioma español y a la estructura que suelen tener los tweets, siendo los modelos BERTweet y DistilBERT los mejores. Además, se observó que los modelos basados en Transformers se pueden adaptar a datasets que no tengan un desbalance fuerte (para este trabajo, una proporción de casi 2:1) y no son afectados cuando se usan datos sintéticos.