Artificial Intelligence based detection of manipulated audio for political forensics

Abstract

La proliferación de audio deepfake plantea desafíos significativos en la pericia política, ya que puede utilizarse para difundir desinformación y manipular la opinión pública. Esta tesis aborda estos desafíos desarrollando y evaluando modelos basados en IA para detectar audio manipulado. Se realizó una revisión sistemática de la literatura sobre técnicas avanzadas en la detección de contenido multimedia manipulado, destacando las dificultades que presentan las técnicas de síntesis y edición. A partir de este análisis, se compiló un conjunto de datos de discursos políticos reales y fabricados artificialmente, utilizando métodos de procesamiento de lenguaje natural (NLP) para extraer vectores de características. Se evaluaron dos arquitecturas de redes neuronales: Redes Neuronales Convolucionales (CNN) y Transformers. El modelo CNN consta de una red de 7 capas para procesar formas de onda de audio, mientras que el modelo Transformer utiliza 12 o 24 bloques de Transformer para capturar dependencias globales e información contextual. El estudio también analiza características acústicas que distinguen el audio real del falso, incluyendo espectrogramas, niveles de decibelios y representaciones de características como MFCC y Mel-Espectrograma. Los resultados indican que el audio falso tiende a ser más fuerte y menos variable que el audio real, y las características confirman la naturaleza sintética del audio falso. Las conclusiones destacan la efectividad de los modelos Transformers en la detección de audio manipulado, superando a las CNN en precisión y capacidad de generalización, sugiriendo un camino prometedor para futuras investigaciones en esta área.