An improved congestion control mechanism for wireless networks using reinforcement learning

Abstract

Las redes de comunicación inalámbrica, en particular las de múltiples saltos, se están expandiendo rápidamente, impulsadas por la integración de capacidades de comunicación en varios dispositivos. Un desafío importante en estas redes es gestionar la congestión, especialmente cuando se utiliza el protocolo de datagramas de usuario (UDP), que inherentemente carece de mecanismos de retroalimentación para mitigar la congestión. Esta tesis presenta un novedoso enfoque de control de congestión diseñado para estas redes, basado en Deep Q-Network (DQN). Al emplear el poder del aprendizaje por refuerzo profundo, el mecanismo DQN se adapta dinámicamente a escenarios de redes estáticas y móviles, tomando decisiones en tiempo real para optimizar el rendimiento de la red. El estudio evalúa este enfoque en diversos entornos, incluidas redes estáticas estructuradas y entornos inspirados en el mundo real. Los resultados muestran consistentemente la superioridad del mecanismo DQN sobre una línea de base sin control de congestión, particularmente en lo que respecta a la tasa de entrega de paquetes (PDR) y el tiempo de tránsito de la red. Sin embargo, a medida que aumenta la complejidad de la red, el rendimiento del modelo disminuye, lo que sugiere posibles desafíos de escalabilidad. El control de congestión basado en DQN ofrece una vía prometedora para mejorar la comunicación inalámbrica, pero es fundamental realizar más investigaciones para optimizarlo en entornos de red en continua evolución.