Dynamic electromagnetic spectrum access through an action-specific deep recurrent Q-network

Abstract

La nueva generación de redes inalámbricas debe adaptarse al crecimiento del tráfico de datos móviles y soportar una demanda cada vez mayor de datos en dispositivos inalámbricos. Esto crearía una saturación de ocupación de espectro en pocos años a medida que se implementen tecnologías emergentes como 5G/6G. En trabajos recientes, investigadores han propuesto un nuevo método innovador de compartición de espectro llamado acceso dinámico al espectro (DSA) para resolver el problema de compartición de espectro entre bandas. Los usuarios secundarios (SUs) deben ser capaces de acceder a los huecos de espectro subutilizados de las bandas de usuarios primarios (PUs) para intentar llenar todo el sistema. Este acceso dinámico logra aumentar la eficiencia espectral y minimizar la interferencia entre los usuarios del espectro. En esta tesis, proponemos un enfoque de aprendizaje profundo de refuerzo basado en acciones, que es una modificación del algoritmo aprendizaje por refuerzo profundo. Nuestra propuesta introduce una capa intermedia de memoria a corto y largo plazo para recordar pares de acción-observación con el fin de tratar con canales no-observables. Nuestra red es capaz de aprender cómo acceder a canales inalámbricos de manera coordinada. La red puede recordar estados pasados y mantenerlos en su memoria, los cuales sirven para un mejor entrenamiento de la red. Evaluamos su rendimiento mediante simulaciones en escenarios casi parecidos a escenarios del mundo real. Los resultados muestran que nuestra estrategia propuesta puede superar a los esquemas basados en aprendizaje por refuerzo como el Q-learning para entornos de acceso dinámico. Estas mejoras incluyen: accesibilidad al canal y optimización en términos de memoria computacional. Esto permite a los SUs acceder a sus canales respectivos con una relación señal-ruido-interferencia óptima.