Por favor, use este identificador para citar o enlazar este ítem: http://repositorio.yachaytech.edu.ec/handle/123456789/631
Título : Dynamic electromagnetic spectrum access through an action-specific deep recurrent Q-network
Autor : Morocho Cayamcela, Manuel Eugenio
Lomas Olale, Mateo Sebastián
Palabras clave : Aprendizaje profundo
Optimización de espectro
Deep learning
Spectrum optimization
Dynamic spectrum access
Wireless communications
Fecha de publicación : jun-2023
Editorial : Universidad de Investigación de Tecnología Experimental Yachay
Resumen : La nueva generación de redes inalámbricas debe adaptarse al crecimiento del tráfico de datos móviles y soportar una demanda cada vez mayor de datos en dispositivos inalámbricos. Esto crearía una saturación de ocupación de espectro en pocos años a medida que se implementen tecnologías emergentes como 5G/6G. En trabajos recientes, investigadores han propuesto un nuevo método innovador de compartición de espectro llamado acceso dinámico al espectro (DSA) para resolver el problema de compartición de espectro entre bandas. Los usuarios secundarios (SUs) deben ser capaces de acceder a los huecos de espectro subutilizados de las bandas de usuarios primarios (PUs) para intentar llenar todo el sistema. Este acceso dinámico logra aumentar la eficiencia espectral y minimizar la interferencia entre los usuarios del espectro. En esta tesis, proponemos un enfoque de aprendizaje profundo de refuerzo basado en acciones, que es una modificación del algoritmo aprendizaje por refuerzo profundo. Nuestra propuesta introduce una capa intermedia de memoria a corto y largo plazo para recordar pares de acción-observación con el fin de tratar con canales no-observables. Nuestra red es capaz de aprender cómo acceder a canales inalámbricos de manera coordinada. La red puede recordar estados pasados y mantenerlos en su memoria, los cuales sirven para un mejor entrenamiento de la red. Evaluamos su rendimiento mediante simulaciones en escenarios casi parecidos a escenarios del mundo real. Los resultados muestran que nuestra estrategia propuesta puede superar a los esquemas basados en aprendizaje por refuerzo como el Q-learning para entornos de acceso dinámico. Estas mejoras incluyen: accesibilidad al canal y optimización en términos de memoria computacional. Esto permite a los SUs acceder a sus canales respectivos con una relación señal-ruido-interferencia óptima.
Descripción : The new generation of wireless networks shall adapt to growth in mobile data traffic and support the increasingly high demand for data in wireless devices. This increase would create a spectrum occupancy saturation in a few years due to the implementation of emerging technologies like 5G/6G. Recently, researchers proposed a new innovative spectrum-sharing method called dynamic spectrum access (DSA) to solve the spectrum-sharing problem between bands. Secondary users (SUs), should be capable of accessing the underutilized spectrum holes of the primary users (PUs) bands to fulfill the whole system, increase the spectral efficiency, and minimize the interference between spectrum users. In this work, we proposed an action-specific deep reinforcement learning approach that modifies the deep reinforcement learning algorithm. Our proposal introduces an intermediate long-short-term memory layer for remembering action-observation pairs to deal with non-observable channels. Our network can learn how to access wireless channels in a coordinated way. The network mentioned above can remember past states and keep channels in its memory which is useful for improving the network training. We evaluate the performance of the network by conducting real-world scenario simulations. The results show that our proposal can overcome Q-learning-based schemes for DSA in terms of computational memory and channel accessibility which leads SUs to access their respective channels with an optimal signal-to-interference-plus-noise ratio.
URI : http://repositorio.yachaytech.edu.ec/handle/123456789/631
Aparece en las colecciones: Tecnologías de la Información

Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
ECMC0127.pdf750.58 kBAdobe PDFVisualizar/Abrir


Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.