Q-learning to develop an IoT network controlled by an agent

Abstract

Hoy en día la interacción entre los sistemas informáticos y las personas es más común y frecuente a nivel mundial. Como resultado, las técnicas de inteligencia artificial (IA) se han vuelto cada vez más relevantes y necesarias en la vida cotidiana, ya que sus aplicaciones permiten la automatización de procesos que comúnmente se realizan de forma manual. Además, a nivel tecnológico, la IA puede hacer frente a problemas a gran escala, como el manejo de datos masivos, problemas de seguridad e interacción hombre-máquina. A medida que avanza la tecnología es necesario darle importancia a los problemas presentes en el día a día de los ciudadanos ya que afectan su calidad de vida. Las Smart Cities vienen a solucionar problemas de interés social, medioambiental, de movilidad, entre muchos otros, por eso es tan relevante. Como contribución al crecimiento de las Smart Cities, este proyecto desarrolla un sistema que resuelve un problema común en las ciudades urbanas, como es la búsqueda de rutas óptimas en casos de congestión de tráfico o emergencias. Utilizamos las tecnologías de Internet de las cosas (IoT) para crear un sistema distribuido que nos permite establecer una red global donde es posible el intercambio de datos entre dispositivos, sensores y humanos. Basándonos en un modelo cliente-servidor, buscamos conectar nodos ESP8266 que puedan comunicarse a través de un conocido broker llamado MQTT. A su vez, se desarrolla agentes inteligentes capaces de aprender y actuar racionalmente dentro de un entorno, buscando maximizar una función objetivo. Los resultados nos permiten obtener agentes inteligentes entrenados capaces de explotar rutas óptimas dentro de un laberinto usando Q-learning. Además obtenemos un sistema distribuido capaz de comunicarse a través de MQTT desde cualquier parte del mundo y en tiempo real.