A target oriented averaging search trajectory and its application in artificial neural networks

Abstract

El entrenamiento de redes neuronales artificiales usualmente involucran funciones objetivos no suaves a ser minimizadas. Este problema de optimizaci´on actualmente se resuelve evitando puntos de ensilladura y por tanto alcazando un minimizador local o global. Optimizadores conocidos como Descenso por Gradiente (GD) o su versi´on estocastica llamada M´etodo de Gradiente Estoc´astico (SG) dependen de la direcci´on de descenso mas proximo. Analisis de convergencia de estos m´etodos dejan mucho que desear cuando se asume que convexiddad y/o suavidad local (v´ease, [1][2]). Aunque en la practica estos m´etodos iterativos funcionan bien a trav´es de la estrategia de propagaci´on de error hacia atras, nosotros desarrollamos un m´etodo determin´ıstico de optimizaci´on global llamado SALGO-TOAST. El acr´onimo de SALGO describen las iniciales en ´ıngles de la t´ecnica Succesive Abs-Linearization o Abs-Linearizaciones Sucesivas de la funcion objetivo y la tarea de Global Optimization u Optimizaci´on Global sobre la aproximacion mencionada. Lo u´ltimo es realizado a trav´es de nuestro m´etodo de trajectoria de bu´squeda promediada orientada a objetivos o TOAST. Su nombre trata de explicar el comportamiento de las direcciones de bu´squeda obtenidas en el m´etodo. De hecho, cada direccion de bu´squeda est´a definida por un promedio de la direcci´on de descenso mas proximo y orientado por un valor objetivo a ser alcanzado [4]. La diferencia principal de nuestra estrategia y el algoritmo de propogaci´on de error hacia atr´as es nuestra consideracion de la no suavidad de la funcion de prediccion. Implementamos TOAST al entrenamiento de redes neuronales artificiales con funciones de activaci´on de visagra o ReLUs para solucionar el problema de aprendizaje de la regresi´on de la funcion Griewank y el reconocimiento de imagenes de d´ıgitos. Los resultados son comparados con SG, GD y otro m´etodo determin´ısticco llamado Optimizaci´on Mixta Entero Lineal (MILOP). Este u´timo m´etodo tiene una formulaci´on preliminaria y es la u´nica con el que puede ser probado que un m´ınimo global ha sido obtenido [6].