Theory and Implementation of the Savvy Ball Method with application to machine learning

Abstract

Actualmente, científicos computacionales han considerado el estudio de ecuaciones diferenciales de segundo orden, para brindar una trayectoria de búsqueda dinámica al entrenamiento de re- des neuronales artificiales. Estas están basadas en el método de B.T. Polyak. Investigaciones pasadas se han enfocado en el uso de este método para acelerar la tasa de convergencia a un mínimo local comparado al método steepest descent. Esta tesis se enfoca en el aspecto de op-timizacion global y asume a la función objetivo como Lipschitz continua en vez de dos veces Lipschitz diferenciable. Analizamos teóricamente los casos no continuos y convexos donde la EDO se generaliza como una Inclusión Diferencial Ordinaria. Mostramos resultados númericos de la implementación de nuestro método Savvy Ball mencionado antes como TOAST a través de la región paralela dada por la librería OpenMP.