Optimization problems using the particle swarm optimization algorithm

Abstract

En la actualidad existen diversas técnicas y modelos para el entrenamiento de redes neuronales artificiales, como la arquitectura del perceptrón multicapa. El perceptrón multicapa tiene un mapeo no lineal entre entradas y salidas de NN. Además, Backpropagation es el algoritmo tradicional para entrenar una red neuronal. Por otro lado, en los últimos años se han implementado algoritmos metaheurı́sticos inspirados en la naturaleza para optimizer los parámetros de ANN. Un algoritmo popular para esta tarea es PSO, que tiene una emocionante versión cuántica (QDPSO). Por lo tanto, esta tesis propone la integración de QDPSO en un perceptrón multicapa para problemas de clasificación y lo compara con PSO, PSO-bound, L-BFGS, Adam y SGD. Las contribuciones de este trabajo son la arquitectura e integración del QDPSO, la validación del modelo propuesto comparándolo con optimizadores basados en metaheurı́sticas y gradiente utilizando conjuntos de datos benchmark, y el análisis del comportamiento de entrenamiento aumentando el número de clases y muestras del conjunto de datos circular. Además, proponemos una técnica de clasificación de imágenes usando Isomp como algoritmo de reducción. Isomap reduce seis veces las caracterı́sticas de la imagen para la capa de entrada. Además, se compara con MSD, TSNE y PCA utilizando los conjuntos de datos de cáncer de mama e iris. Finalmente, los resultados de validación y comparación demostraron que la arquitectura y la técnica propuesta en esta tesis tienen una excelente clasificación de los conjuntos de datos benchmark y MCW. Además, el optimizador QDPSO tiene una convergencia más rápida y un comportamiento admirable durante el entrenamiento para conjuntos de datos balanceados.