Image super-resolution through convolutions, hierarchical vision transformer with shifted Windows, and neighbor interpolation

Abstract

Este proyecto de investigación se centra en la superresolución de imagen (SR) implementando convoluciones, transformadores de visión con ventanas desplazadas e interpolaciones proximales para mejorar la resolución de imágenes en una escala de cuatro.Estas implementaciones forman parte de tres módulos principales de la arquitectura SR propuesta (SwinIR-OH): extracción de características superficiales que consta de una capa de convolución de 3×3, extracción de características profundas que contiene transformadores de visión residual con bloques de ventanas desplazados y reconstrucción de imágenes SR que incluye convoluciones e interpolaciones vecinas. Los últimos años han sido testigos de un progreso notable en SR utilizando técnicas de aprendizaje profundo. Sin embargo, los algoritmos de SR que utilizan técnicas difieren en los siguientes aspectos significativos: diferentes tipos de arquitecturas de red, funciones de pérdida, principios de aprendizaje y estrategias. Por tal motivo, para realizar una investigación más adecuada sobre el efecto de las convoluciones en la arquitectura basada en transformadores SR, todos los modelos SR de última generación presentados en esta investigación se entrenaron en el mismo entorno computacional. Todos los modelos de SR forman parte de cinco métodos existentes: redes de gráficos neuronales, redes residuales, redes basadas en la atención, modelos generativos de redes antagónicas y transformadores de visión. Se considera el código fuente disponible y la media de la proporción máxima de señal a ruido (PSNR) con la media del índice de similitud estructural (SSIM) antes de ser entrenado en el mismo entorno computacional. Por otro lado, los resultados durante el entrenamiento del modelo muestran que las métricas de calidad de reconstrucción de imágenes (IRQM) de SR tradicionales, como PSNR y SSIM, se correlacionan de manera imprecisa con la percepción humana de la calidad de imagen y dificultan el estudio del rendimiento de un modelo de SR. Estos resultados abren la posibilidad de considerar alternativas como la fidelidad de la información visual y el coeficiente de correlación disperso como posibles IRQM para medir el desempeño de los modelos SR. Finalmente, los resultados indican que la implementación de secuencias de convoluciones en la arquitectura de reconstrucción de imágenes SR mejora el rendimiento durante la reconstrucción de imágenes SR, recuperando algunos detalles mínimos, como las pestañas de un retrato, detalles que, sin las secuencias de convoluciones, se pierden en los módulos de extracción profunda o el módulo de reconstrucción SR.