Análisis de técnicas de aumento de datos y entrenamiento en YOLOv3 para detección de objetos en imágenes RGB y TIR del UMA-SAR Dataset

Abstract

[Resumen] El uso de imágenes de los espectros visible (RGB) e infrarrojo térmico (TIR) para la detección de objetos puede resultar crucial en aplicaciones donde las condiciones de visibilidad están limitadas, como la robótica para búsqueda y rescate en catástrofes. Para ello resulta beneficioso analizar cómo las técnicas de aprendizaje profundo basadas en redes neuronales convolucionales (CNN) pueden aplicarse a ambas modalidades. En este artículo se analizan diferentes configuraciones y parámetros para el entrenamiento de CNN tanto para imágenes térmicas como para imágenes equivalentes del espectro visible. En concreto, se aborda el problema del sobre-entrenamiento para determinar una configuración eficaz de técnicas de aumento de datos y parada temprana. El caso de estudio se ha realizado con la red de código abierto YOLOv3, pre-entrenada con el dataset RGB COCO y optimizada (o re-entrenada) con el conjunto público de datos UMA-SAR dataset, que incluye pares de imágenes RGB y TIR obtenidas en ejercicios realistas de rescate.

[Abstract] The combination of imaging of visible (RGB) and thermal infrared (TIR) modalities can be crucial for object detection in applications where visibility conditions are limited, such as search and rescue robotics. For this, it is beneficial to analyze how deep learning techniques based on convolutional neural networks (CNN) can be applied to these modalities. This article discusses different settings and parameters for CNN training for two equivalent sets of thermal and RGB images. Specifically, we address the problem of overfitting and determine an effective configuration of data augmentation and early stop techniques. The case study has been carried out with the open source network YOLOv3, pre-trained with the RGB COCO dataset, and optimised with the UMA-SAR dataset, which includes pairs of RGB and TIR images obtained in realistic rescue exercises.