Detección e identificación de persoas cun robot móbil equipado cun LiDAR 3D e cámaras RGBD

Abstract

[Resumen]: En el contexto sociológico actual, los robots están cada vez más presentes en nuestro día a día. La capacidad de estos sistemas para interaccionar con los seres humanos es clave para una integración efectiva, y para ello, han de ser capaces de detectar e identificar a las personas de su entorno. Aunque existen diferentes aproximaciones para dotar a los robots de esta capacidad, todavía existen ciertos retos a resolver. Este proyecto propone una forma bastante novedosa de afrontar este desafío mediante un enfoque multimodal, integrando la información de diferentes tipos de sensores (cámaras RGBD y LiDAR 3D) que puedan compensar las limitaciones individuales de cada uno por separado. Para ello, se propone un algoritmo que combine inteligentemente esta información atendiendo también al contexto espacio-temporal. Para escoger las técnicas óptimas para cada sensor, se hace una evaluación de las tecnologías existentes para detectar e identificar personas a partir de las imágenes de una cámara, bien mediante su cara o mediante su vestimenta y morfología, y se propone un algoritmo para combinar las dos técnicas. Además, se propone una nueva técnica, basada en estudios anteriores, para reconocimiento a partir en la vestimenta. También se hace un experimento similar con una técnica de detección de personas en nubes de puntos de un LiDAR 3D. Finalmente, se proponen diferentes datasets con datos tomados desde un robot en circunstancias del mundo real, para medir el rendimiento cada uno de estos métodos por separado, y de la integración de todos ellos propuesta y se analizan los resultados obtenidos.

[Abstract]: In the current sociological context, robots are increasingly present daily. The ability of these systems to interact with humans is key to effective integration, and for this, they must be capable of detecting and identifying people in their surroundings. Although different approaches exist to equip robots with this capability, certain challenges must be addressed. This project proposes a rather novel way of tackling this challenge through a multimodal approach, integrating information from different types of sensors (RGBD cameras and 3D LiDAR) that can compensate for the individual limitations of each one separately. To achieve this, an algorithm is proposed to intelligently combine this information, also taking into account the spatiotemporal context. To choose the optimal techniques for each sensor, an evaluation of existing technologies for detecting and identifying people from camera images is conducted, either through facial recognition or by analyzing clothing and morphology, and an algorithm is proposed to combine both techniques. Additionally, a new technique, based on previous studies, is proposed for recognition based on clothing. A similar experiment is also conducted using a person detection technique using point clouds from a 3D LiDAR. Finally, different datasets with data collected from a robot in real-world circumstances are proposed to measure the performance of each of these methods separately, as well as the proposed integration of all of them, and the obtained results are analyzed.