Extracción de modelos 3D basado en CNN y nubes de puntos para mapeado

Abstract

[Resumen] La obtención de modelos 3D precisos es importante en robótica. Una amplia gama de aplicaciones como mapear objetos requieren de un conocimiento preciso de su forma y disposición. Sin embargo, puede ser difícil lograr una alta precisión, especialmente cuando se trata de datos reales que incluyen factores como oclusiones, desorden y ruido, influyendo en el resultado final. En el estado del arte, se combina deep learning en imágenes 2D con segmentación de nubes de puntos. Sin embargo, los estudios comparativos al respecto son muy limitados. En este trabajo, implementamos y comparamos varios métodos existentes, aplicando mejoras para que estos funcionen correctamente en entornos complejos. Analizamos cuatro formas de obtener modelos 3D, tres de ellos basados en detección por bounding box y un cuarto basado en la obtención de una máscara mediante instance segmentation. Se realiza una comparación tanto cualitativa como cuantitativa, presentando las fortalezas y los límites de cada método, además de un ejemplo práctico de uso.

[Abstract] Obtaining accurate 3D models is important in robotics. A wide range of applications such as mapping objects require precise knowledge of their shape and layout. However, it can be difficult to achieve high accuracy, especially when it comes to real data that includes factors such as occlusions, clutter and noise, influencing the final result. In the state of the art, deep learning on 2D images is combined with 3D point cloud segmentation. However, comparative studies in this area are very limited. In this paper, we implement and compare several existing methods, applying improvements to make them work properly in complex environments. We analyze four ways to obtain 3D models, three of them based on bounding box detection and a fourth one based on obtaining a mask by instance segmentation. A qualitative and quantitative comparison is made, presenting the advantages and disadvantages of each method, as well as a practical example of use.