Modelado 3D dun entorno a partir de cámaras Kinect

Abstract

[Resumo] Este proxecto busca crear unha metodoloxía para que, da forma máis automática posible, reconstruír un modelo 3D dun entorno que se poida empregar en ferramentas de edición 3D. O sistema parte da información de varios sensores (nube de puntos) montados nun robot que se despraza para cubrir todo o entorno de interés. Estos puntos son integrados mediante un software de mapeado e localización simultánea (RTABMap). A nube de puntos final procésase ata obter unha modelo 3D do entorno que se poida editar con ferramentas tipo Blender ou Unity para crear outras aplicacións: simplificación no deseño de videoxogos, recreación de entornos, simuladores de robótica ou realidade virtual. Os sensores empregados son cámaras RGBD (Kinect v1) que xeneran información da cor (r,g,b) e xeométrica (x,y,z), o que permite modelar e texturizar o entorno de maneira simultánea. A precisión das Kinects (a nivel de centímetro) permite obter modelos 3D aceptables para os nosos propósitos, pero non acada resolución suficiente para xenerar modelos hiperrealistas. A fase máis complexa foi a integración das nubes de puntos. Seleccionouse RTABMap pola súa flexibilidade e robustez, aínda que a súa función consiste en crear mapas do entorno, non modelos. Os principais retos foron: manexar o altísimo volumen de datos que xeneran as Kinects, almacenar esa información, procesala en tempo real, calcular a posición relativa dos sensores e encontrar os parámetros apropiados para que RTABMap poidese procesar as nubes de puntos minimizando os erros e problemas e aumentando a precisión. A última fase consistiu en procesar a nube de puntos final que xenera RTABMap. Creáronse os algoritmos necesarios para análise dos datos e a preparación dos sistemas para eliminar os datos redundantes, simplificar o número de punto e finalmente obter superficies facilmente modelables (neste caso mediante mallas). As probas en entornos reais demostran que os resultados finais acadados posúen unha calidade moi aceptable.

[Abstract] This project seeks to create a methodology that, in the most automatic way possible, allows the construction of a 3D model of the environment that can be use in 3D editing tools. The system starts with the information of multiple sensors (point cloud) mounted on a robot that moves to cover the entire region of interest. These points are integrated using simultaneous mapping and location software (Rtabmap). The final point cloud is processed in order to obtain a 3D model of the enviroment that can be edited with Blender or Unity in order to create other applications: simplification in video game design, recretion of enviroments, robotics simulators or virtual reality. The sensors used are RGBD cameras (like Kinect v1) that can provide both color (r,g,b) and geometric (x,y,z) information, allowing us to both model and texture the environment simultaneously. The kinect accuracy (at the centimeter level) allows us to obtain acceptables 3D models for our purposes, but it does not get enough resolution to generate hyper-realistic models. The most complex phase was the integration of point clouds.RTABMap was selected for its flexibility and robustness, although its function is to create maps of the environment, not models. The main challenges were: handling the very high volume of data generated by Kinects, storing that information, processing it in real time, calculating the relative position of sensors and finding the appropriate parameters for RTABMap to process point clouds minimizing errors and problems and increasing the accuracy. The last phase was to process the final point cloud generated by RTABMap. The necessary algorithms have been created for data analysis and the preparation of systems to eliminate redundant data, simplify the point number and finally obtain easily modelable surfaces (in this case, using meshes). Tests in real environments show that the final results achieved have a very acceptable quality.