Creación y análisis de vistas 360 a partir de un par de imágenes fisheye

Abstract

[Resumen] Los sistemas de visión conformados por dos lentes fisheye posicionadas de forma que cubran un campo de visión de 360° presentan grandes ventajas, como la posibilidad de obtener una vista 360 de alta calidad, que puede ser usada en otras tareas de alto nivel. Haciendo uso de una cámara comercial de este tipo, el principal objetivo del trabajo consiste en el desarrollo de métodos para la obtención de una vista 360 y la evaluación de la calidad de la misma, comparándola con la vista 360 generada por la propia cámara. Inicialmente, el algoritmo realiza una proyección de cada imagen fisheye a formato equirectangular, lo cual facilita el posterior stitching necesario para componer la vista 360. Para ello, se han implementado dos procedimientos que permiten realizar la proyección sobre la esfera unidad. Con objeto de determinar automáticamente la calidad de la vista 360 obtenida, y así poder compararla con la generada por la propia cámara, se propone un algoritmo basado en una red neuronal convolucional que extrae descriptores de apariencia global de las escenas. La comparación entre descriptores permitirá determinar la calidad relativa de la vista obtenida. Los resultados muestran que, en aquellos casos en los que la zona de solape es rica en información visual, una de las imágenes que generamos es mejor que la proporcionada por la cámara.

[Abstract] Vision systems composed of two fisheye lenses positioned to cover a 360° field of view have significant advantages, such as the possibility of generating a high-quality 360-view, which can be used in other highlevel tasks. Employing a commercial camera of this type, the main objective of the work consists in developing methods for obtaining a 360-view and evaluating the quality of the view, comparing it with the 360-views generated by the camera itself. Initially, the algorithm performs a projection of each fisheye image to equirectangular format, which facilitates the subsequent stitching necessary to compose the 360-views. For this purpose, two procedures have been implemented to perform the projection on the unit sphere. To automatically determine the quality of the 360-views obtained and thus be able to compare it with the one generated by the camera itself, an algorithm based on a convolutional neural network that extracts global appearance descriptors from the scenes is proposed. The comparison between descriptors will allow determining the relative quality of the obtained view. The results show that, in those cases where the overlapping area is rich in visual information, one of the images we generate is better than the one provided by the camera.