Simulador inmersivo de visión protésica modelando estímulos espacio-temporales

Abstract

[Resumen] Recientes avances han demostrado que, en ciertos casos de deficiencia visual, la visión puede ser parcialmente restituida mediante prótesis visuales. Debido a sus limitaciones, surge el interés por desarrollar métodos de visión por computador para extraer información relevante del entorno y adaptarla a las prótesis. Para poder evaluar la eficacia de estos métodos, debido a la escasez de personas operadas, se utilizan simuladores de prótesis visuales, que permiten experimentar con personas de visión sana. En este trabajo, presentamos un nuevo simulador realista, integrado en un framework de robótica, que permite probar distintos modos de representación mediante gafas de realidad virtual. Una de las principales novedades es la inclusión de un modelo temporal, inspirado en experimentos con pacientes reales, para transmitir la dimensión del tiempo en la generación de estímulos visuales. Además, permite la inmersión total del usuario en un entorno virtual en el que se ha integrado una red neuronal de segmentación semántica para ayudar a detectar objetos y personas.

[Abstract] Recent advances have shown that, in certain cases of visual impairment, vision can be partially restored by means of visual prostheses. Due to its limitations, there is interest in developing computer vision methods to extract relevant information from the environment and adapt it to the prosthesis. In order to evaluate the effectiveness of these methods, due to the scarcity of operated people, visual prosthesis simulators are used, which allow experimenting with healthy sighted people. In this work, we present a new realistic simulator, integrated in a robotics framework, which allows testing different modes of representation through virtual reality goggles. One of the main novelties is the inclusion of a temporal model, inspired by experiments with real patients, to convey the dimension of time in the generation of visual stimuli. In addition, it allows total immersion of the user in a virtual environment in which a semantic segmentation neural network has been integrated to help detect objects and people.