Implementación de un chat de vídeo y voz espacial para entornos de realidad virtual en web mediante WebRTC

Abstract

[Resumen]: El proyecto consiste en el desarrollo de un sistema de comunicación por voz y video adapta- do para funcionar cohesionado con un entorno virtual en tres dimensiones, otorgando a los usuarios una experiencia de audio y vídeo inmersiva. Se utilizó como componente principal LiveKit SFU, un sistema de retransmisión de flujos de datos de video y audio entre usuarios mediante WebRTC. El entorno 3D está desarrollado en Babylon JS, un motor de gráficos en 3D basado en WebGL que permite la creación de escenas interactivas en tiempo real. El chat de voz se in- tegra superpuesto a este entorno, permitiendo a los usuarios interactuar tanto visual como auditivamente. Los datos de voz son capturados y enviados a través de WebRTC, gestionado por LiveKit SFU. LiveKit facilita la transmisión de la voz mediante una arquitectura de servidor que se encarga de la distribución de las señales de audio entre los participantes. En este proyecto se utiliza Node.js para la gestión de módulos y estructura de las aplica- ciones junto con librerías de código abierto para lograr las funcionalidades deseadas.

[Abstract]: The project involves the development of a voice and video system of communication adapted to work cohesively with a three-dimensional virtual enviroment, providing the users an in- mersive audio and video experience. The main component is LiveKit SFU, a system for relying video and audio data streams between user via WebRTC. The 3D enviroment is develped in Babylon JS, a 3D graphics engine based on WebGL, that enables the creation of real-time interactive scenes. The voice chat is integrated over this enviroment, allowing the users to interact both visually and audibly. Voice data is captured and sent through WebRTC managed by LiveKit SFU. LiveKit trans- mits voice data through a server architecture that handles the distribution of audio signals among participants. Node.JS is used in this project for module management and structure, along with open- source libraries to achieve the desired functionalities.