Sistema de asistencia en procesos de empresa con dispositivo hardware abierto con modo de conversación continua

Abstract

[Resumen]: Este proyecto se basa en desarrollar un prototipo acerca de un dispositivo de hardware abierto que permita la interacción con el servidor de SINVAD exclusivamente mediante la voz en modo de conversación continua. Con este fin, se ha llevado a cabo una investigación exhaustiva sobre las diversas alternativas de hardware y software de código abierto que posibiliten la creación de dicho prototipo. La aplicación final opera exclusivamente mediante comandos de voz, tanto para la entrada como para la salida. Está constituida por cinco componentes que se encargan, respectivamente, de detectar la entrada de audio y realizar una transcripción precisa del lenguaje natural a texto (Speech-To-Text); reiniciar, suspender o apagar el proceso al detectar una palabra o frase clave (despertador); enviar la transcripción al servidor SINVAD (comunicador); analizar la respuesta obtenida para decidir la contestación en forma de voz (mapeador) y emitir la respuesta correspondiente mediante comandos de voz (Text-To-Speech). La aplicación ha sido implementada utilizando Raspberry Pi OS, Python y Vosk en una Raspberry Pi 4B. El sistema final se ha sometido a un exhaustivo conjunto de pruebas en condiciones normales de operación, incluyendo diferentes distancias, ganancias del micrófono y niveles de ruido ambiente. Los resultados conseguidos confirman la calidad y el rendimiento del sistema desarrollado.

[Abstract]: This project is based on developing a prototype of an open hardware device that allows interaction with the SINVAD server exclusively through voice in continuous talk mode. For this, exhaustive research has been carried out on the diverse open source hardware and software alternatives that make it possible to create this prototype. The final application operates exclusively through voice commands, both for input and output. It is made up of five components that are in charge, respectively, of detecting the audio input and performing an accurate transcription from natural language to text; restarting, suspending or shutting down the process when detecting a key word or phrase; sending the transcription to the SINVAD server; analyzing the response obtained to decide the voice reply and emitting the corresponding response using voice commands. The application has been implemented using Raspberry Pi OS, Python and Vosk on a Raspberry Pi 4B. The final system has been put through a comprehensive set of tests under normal operating conditions, including different microphone distances, gains and levels of ambient noise. The results obtained confirm the quality and performance of the developed system.