ROS2 gesture classification pipeline towards gamified neuro-rehabilitation therapy

Abstract

[Resumen] La rehabilitación es una herramienta esencial que ayuda a las personas a restaurar la movilidad en las extremidades afectadas por diversas afecciones, como enfermedades neurológicas. Las terapias convencionales, que incluyen terapia ocupacional, física y del habla, se han mejorado con nuevas tecnologías, como sistemas robóticos asistidos y juegos de realidad virtual y aumentada, para aumentar la participación y, en consecuencia, la efectividad. Esta investigación se centra en la implementación de un dispositivo portátil de sensores de electromiograma (EMG) de ocho canales, el brazalete Mindrove, para el reconocimiento de gestos. El objetivo es desarrollar un modelo clasificador utilizando el algoritmo de Máquinas de Vectores de Soporte (SVM) para distinguir ocho gestos diferentes de la mano y aplicarlo en un sistema de reconocimiento de gestos. El estudio demuestra la viabilidad de este sistema de reconocimiento y explora la aplicación potencial de esta tecnología en juegos interactivos de Unity para terapia de rehabilitación. Los resultados muestran una precisión prometedora en la clasificación del modelo y se necesita más investigación para abordar los desafíos relacionados con la especificidad del usuario y la precisión del reconocimiento de gestos. El trabajo futuro implica ampliar el repertorio de gestos reconocidos, incorporar datos adicionales del sensor y explorar técnicas de extracción de características más avanzadas para mejorar el rendimiento general del sistema de reconocimiento de gestos en terapias de rehabilitación.

[Abstract] Rehabilitation is an essential tool that aids individuals in restoring mobility in limbs affected by various conditions, such as neurological diseases. Conventional therapies, including occupational, physical, and speech therapy, have been improved by new technologies, such as assistive robotic systems, along with virtual and augmented reality games, to enhance engagement and, consequently, effectiveness. This research focuses on implementing an eight-channel electromyogram (EMG) wearable sensor device, Mindrove armband, for gesture recognition. The objective is to develop a classifier model using the Support Vector Machine (SVM) algorithm to distinguish eight different hand gestures and apply it in a gesture recognition system. The study demonstrates the feasibility of this recognition system and explores the potential application of this technology in interactive Unity games for rehabilitation therapy. The results show promising accuracy in model classification, and further research is needed to address challenges related to user specificity and gesture recognition accuracy. Future work involves expanding the repertoire of recognized gestures, incorporating additional sensor data, and exploring more advanced feature extraction techniques to enhance the overall performance of the gesture recognition system in rehabilitation therapies.