ROS2 gesture classification pipeline towards gamified neuro-rehabilitation therapy
![Thumbnail](/dspace/bitstream/handle/2183/33648/2023_Hernandez_Perez_Sofia_ROS2_gesture_classification_pipeline.pdf.jpg?sequence=5&isAllowed=y)
Use this link to cite
http://hdl.handle.net/2183/33648
Except where otherwise noted, this item's license is described as Attribution-NonCommercial-ShareAlike 4.0 lnternational (CC BY-NC-SA 4.0) https://creativecommons.org/licenses/by-ncsa/4.0/
Collections
Metadata
Show full item recordTitle
ROS2 gesture classification pipeline towards gamified neuro-rehabilitation therapyAuthor(s)
Date
2023Citation
Hernández Pérez. S., Montesino Valle1, I., Victores, J.G., Oña Simbaña, E.D., Jardon Huete, A. 2023. ROS2 gesture classification pipeline towards gamified neuro-rehabilitation therapy. XLIV Jornadas de Automática, 611-616. https://doi.org/10.17979/spudc.9788497498609.611
Abstract
[Resumen] La rehabilitación es una herramienta esencial que ayuda a las personas a restaurar la movilidad en las extremidades afectadas por diversas afecciones, como enfermedades neurológicas. Las terapias convencionales, que incluyen terapia ocupacional, física y del habla, se han mejorado con nuevas tecnologías, como sistemas robóticos asistidos y juegos de realidad virtual y aumentada, para aumentar la participación y, en consecuencia, la efectividad. Esta investigación se centra en la implementación de un dispositivo portátil de sensores de electromiograma (EMG) de ocho canales, el brazalete Mindrove, para el reconocimiento de gestos. El objetivo es desarrollar un modelo clasificador utilizando el algoritmo de Máquinas de Vectores de Soporte (SVM) para distinguir ocho gestos diferentes de la mano y aplicarlo en un sistema de reconocimiento de gestos. El estudio demuestra la viabilidad de este sistema de reconocimiento y explora la aplicación potencial de esta tecnología en juegos interactivos de Unity para terapia de rehabilitación. Los resultados muestran una precisión prometedora en la clasificación del modelo y se necesita más investigación para abordar los desafíos relacionados con la especificidad del usuario y la precisión del reconocimiento de gestos. El trabajo futuro implica ampliar el repertorio de gestos reconocidos, incorporar datos adicionales del sensor y explorar técnicas de extracción de características más avanzadas para mejorar el rendimiento general del sistema de reconocimiento de gestos en terapias de rehabilitación. [Abstract] Rehabilitation is an essential tool that aids individuals in restoring mobility in limbs affected by various conditions, such as neurological diseases. Conventional therapies, including occupational, physical, and speech therapy, have been improved by new technologies, such as assistive robotic systems, along with virtual and augmented reality games, to enhance engagement and, consequently, effectiveness. This research focuses on implementing an eight-channel electromyogram (EMG) wearable sensor device, Mindrove armband, for gesture recognition. The objective is to develop a classifier model using the Support Vector Machine (SVM) algorithm to distinguish eight different hand gestures and apply it in a gesture recognition system. The study demonstrates the feasibility of this recognition system and explores the potential application of this technology in interactive Unity games for rehabilitation therapy. The results show promising accuracy in model classification, and further research is needed to address challenges related to user specificity and gesture recognition accuracy. Future work involves expanding the repertoire of recognized gestures, incorporating additional sensor data, and exploring more advanced feature extraction techniques to enhance the overall performance of the gesture recognition system in rehabilitation therapies.
Keywords
EMG
Reconocimiento de gestos
ROS2
Rehabilitación
Robotica Asistencial
gesture recognition
rehabilitation
assistive robotic systems
Support Vector Machine (SVM)
Reconocimiento de gestos
ROS2
Rehabilitación
Robotica Asistencial
gesture recognition
rehabilitation
assistive robotic systems
Support Vector Machine (SVM)
Editor version
Rights
Attribution-NonCommercial-ShareAlike 4.0 lnternational (CC BY-NC-SA 4.0) https://creativecommons.org/licenses/by-ncsa/4.0/
ISBN
978-84-9749-860-9