Novel Developments of Brain-Computer Interfaces for Smart Home Control

Abstract

[Resumo] Neste traballo analizamos e desenvolvemos novas Interfaces Home-Máquina (HMI) que faciliten a comunicación e a interacción de persoas que sofren problemas motrices severos, coa súa contorna e dispositivos cotiáns a través dun fogar intelixente. Unha casa intelixente pode definirse coma unha residencia equipada cunha rede de comunicación, sensores, dispositivos e electrodomésticos que os residentes poden controlar, acceder e monitorar de forma remota para satisfacer as súas necesidades da vida diaria. Representa un sistema sensible ao contexto que, utilizando tecnoloxías coma Internet das cousas (IoT) e técnicas de intelixencia artificial, pode detectar, anticipar e responder ás actividades no fogar. As HMI ofrecen novas canles de comunicación que permiten aos seus usuarios interactuar con dispositivos da súa contorna empregando os sinais biolóxicos provenientes de diferentes partes do seu corpo como comandos de control. É dicir, os sinais producidos polo cerebro, os músculos ou os ollos, por exemplo, poden empregarse para controlar dispositivos externos. Por tanto, a combinación destas interfaces cun fogar intelixente resulta unha tecnoloxía de gran utilidade para persoas con discapacidades motrices severas ou lesións graves nas súas extremidades, xa que lles permite interactuar coa súa contorna ou controlar partes danadas do seu corpo sen necesidade de grandes movementos físicos. Unha ampla variedade de sinais biolóxicos pode ser empregada para interactuar coas HMI. O uso de cada unha delas dependerá do obxectivo da interface e das capacidades motrices que posúa o usuario. Os tres tipos máis comúns de sinais biolóxicos son: musculares, oculares e cerebrais. A tese presentada céntrase principalmente na análise e desenvolvemento de interfaces baseadas nos sinais cerebrais, tamén coñecidas como Interfaces Cerebro-Ordenador (BCI) ou Interfaces Cerebro-Máquina (BMI). Este tipo de interfaces captura os sinais biolóxicos producidos pola actividade neuronal do usuario a través de técnicas non invasivas como a Electroencefalografía (EEG) e tradúceas en comandos de control para dispositivos externos. Por tanto, estas ofrecen unha nova canle de comunicación coa contorna que non necesita de ningún movemento muscular, simplemente utiliza os pensamentos do usuario. Durante os últimos anos, varios traballos propuxeron diferentes interfaces BCI que ofrecen resultados precisos e de boa calidade. Con todo, a maioría deles usan dispositivos clínicos moi caros e con numerosos eléctrodos para capturar os sinais cerebrais. Isto pode resultar incómodo para os usuarios e provocar que as interfaces sexan difíciles de usar, polo que no noso traballo centrámonos en desenvolver interfaces BCI de baixo custo que empreguen dispositivos abertos cun número reducido de eléctrodos. Como primeira proposta, presentamos unha arquitectura que integra unha aplicación BCI nunha contorna de IoT para o control dunha casa intelixente. Para este propósito, desenvolvemos un dispositivo EEG aberto e de baixo custo que captura sinais cerebrais de dúas canles de entrada. Facendo uso unicamente dunha canle, propoñemos e comparamos distintos algoritmos de extracción de características baseados en Transformadas Deslizantes (ST) para determinar o estado ocular do usuario, é dicir, ollos abertos (oE) ou ollos pechados (cE). En primeiro lugar, comparamos transformadas reais e complexas. Posteriormente, consideramos xanelas deslizantes con solapamento en lugar de empregar o enfoque tradicional con xanelas non solapadas, reducindo así o atraso entre a adquisición do sinal e a toma de decisión. Os algoritmos inclúen diferentes configuracións orientadas a proporcionar resultados precisos con baixa carga computacional. Ademais, realizamos unha extensión da arquitectura onde os datos de ambas as canles son empregados conxuntamente para construír un conxunto de características bidimensional que proporcione resultados máis robustos e precisos. Con este propóstito, as técnicas empregadas anteriormente para extraer as características son comparadas con outras estratexias comunmente utilizadas nas aplicacións BCI, como a Transformada Discreta Wavelet (DWT). Ademais, comparamos tres algoritmos de clasificación diferentes, un baseado en limiares, e outros dous baseados na Análise Discriminante Lineal (LDA) e nas Máquinas de Vectores de Soporte (SVM). A segunda proposta do noso traballo é unha HMI para o control dun fogar intelixente empregando un dispositivo de gravación de sinais biolóxicos dunha única canle. O potencial evocado P300 e os movementos das pálpebras son comparados como sinais de control, co obxectivo de determinar cal deles ofrece os mellores resultados en termos de precisión e tempos de resposta. Os elementos do fogar que o usuario pode controlar coa HMI son presentados nunha Interface Gráfica de Usuario (GUI). Os devanditos elementos son amosados seguindo dous paradigmas distintos de estimulación: 1) os elementos son presentados un a un ou 2) todos os elementos dunha mesma fila/columna son presentados conxuntamente. Ambas as interfaces, a baseada no potencial P300 ou a baseada en movementos das pálpebras, empregan unha única canle de entrada do mesmo dispositivo EEG para capturar a actividade cerebral/ocular do usuario. Ademais, a GUI é totalmente configurable, polo que pode adaptarse ás necesidades do usuario.

[Resumen] En este trabajo analizamos y desarrollamos nuevas Interfaces Hombre-Máquina (HMI) que faciliten la comunicación y la interacción de personas que sufren problemas motrices severos con su entorno y dispositivos cotidianos a través de un hogar inteligente. Un hogar inteligente puede definirse como una residencia equipada con una red de comunicación, sensores, dispositivos y electrodomésticos que los residentes pueden controlar, acceder y monitorizar de forma remota para satisfacer sus necesidades de la vida diaria. Representa un sistema sensible al contexto que, utilizando tecnologías como Internet de las cosas (IoT) y técnicas de inteligencia artificial, puede detectar, anticipar y responder a las actividades en el hogar. Las HMI ofrecen nuevos canales de comunicación que permiten a sus usuarios interactuar con dispositivos de su entorno empleando las señales biológicas provenientes de diferentes partes de su cuerpo como comandos de control. Es decir, las señales producidas por el cerebro, los músculos o los ojos, por ejemplo, pueden emplearse para controlar dispositivos externos. Por lo tanto, la combinación de estas interfaces con un hogar inteligente resulta una tecnología de gran utilidad para personas con discapacidades motrices severas o lesiones graves en sus extremidades, ya que les permite interactuar con su entorno o controlar partes dañadas de su cuerpo sin necesidad de grandes movimientos físicos. Una amplia variedad de señales biológicas pueden ser empleadas para interactuar con las HMI. El uso de cada una de ellas dependerá del objetivo de la interfaz y de las capacidades motrices que posea el usuario. Los tres tipos más comunes de señales biológicas son: musculares, oculares y cerebrales. La tesis presentada se centra principalmente en el análisis y desarrollo de interfaces basadas en las señales cerebrales, también conocidas como Interfaces Cerebro-Ordenador (BCI) o Interfaces Cerebro-Máquina (BMI). Este tipo de interfaces capturan las señales biológicas producidas por la actividad neuronal del usuario a través de técnicas no invasivas como la Electroencefalografía (EEG) y las traduce en comandos de control para dispositivos externos. Por lo tanto, estas ofrecen un nuevo canal de comunicación con el entorno que no necesita de ningún movimiento muscular, simplemente utiliza los pensamientos del usuario. Durante los últimos años, varios trabajos han propuesto diferentes interfaces BCI que ofrecen resultados precisos y de buena calidad. Sin embargo, la mayoría de ellos usan dispositivos clínicos muy caros y con numerosos electrodos para capturar las señales cerebrales. Esto puede resultar incómodo para los usuarios y provocar que las interfaces sean difíciles de usar, por lo que en nuestro trabajo nos centramos en desarrollar interfaces BCI de bajo coste que empleen dispositivos abiertos con un número reducido de electrodos. Como primera propuesta, presentamos una arquitectura que integra una aplicación BCI en un entorno de IoT para el control de una casa inteligente. Para este propósito, hemos desarrollado un dispositivo EEG abierto y de bajo coste que captura señales cerebrales de dos canales de entrada. Haciendo uso únicamente de un canal, proponemos y comparamos distintos algoritmos de extracción de características basados en transformadas deslizantes (ST) para determinar el estado ocular del usuario, es decir, ojos abiertos (oE) u ojos cerrados (cE). En primer lugar, comparamos transformadas reales y complejas. Posteriormente, consideramos ventanas deslizantes con solapamiento en lugar de emplear el enfoque tradicional con ventanas no solapadas, reduciendo así el retraso entre la adquisición de la señal y la toma de decisión. Los algoritmos incluyen diferentes configuraciones orientadas a proporcionar resultados precisos con baja carga computacional. Además, realizamos una extensión de la arquitectura donde los datos de ambos canales son empleados conjuntamente para construir un conjunto de características bidimensional que proporcione resultados más robustos y precisos. Con este propóstito, las técnicas empleadas anteriormente para extraer las características son comparadas con otras estrategias comúnmente utilizadas en las aplicaciones BCI, como la Transformada Discreta Wavelet (DWT). Además, comparamos tres algoritmos de clasificación diferentes, uno basado en umbrales, y otros dos basados en el Análisis Discriminante Lineal (LDA) y en las Máquinas de Vectores de Soporte (SVM). La segunda propuesta de nuestro trabajo es una HMI para el control de un hogar inteligente empleando un dispositivo de grabación de señales biológicas de un único canal. El potencial evocado P300 y los parpadeos son comparados como señales de control, con el objetivo de determinar cuál de ellas ofrece los mejores resultados en términos de precisión y tiempos de respuesta. Los elementos del hogar que el usuario puede controlar con la HMI son presentados en una interfaz gráfica de usuario (GUI). Dichos elementos son mostrados siguiendo dos paradigmas distintos de estimulación: 1) los elementos son presentados uno a uno o 2) todos los elementos de una misma fila/columna son presentados conjuntamente. Ambas interfaces, la basada en el potencial P300 o la basada en parpadeos, emplean un único canal de entrada del mismo dispositivo EEG para capturar la actividad cerebral/ocular del usuario. Además, la GUI es totalmente configurable, por lo que puede adaptarse a las necesidades del usuario

[Abstract] In this work, we analyze and develop new Human-Machine Interfaces (HMIs) that can help the communication and interaction of people who suffer from motor or neurological damages, with their environment and daily life devices working through a smart-home system. A smart home can be defined as a residence equipped with a communication network, connected sensors, devices, and appliances that can be controlled, accessed and monitored remotely by the residents in order to satisfy their daily life needs. It represents a context-aware system that, using technologies such as Internet of Things (IoT) and artificial intelligence algorithms, can sense, anticipate and respond to activities in the home. The HMIs offer new communication channels to interact with outer devices where the electrical signals coming from different parts of the human body, such as the brain, muscles or the eyes, can be used as control commands. Therefore, the integration of these interfaces into a smart-home system, results in an extremely useful technology for patients with severe motor disabilities or serious injuries in their limbs, since it allows them to interact with their environment or control damaged parts of their bodies without the need for large physical movements. A wide variety of biological signals can be used to interact with HMIs. The use of each of them will depend on the objective of the interface and the motor skills that the user possesses. The three most common types of biological signals are: muscular signals, ocular signals and brain signals. The presented thesis is mainly focused on the analysis and development of interfaces based on brain signals, which are also known as Brain-Computer Interface (BCI) or Brain-Machine Interface (BMI). This kind of interfaces captures the biological signals produced by the neural activity of the user’s brain, through non-invasive techniques such as Electroencephalography (EEG), and translates them into commands for external devices. Thus, they offer a new communication channel with the environment without using muscle movements, but just employing the user’s thoughts. During the last decades, several works have proposed different BCI interfaces that offer accurate and good quality results. However, most of them use expensive clinical devices and numerous electrodes to capture brain signals. This can be uncomfortable for users and make the interfaces difficult to use, so in our work we focus on developing low-cost BCI systems that employ open devices with a small number of electrodes. As a first approach, we propose an architecture for integrating a BCI application in an IoT environment for home automation. For this purpose, we develop a low-cost open-source EEG device which acquires EEG signals from two input channels. Using the EEG data of only one channel, we propose and compare different feature extraction algorithms based on Sliding Transforms (STs) techniques for determining the user’s eye states, i.e., open eyes (oE) or closed eyes (cE). Firstly, we compare real-valued and complex-valued transforms. Secondly, we consider sliding windows with overlap instead of using the traditional approach with non-overlapped windows, thus reducing the delay time between acquisition and decision. The algorithms include different configurations oriented to provide accurate results with a low computational burden. After that, we extended the study to the situation where the data captured by both channels are jointly employed in order to build a twodimensional feature set that may provide higher and more robust results. To this end, we compare the previously analyzed feature extraction techniques with other strategies commonly used in BCI applications, such as Discrete Wavelet Transform (DWT). We compare three classification techniques, one based on a threshold classifier and another two that implement the well known Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM) algorithms. As a second approach, we propose an HMI for environmental control using a single-channel recording system. The P300 potential and eye blinks are compared as control signals in order to determine which one offers the best performance in terms of accuracy and response time. The home elements to be controlled are displayed in a Graphical User Interface (GUI) following a matrix-form and presented to users using two different stimulation paradigms: 1) home elements are intensified one by one or 2) all the elements of the same row/column are jointly intensified at the same time. Both interfaces, P300-based or blink-based, employ only one input channel of the same EEG device to capture the brain/eye user’s activity. The GUI is fully configurable, so it can be adapted to the user’s needs.