Novel Developments of Brain-Computer Interfaces for Smart Home Control
Use este enlace para citar
http://hdl.handle.net/2183/29501
A non ser que se indique outra cousa, a licenza do ítem descríbese como Atribución-NoComercial-CompartirIgual 3.0 España
Coleccións
- Teses de doutoramento [2150]
Metadatos
Mostrar o rexistro completo do ítemTítulo
Novel Developments of Brain-Computer Interfaces for Smart Home ControlTítulo(s) alternativo(s)
Novos desenvolvementos de interfaces cerebro-ordenador para o control dun fogar intelixenteNuevos desarrollos de interfaces cerebro-ordenador para el control de un hogar inteligente
Autor(es)
Director(es)
Castro-Castro, Paula-MaríaDapena, Adriana
Data
2022Resumo
[Resumo]
Neste traballo analizamos e desenvolvemos novas Interfaces Home-Máquina (HMI) que faciliten a
comunicación e a interacción de persoas que sofren problemas motrices severos, coa súa contorna e
dispositivos cotiáns a través dun fogar intelixente. Unha casa intelixente pode definirse coma unha
residencia equipada cunha rede de comunicación, sensores, dispositivos e electrodomésticos que os
residentes poden controlar, acceder e monitorar de forma remota para satisfacer as súas necesidades
da vida diaria. Representa un sistema sensible ao contexto que, utilizando tecnoloxías coma Internet das
cousas (IoT) e técnicas de intelixencia artificial, pode detectar, anticipar e responder ás actividades no
fogar.
As HMI ofrecen novas canles de comunicación que permiten aos seus usuarios interactuar con
dispositivos da súa contorna empregando os sinais biolóxicos provenientes de diferentes partes do seu
corpo como comandos de control. É dicir, os sinais producidos polo cerebro, os músculos ou os ollos,
por exemplo, poden empregarse para controlar dispositivos externos. Por tanto, a combinación destas
interfaces cun fogar intelixente resulta unha tecnoloxía de gran utilidade para persoas con discapacidades
motrices severas ou lesións graves nas súas extremidades, xa que lles permite interactuar coa súa contorna
ou controlar partes danadas do seu corpo sen necesidade de grandes movementos físicos.
Unha ampla variedade de sinais biolóxicos pode ser empregada para interactuar coas HMI. O uso
de cada unha delas dependerá do obxectivo da interface e das capacidades motrices que posúa o usuario.
Os tres tipos máis comúns de sinais biolóxicos son: musculares, oculares e cerebrais. A tese presentada
céntrase principalmente na análise e desenvolvemento de interfaces baseadas nos sinais cerebrais, tamén
coñecidas como Interfaces Cerebro-Ordenador (BCI) ou Interfaces Cerebro-Máquina (BMI). Este tipo
de interfaces captura os sinais biolóxicos producidos pola actividade neuronal do usuario a través de
técnicas non invasivas como a Electroencefalografía (EEG) e tradúceas en comandos de control para
dispositivos externos. Por tanto, estas ofrecen unha nova canle de comunicación coa contorna que non
necesita de ningún movemento muscular, simplemente utiliza os pensamentos do usuario.
Durante os últimos anos, varios traballos propuxeron diferentes interfaces BCI que ofrecen resultados
precisos e de boa calidade. Con todo, a maioría deles usan dispositivos clínicos moi caros e con
numerosos eléctrodos para capturar os sinais cerebrais. Isto pode resultar incómodo para os usuarios e
provocar que as interfaces sexan difíciles de usar, polo que no noso traballo centrámonos en desenvolver
interfaces BCI de baixo custo que empreguen dispositivos abertos cun número reducido de eléctrodos.
Como primeira proposta, presentamos unha arquitectura que integra unha aplicación BCI nunha
contorna de IoT para o control dunha casa intelixente. Para este propósito, desenvolvemos un dispositivo
EEG aberto e de baixo custo que captura sinais cerebrais de dúas canles de entrada. Facendo uso
unicamente dunha canle, propoñemos e comparamos distintos algoritmos de extracción de características
baseados en Transformadas Deslizantes (ST) para determinar o estado ocular do usuario, é dicir,
ollos abertos (oE) ou ollos pechados (cE). En primeiro lugar, comparamos transformadas reais e complexas. Posteriormente, consideramos xanelas deslizantes con solapamento en lugar de empregar
o enfoque tradicional con xanelas non solapadas, reducindo así o atraso entre a adquisición do sinal
e a toma de decisión. Os algoritmos inclúen diferentes configuracións orientadas a proporcionar
resultados precisos con baixa carga computacional. Ademais, realizamos unha extensión da arquitectura
onde os datos de ambas as canles son empregados conxuntamente para construír un conxunto de
características bidimensional que proporcione resultados máis robustos e precisos. Con este propóstito,
as técnicas empregadas anteriormente para extraer as características son comparadas con outras
estratexias comunmente utilizadas nas aplicacións BCI, como a Transformada Discreta Wavelet (DWT).
Ademais, comparamos tres algoritmos de clasificación diferentes, un baseado en limiares, e outros dous
baseados na Análise Discriminante Lineal (LDA) e nas Máquinas de Vectores de Soporte (SVM).
A segunda proposta do noso traballo é unha HMI para o control dun fogar intelixente empregando
un dispositivo de gravación de sinais biolóxicos dunha única canle. O potencial evocado P300 e os
movementos das pálpebras son comparados como sinais de control, co obxectivo de determinar cal deles
ofrece os mellores resultados en termos de precisión e tempos de resposta. Os elementos do fogar
que o usuario pode controlar coa HMI son presentados nunha Interface Gráfica de Usuario (GUI).
Os devanditos elementos son amosados seguindo dous paradigmas distintos de estimulación: 1) os
elementos son presentados un a un ou 2) todos os elementos dunha mesma fila/columna son presentados
conxuntamente. Ambas as interfaces, a baseada no potencial P300 ou a baseada en movementos das
pálpebras, empregan unha única canle de entrada do mesmo dispositivo EEG para capturar a actividade
cerebral/ocular do usuario. Ademais, a GUI é totalmente configurable, polo que pode adaptarse ás
necesidades do usuario. [Resumen]
En este trabajo analizamos y desarrollamos nuevas Interfaces Hombre-Máquina (HMI) que faciliten la
comunicación y la interacción de personas que sufren problemas motrices severos con su entorno y
dispositivos cotidianos a través de un hogar inteligente. Un hogar inteligente puede definirse como una
residencia equipada con una red de comunicación, sensores, dispositivos y electrodomésticos que los
residentes pueden controlar, acceder y monitorizar de forma remota para satisfacer sus necesidades de la
vida diaria. Representa un sistema sensible al contexto que, utilizando tecnologías como Internet de las
cosas (IoT) y técnicas de inteligencia artificial, puede detectar, anticipar y responder a las actividades en
el hogar.
Las HMI ofrecen nuevos canales de comunicación que permiten a sus usuarios interactuar con
dispositivos de su entorno empleando las señales biológicas provenientes de diferentes partes de su
cuerpo como comandos de control. Es decir, las señales producidas por el cerebro, los músculos o los
ojos, por ejemplo, pueden emplearse para controlar dispositivos externos. Por lo tanto, la combinación
de estas interfaces con un hogar inteligente resulta una tecnología de gran utilidad para personas con
discapacidades motrices severas o lesiones graves en sus extremidades, ya que les permite interactuar
con su entorno o controlar partes dañadas de su cuerpo sin necesidad de grandes movimientos físicos.
Una amplia variedad de señales biológicas pueden ser empleadas para interactuar con las HMI. El
uso de cada una de ellas dependerá del objetivo de la interfaz y de las capacidades motrices que posea
el usuario. Los tres tipos más comunes de señales biológicas son: musculares, oculares y cerebrales. La
tesis presentada se centra principalmente en el análisis y desarrollo de interfaces basadas en las señales
cerebrales, también conocidas como Interfaces Cerebro-Ordenador (BCI) o Interfaces Cerebro-Máquina
(BMI). Este tipo de interfaces capturan las señales biológicas producidas por la actividad neuronal del
usuario a través de técnicas no invasivas como la Electroencefalografía (EEG) y las traduce en comandos
de control para dispositivos externos. Por lo tanto, estas ofrecen un nuevo canal de comunicación con
el entorno que no necesita de ningún movimiento muscular, simplemente utiliza los pensamientos del
usuario.
Durante los últimos años, varios trabajos han propuesto diferentes interfaces BCI que ofrecen
resultados precisos y de buena calidad. Sin embargo, la mayoría de ellos usan dispositivos clínicos muy
caros y con numerosos electrodos para capturar las señales cerebrales. Esto puede resultar incómodo
para los usuarios y provocar que las interfaces sean difíciles de usar, por lo que en nuestro trabajo nos
centramos en desarrollar interfaces BCI de bajo coste que empleen dispositivos abiertos con un número
reducido de electrodos.
Como primera propuesta, presentamos una arquitectura que integra una aplicación BCI en un
entorno de IoT para el control de una casa inteligente. Para este propósito, hemos desarrollado un
dispositivo EEG abierto y de bajo coste que captura señales cerebrales de dos canales de entrada.
Haciendo uso únicamente de un canal, proponemos y comparamos distintos algoritmos de extracción de características basados en transformadas deslizantes (ST) para determinar el estado ocular del
usuario, es decir, ojos abiertos (oE) u ojos cerrados (cE). En primer lugar, comparamos transformadas
reales y complejas. Posteriormente, consideramos ventanas deslizantes con solapamiento en lugar de
emplear el enfoque tradicional con ventanas no solapadas, reduciendo así el retraso entre la adquisición
de la señal y la toma de decisión. Los algoritmos incluyen diferentes configuraciones orientadas a
proporcionar resultados precisos con baja carga computacional. Además, realizamos una extensión
de la arquitectura donde los datos de ambos canales son empleados conjuntamente para construir un
conjunto de características bidimensional que proporcione resultados más robustos y precisos. Con este
propóstito, las técnicas empleadas anteriormente para extraer las características son comparadas con otras
estrategias comúnmente utilizadas en las aplicaciones BCI, como la Transformada Discreta Wavelet
(DWT). Además, comparamos tres algoritmos de clasificación diferentes, uno basado en umbrales, y
otros dos basados en el Análisis Discriminante Lineal (LDA) y en las Máquinas de Vectores de Soporte
(SVM).
La segunda propuesta de nuestro trabajo es una HMI para el control de un hogar inteligente
empleando un dispositivo de grabación de señales biológicas de un único canal. El potencial evocado
P300 y los parpadeos son comparados como señales de control, con el objetivo de determinar cuál de
ellas ofrece los mejores resultados en términos de precisión y tiempos de respuesta. Los elementos del
hogar que el usuario puede controlar con la HMI son presentados en una interfaz gráfica de usuario
(GUI). Dichos elementos son mostrados siguiendo dos paradigmas distintos de estimulación: 1) los
elementos son presentados uno a uno o 2) todos los elementos de una misma fila/columna son presentados
conjuntamente. Ambas interfaces, la basada en el potencial P300 o la basada en parpadeos, emplean un
único canal de entrada del mismo dispositivo EEG para capturar la actividad cerebral/ocular del usuario.
Además, la GUI es totalmente configurable, por lo que puede adaptarse a las necesidades del usuario [Abstract]
In this work, we analyze and develop new Human-Machine Interfaces (HMIs) that can help the
communication and interaction of people who suffer from motor or neurological damages, with their
environment and daily life devices working through a smart-home system. A smart home can be defined
as a residence equipped with a communication network, connected sensors, devices, and appliances that
can be controlled, accessed and monitored remotely by the residents in order to satisfy their daily life
needs. It represents a context-aware system that, using technologies such as Internet of Things (IoT) and
artificial intelligence algorithms, can sense, anticipate and respond to activities in the home.
The HMIs offer new communication channels to interact with outer devices where the electrical
signals coming from different parts of the human body, such as the brain, muscles or the eyes, can be
used as control commands. Therefore, the integration of these interfaces into a smart-home system,
results in an extremely useful technology for patients with severe motor disabilities or serious injuries
in their limbs, since it allows them to interact with their environment or control damaged parts of their
bodies without the need for large physical movements.
A wide variety of biological signals can be used to interact with HMIs. The use of each of them
will depend on the objective of the interface and the motor skills that the user possesses. The three
most common types of biological signals are: muscular signals, ocular signals and brain signals. The
presented thesis is mainly focused on the analysis and development of interfaces based on brain signals,
which are also known as Brain-Computer Interface (BCI) or Brain-Machine Interface (BMI). This kind
of interfaces captures the biological signals produced by the neural activity of the user’s brain, through
non-invasive techniques such as Electroencephalography (EEG), and translates them into commands for
external devices. Thus, they offer a new communication channel with the environment without using
muscle movements, but just employing the user’s thoughts.
During the last decades, several works have proposed different BCI interfaces that offer accurate and
good quality results. However, most of them use expensive clinical devices and numerous electrodes to
capture brain signals. This can be uncomfortable for users and make the interfaces difficult to use, so in
our work we focus on developing low-cost BCI systems that employ open devices with a small number
of electrodes.
As a first approach, we propose an architecture for integrating a BCI application in an IoT
environment for home automation. For this purpose, we develop a low-cost open-source EEG device
which acquires EEG signals from two input channels. Using the EEG data of only one channel,
we propose and compare different feature extraction algorithms based on Sliding Transforms (STs)
techniques for determining the user’s eye states, i.e., open eyes (oE) or closed eyes (cE). Firstly, we
compare real-valued and complex-valued transforms. Secondly, we consider sliding windows with
overlap instead of using the traditional approach with non-overlapped windows, thus reducing the
delay time between acquisition and decision. The algorithms include different configurations oriented to provide accurate results with a low computational burden. After that, we extended the study to
the situation where the data captured by both channels are jointly employed in order to build a twodimensional
feature set that may provide higher and more robust results. To this end, we compare
the previously analyzed feature extraction techniques with other strategies commonly used in BCI
applications, such as Discrete Wavelet Transform (DWT). We compare three classification techniques,
one based on a threshold classifier and another two that implement the well known Linear Discriminant
Analysis (LDA) and Support Vector Machine (SVM) algorithms.
As a second approach, we propose an HMI for environmental control using a single-channel
recording system. The P300 potential and eye blinks are compared as control signals in order to
determine which one offers the best performance in terms of accuracy and response time. The home
elements to be controlled are displayed in a Graphical User Interface (GUI) following a matrix-form
and presented to users using two different stimulation paradigms: 1) home elements are intensified one
by one or 2) all the elements of the same row/column are jointly intensified at the same time. Both
interfaces, P300-based or blink-based, employ only one input channel of the same EEG device to capture
the brain/eye user’s activity. The GUI is fully configurable, so it can be adapted to the user’s needs.
Palabras chave
Interacción hombre-ordenador
Domótica
Internet de las cosas
Redes neuronales(Neurobiología)
Ingeniería biomédica-Simulación por ordenador
Domótica
Internet de las cosas
Redes neuronales(Neurobiología)
Ingeniería biomédica-Simulación por ordenador
Dereitos
Atribución-NoComercial-CompartirIgual 3.0 España