New Technologies for Internet of Things and Augmented Reality Applications for Domotic Environments and Industry 4.0

Abstract

[Abstract] In recent years, the technology related to the Internet of Things (IoT), has gained interest in several elds, from home automation to industry. IoT systems allow heterogeneous devices such as household appliances, machinery, or vehicles to communicate with each other through an interconnected network and to exchange data related to the physical environment in which they are located. However, the rapid evolution of the technology requires analyzing the architectures and platforms to support every scenario in which IoT is deployed to ensure that the performance is appropriate. The Industry 4.0 paradigm relies on IoT networks to exchange the vast amount of information generated by sensors and control systems with the goal of optimizing business processes through other technologies like robotics, big data, arti cial intelligence, among others. Speci cally, one of the key technologies for the Industry 4.0 is Augmented Reality (AR) which has demonstrated to be a good ally for displaying information from IoT networks in the context of the digital transformation of the industry. However, the implementation of such systems poses several challenges, especially if quality of experience considerations are taken into account. First, hardware restrictions of the end devices limit the available computing power, and the energy available can also be limited for devices using batteries. Next, the technology heterogeneity in IoT and AR systems makes it di cult to implement interactions between them, as AR frameworks use technologies that di er remarkably from those used for the development of IoT device software. This thesis provides an analysis of the current state-of-the-art technologies regarding AR and IoT systems with special attention to the industrial applications of those technologies under the umbrella of the Industry 4.0 paradigm. Due to its novelty and the lack of proper academic reviews, this thesis starts with an extensive analysis and review of current AR technologies followed by the description of a speci c use case of AR technologies for smart public buildings. Next, several use cases of IoT systems are presented, analyzing the state of the art of each of them. Finally, this thesis tackles the integration of IoT and AR systems, proposing several architectures and frameworks to make it possible, and several use cases for speci c industrial applications are presented making use of such an integration of IoT and AR. Throughout this thesis several commercial and academic solutions are evaluated, and some novel architectures and frameworks are proposed to improve the performance of these systems and provide an adequate user experience. Moreover, a hands-on approach was taken in every section of this thesis by designing, implementing, and testing several demonstrative applications that provide a real-world experimental setup for testing the proposed systems.

[Resumen] En los últimos años, la tecnología relacionada con el Internet de las Cosas (IoT, Internet of Things) ha ido ganando interés en diferentes sectores que van desde la domótica en el hogar hasta la industria. Los sistemas IoT permiten a dispositivos heterogéneos como electrodomésticos, maquinaria industrial o vehículos comunicarse entre ellos a través de una red de interconexión e intercambiar información relacionada con el mundo físico a su alrededor. Sin embargo, la rápida evolución de la tecnología requiere que las arquitecturas y plataformas sean reanalizadas para soportar todos los escenarios en los que los sistemas IoT están desplegados con el objetivo de asegurar un rendimiento adecuado de los mismos. El paradigma de la Industria 4.0 depende de redes IoT para intercambiar las grandes cantidades de información generada por sensores y sistemas de control con el objetivo de optimizar los procesos de negocio gracias a tecnologías como robótica, big data, inteligencia arti cial, entre otros. En concreto, una de las tecnologías clave para la Industria 4.0 es la Realidad Aumentada (RA) la cual ha demostrado ser un aliado perfecto para presentar la información generada en las redes IoT en el contexto de la transformación digital de la industria. Sin embargo, la implementación de estos sistemas supone diferentes retos, sobre todo si tenemos en cuenta cuestiones relacionadas con la Calidad de la Experiencia (QoE, Quality of Experience). En primer lugar, las restricciones hardware de los dispositivos finales, limitan la capacidad computacional disponible, y la energía también puede estar limitada en los dispositivos que dependen del uso de baterías. En segundo lugar, la disparidad de tecnologías utilizadas en sistemas IoT y sistemas de RA di culta la implementaci on de interacciones entre ellos debido a que los entornos de desarrollo de RA usan tecnologías considerablemente diferentes a las usadas en el software de los dispositivos IoT. Esta tesis contiene un análisis del estado del arte actual de la tecnología relacionado con sistemas de RA e IoT prestando especial atención a las aplicaciones comerciales de estas tecnologías bajo el paraguas del paradigma de la Industria 4.0. Debido a su novedad y a la falta de revisiones académicas, esta tesis comienza con una revisión y análisis exhaustivo de las tecnologías de RA actuales, seguido de la descripción de un caso de uso específi co de RA para edi cios públicos inteligentes. Después, se describen diferentes casos de uso de sistemas IoT analizando el estado del arte relacionado con cada uno de ellos. Para analizar, esta tesis aborda la integración de sistemas de IoT y sistemas de RA proponiendo diferentes arquitecturas y frameworks para llevarla a cabo y se presentan diferentes casos de uso de aplicaciones industriales específi cas que hacen uso de dicha integración entre IoT y RA. A lo largo de esta tesis se validan distintas soluciones académicas y comerciales y se proponen nuevas arquitecturas y frameworks para mejorar el rendimiento de estos sistemas y proporcionar una experiencia de usuario adecuada. Además, en cada sección de esta tesis, se adopta una aproximación práctica, diseñando, implementando y evaluando diferentes aplicaciones demostrativas que proporcionan un entorno real de pruebas para veri car los sistemas propuestos.

[Resumo] Nos últimos anos, a tecnoloxía vinculada co Internet das Cousas (IoT, Internet of Things) ven gañando interese en diferentes sectores que van dende a domótica no fogar ata a industria. Os sistemas IoT permiten a dispositivos heteroxéneos como electrodomésticos, maquinaria industrial ou vehículos comunicarse entre eles por medio dunha rede de interconexión e intercambiar información relacionada co mundo físico ao seu redor. Sen embargo, a rápida evolución da tecnoloxía require que as arquitecturas e plataformas sexan reanalizadas para soportar todos os escenarios nos que os sistemas IoT están despregados co obxectivo de asegurar un rendemento axeitado dos mesmos. O paradigma da Industria 4.0 depende de redes de IoT para intercambiar as grandes cantidades de información xerada por sensores e sistemas de control co obxectivo de optimizar os procesos de negocio gracias a tecnoloxías como robótica, big data, intelixencia arti cial, entre outros. En concreto, unha das tecnoloxías clave para a Industria 4.0 é a Realidade Aumentada (RA) a cal demostrou ser un aliado perfecto para presentar a información xerada polas redes IoT no contexto da transformación dixital da industria. Sen embargo, a implementación destes sistemas supón diferentes retos, sobre todo se temos en conta as cuestions relacionadas coa Calidade da Experiencia (QoE, Quality of Experience). En primeiro lugar, a disparidade de tecnoloxías utilizadas en sistemas IoT e sistemas de RA di culta a implementación de interaccións entre eles debido a que as contornas de desenvolvemento de RA usan tecnoloxías considerablemente diferentes ás usadas no software dos dispositivos IoT. Esta tese contén unha anáalise do estado da arte actual das tecnoloxías relacionadas con sistemas de RA e IoT prestando especial atención ás aplicacións comerciais destas tecnoloxías baixo o paraugas do paradigma da Industria 4.0. Debido á súa novidade e a falta de revisións académicas, esta tese comeza cunha revisión e análise exhaustivo das tecnoloxías de RA actuais, seguido da descripción dun caso de uso específi co de RA para edi cios públicos intelixentes. Despois, descríbense diferentes casos de uso de sistemas IoT analizando o estado da arte relacionado con cada un deles. Para a nalizar, esta tese aborda a integración de sistemas IoT e sistemas de RA propoñendo diferentes arquitecturas e frameworks para levala a cabo e presentando diferentes casos de uso de aplicacións industriais específi cas que fan uso de dita integración entre IoT e RA. Ó largo desta tese valídanse diferentes solucións académicas e comerciais e propóñense novas arquitecturas e frameworks para mellorar o rendemento destes sistemas e proporcionar unha experiencia de usuario axeitada. Ademais, en cada sección desta tese, adóptase unha aproximación práctica, deseñando, implementando e avaliando diferentes aplicacións demostrativas que proporcionan unha contorna real de probas para veri car os sistemas propostos.