Análisis, Diseño e Implementación de una Arquitectura de Servicios Cloud para un Lago de Datos en el Ámbito Turístico

Abstract

[Resumen]: La información en el ámbito turístico está dispersa (estadísticas oficiales, webs de búsqueda de alojamiento, webs de agentes promotores del turismo y servicios de mapas con ubicaciones de interés turístico, entre otros). El problema es que es difícil combinar esta información, es necesario un entorno que nos provea de repositorio de datos y capacidad de cómputo y analítica. Un lago de dato es un entorno que aúna repositorio y capacidad de análisis de datos y su uso es creciente a pesar de las complejidades técnicas que supone su implantación ya que suele hacer uso de tecnologías altamente acopladas en proveedores de cloud público. Pero estos servicios no son apropiados para todo el mundo, ya que su acceso no es gratuito y la dificultad de uso es alta. Por ello en este TFG se propone el análisis, diseño e implementación de una arquitectura de servicios cloud de múltiples proveedores para disponibilizar un lago de datos, mediante el uso de tecnologías y herramientas de uso gratuito, sencillo y ampliamente extendido. Para llevar a cabo el proyecto fue necesario estudiar qué es el cloud computing, qué tipos de cloud hay y cuáles son los principales proveedores. Además de analizar el estado del arte en tecnologías de despliegue de lagos de datos y cuáles son las diferencias entre los lagos de datos y arquitecturas similares. También se hizo un estudio de las herramientas que se podían utilizar para encontrar las que mejor se adaptaran al proyecto. Después se fue desarrollando el código de la ingesta y procesado de datos mediante iteraciones. Así como el código necesario para automatizar el proyecto lo máximo posible. Por último, se utilizó un servicio de consumo de datos para analizar y visualizar los datos obtenidos a lo largo del proceso, estos datos son del ámbito turístico de Galicia y se han conseguido combinando dos fuentes de datos diferentes.

[Abstract]: Information in the field of tourism is scattered (official statistics, accommodation search websites, websites of tourism promotion agents and map services with locations of tourist interest, among others). The problem is that it is difficult to combine this information, we need an environment that provides us with a data repository and computing and analytical capacity. A data lake is an environment that combines repository and data analysis capacity and its use is growing despite the technical complexities involved in its implementation, since it usually makes use of highly coupled technologies in public cloud providers. But these services are not suitable for everyone, since their access is not free and the difficulty of use is high. For this reason, this Bachelor’s Project proposes the analysis, design and implementation of a multi-vendor cloud service architecture to make a data lake available, through the use of free, simple and widely used technologies and tools. To carry out the project it was necessary to study what cloud computing is, what types of cloud there are and which are the main providers. In addition to analyzing the state of the art in data lake deployment technologies and what are the differences between data lakes and similar architectures. A study was also made of the tools that could be used to find the ones that best fit the project. Then the code for the data ingestion and processing was developed through iterations. As well as the necessary code to automate the project as much as possible. Finally, a data consumption service was used to analyze and visualize the data obtained throughout the process, these data are from the Galician tourism sector and have been achieved by combining two different data sources.