Procesamiento y análisis de datos meteorológicos de la isla de Tenerife

Abstract

[Resumen]: El objetivo de este proyecto de fin de grado es el desarrollo de una solución para el procesamiento y visualización de datos meteorológicos procedentes de bases de datos internas del Cabildo de Tenerife, los cuales son distintas métricas recogidas por una gran cantidad de sensores de distintas estaciones distribuidas por toda la isla. Este trabajo se ha dividido en diferentes fases para conseguir este objetivo. La primera de ellas es una fase introductoria donde se trata tanto la motivación como los objetivos principales que se quieren lograr, seguida de una explicación de las distintas tecnologías empleadas en el desarrollo del proyecto. A continuación se analizaron los datos de origen y las necesidades de explotación de los mismos, permitiendo continuar con las siguientes fases de diseño e implementación de la solución. Por último se muestra esta solución acompañada de unas conclusiones e ideas de trabajo futuro. Para la realización del proyecto se utilizó por un lado Apache Airflow para el procesamiento de los datos de origen, la cual es una herramienta totalmente programada con el lenguaje Python. Este mismo lenguaje también se utilizó tanto para el análisis exploratorio como para el desarrollo de los modelos de predicción de los datos una vez procesados. La parte de visualización de los datos se llevó a cabo con Power BI, implementando distintos dashboards interactivos. En este proyecto se utilizó una metodología basada en sprints, con un seguimiento continuo por parte de los tutores elaborando distintas entregas semanales.

[Abstract]: The objective of this end-of-degree final project is to develop a solution for the processing and visualization of meteorological data from internal databases of Cabildo de Tenerife. These databases contain various metrics collected by a large number of sensors from different stations distributed throughout the island. This work has been divided into different phases to achieve this objective. The first phase is an introductory stage where both motivation and the main objectives to be achieved are addressed, followed by an explanation of the various technologies used in the project’s development. Next, the source data and their exploitation needs were analyzed, allowing for the continuation of the subsequent phases of solution design and implementation. Finally, the solution is presented along with conclusions and ideas for future work. In the project, Apache Airflow was used for processing the source data, a tool entirely programmed in Python language. This same language was also employed for both exploratory analysis and the development of prediction models for the processed data. The data visualization part was carried out using Power BI, implementing various interactive dashboards. The project employed a sprint-based methodology, with continuous monitoring by directors and the submission of different weekly deliverables.