High performance techniques applied to geoprocesses

Abstract

[Resumo] As aplicacións modernas teñen unhas demandas de potencia de cómputo en constante crecemento. Os recentes avances en hardware necesitan do uso de técnicas procedentes do campo da Computación de Altas Prestacións (High Performance Computing, HPC) para poder sacar proveito ás características e potencia que brindan. Esta tese céntrase na aplicación destas técnicas a varios xeoprocesos co obxectivo de maximizar o rendemento. O primeiro xeoproceso que abordamos nesta tese é a concentración parcelaria a través do intercambio de parcelas. Presentamos un algoritmo xenético capaz de atopar boas solucións ao problema combinatorio do intercambio de parcelas. Esta proposta é capaz de empregar paralelismo de memoria compartida e memoria distribuída para reducir de forma drástica o tempo de execución do algoritmo e aumentar a calidade das solucións ao mesmo tempo, cando se empregan varios computadores para distribuír a carga de traballo. O segundo xeoproceso tratado é a visualización de nubes de puntos masivas de datos LiDAR (Light Detection and Ranging ). O traballo realizado neste campo céntrase nunha estratexia de autoaxuste da estrutura de datos multiresolución empregada para maximizar o rendemento dunha ferramenta web de visualización para nubes de puntos masivas. Esta proposta é capaz de reducir os tempo de carga de comparada coas mellores alternativas actuais, mantendo taxas de refresco altas e baixo consumo de memoria. O último xeoproceso no que se traballa nesta Tese é o filtrado de puntos terreo en nubes de puntos LiDAR masivas a nivel territorial. A escala destes dataset presenta difcultades pola presenza de distintos tipos de entornas que precisan de axustes diferentes para un clasificador ou clasificadores diferentes para obter bos resultados. Esta Tese presenta unha nova estratexia multietapa para o filtrado de puntos terreo, capaz de detectar automaticamente o tipo de entorna presente en cada rexión e aplicar o mellor algoritmo de filtrado para a entorna detectada. Grazas a unha implementación que fai uso de Spark, é capaz de realizar a clasificación máis de 8 veces máis rápido que a versión secuencial cando se fai uso de varios nodos.

[Resumo] Las aplicaciones modernas tienen unas demandas de potencia de cómputo en constante aumento. Las recientes avances en hardware necesitan del uso de técnicas procedentes del campo de Computación de Altas Prestaciones (High Performance Computing, HPC) para poder sacar provecho a las características y potencia que brindan. Esta Tesis se centra en la aplicación de estas técnicas a múltiples geoprocesos con el objetivo de maximizar el rendimiento. El primer geoproceso que abordamos en esta Tesis es la concentración parcelaria mediante intercambio de parcelas. Se presenta un algoritmo genético capaz de encontrar buenas soluciones a problema combinatorio que es el intercambio de parcelas. Esta propuesta es capaz de usar paralelismo de memoria compartida y distribuida para reducir drásticamente el tiempo de ejecución del algoritmo y aumentar la cali- dad de las soluciones al mismo tiempo, cuando se emplean varios ordenadores para distribuir la carga de trabajo. El segundo geoproceso tratado es la visualización de nubes de puntos masivas de datos LiDAR (Light Detect on and Rang ng). El trabajo realizado es este campo se centra en una estrategia de autoajuste de la estructura de datos multiresolución usada para maximizar el rendimiento de una herramienta web de visualización para nubes de puntos masivas. Esta propuesta es capaz de reducir los tiempo de carga comparada a las mejores alternativas actuales, manteniendo altas tasas de refresco y bajo consumo de memoria. El último geoproceso en el que se ha trabajado en esta Tesis es el filtrado de puntos terreno en nubes de puntos LiDAR masivas a nivel territorial. La escala de estos dataset presenta desafíos causados por la presencia de distintos tipos de entorno que necesitan ajustes diferentes para un clasificador o clasificadores diferentes para obtener buenos resultados. En esta Tesis se presenta una nueva estrategia multietapa para el filtrado de puntos terreno, capaz de detectar automáticamente el tipo de entorno presente en cada área y aplicar el mejor algoritmo de filtrado para el entorno detectado. Gracias a una implementación usando Spark, es capaz de realizar la clasificación más de 8 veces más rápido que la versión secuencial cuando se emplean varios nodos.

[Abstract] Modern applications dernand cornputational power in ever increasing arnounts. Current hardware advancernents require of techniques frorn the dornain of High Per- forrnance Cornputing (HPC) in order to leverage all of the features and perforrnance they provide. This Thesis focuses on the application of these techniques to rnultiple geoprocesses with the goal of rnaxirnizing perforrnance. The first geoprocess covered in this Thesis is land consolidation through par- cel exchange. Ve present a genetic algorithrn that can find good solutions to the cornbinatorial problern of parcel exchange. This proposal is capable of using shared and distributed rnernory parallelisrn to drastically reduce the execution tirne of the algorithrn and increase the quality of the solutions found at the sarne tirne, when using rnultiple cornputers to distribute the workload. The second geoprocess covered is rnassive LiDAR (Light Detection and Ranging) point clouds visualization. The work on this topic focuses on an autotuning strat- egy to adjust the rnultiresolution data structure used to rnaxirnize the perforrnance of a web-based visualization tool for rnassive point clouds. This strategy provides reduced loading tirnes when cornpared against the best current alternatives, rnain- taining high frarne rates and low rnernory consurnption. The last geoprocess worked on is ground point filtering on territory-level rnassive LiDAR point clouds. The scale of these dataset present challenges due to the presence of different environrnents with different needs for correct classification. In this Thesis a nev rnultistage strategy for ground filtering is presented, capable of autornatically identifying different types of environrnents and applying the best classifier in each one. It is capable of rnatching the best classifiers in each of the environrnents and, thanks to an irnplernentation using Spark, is capable of perforrning the classifi- cation several tirnes faster than the sequential version vhen using rnultiple cornpute nodes.