Acceleration of Feature Selection Methods on Heterogeneous High Performance Computing Systems

Abstract

[Resumo]: Nos últimos anos, campos como a Intelixencia Artificial (AI, siglas en inglés) e a Aprendizaxe Automática (ML, siglas en inglés) medraron impulsados pola dispoñibilidade de datos (fenómeno Big Data). Aínda que permiten extraer coñecemento valioso, estes datos adoitan conter características irrelevantes, redundantes ou ruidosas que dificultan a análise e aumentan o custo computacional. A Selección de Características (FS, siglas en inglés) baseada en Información Mutua (MI, siglas en inglés) úsase amplamente para identificalas e eliminalas, pero os seus requisitos computacionais limitan a súa aplicación a conxuntos de datos de gran tamaño. Os sistemas de Computación de Altas Prestacións (HPC, siglas en inglés) incrementaron significativamente a súa capacidade, desde plataformas de memoria compartida ata grandes clústeres e supercomputadoras con ou sen GPUs. Esta tese aborda a aceleración de algoritmos de FS baseados en MI en sistemas HPC heteroxéneos mediante paralelización, reformulación algorítmica e optimizacións adaptadas ao hardware. Realízase unha avaliación experimental extensa para caracterizar o rendemento en distintos sistemas, datos e parámetros, e analízanse a portabilidade do rendemento e o axuste automático en hardware de distintos fabricantes. Os resultados amosan: (1) eficiencias paralelas de ata o 89% nun clúster de 16 nodos (256 núcleos de CPU); (2) procesamento de conxuntos de datos de ata 256 GiB con memoria distribuída (64 GiB por nodo); (3) aceleracións de ata 329× (precisión completa) e 382× (precisión reducida) nunha GPU NVIDIA A100 fronte a unha implementación secuencial en CPU; e (4) procesamento de conxuntos de datos maiores que a memoria da GPU, incluíndo 6 GiB nunha GPU de 4 GiB e 24 GiB nunha GPU de 16 GiB.

[Resumen]: En los últimos años, campos como la Inteligencia Artificial (AI, siglas en inglés) y el Aprendizaje Automático (ML, siglas en inglés) han crecido impulsados por la disponibilidad de datos (fenómeno Big Data). Aunque permiten extraer conocimiento valioso, estos datos suelen contener características irrelevantes, redundantes o ruidosas que dificultan el análisis y aumentan el coste computacional. La Selección de Características (FS, siglas en inglés) basada en Información Mutua (MI, siglas en inglés) se utiliza ampliamente para identificarlas y eliminarlas, pero sus requisitos computacionales limitan su aplicación a conjuntos de datos de gran tamaño. Los sistemas de Computación de Altas Prestaciones (HPC, siglas en inglés) han incrementado significativamente su capacidad, desde plataformas de memoria compartida hasta grandes clústeres y supercomputadoras con o sin GPUs. Esta tesis aborda la aceleración de algoritmos de FS basados en MI en sistemas HPC heterogéneos mediante paralelización, reformulación algorítmica y optimizaciones adaptadas al hardware. Se realiza una evaluación experimental extensa para caracterizar el rendimiento en distintos sistemas, datos y parámetros, y se analizan la portabilidad del rendimiento y el ajuste automático en hardware de distintos fabricantes. Los resultados muestran: (1) eficiencias paralelas de hasta el 89% en un clúster de 16 nodos (256 núcleos de CPU); (2) procesamiento de conjuntos de datos de hasta 256 GiB con memoria distribuida (64 GiB por nodo); (3) aceleraciones de hasta 329× (precisión completa) y 382× (precisión reducida) en una GPU NVIDIA A100 frente a una implementación secuencial en CPU; y (4) procesamiento de conjuntos de datos mayores que la memoria de la GPU, incluyendo 6 GiB en una GPU de 4 GiB y 24 GiB en una GPU de 16 GiB.

{Abstract]: In recent years, fields such as Artificial Intelligence (AI) and Machine Learning (ML) have grown driven by data availability (the Big Data phenomenon). Although they enable the extraction of valuable knowledge, these data often contain irrelevant, redundant, or noisy features that hinder analysis and increase computational cost. Mutual Information (MI)-based Feature Selection (FS) is widely used to identify and remove such features, but its computational requirements limit its applicability to large-scale datasets. High Performance Computing (HPC) systems have significantly increased their capabilities, from shared-memory platforms to large clusters and supercomputers with or without GPUs. This thesis addresses the acceleration of MI-based FS algorithms on heterogeneous HPC systems through parallelization, algorithmic reformulation, and hardware-aware optimizations. An extensive experimental evaluation is conducted to characterize performance across different systems, datasets, and parameters, and performance portability and autotuning across different vendors are analyzed. The results show: (1) parallel efficiencies of up to 89% on a 16-node cluster (256 CPU cores); (2) processing of datasets up to 256 GiB using distributed memory (64 GiB per node); (3) speedups of up to 329× (full precision) and 382× (reduced precision) on an NVIDIA A100 GPU compared to a sequential CPU implementation; and (4) processing of datasets larger than GPU memory, including 6 GiB on a 4 GiB GPU and 24 GiB on a 16 GiB GPU.