Development of Techniques to Optimize Automated Machine Learning Processes in High Performance Computing Systems

Abstract

[Resumo]: A Intelixencia Artificial (IA) emerxeu como un dos campos máis revolucionarios desta década. Parte do seu éxito débese aos avances na Computación de Altas Prestacións (HPC), que permitiron manexar modelos cada vez máis esixentes. Porén,a dependencia de infraestruturas computacionais a grande escala acentúa o desafío de optimizar a eficiencia computacional, xa que os custos enerxéticos e de recursos medran notablemente. Esta Tese aborda estes desafíos desenvolvendo novos mecanismos para acadar unha converxencia entre o Automated Machine Learning (AutoML) e o HPC. A súa motivación xorde de dúas observacións chave: a sobreparametrización dos modelos actuais e o baixo acoplamento entre a arquitectura destes modelos e o hardware no que se executan. Para abordar estes problemas, esta Tese explora a xeración automática de arquitecturas de redes simplificadas, pero precisas,que optimizan o uso de recursos. Concretamente, presenta novos algoritmos para apoda de arquitecturas de redes neurais e o desenvolvemento de rutinas de álxebra lineal altamente optimizadas, deseñadas para mellorar o seu rendemento en GPU. Para lograr isto, a nosa proposta define e emprega dous novos espazos de procura interrelacionados e altamente parametrizables, un centrado na precisión e o outro norendemento computacional. Facendo uso destes espazos de procura, desenvolvemos estratexias de autoaxuste unificado que permiten xerar automaticamente modelos cunha relación precisión-rendemento superior. A nosa avaliación demostra que é posible xerar modelos comprimidos cunha alta eficiencia computacional e cun impacto mínimo ou nulo na precisión.[Resumen]: La Inteligencia Artificial (IA) ha emergido como uno de los campos más revolucionarios de esta década. Parte de su éxito se debe a los avances en la Computación de Altas Prestaciones (HPC), que han permitido manejar modelos cada vez más exigentes. Sin embargo, la dependencia de infraestructuras computacionales a gran escala acentúa el desafío de optimizar la eficiencia computacional, ya que los costos energéticos y de recursos crecen significativamente. Esta Tesis aborda estos desafíos desarrollando nuevos mecanismos para lograr una convergencia entre el Automated Machine Learning (AutoML) y el HPC. Su motivación surge de dos observaciones clave: la sobreparametrización de los modelos actuales y el bajo acoplamiento entre la arquitectura de estos modelos y el hardware en el que se ejecutan. Para abordar estos problemas, esta Tesis explora la generación automática de arquitecturas de redes simplificadas, pero precisas, que optimizan el uso de recursos. Concretamente, presenta nuevos algoritmos para la poda de arquitecturas de redes neuronales e implementaciones de rutinas de álgebra lineal altamente optimizadas, diseñadas para mejorar su rendimiento en GPU. Para lograr esto, nuestra propuesta define dos nuevos espacios de búsqueda interrelacionados y altamente parametrizables, uno centrado en la precisión y el otro en el rendimiento computacional. Haciendo uso de estos espacios de búsqueda, desarrollamos estrategias de autoajuste unificado orientadas a generar automáticamente modelos con una relación precisión-rendimiento superior. Nuestra evaluación demuestra que es posible generar modelos comprimidos con una alta eficiencia computacional y un impacto mínimo o nulo en la precisión[Abstract]: Artificial Intelligence (AI) has emerged as one of the most revolutionary fields ofthis decade. Part of its success is due to advancements in High Performance Computing(HPC), which have made it possible to handle increasingly demanding models.However, the reliance on large-scale computational infrastructures emphasizes the challenge of optimizing computational efficiency, as energy and resource costs growsignificantly. This Thesis tackles these challenges by developing new mechanisms to achieve a convergence between Automated Machine Learning (AutoML) and HPC. Its motivation arises from two key observations: the over-parameterization of current models and the limited coupling between the architecture of these models andthe hardware on which they are executed. To overcome these issues, this Thesis explores the automatic generation of simplified yet accurate network architectures that optimize resource usage. Specifically, it introduces novel algorithms for pruning neural network architectures and highly optimized implementations of linear algebraroutines designed to enhance their performance on GPU. To achieve this, ourproposal defines two new interrelated and highly parameterizable search spaces, one focused on accuracy and the other on computational performance. By leveragingthese search spaces, we develop new unified autotuning strategies that enable the automatic generation of models with optimized accuracy-to-performance tradeoffs.Our evaluation demonstrates that it is possible to generate compressed models with high computational efficiency while maintaining little to no impact on accuracy.