Paralelización del algoritmo de optimización de enjambre de partículas usando Spark

Abstract

[Resumen] Muchos problemas de optimización hoy en día, en multitud de áreas como la bioinformática, la logística o la ingeniería, presentan una gran dificultad que requiere el uso de herramientas y métodos eficientes, desde el punto de vista computacional, para alcanzar buenos resultados en tiempos razonables. Para resolverlos se suelen usar métodos de optimización global, y, entre ellos, las metaheurísticas son los preferidos, por su eficiencia resolviendo problemas complejos. Sin embargo, en muchos casos reales las metaheurísticas todavía necesitan mucho tiempo de cálculo para obtener resultados aceptables. La computación de altas prestaciones (HPC) puede ayudar con metaheurísticas paralelas a recortar este tiempo. No obstante, el acceso a recursos HPC no siempre es fácil y la programación paralela con modelos tradicionales requiere experiencia por parte del programador. Hoy en día, el acceso a potentes recursos computacionales es más sencillo a través de las nuevas infraestructuras cloud, que nos ofrecen plataformas como servicio (PaaS). Además, existen nuevos modelos de programación para entornos distribuidos que facilitan la tarea al programador, abaratando y acortando el tiempo de desarrollo del producto. El objetivo de este trabajo es el diseño, implementación y evaluación de estrategias de paralelización para la metaheurística PSO (Particle Swarm Optimization) usando el framework Spark.

[Abstract] Many optimization problems nowadays, in many areas such as bioinformatics, logistics or engineering, are so challenging that require the use of efficient tools and methods, from the computational point of view, to achieve good results in reasonable times. To solve these problems, global optimization methods are usually used, and among them, metaheuristics are preferred, due to their efficiency in solving complex problems. However, in many real problems, metaheuristics still require a large computing time to obtain acceptable results. High performance computing (HPC) can help, by means of parallel metaheuristics, to cut this computation time. Nevertheless, access to HPC resources is not always easy and parallel programming with traditional models requires programmer expertise. Nowadays, access to powerful computing resources is easier through cloud infrastructures, which offer platforms as a service (PaaS). Further, there are new programming models for distributed environments that facilitate programming by reducing and shortening the time of product development. The objective of this work is the design, implementation and evaluation of parallel strategies for PSO metaheuristic using the Spark framework.