Método adaptativo en tiempo real para la detección de anomalías mediante aprendizaje automático

Abstract

[Resumen] La detección de anomalías es la subrama del aprendizaje automático encargada de construir modelos capaces de diferenciar entre datos normales y anómalos. Ya que los datos normales son los que prevalecen en estos escenarios y sus características suelen ser bien conocidas, el entrenamiento de los sistemas se realiza mayormente mediante estos conjuntos de datos normales, lo que diferencia a la detección de anomalías de otros problemas de clasificación estándar. Debido al habitual uso de estos sistemas en monitorización y a la inexistencia de métodos capaces de aprender en tiempo real, en este proyecto de investigación se presenta un nuevo método que proporciona dicha capacidad de adaptación online. El método desarrollado recibe el nombre de OnlineS-DSCH (Online and Subdivisible Distributed Scaled Convex Hull) y basa su funcionamiento en las propiedades de los cierres convexos. Tras su desarrollo, se ha evaluado y comparado su rendimiento con los principales algoritmos del área sobre diferentes conjuntos de datos, tanto reales como artificiales. Como consecuencia, se ha obtenido un algoritmo con la capacidad de aprendizaje online, fácilmente configurable y cuyas predicciones son justificables, todo ello sin que suponga una merma en su eficacia en relación a las otras soluciones disponibles. Por último, su ejecución se puede llevar a cabo de manera distribuida y en paralelo, lo que supone una ventaja interesante en el tratamiento de conjuntos de datos de alta dimensionalidad.

[Abstract] In machine learning, anomaly detection is the branch responsible for building models capable of differentiating between normal and anomalous data. Normal data prevail in scenarios of this type, and their features are usually well known, so the training phase is largely done through these normal data sets, which differentiates the anomaly detection from other standard classification problems. Due to the usual use of these systems in monitoring and the lack of methods capable of learning in real time, this research project presents a new method that provides such online adaptability. The method developed is called OnlineS-DSCH (Online and Subdivisible Distributed Scaled Convex Hull) and bases its operation on the properties of convex hulls. After its development, its performance has been evaluated and compared with the main algorithms of the area on different real and artificial data sets. As a consequence, an algorithm with the online learning capacity, easily configurable and whose predictions are justifiable, has been obtained, all without diminishing its effectiveness in relation to the other available solutions. Finally, its execution can be carried out in a distributed and parallel way, which is an interesting advantage in the treatment of high dimensionality data sets.