Procesamiento escalable de datos de red para sistemas de detección de anomalías

Abstract

[Resumen] La gran importancia de las redes de comunicaciones en el desarrollo diario de actividades en empresas e instituciones requiere un análisis de tráfico en tiempo real para minimizar los daños generados. Esto puede representarse mediante modelos entre los que se encuentra Cyber Kill Chain que caracteriza los ataques en fases, de manera que cuanto más avance mayores serán las consecuencias. Para detectar estas anomalías existen gran cantidad de referencias en la bibliografía sobre la utilización de técnicas de Inteligencia Artificial. Estas técnicas requieren en muchas ocasiones de un procesado previo de los datos, así como la inclusión de nuevas características. Por ello, y para abordar la ingesta de datos de telemetría en redes de comunicaciones se ha desarrollado un pipeline en un entorno escalable. Este permitirá la obtención y transformación de tráfico de red, integrando este desarrollo en un sistema de clasificación y visualización basado en mapas autoorganizados. Con este sistema se han realizado pruebas para estudiar su rendimiento y la variación en las características generadas.[Abstract] The proper performance of communication networks is paramount for the daily development of companies and institutions. To achieve this, a real time network analysis must be performed in order to minimize the possible resulting damages. Cyber Kill Chain model helps to characterize attacks in different stages, showing that as the attack moves along them, the risk of consequences increases. There are many references of Artificial Intelligence methods in the literature to detect those anomalies. Often it is required the the inclusion of new features or a process before the selected method could be applied. As an approach to the network data intake and preprocess of features, a scalable pipeline has been developed. This system allows the intake and transformation of network data and has been included on a self organized based classification and visualization system. This pipeline has been used to perform several experiments to study its performance and the variation on the generated features.