Localización y detección de anomalías utilizando imágenes en un marco bayesiano

Abstract

[Resumen] La localización y la detección de anomalías son desafíos importantes en la videovigilancia y en la detección de fallos. Considere el caso de un vehículo que patrulla en una estación de tren: este necesita saber dónde se encuentra e identificar las posibles anomalías, como son, un equipaje abandonado o comportamientos humanos sospechosos. En este artículo, abordamos la localización y la detección de anomalías mediante un marco bayesiano y modelos de aprendizaje profundo. Donde asumimos que el vehículo se mueve en un entorno conocido. Durante la fase de entrenamiento, se construye una Red Bayesiana Dinámica Acoplada a través del agrupamiento de los datos de odometría y el aprendizaje de un Autocodificador Variacional de Kalman utilizando las imágenes de una cámara. Posteriormente, en la fase de prueba, solo se proporcionan datos de video. El enfoque propuesto plantea el uso de un Filtro de Partículas de Salto de Markov Acoplado que aprovecha dicha Red Bayesiana Dinámica para extraer anomalías y localizar el vehículo. Por tanto, las anomalías son tanto una salida del método como un resultado intermedio para guiar el proceso de localización. En este trabajo hemos evaluado el método propuesto en dos conjuntos de datos reales.

[Abstract] Localization and anomaly detection are important challenges in video surveillance and fault detection. Consider the case of a vehicle patrolling a train station: it needs to know where it is located and identify anomalies such as abandoned luggage or suspicious human behavior. In this article, we tackle localization and anomaly detection using a Bayesian framework and Deep Learning models.We assume that the vehicle is moving in a known environment. During the training phase of the model, a Coupled Dynamic Bayesian Network is built by clustering the odometry data and by learning a Kalman Variational Autoencoder on the camera data. Subsequently, in the testing phase, only video data is provided. A Coupled Markov Jump Particle Filter leverages the Dynamic Bayesian Network to extract anomalies and localize the vehicle. Anomalies are both an output of the method and an intermediate result to guide the localization process. We evaluate the method on two real-world datasets.