Automatic video surveillance system in port environments using deep learning

Abstract

[Abstract]: Ports are key to local and regional socio-economic development due to their strategic location for the exchange of goods by sea and land. The large dimensions of port infrastructures together with the volume of traffic and goods make them critical environments in which security is crucial to protect all port operations and the port community. The development of information and communication technologies has enhanced the control of port processes, improving aspects such as security, efficiency in activity and the effectiveness of the port authority in its supervisory functions. In this context, the advances in image processing techniques, and in particular, in deep learning, present a high potential for the automation of image and video analysis tasks to support video surveillance. This project proposes an automatic methodology based on advanced techniques of image processing and deep learning for the analysis of the video stream captured by cameras located in port environments. In particular, the proposed methodology focuses on video surveillance for intrusion detection in specific areas previously delimited. To this end, a multi-stage method is proposed, consisting of a static analysis phase for the detection of objects of interest, such as vehicles or people, and a dynamic analysis stage for the monitoring of the detected objects and the detection of intrusion events in predefined areas. In addition, the system has a configuration interface that allows the delimitation of intrusion areas as well as the definition of masks to discard areas from the automatic analysis. For the training and evaluation of this methodology, it was used a public dataset related to the problem as well as a dataset specific to port environments in order to have a robust system for this application domain. The extracted results show that the proposed methodology allows the detection of the objects of interest as well as its dynamic analysis, enabling the detection of intrusion events in previously delimited restricted areas.[Resumo]: Os portos son pezas clave para o desenvolvemento socioeconómico local e rexional pola súa situación estratéxica para o intercambio de mercancías por vía marítima e terrestre. As elevadas dimensións das infraestruturas portuarias xunto co volume de tráfico e mercancías que transitan por elas fan que sexan entornos críticos nos que a seguridade é crucial para protexer toda a operativa e comunidade portuaria. O desenvolvemento das tecnoloxías da información e as comunicacións supuxo un impulso para o control dos procesos portuarios mellorando aspectos como a seguridade, a eficiencia na actividade e a eficacia da autoridade portuaria nas súas funcións de supervisión. Neste contexto, os avances nas técnicas de procesado de imaxe, e en particular, en deep learning, presentan un elevado potencial para a automatización de tarefas de análise de imaxe e vídeo para o apoio á videovixilancia. Neste proxecto proponse unha metodoloxía automática baseada en técnicas avanzadas de procesado de imaxe e deep learning para a análise do fluxo de vídeo capturado por cámaras ubicadas en entornos portuarios. En particular, a metodoloxía proposta céntrase na videovixilancia para a detección de intrusións en zonas previamente delimitadas. Con este fin, proponse un método multietapa composto por una fase de análise estática para a deteción de obxetos de interese, como vehículos ou persoas, e unha etapa de análise dinámica para o seguimento dos obxectos detectados e detección de eventos de intrusión nas áreas predefinidas. Para o adestramento e avaliación desta metodoloxía empregouse un conxunto público de datos afíns ao problema así como un conxunto de datos específicos de entornos portuarios co fin de ter un sistema robusto para este dominio de aplicación específico. Os resultados extraidos mostran que a metodoloxía proposta permite a detección dos obxectos de interese así como a súa análise dinámica, permitindo detectar eventos de intrusión en áreas restrinxidas.