Computer Vision for Automated Tracking of Birds in an Outdoor Aviary

Abstract

[Resumo]: A investigación en visión por computador experimentou avances notables nos últimos anos, permitindo o seu uso en aplicacións de vital importancia como poden ser a condución autónoma e o análise médica de imaxes. De entre as anteriores, a monitorización de animais a través do seguimento visual é de gran importancia para o estudo do comportamento animal. Con todo, o rastrexo de aves presenta problemas únicos que poden reducir a precisión das ferramentas convencionais de seguimento visual a causa das frecuentes oclusións e os rápidos movementos en grupo resultantes da súa natureza social. Este documento presenta o estudo realizado para evaluar un conxunto de modelos de segmentación de instancias e métodos de rastrexo có obxectivo de desenvolver software capaz de monitorizar todos os membros dunha poboación de páxaros nun aviario exterior cun nivel de precisión satisfactorio, aproveitando os últimos avances en visión artificial e detección de obxectos para abordar os retos resultantes da tarea. A avaliación dos modelos de segmentación realizouse mediante a análise dos valores medios das métricas obtidas mediante a validación cruzada en K pregues, e tras seleccionar o modelo máis adecuado para o noso caso, realizáronse múltiples probas para determinar o rendemento de varios algoritmos de rastrexo.[Abstract]: Computer vision research has experienced remarkable improvements in recent years, enabling its use in crucial applications, such as autonomous driving and medical image analysis. Among these, animal monitoring through visual tracking is of great importance for animal behavior studies. However, bird tracking poses unique problems that may reduce the accuracy of conventional visual tracking tools due to frequent occlusions and rapid group movements, which are caused by their social nature. This paper presents the study conducted in order to evaluate a range of state-of-the-art instance segmentation models and tracking methods with the goal of developing software capable of monitoring all members of a population of birds in an outdoor aviary with an acceptable level of accuracy, leveraging recent advancements in computer vision and object detection to address the challenges of this task. The evaluation of the segmentation models was conducted through the analysis of mean metrics obtained via K-fold cross-validation, and after the most suitable model for our setting was selected, multiple tests were conducted in order to assess the performance of multiple tracking algorithms.