Segmentación de instrumentos musicais en gravacións de concertos mediante aprendizaxe profunda

Abstract

[Resumo]: A automatización na gravación de concertos representa un avance significativo na produción audiovisual. A identificación e localización dos instrumentos presentes no escenario en que se produce un concerto é un primeiro paso crucial para acadar este obxectivo. Neste pro- xecto propónse unha metodoloxía automática basada en técnicas de procesado de imaxe e aprendizaxe profunda para a segmentación, en tempo real, de instrumentos en gravación de espectáculos musicais co obxectivo de enriquecer con máis información un sistema de produ- ción automática de concertos. Co emprego desta tecnoloxía procúrase mellorar significativamente a eficiencia da pro- dución audiovisual no sector musical, recortando os custos de produción sen detrimento da calidade do produto e ofrecendo unha experiencia máis inmersiva e dinámica para o espec- tador. A información obtida da segmentación dos instrumentos, xunto con outras fontes de datos, será usada como base para a toma de decisións na realización de eventos musicais.

[Abstract]: The automation in the recording of concerts represents a significant advancement in au- diovisual production. Identifying and locating the instruments present on the stage during a concert is a crucial first step to achieving this goal. In this project, an automatic methodology based on image processing techniques and deep learning is proposed for real-time segmen- tation of instruments in recordings of musical performances, with the aim of enriching an automatic concert production system with more information. By using this technology, it seeks to significantly improve the efficiency of audiovisual production in the music sector, cutting production costs without compromising the quality of the product and offering a more immerse and dynamic experience for the viewer. The in- formation obtained from the segmentation of the instruments, along with other data sources, will be used as a basis for decision making in the staging of musical events.