Descubrimento musical semántico en catálogos sen metadatos para comercios

Abstract

[Resumo] Este traballo aborda a busca e a recomendación musical en catálogos sen metadatos destinados a espazos comerciais, onde a persoa usuaria non dispón de referencias coñecidas e expresa necesidades en linguaxe natural («música para un bar», «estilo Zara»). Compárase a recuperación audio-nativa mediante representacións vectoriais contrastivas coa recuperación mediada por descrición, na que un modelo de linguaxe multimodal escoita cada pista unha soa vez e xera unha descrición estruturada sobre a que operan BM25 e representacións vectoriais multilingües fusionadas por RRF. Para avaliar con rigor construíuse un benchmark con 992 xuízos de relevancia exhaustivos sobre o corpus (16 consultas fonte por 62 pistas), anotados por unha persoa e contrastados a cegas por unha segunda, e cunha regra de herdanza entre linguas que estende os xuízos a 49 consultas. O resultado central é o salto da recuperación audio-nativa á mediada por descrición: +0,158 de nDCG@10 (IC 95 % [+0,071; +0,234]), que se mantén cos xuízos da segunda persoa. A canalización completa acada nDCG@10 = 0,655 fronte a 0,409 da liña base. As comparativas de modelos mostran que a elección do descritor do audio move o resultado (0,180 de nDCG@10 entre modelos) e a do intérprete da consulta non (0,005), se ben esa marxe é un limiar por debaixo do cal a gama máis barata perde e non unha ordenación entre os modelos superiores; e que repetir a comparativa cun segundo prompt devolve outra ordenación, polo que o que tales bancos de probas miden é a afinidade entre instrución e modelo. Describir só os primeiros 30 segundos de cada pista non prexudica a recuperación e reduce o custo de inxesta ao 19 %. Un recomendador baseado en coñecemento iguala o espazo latente sendo explicable. O protocolo completo-a instrución do descritor, as consultas anotadas, as métricas e a inferencia- especifícase na memoria, de modo que o método é replicable sobre outro catálogo.

[Abstract] This work addresses music search and recommendation over metadata-free catalogs for commercial spaces, where users hold no known references and express needs in natural language (“music for a bar”, “Zara style”). Audio-native retrieval with contrastive embeddings is compared against description-mediated retrieval, in which a multimodal LLM listens to each track once and produces a structured description over which BM25 and multilingual embeddings operate, fused via RRF. A benchmark with 992 exhaustive relevance judgments over the corpus (16 source queries by 62 tracks), annotated by one person and blind-checked by a second, with a cross-language judgment inheritance rule that extends them to 49 queries, grounds the evaluation. The central result is the jump from audio-native to descriptionmediated retrieval: +0.158 nDCG@10 (95% CI [+0.071; +0.234]), which holds under the second annotator’s judgments. The full pipeline reaches nDCG@10 = 0.655 against 0.409 for the baseline. Model comparisons show that the choice of audio captioner moves the result (0.180 nDCG@10 across models) while the choice of query-routing model does not (0.005), though that margin is a floor below which the cheapest tier falls rather than a ranking among the models above it; and that repeating the comparison under a second prompt yields a different ordering, so what such benchmarks measure is the affinity between an instruction and a model. Describing only the first 30 seconds of each track does not hurt retrieval and cuts ingestion cost to 19%. A knowledge-based recommender statistically ties the latent space while being the only one able to explain its recommendations. The full protocol — captioner instruction, annotated queries, metrics and inference — is specified in this report, so the method can be replicated on another catalog.