New Algorithms and Methodologies for Building Information Retrieval Collections

Use this link to cite
http://hdl.handle.net/2183/36378Collections
- Teses de doutoramento [2195]
Metadata
Show full item recordTitle
New Algorithms and Methodologies for Building Information Retrieval CollectionsAuthor(s)
Directors
Barreiro, ÁlvaroParapar, Javier
Date
2024Abstract
[Abstract] Information retrieval systems play a crucial role in addressing users’ information
needs by aiding their exploration of vast collections of information.
This thesis is framed in a critical information retrieval research aspect: evaluation.
In particular, we propose new approaches for creating annotated test
collections. Such collections are essential for evaluating retrieval systems’
effectiveness in controlled experiments. Reflecting real-world conditions
accurately in these test collections is pivotal for progress in the field.
We aim to introduce innovative techniques for efficiently assembling reliable
test collections, facilitating broader research and development in information
retrieval. The thesis first proposes a new method for building
new pooled test collections without requiring costly evaluation campaigns.
This approach simplifies and economizes the process of building new benchmarks.
Then, we introduce a novel adjudication method for determining
which pooled documents warrant human judgment, aiming to reduce the
need for extensive expert assessments. This method is both cost-effective and
efficient. Additionally, the thesis presents a fresh perspective on evaluating
adjudication methods, emphasizing statistical significance, an aspect often
overlooked in previous document adjudication research. As a demonstration
of the methods explored in this thesis, we applied them to develop a new test
collection whose construction process we describe here as an example of the
use of reduced-budget methods.
In summary, this thesis integrates established information retrieval knowledge
with new methodologies to create annotated collections that are both
cost-effective and reliable. This fusion is crucial for advancing the development
of more effective retrieval systems. [Resumen] Los sistemas de recuperación de información desempeñan un papel crucial a
la hora de satisfacer las necesidades de información de los usuarios, ayudándoles
a explorar vastas colecciones de información. Esta tesis se enmarca
en un aspecto crítico de la investigación en recuperación de información: la
evaluación. En concreto, proponemos nuevos enfoques para crear colecciones
de prueba. Éstas son esenciales para evaluar la eficacia de los sistemas de
recuperación en experimentos controlados. Reflejar con precisión las condiciones
del mundo real en estas colecciones es fundamental para avanzar en
este campo.
Nuestro objetivo es introducir técnicas innovadoras para construir colecciones
anotadas que sean fiables, y facilitar así la investigación y el desarrollo
en el campo de la recuperación de información. En primer lugar, la tesis
propone un nuevo método para crear nuevas colecciones de prueba sin necesidad
de costosas campañas de evaluación, simplificando y economizando
el proceso. A continuación, presentamos un nuevo método de adjudicación
para determinar qué documentos merecen un juicio humano, con el objetivo
de reducir el numero de juicios expertos necesarios. Este método es rentable y
eficiente. Además, la tesis presenta una nueva perspectiva de la evaluación de
los métodos de adjudicación, haciendo hincapié en la significancia estadística,
un aspecto que a menudo se pasa por alto en anteriores investigaciones sobre
adjudicación de documentos. Finalmente, aplicamos los métodos explorados
en esta tesis para construir una nueva colección de prueba, cuyo proceso de
construcción describimos, para demostrar la utilidad de nuestras propuestas.
En resumen, esta tesis integra conocimiento establecido en el campo con
nuevas metodologías para así crear nuevas colecciones de prueba fiables y
con bajo coste. Esta combinación es crucial para avanzar en el desarrollo de
sistemas de recuperación de información más efectivos. [Resumo] Os sistemas de recuperación de información desempeñan un papel crucial á
hora de satisfacer as necesidades de información dos usuarios, axudándolles
a explorar vastas coleccións de información. Esta tese enmárcase nun aspecto
crítico da investigación en recuperación de información: a avaliación. En
concreto, propoñemos novos enfoques para crear coleccións de proba. Estas
son esenciais para avaliar a eficacia dos sistemas de recuperación en experimentos
controlados. Reflectir con precisión as condicións do mundo real
nestas coleccións é fundamental para avanzar neste campo.
O noso obxectivo é introducir técnicas innovadoras para construír coleccións
anotadas que sexan fiables, e facilitar así a investigación e o desenvolvemento
no campo da recuperación de información. En primeiro lugar, a tese
propón un novo método para crear novas coleccións de proba sen necesidade
de custosas campañas de avaliación, simplificando e economizando o proceso.
A continuación, presentamos un novo método de adxudicación para determinar
que documentos merecen un xuízo humano, co obxectivo de reducir
o numero de xuízos expertos necesarios. Este método é rentable e eficiente.
Ademais, a tese presenta unha nova perspectiva da avaliación dos métodos
de adxudicación, facendo fincapé na significancia estatística, un aspecto que
a miúdo se pasa por alto en anteriores investigacións sobre adxudicación
de documentos. Finalmente, aplicamos os métodos explorados nesta tese
para consruir unha nova colección de proba, cuxo proceso de construción
describimos, para demostrar a utilidade das nosas propostas.
En resumo, esta tese integra coñecemento establecido no campo con novas
metodoloxías para así crear novas coleccións de proba fiables e con baixo custo.
Esta combinación é crucial para avanzar no desenvolvemento de sistemas de
recuperación de información máis efectivos.
Keywords
Recuperación de la información
Algoritmos
Algoritmos
Rights
Atribución 4.0 Internacional