Fact-checking de respuestas de modelos de lenguaje mediante un LLM con generación asistida por recuperación de información

Abstract

[Resumen] Los Grandes Modelos de Lenguaje (Large Language Models (LLMs)) han demostrado capacidades excepcionales en tareas de procesamiento del lenguaje natural. Sin embargo, su tendencia a producir información incorrecta pero aparentemente plausible, conocida como alucinación, limita su fiabilidad en entornos donde la veracidad es esencial. Esta problemática se aborda mediante el diseño e implementación de estrategias automatizadas de fact-checking. Para ello, se estudia un flujo en dos fases: primero, un LLM genera una respuesta usando su conocimiento paramétrico; después, un segundo LLM actúa como evaluador o fact-checker recuperando contexto externo mediante RAG para comprobar si la respuesta está fundamentada. Así, se analiza tanto la capacidad de los LLMs de generar respuestas correctas sin evidencias externas directas como la capacidad de comprobar si dichas respuestas están respaldadas. La experimentación se realiza sobre HotpotQA, un conjunto de datos MHQA que requiere combinar información de múltiples documentos. Finalmente, el proyecto incluye una aplicación web interactiva que permite consultar el sistema y verificar respuestas sobre una colección de documentos de Wikipedia, facilitando el uso práctico de las estrategias desarrolladas.

[Abstract] Large Language Models (LLMs) have demonstrated exceptional capabilities in natural language processing tasks. However, their tendency to produce incorrect but apparently plau sible information, known as hallucination, limits their reliability in environments where veracity is essential. This problem is addressed through the design and implementation of au tomated fact-checking strategies. To this end, a two-phase pipeline is studied: first, an LLM generates an answer using its parametric knowledge; then, a second LLM acts as an evaluator or fact-checker by retrieving external context via RAG to verify if the answer is factually grounded. Thus, both the ability of LLMs to generate correct answers without direct external evidence and the ability to verify if such answers are supported are analyzed. The experimentation is conducted on HotpotQA, a MHQA dataset that requires combining information from multiple documents. Finally, the project includes an interactive web application that al lows querying the system and verifying answers against a collection of Wikipedia documents, facilitating the practical use of the developed strategies