Diseño e implementación de una librería Python para la construcción simplificada de sistemas RAG

Abstract

[Resumen] Los modelos de lenguaje han demostrado una gran capacidad en diversos ámbitos, pero su conocimiento paramétrico no garantiza el acceso a fuentes de información privada, actualizada o trazable. Este trabajo diseña e implementa un sistema modular de generación aumentada por recuperación (RAG) para incorporar fuentes documentales al contexto de un modelo generativo. La solución desacopla la fase de ingesta de la de inferencia y define interfaces configurables para la extracción, segmentación, representación vectorial, persistencia, recuperación y generación. El sistema producido procesa los documentos fuente, genera representaciones vectoriales mediante modelos especializados, las almacena en índices dedicados y conecta con modelos generadores. Un esquema documental común preserva el contenido, los identificadores y los metadatos de procedencia a lo largo de todo el flujo. La corrección del sistema se verifica mediante pruebas unitarias y de integración sobre la orquestación. El desarrollo se orienta a proporcionar una base sólida y extensible para usuarios e investigadores con necesidades específicas no cubiertas por las herramientas generalistas del mercado.

[Abstract] Language models have demonstrated ample utility in multiple domains, but their parametric knowledge does not guarantee access to private, up-to-date or traceable data. This project designs and implements a modular Retrieval-Augmented Generation (RAG) system that adds document sources to the context of a generative model. The solution separates ingestion from inference and defines configurable interfaces for extraction, chunking, vector¡ representation, persistence, retrieval and generation. The prototype processes source files, computes embeddings with specialized models, stores them in a vector store, and connects them to generative models. A common document schema preserves content, identifiers and provenance metadata. The implementation is verified by unit and integration tests. The system aims to provide a solid and expandable starting point for researchers and users with particular needs that are not supported by other tools.