Dinámicas de entrenamiento para la caracterización de datos sintéticos en NLP

Abstract

[Resumen] La creciente utilización de los Large Language Models (LLMs) para la generación de datos sintéticos ha abierto nuevas posibilidades para reducir la dependencia de la anotación manual en tareas de Procesamiento del Lenguaje Natural (NLP). Sin embargo, su utilidad depende de su capacidad para representar la diversidad y complejidad presentes en datos humanos, lo que hace necesario desarrollar metodologías que permitan caracterizarlos y evaluarlos. En este trabajo se propone un marco de análisis basado en las dinámicas de entrenamiento de modelos supervisados para estudiar las propiedades de los datos sintéticos. Para ello, se generan conjuntos de datos correspondientes a distintas tareas de NLP mediante diferentes modelos de lenguaje y estrategias de generación, comparando su comportamiento con datos de referencia elaborados por humanos. Además, se estudia la robustez del marco propuesto utilizando distintos modelos para extraer las dinámicas de entrenamiento, con el objetivo de comprobar si la caracterización obtenida se mantiene estable independientemente del modelo empleado. Finalmente, se analiza cómo diferentes estrategias de selección de datos basadas en estas dinámicas afectan al entrenamiento de modelos supervisados. Los resultados muestran que este marco permite identificar diferencias relevantes entre datos sintéticos y humanos, así como analizar la influencia que ejercen la familia y el tamaño del LLM sobre las características de los datos generados. De este modo, este Trabajo de Fin de Grado busca contribuir al estudio de la calidad de los datos generados por LLMs en tareas críticas de NLP, evaluando hasta qué punto dichos datos pueden complementar o incluso sustituir el esfuerzo humano y definiendo una metodología para evaluar estos corpus e identificar las muestras más valiosas para el entrenamiento de modelos.[Abstract] The increasing use of Large Language Models (LLMs) for synthetic data generation has opened new opportunities to reduce the reliance on manual annotation in Natural Language Processing (NLP) tasks. However, their usefulness depends on their ability to capture the diversity and complexity of human-generated data, making it necessary to develop methodologies for their characterization and evaluation. This work proposes an analysis framework based on the training dynamics of supervised models to study the properties of synthetic data. To this end, datasets corresponding to different NLP tasks are generated using various language models and generation strategies, and their behavior is compared with that of human-created reference datasets. Furthermore, the robustness of the proposed framework is evaluated by employing different models to extract training dynamics, with the aim of determining whether the resulting characterization remains stable regardless of the underlying model. Finally, the impact of different data selection strategies based on these dynamics on the training of supervised models is analyzed. The results show that this framework can effectively identify relevant differences between synthetic and human-generated data, while also revealing the influence of LLM family and model size on the characteristics of the generated data. Thus, this Final Degree Project aims to contribute to the study of the quality of data generated by LLMs in critical NLP tasks, by analyzing the extent to which such data can complement or even replace human effort, and by defining a methodology to evaluate these corpora and identify the most valuable samples for model training.