Evaluación de métodos para acelerar la inferencia en modelos de lenguaje autoregresivos

Abstract

[Resumen] En los modelos de lenguaje, la generación o evaluación de texto requiere algo más que el procesamiento del contexto de entrada. Una vez codificada la información, el modelo debe transformar esa representación interna en una selección concreta de posibles salidas.

Este trabajo estudia el uso de técnicas de búsqueda aproximada de vecinos más cercanos para optimizar esa etapa final de selección de candidatos en modelos de lenguaje. En estos modelos, la entrada se procesa mediante una arquitectura principal que genera una representación interna del contexto. A partir de esa representación, el modelo debe compararla con los vectores asociados a los tokens del vocabulario para decidir qué salidas son más probables. Esta última etapa puede entenderse como una búsqueda en un espacio vectorial, donde cada token está representado por un vector.

El problema que se plantea es que, cuando el vocabulario es grande o las representacio nes tienen una dimensión elevada, comparar la representación interna con todos los tokens posibles puede introducir un coste computacional relevante. Por ello, este trabajo analiza si esa búsqueda exacta sobre el vocabulario puede sustituirse parcialmente por métodos aproximados, recuperando únicamente un conjunto reducido de candidatos. La idea no es modificar el funcionamiento principal del modelo ni acelerar todo el Transformer, sino estudiar si es posible reducir el coste de la capa final de salida manteniendo una calidad comparable.

Para ello se desarrolla un pipeline experimental que compara métodos exactos y aproximados de búsqueda vectorial bajo las mismas condiciones. El trabajo evalúa distintas familias de índices y analiza el efecto del número de candidatos recuperados, ya que este parámetro influye directamente en el equilibrio entre eficiencia y calidad.

Además, el trabajo plantea una evaluación progresiva sobre modelos reales, utilizando sus vocabularios y matrices de salida originales. Esto permite estudiar cómo cambia el comportamiento de los métodos cuando varían el tamaño del modelo, la dimensión de las represen taciones y el vocabulario disponible. La evaluación se centra en métricas como la calidad de las predicciones, el tiempo de ejecución, el coste de construcción de los índices y su tamaño. El análisis de la eficiencia energética, contemplado inicialmente, se apunta como posible extensión del trabajo.

En conjunto, el trabajo busca determinar hasta qué punto las técnicas de búsqueda aproximada pueden ser útiles para reducir el coste de la selección final de candidatos en estos modelos, y en qué condiciones resultan más interesantes frente a una búsqueda exacta sobre todo el vocabulario.