Análisis de modelos de lenguaje masivos para la generación de código

Abstract

[Resumen]: En las últimas décadas, el mundo del desarrollo software ha cambiado radicalmente, estos trabajos son cada vez mayores, con plazos de entrega más ajustados y con una seria carencia de profesionales capaces de desarrollar tal cantidad de código. En este contexto, está surgiendo una tecnología que podría ayudar a la generación automática de código: los Large Language Model (LLM). Sin embargo, aún no se ha determinado con precisión hasta que punto es capaz esta tecnología de desarrollar código eficaz, libre de errores y, por supuesto, en un tiempo y a un costo adecuado. En este trabajo se analizará la viabilidad de los LLM, desde varios puntos de vista, desarrollando para ello un prototipo capaz de generar código usando distintos LLM y modelos, y a su vez, testear el código generado para así, intentar llegar a la conclusión de si estas tecnologías son viables. Para conseguirlo, se ha dividido en el trabajo en las siguientes tareas específicas: • Evaluar la calidad y eficiencia del código generado mediante tests y compararla según metodología y modelo utilizados. • Evaluar el tiempo empleado en generar el código y compararla según metodología y modelo utilizados. • Analizar el costo de la implementación de un LLM en un entorno grande para estudiar su viabilidad.

[Abstract]: In the last decades, the world of software development has changed radically, with ever larger projects, tighter deadlines and a serious lack of professionals capable of developing such a large amount of code. In this context, a technology is emerging that could help the automatic generation of code: Large Language Model (LLM). However, it is not yet clear to what extent this technology is capable of developing efficient, error-free code and, of course, in a timely and cost-effective manner. In this work, the feasibility of LLMs will be analysed from several points of view, developing a prototype capable of generating code using different LLM and models, and testing the generated code in order to try to reach a conclusion as to whether these technologies are viable. To achieve this, the work has been divided into the following specific tasks: • Evaluate the quality and efficiency of the generated code through tests and compare it according to the methodology and model used. • Evaluate the time taken to generate the code and compare it according to the methodology and model used. • Analyse the cost of implementing an LLM in a large environment to study its viability.