Investigación sobre la eficiencia en la generación automática de código utilizando modelos de lenguaje masivos

Abstract

[Resumen]: Los Modelos de Lenguaje Masivos son una importante innovación en inteligencia artificial, utilizando arquitecturas de redes neuronales profundas como los transformadores para comprender y producir texto en lenguaje natural a gran escala. Algunos ejemplos notables son GPT y LLaMA. Estos diseños han transformado la capacidad de las máquinas para comprender y crear texto coherente, junto con una amplia variedad de usos importantes, desde traducción automática hasta análisis de sentimientos y generación de texto. Su influencia alcanza a áreas como la investigación, la industria y la sociedad en su totalidad, generando nuevas oportunidades y retos en el terreno de la inteligencia artificial. El propósito de esta iniciativa es aumentar la eficacia en la creación automática de código a través del empleo de estos grandes modelos de lenguaje. Exploraremos diversas tácticas para mejorar la precisión y la eficiencia en la producción automatizada de código, como el Ajuste Fino y la Generación Aumentada de Recuperación.

[Abstract]: Large Language Models are a significant innovation in artificial intelligence, utilizing deep neural network architectures such as transformers to comprehend and produce text in natural language on a large scale. Some notable examples include GPT and LLaMA. These designs have transformed the ability of machines to understand and generate coherent text, along with a wide variety of significant uses, from machine translation to sentiment analysis and text generation. Their influence extends to areas such as research, industry, and society as a whole, creating new opportunities and challenges in the field of artificial intelligence. The purpose of this initiative is to enhance efficiency in automatic code generation through the use of these large language models. We are exploring various tactics to improve accuracy and efficiency in automated code production, such as Fine-Tuning and Retrieval Augmented Generation.