Analysis and Implementation of Language models in the intelligent tutoring system ProgTutor

Abstract

[Abstract]: This final degree project is centered on the Artificial Intelligence field being applied to education, more specifically, around the study and implementation of language models in order to develop advanced Natural Language Processing (NLP) functionality features for the intelligent tutoring System ProgTutor. These functionalities are mainly two: automatic evaluation of the standard output in student’s programs, and relevant feedback production in relation to the evaluation given, with the goal of enhancing the previously implemented methods based on direct text comparison. To this end, the project will make use of open-source tools like HugginFace platform and Ollama framework to test and implement a wide variety of language models, ranging from specific-task sentence-transformer models, to multi-purpose Large Language models, some of which were recently deployed within the Centro de Investigación en Tecnología de la Información y Comunicación (CITIC).

[Resumo]: Este Traballo de Fin de Grao estará centrado no campo da Intelixencia Artificial, aplicada ao ámbito educativo. Máis específicamente, ao estudo e implementación de modelos de linguaxe para o desenvolvemento de funcionalidades avanzadas de procesamento do linguaxe natural no sistema de titoría intelixente ProgTutor. Estas funcionalidades son principalmente dúas: á avaliación automática de saídas de estudantes, e a producción de feedback relevante en relación coa avaliación proporcionada, tendo como obxetivo a mellora sobre os métodos implementados con anterioridade na aplicación, baseados na comparación directa de textos. Para cumprir este obxetivo, o proxecto utilizará ferramentas gratuítas e dispoñibles como a plataforma de Hugginface e o framework de Ollama para probar e implementar unha ampla variedade de modelos de linguaxe, dende modelos enfocados en tarefas específicas como o son os sentence-transformers, ata grandes modelos de linguaxe de propósito xeral, algunos dos cales foron recentemente instalados no Centro de Investigación en Tecnología de la Información y Comunicación (CITIC).