Análisis Comparativo de Modelos de Recomendación Secuencial Aplicados a un Dataset de Cursos Online

Abstract

[Resumen] El objetivo de este trabajo es realizar un análisis comparativo de modelos de recomendación secuencial aplicados a un dataset real de cursos de una plataforma de formación online, con el fin de evaluar su capacidad para predecir los próximos cursos que un usuario podría realizar teniendo en cuenta el orden temporal de sus interacciones previas. Los sistemas de recomendación desempeñan un papel fundamental en este tipo de plataformas, ya que permiten guiar al usuario hacia contenidos más adecuados según sus intereses, características y nivel de experiencia. En un entorno educativo, la secuencia de cursos completados puede reflejar la progresión del estudiante, por lo que los modelos de recomendación secuencial resultan especialmente adecuados al considerar el orden temporal de las interacciones y permitir capturar patrones de progresión y rutas de aprendizaje. Para llevar a cabo el estudio se han seleccionado seis modelos pertenecientes a tres familias de arquitecturas distintas: redes neuronales recurrentes, Transformers y modelos de espacio de estados basados en Mamba. Estos modelos se aplican sobre un dataset que contiene más de 534.000 interacciones de 177.870 usuarios con cursos de la plataforma, junto con metadatos como el idioma, el nivel de experiencia requerido y las temáticas asociadas. Además, se han realizado distintos experimentos para analizar el impacto de variables como el umbral de filtrado del dataset, la longitud máxima de las secuencias de entrada y el uso de información contextual. Los modelos se evalúan mediante distintas métricas de recomendación y para diferentes valores de K, permitiendo analizar tanto la capacidad de recuperar cursos relevantes como su posición dentro del ranking generado. Los resultados muestran diferencias entre las arquitecturas estudiadas, destacando BSARec por su mejor rendimiento global, mientras que otros modelos presentan distintos compromisos entre rendimiento y coste de entrenamiento. Asimismo, se observa que el filtrado del dataset tiene un impacto mayor sobre los resultados que la modificación de la longitud máxima de las secuencias o la incorporación de los metadatos contextuales considerados. En conjunto, el trabajo permite identificar las principales diferencias entre las arquitecturas analizadas y estudiar cómo las características del dataset y la configuración experimental influyen en su comportamiento dentro del dominio de la recomendación de cursos online.

[Abstract] The objective of this work is to carry out a comparative analysis of sequential recommendation models applied to a real dataset of courses from an online learning platform, with the aim of evaluating their ability to predict the next courses a user may take while considering the temporal order of their previous interactions. Recommender systems play a fundamental role in this type of platform, as they help guide users towards content that is better suited to their interests, characteristics and level of experience. In an educational environment, the sequence of completed courses may reflect the learner’s progression, which makes sequential recommendation models particularly suitable, since they take the temporal order of interactions into account and can capture progression patterns and common learning paths. To carry out the study, six models belonging to three different architecture families were selected: recurrent neural networks, Transformers and state space models based on Mamba. These models are applied to a dataset containing more than 534,000 interactions from 177,870 users with courses on the platform, together with metadata such as language, required experi ence level and associated topics. In addition, several experiments were conducted to analyse the impact of variables such as the dataset filtering threshold, the maximum length of the input sequences and the use of contextual information. The models are evaluated using different recommendation metrics and several values of K, allowing both the ability to retrieve relevant courses and their position within the generated ranking to be analysed. The results show differences between the architectures studied, with BSARec achieving the best overall performance, while other models present different tradeoffs between performance and training cost. It is also observed that dataset filtering has a greater impact on the results than changing the maximum sequence length or incorporating the contextual metadata considered. Overall, this work makes it possible to identify the main differences between the architectures analysed and to study how the characteristics of the dataset and the experimental configuration influence their behaviour in the domain of online course recommendation.