Learning to Learn: A Novel Approach on Transfer Learning Methods

Abstract

[Resumo] O éxito da aprendizaxe automática é innegable e inflúe en case todos os aspectos da nosa vida cotiá. A aparición de modelos cada vez máis poderosos demostrou o seu potencial para lograr un rendemento notablemente similar ao do ser humano nun amplo rango de tarefas. Con todo, a súa dependencia de grandes conxuntos de datos etiquetados de alta calidade segue sendo unha limitación crítica, sobre todo en dominios nos que tales datos son escasos ou custosos de obter. A aprendizaxe por transferencia aborda este reto permitindo a reutilización do coñecemento entre modelos, ampliando o alcance da aprendizaxe automática a escenarios con datos limitados e mantendo un rendemento sólido. Ademais, permite deseñar estratexias que melloran a escalabilidade e a eficacia dos modelos actuais á hora de abordar problemas complexos. Esta tese ofrece unha visión global da aprendizaxe por transferencia, explorando os seus principios fundamentais, metodoloxías e aplicacións en diversos sectores. Tamén introduce solucións innovadoras adaptadas para abordar retos críticos en escenarios con dispoñibilidade de datos restrinxida. Abordamos o problema da representación mínima de clases propoñendo un enfoque centrado na definición previa de características relevantes que se aplica tanto á análise de sentimentos con detección de comentarios extremos como aos sistemas de recomendación personalizada baseados en imaxes. Presentamos un método de resumo de opinións que realiza a extracción de aspectos utilizando unicamente etiquetas de valoración de comentarios textuais, evitando o uso de datos etiquetados específicos do dominio. Por último, propoñemos un enfoque híbrido guiado por pseudo-etiquetas para a adaptación non supervisada de dominios, que mellora a invariabilidade de características entre dominios á vez que define mellor as diferenzas entre clases no dominio de destino.[Resumen] El éxito del aprendizaje automático es innegable e influye en casi todos los aspectos de nuestra vida cotidiana. La aparición de modelos cada vez más poderosos ha demostrado su potencial para lograr un rendimiento notablemente similar al del ser humano en un amplio rango de tareas. Sin embargo, su dependencia de grandes conjuntos de datos etiquetados de alta calidad sigue siendo una limitación crítica, sobre todo en dominios en los que tales datos son escasos o costosos de obtener. El aprendizaje por transferencia aborda este reto permitiendo la reutilización del conocimiento entre modelos, ampliando el alcance del aprendizaje automático a escenarios con datos limitados y manteniendo un rendimiento sólido. Además, permite diseñar estrategias que mejoran la escalabilidad y la eficacia de los modelos actuales a la hora de abordar problemas complejos. Esta tesis ofrece una visión global del aprendizaje por transferencia, explorando sus principios fundamentales, metodologías y aplicaciones en diversos sectores. También introduce soluciones innovadoras adaptadas para abordar retos críticos en escenarios con disponibilidad de datos restringida. Abordamos el problema de la representación mínima de clases proponiendo un enfoque centrado en la definición previa de características relevantes que se aplica tanto al análisis de sentimientos con detección de reseñas extremas como a los sistemas de recomendación personalizada basados en imágenes. Presentamos un método de resumen de opiniones que realiza la extracción de aspectos utilizando únicamente etiquetas de valoración de reseñas textuales, evitando el uso de datos etiquetados específicos del dominio. Por último, proponemos un enfoque híbrido guiado por pseudo-etiquetas para la adaptación no supervisada de dominios, que mejora la invariabilidad de características entre dominios a la vez que define mejor las diferencias entre clases en el dominio de destino.[Abstract] The success of machine learning is undeniable and influences almost every aspect of our daily lives. The emergence of increasingly powerful models has demonstrated the potential to achieve remarkably human-like performance across a wide range of tasks. However, its reliance on large, high-quality labeled datasets remains a critical limitation, particularly in domains where such data is scarce or costly to obtain. Transfer learning addresses this challenge by enabling knowledge reuse across models, extending the reach of machine learning into data-limited scenarios while maintaining robust performance. Furthermore, it enables the design of strategies that improve the scalability and efficiency of current models when dealing with complex problems. This thesis provides a comprehensive overview of transfer learning, exploring its fundamental principles, influential methodologies, and applications across various sectors. It also introduces innovative solutions tailored to address critical challenges in scenarios with restricted data availability. We address the problem of minimal class representation by proposing an approach focused on the prior definition of relevant features that applies to both sentiment analysis with extreme review detection and image-based personalized recommender systems. We present a method for text summarization that performs aspect extraction using only textual review rating labels, avoiding the use of domain-specific labeled data. Finally, we propose a pseudo-label guided hybrid approach for unsupervised domain adaptation, which enhances feature invariance across domains while further defining inter-class differences in the target domain.