Aplicación del aprendizaje activo con oráculos imperfectos en un contexto de juegos

Abstract

[Resumen]: El Aprendizaje por Refuerzo es una técnica de Aprendizaje Automático en la que un agente aprende a tomar decisiones en base a la interacción con el entorno. El Aprendizaje Activo, por otro lado, es una técnica en la que se involucra a los humanos (oráculos) en el proceso de Aprendizaje Automático de un sistema, consultando al humano sobre aquellos casos donde el modelo tiene más incertidumbre en sus predicciones. En este proyecto, aplicamos técnicas de Aprendizaje por Refuerzo y Aprendizaje Activo en el contexto del juego 2048. El objetivo es investigar si la intervención humana puede mejorar el rendimiento del sistema. Para ello, desarrollamos un sistema de aprendizaje por refuerzo basado en Deep Q-Learning e integramos en él un sistema de Aprendizaje Activo donde un humano experto proporcionaba información al modelo para ayudarle en su proceso de apren- dizaje. Los resultados obtenidos demuestran como el uso de Aprendizaje Activo, incorporando a los humanos en el proceso de entrenamiento, pueden mejorar el rendimiento del sistema in- cluso cuando el dominio del problema a resolver presenta aleatoriedad o incertidumbre.

[Abstract]: Reinforcement Learning is a Machine Learning technique in which an agent learns to make decisions based on interaction with the environment. Active Learning, on the other hand, is a technique in which humans (oracles) are involved in the Machine Learning process, con- sulting the human on those cases where the model has more uncertainty in its predictions. In this project, we apply Reinforcement Learning and Active Learning techniques in the con- text of the 2048 game. The objective is to investigate whether human intervention can improve the performance of the system. For this purpose, we developed a reinforcement learning sys- tem based on Deep Q-Learning and integrated in it an Active Learning system where a human expert provided feedback to the model to help it in its learning process. The results obtained demonstrate how the use of Active Learning, incorporating humans in the training process, can improve the performance of the system even when the problem domain to be solved presents randomness or uncertainty.