Biblioteca para el apoyo al desarrollo de aproximaciones generales en el aprendizaje por refuerzo

Abstract

[Resumen] Este trabajo aborda la creación de una biblioteca para facilitar la implementación de modelos de aprendizaje por refuerzo usando un nuevo tipo de aproximación basada en la estructura de las partidas de los juegos de mesa. La biblioteca expone una serie de interfaces para su implementación por parte del desarrollador. Esas interfaces son “Juego”, “Jugador”, “Ronda”, “Tablero” y “Acción”. Así cualquier problema que encaje en esas interfaces podrá ser resuelto por un modelo entrenado de esta manera. Con el fin de validar la biblioteca, así como servir de ejemplo de uso, se ha creado un juego de estrategia que implementa las interfaces listadas anteriormente. Sobre dicho juego se realiza un conjunto de pruebas con el fin de comprobar la utilidad de la biblioteca. Las pruebas se realizan en torno a un modelo de red neuronal que se entrena primeramente contra el algoritmo de Monte Carlo Tree Search muy utilizado en videojuegos para implementar la inteligencia artificial. Tras esto, se pasa a realizar de nuevo un entrenamiento, pero esta vez contra otro modelo similar al que se está entrenando. Por último, se comprueba contra un jugador cómo de bien juega el modelo que se ha entrenado. Se recogen datos de cada una de estas fases y se analizan para valorar el comportamiento de la biblioteca.

[Abstract] This paper addresses the creation of a library to facilitate the implementation of reinformentlearning models using a new approach that is based on the structure of board games. The library exposes a series of interfaces for its implementation by the developer. Those interfaces are “Game”, “Player”, “Round”, “Board” and “Action”. So any problem that fits in those interfaces can be solved by a model trained this way. In order to validate the library, as well as serve as an example of use, a strategy game has been created that implements the interfaces listed above. A set of tests have been performed on this game in order to check the usefulness of the library. The tests are carried out around a neural network model that is first trained against the Monte Carlo Tree Search algorithm widely used in video games to implement artificial intelligence. After this, training is carried out again, but this time against another model similar to the one being trained. Finally, it is checked against a human player how well the model that has been trained plays. Data has been collected from each of these phases and analyzed to assess the behavior of the library.