Comportamientos visuales sencillos en robots móviles Ranger mediante aprendizaje por refuerzo

Abstract

[Resumen] En este trabajo se desarrolla un sistema que permite generar, mediante aprendizaje por refuerzo, comportamientos basados en las imágenes capturadas por una cámara en un robot capaz de moverse por sí mismo. A parte de un robot real (Formado por una Raspberry Pi 3 y el robot educativo Makeblock Ranger) se usó el simulador de robótica Webots, que facilitó el desarrollo gracias a que presenta un entorno controlado en el que se puede automatizar el aprendizaje. Los robots reciben estímulos mediante sensores, de forma automática, o manualmente, mediante la pulsación de un botón por parte de un operador humano, para así obtener un refuerzo con el que aprender el comportamiento deseado. De esta forma, y centrándonos en la tarea de seguir una línea a través de un circuito cerrado, desarrollamos dos controladores: El primero se sirve del algoritmo de Q-Learning para aprender el comportamiento, y se ayuda de técnicas de visión por computador para detectar la línea y parametrizarla. El segundo controlador se sirve de Deep Q-Learning para, tomando la imagen capturada por la cámara, identificar por si solo los elementos importantes y actuar en consecuencia. Ambos controladores se han desarrollado con una estructura modular, de forma que se puedan editar esos módulos para adaptarlos a otras tareas y otros entornos de ejecución.

[Abstract] In this project, a system is developed that allows generating behaviors through reinforcement learning, based on the images captured by a camera in a robot capable of moving by itself. Apart from a real robot (consisting of a Raspberry Pi 3 and the Makeblock Ranger educational robot) the Webots robotics simulator was used, which facilitated development thanks to a controlled environment where learning could also be automated. The robots receive input either automatically, through sensors, or manually, by a human operator pressing a button, all in order to obtain a reinforcement with which to learn the desired behavior. In this way, focusing on the task of following a line through a closed circuit, we developed two controllers: The first uses the Q-Learning algorithm to learn the behavior, and uses computer vision techniques to detect the line and parameterize it. The second controller uses Deep Q-learning and, by taking the image captured by the camera, identifies the important elements on its own and acts accordingly. Both drivers have been developed with a modular structure, so that those modules can be edited to suit other tasks and runtime environments.