Comparación de técnicas de inteligencia artificial para agentes autónomos en entornos virtuales en 3D

Abstract

[Resumen] Los entornos virtuales en tres dimensiones ofrecen un marco de experimentación ideal para la investigación en inteligencia artificial, consolidándose los videojuegos como uno de sus principales bancos de prueba. Históricamente, el control de agentes autónomos se ha abordado mediante IA simbólica, basada en reglas explícitas y predecibles. Sin embargo, en los últimos años, el aprendizaje por refuerzo ha surgido como una alternativa prometedora capaz de generar comportamientos emergentes mediante ensayo y error. Dada la escasez de estudios que contrasten directamente ambas filosofías, en este proyecto se comparan métodos de inteligencia artificial simbólica y de aprendizaje por refuerzo para el control de agentes autónomos en un entorno de supervivencia tridimensional construido con Unity. Los enfoques evaluados son una máquina de estados finitos (FSM), una arquitectura de subsunción, Deep QNetwork (DQN), Proximal Policy Optimization (PPO) y su extensión cooperativa Multi-Agent PPO (MAPPO). La experimentación se organiza en tres escenarios de complejidad creciente: supervivencia pura, supervivencia con recogida de objetos, y cooperación entre dos agentes con roles complementarios. Los enfoques de aprendizaje por refuerzo perciben el entorno mediante un sensor de rayos; los enfoques simbólicos replican condiciones perceptuales equivalentes a través de implementaciones propias. Los resultados muestran que los métodos simbólicos superan sistemáticamente a los agentes de aprendizaje por refuerzo en los escenarios evaluados, tanto en tasa de victorias como en consistencia temporal. Sin embargo, los agentes de aprendizaje por refuerzo generan comportamientos emergentes más variados e impredecibles, lo que resulta de interés en el contexto del diseño de entornos virtuales interactivos. Se concluye que la elección entre ambos paradigmas depende del objetivo: eficacia operativa para la IA simbólica, naturalidad y variabilidad para el aprendizaje por refuerzo.[Abstract] Three-dimensional virtual environments offer an ideal experimental framework for artificial intelligence research, with video games establishing themselves as one of the primary testbeds. Historically, autonomous agent control has been addressed using symbolic AI, based on explicit and predictable rules. However, in recent years, reinforcement learning has emerged as a promising alternative capable of generating emergent behaviors through trial and error. Given the scarcity of studies that directly contrast both philosophies, this project compares symbolic artificial intelligence methods and reinforcement learning approaches for autonomous agent control in a three-dimensional survival environment built with Unity. The evaluated approaches are a finite state machine (FSM), a subsumption architecture, Deep Q-Network (DQN), Proximal Policy Optimization (PPO) and its cooperative extension Multi-Agent PPO (MAPPO). The experimentation is organized in three scenarios of increasing complexity: pure survival, survival with object collection, and cooperation between two agents with complementary roles. Reinforcement learning approaches perceive the environment through a ray perception sensor; symbolic approaches replicate equivalent perceptual conditions through custom implementations. Results show that symbolic methods consistently outperform reinforcement learning agents in the evaluated scenarios, both in win rate and temporal consistency. However, reinforcement learning agents produce more varied and unpredictable emergent behaviors, which is of interest in the context of interactive virtual environment design. The conclusions indicate that the choice between both paradigms depends on the objective: operational efficiency for symbolic AI, naturalism and variability for reinforcement learning.