Optimización experimental con presupuesto finito combinando heurísticas Bayesianas en un POMDP

Abstract

[Resumen] Mejorar la toma de decisiones a partir de los resultados observados tras la experimentación es una tarea habitual en muchas aplicaciones, tanto a nivel de investigación en laboratorio como a escala industrial. Sin embargo, realizar experimentos suele acarrear un coste no despreciable, por lo que una excesiva exploración es perjudicial. La optimización Bayesiana es una técnica muy utilizada en este contexto, debido a su bajo coste computacional y a que proporciona un buen balance entre explotación y exploración. No obstante, está técnica no tiene en cuenta explícitamente el coste real de realizar un experimento, ni si existe un presupuesto (o número de experimentos, tiempo, etc.) máximo. El problema de toma de decisiones bajo incertidumbre y presupuesto finito es un proceso de decisión de Markov parcialmente observable (POMDP, por sus siglas en inglés). Este trabajo aborda el problema de optimización experimental combinando reconocidas heurísticas Bayesianas en un enfoque POMDP resuelto mediante programación dinámica, donde un árbol de escenarios se construye partir del conocimiento del proceso/sistema disponible (con incertidumbre) en cada etapa. Dicho conocimiento se modela mediante un proceso Gaussiano que se actualiza con cada nueva observación. El algoritmo desarrollado ha sido testeado con éxito para optimizar las consignas de un reactor de tanque agitado que debe producir una cierta cantidad de lotes.[Abstract] Improving decision making from the observed results after experimentation is a usual task in many applications, from the research lab scale to the industrial one. However, conducting experiments often takes a non-negligible cost. Consequently, an excessive exploration is harmful. Bayesian optimisation is a widely-used technique in this context, due to its low computational cost and because it provides good exploration-exploitation trade-offs. However, this technique does not explicitly account for the actual cost of the experiment, nor whether a limited budget (economic, number of experiments, time, etc.) exists. The problem of decision making under uncertainty and finite budget is a Partially-Observable Markov Decision Process (POMDP). This work addresses the experimental optimisation problem by combining well-known Bayesian heuristics in a POMDP framework solvable via dynamic programming, where a scenario tree is built from the available system/process knowledge (with uncertainty) at each stage. Such a knowledge is modelled as a Gaussian process which is updated with each new observation. The developed algorithm has been tested successfully to optimise the setpoints in a continuous stirred tank reactor that must produce a certain number of batches.