Optimización experimental con presupuesto finito combinando heurísticas Bayesianas en un POMDP
![Thumbnail](/dspace/bitstream/handle/2183/33738/2023_Pitarch_Jose_Luis_Optimizacion_experimental_con_presupuesto_finito.pdf.jpg?sequence=5&isAllowed=y)
Use este enlace para citar
http://hdl.handle.net/2183/33738
A non ser que se indique outra cousa, a licenza do ítem descríbese como Attribution-NonCommercial-ShareAlike 4.0 lnternational (CC BY-NC-SA 4.0) https://creativecommons.org/licenses/by-ncsa/4.0/
Coleccións
Metadatos
Mostrar o rexistro completo do ítemTítulo
Optimización experimental con presupuesto finito combinando heurísticas Bayesianas en un POMDPTítulo(s) alternativo(s)
Experimental optimisation with finite budget combining Bayesian heuristics in a POMDPData
2023Cita bibliográfica
Pitarch, J.L., Armesto, L., Sala, A., Montes, D., 2023. Optimización experimental con presupuesto finito combinando heurísticas Bayesianas en un POMDP. XLIV Jornadas de Automática, 447-452. https://doi.org/10.17979/spudc.9788497498609.447
Resumo
[Resumen] Mejorar la toma de decisiones a partir de los resultados observados tras la experimentación es una tarea habitual en muchas aplicaciones, tanto a nivel de investigación en laboratorio como a escala industrial. Sin embargo, realizar experimentos suele acarrear un coste no despreciable, por lo que una excesiva exploración es perjudicial. La optimización Bayesiana es una técnica muy utilizada en este contexto, debido a su bajo coste computacional y a que proporciona un buen balance entre explotación y exploración. No obstante, está técnica no tiene en cuenta explícitamente el coste real de realizar un experimento, ni si existe un presupuesto (o número de experimentos, tiempo, etc.) máximo. El problema de toma de decisiones bajo incertidumbre y presupuesto finito es un proceso de decisión de Markov parcialmente observable (POMDP, por sus siglas en inglés). Este trabajo aborda el problema de optimización experimental combinando reconocidas heurísticas Bayesianas en un enfoque POMDP resuelto mediante programación dinámica, donde un árbol de escenarios se construye partir del conocimiento del proceso/sistema disponible (con incertidumbre) en cada etapa. Dicho conocimiento se modela mediante un proceso Gaussiano que se actualiza con cada nueva observación. El algoritmo desarrollado ha sido testeado con éxito para optimizar las consignas de un reactor de tanque agitado que debe producir una cierta cantidad de lotes. [Abstract] Improving decision making from the observed results after experimentation is a usual task in many applications, from the research lab scale to the industrial one. However, conducting experiments often takes a non-negligible cost. Consequently, an excessive exploration is harmful. Bayesian optimisation is a widely-used technique in this context, due to its low computational cost and because it provides good exploration-exploitation trade-offs. However, this technique does not explicitly account for the actual cost of the experiment, nor whether a limited budget (economic, number of experiments, time, etc.) exists. The problem of decision making under uncertainty and finite budget is a Partially-Observable Markov Decision Process (POMDP). This work addresses the experimental optimisation problem by combining well-known Bayesian heuristics in a POMDP framework solvable via dynamic programming, where a scenario tree is built from the available system/process knowledge (with uncertainty) at each stage. Such a knowledge is modelled as a Gaussian process which is updated with each new observation. The developed algorithm has been tested successfully to optimise the setpoints in a continuous stirred tank reactor that must produce a certain number of batches.
Palabras chave
Programación dinámica
Optimización de procesos
Procesos Gaussianos
Optimización bajo incertidumbre
Dynamic programming
Process optimisation
Gaussian processes
Optimisation under uncertainty
Optimización de procesos
Procesos Gaussianos
Optimización bajo incertidumbre
Dynamic programming
Process optimisation
Gaussian processes
Optimisation under uncertainty
Versión do editor
Dereitos
Attribution-NonCommercial-ShareAlike 4.0 lnternational (CC BY-NC-SA 4.0) https://creativecommons.org/licenses/by-ncsa/4.0/
ISBN
978-84-9749-860-9