Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
140 CAPÍTULO 9. CONTROLE DISCRETO
Um POMDP pode ser descrito da mesma forma que um MDP, pelos
conjuntos S, A e funções T, R, além de:
• Ω : o conjunto de possíveis observações.
• O : S × A × Ω → [0, 1] : dá a probabilidade da observação o ser
recebida após a ação a ser executada em um estado s.
Há dois exemplos relevantes de estatística suficiente.
• Histórico completo: a sequência completa de ações, observações e
recompensas desde o primeiro momento é uma estatística suficiente.
• Distribuição de probabilidades sobre estados: o tomador de decisões
pode, também, manter uma distribuição de probabilidade sobre
os estados, e atualizá-la após cada estágio.
A representação de políticas para POMDPs não pode ser feita diretamente,
porque seria necessário mapear uma quantidade infinita e não
enumerável de distribuições em valores. Pode-se definir, no entanto, um
MDP sobre um conjunto infinito de estados de crença, e a função valor
torna-se convexa e linear por partes. O número de hiperplanos usado em
cada época de decisão) é exponencial em |Ω|, e portanto a quantidade de
vetores para z épocas de decisão é duplamente exponencial em z. O algoritmo
de programação dinâmica, quando aplicado diretamente a POMDPs,
tem complexidade de tempo O(|S||A| |Ω|z ). O problema é P-ESPAÇO completo.
Há outras formas de representar políticas para POMDPs, como por exemplo
controladores (autômatos de Buchi) estocásticos.
Notas
O problema de Programação Dinâmica foi popularizado por Richard Bellman
[Bel03] e Ronald Howard [How60].
O livro de Martin Puterman trata detalhadamente do problema de decisões
em sequência [Put05], inclusive a formulação como programa linear.
A abordagem moderna para programação dinâmica envolve métodos
diferentes da programação linear – Bertsekas aborda o mesmo tema,
de forma diferente [Ber07] [BT96]; o livro de Sutton e Barto apresenta métodos
biologicamente inspirados [SB98]; o livro de Warren Powell trata de
Versão Preliminar