Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
9.5. VARIANTES DE MDPS 139
A equação de otimalidade para SMDPs é mostrada a seguir. Com ela
podemos usar programação dinâmica na solução destes problemas.
V k (s) = max
a
[
R(s, a) + ∑ s ′ m(s ′ , s, a)V k+1 (s ′ )
Diversos outros métodos para solução de MDPs também funcionam
para SMDPs, inclusive a formulação como programa linear.
9.5.2 Parâmetros imprecisos
Suponha que alguns dos parâmetros de um MDP foram especificados com
imprecisão: sabemos apenas que algumas probabilidades de transição e
valores de recompensa estão situados em determinados intervalos. Um
MDP especificado desta forma é chamado de “MDP com parâmetros imprecisos”
(MDPIP)
9.5.3 Observabilidade parcial
Em um Processo de Decisão de Markov Parcialmente Observável (POMDP 1 ),
não presumimos que o tomador de decisões conhece o estado do sistema.
Ele conhece apenas uma distribuição de probabilidades sobre os estados
na primeira época de decisão. Depois disso, a cada época de decisão ele
percebe, além de sua recompensa, uma observação vinda do ambiente (o
conjunto de observações é finito). Após obter a recompensa e verificar a
observação, o tomador de decisões atualiza internamente uma estatística
suficiente a respeito do sistema. Esta estatística representa, de certa forma,
sua crença, e é chamada de estado de informação, porque não representa
o estado do sistema, e sim o estado da informação que se tem a respeito
do sistema.
o (observação)
ambiente
Versão Preliminar
estimador
de estados
nova
estatística
1 Partially Observable Markov Decision Process
política
]
a (ação executada)