Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
9.5. VARIANTES DE MDPS 137
Teorema 9.8. O operador H é uma contração em R n com a norma ||v|| =
max i |v i |.
Demonstração. Sejam u, v ∈ R n duas funções valor, com Hu(s) ≥ Hv(s).
Seja a ∗ s uma ação ótima para a função valor v – ou seja,
Então
{
a ∗ s ∈ arg max R(s, a) + γ ∑ }
T(s, a, s ′ )v(s ′ ) .
a
Lv(s) − Lu(s) ≤ R(s, a ∗ s) + ∑ γT(s, a, s ′ )v(s ′ )
− R(s, a ∗ s) + ∑ γT(s, a, s ′ )u(s ′ )
= γ ∑ s ′ T(s, a, s ′ )(v(s) − u(s))
≤ γ ∑ s ′
T(s, a, s ′ )||v − u||
= γ||v − u|| ≤ ||v − u||.
Pode-se definir diferentes critérios de otimalidade, como minimizar
a variância da recompensa, sujeitando a solução a uma recompensa média
mínima, ou minimizar a recompensa média, limitando a variância da
recompensa.
9.5 Variantes de MDPs
Esta seção discute algumas variantes de MDPs, sem no entanto detalhar
os métodos para sua resolução. A Seção de Notas ao final do Capítulo traz
indicações de leitura adicional para o leitor interessado.
9.5.1 Tempo contínuo
Pode-se definir MPDs em tempo contínuo, mas com estados e ações discretos.
Os conjuntos de estados e ações (S e A) e a função de transição T em
um SMDP são semelhantes às de um MDP.
Versão Preliminar
• R : S × A → R é composta de duas outras funções;