Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
138 CAPÍTULO 9. CONTROLE DISCRETO
• F : R + × S × A → [0, 1] dá a probabilidade da próxima época de
decisão acontecer antes do tempo t, sendo que o processo está no
estado s e a ação a será executada.
A função de recompensa é composta por duas outras,
• r : S × A → R dá a recompensa imediata após uma decisão a em um
estado s.
• R : S × S × A → R dá a recompensa por permanecer em um estado
s ′ dado que o estado anterior era s e a ação executada foi a.
Como essa descrição abre a possibilidade de termos infinitas épocas
de decisão em tempo finito, presumimos que para todos s ∈ S, a ∈ A,
existem ε, δ > 0 tais que
F(s, a, δ) ≤ 1 − ε
O fator de desconto usado para horizonte infinito é α > 0, e a recompensa
no tempo t é multiplicada por e −αt (o que é equivalente a usar γ t ,
com 0 < γ < 1).
A recompensa entre duas épocas de decisão acontecendo nos tempos
u k e u k+1 é
s t é o estado no tempo t.
{
∑ ∞
V(s) = E
k=0
∫ uk+1
u k
e −αu k
e −α(t−u k) R(s, s t , a)dt.
[
r(s, a) +
∫ uk+1
u k
] }
e −α(t−uk) R(s, s t , a)dt
A recompensa R(s, a) pode ser calculada a partir de r e F.
∫ ∞ ∑
[∫ u
]
R(s, a) = r(s, a) +
e −αt R(s, s ′ , a)T(s, a, s ′ )dt F(du, s, a)
0
s ′ 0
Q(s ′ , t, s, a) é a probabilidade da próxima época de decisão acontecer
antes do tempo t e do próximo estado ser s ′ , dado que o estado atual era
s e a ação executada foi a.
Q(s ′ , t, s, a) = T(s ′ , s, a)F(t, s, a).
Versão Preliminar
Denotamos por m(s ′ , s, a) a probabilidade do próximo estado ser s ′ dado
que o estado atual é s e a ação executada é a.
m(s ′ , s, a) =
∫ ∞
0
e −αt Q(dt, s ′ , s, a)