Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
9.3. FORMULAÇÃO COMO PROGRAMA LINEAR 135
9.3 Formulação como Programa Linear
Embora a equação do princípio da otimalidade já seja ela mesma a expressão
de um algoritmo recursivo para a resolução do problema, ele pode
também ser modelado como programa linear.
{
V t (s) = max R(s, a) + T(s, a, s ′ )V t+1 (s ′ ) }
a
A equação de Bellman determina o valor ótimo que queremos. De todos
os valores maiores ou iguais a este ótimo, tomamos então o menor. Daí
temos as restrições V t (s) ≥ R(s, a) + V t+1 (T(s, a)), e extraímos agora o
mínimo: basta definir então o problema de minimização
min ∑ V t (s)
t,s
s.a. : V t (s) ≥ R(s, a) + T(s, a, s ′ )V t+1 (s ′ )
O programa linear, no entanto, teria |S|×|A|×z restrições, e |S|×z variáveis,
onde z é o horizonte (o número de estágios). O dual teria |S| × z restrições.
Para horizontes muito longos, este método não é bom.
9.4 Horizonte infinito e convergência
Podemos estender estas noções para horizonte infinito. Claramente, não
é possível usar o critério de otimalidade da recompensa total, porque o
somatório não necessariamente convergiria. Podemos, no entanto, multiplicar
a decisão na época k por γ k , com 0 < γ < 1, garantindo assim
que o problema continuará tendo solução. A interpretação deste fator é a
seguinte: valorizamos mais as recompensas obtidas num horizonte mais
próximo e menos aquelas obtidas em um horizonte distante. Este critério
de otimalidade é o da recompensa total esperada, e nos leva à seguinte
versão da equação de Bellman.
{
}
v(s) = max
a∈A
R(s) + γ ∑ s ′ ∈S
T(s, a, s ′ )v(s ′ )
Versão Preliminar
Sua formulação como programa linear é
min ∑ V(s)
s
s.a. : V(s) ≥ R(s, a) + T(s, a, s ′ )V(s ′ )
.