Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
136 CAPÍTULO 9. CONTROLE DISCRETO
O programa linear tem |S| variáveis e |S| 2 |A| restrições.
Da mesma forma que com horizonte finito, podemos extrair da equação
de otimalidade um algoritmo recursivo. Partimos de um ponto qualquer
e calculamos os valores da época anterior até que os valores entre
duas iterações estejam suficientemente próximos.
9.4.1 Convergência
Para demonstrar que o algoritmo de programação dinâmica converge para
MDPs de horizonte infinito com 0 < γ < 1, precisamos mostrar que cada
passo do algoritmo aplica uma contração na função valor.
O que o algoritmo de programação dinâmica para MDPs faz é essencialmente
aproximar uma função, e para garantir que o algoritmo converge
mostramos que cada passo dele aplica uma contração sobre V.
Definição 9.3 (Sequência de Cauchy). Uma sequência de elementos em
um espaço métrico é dita de Cauchy quando a distância entre dois elementos
a n , a n+1 consecutivos da sequência tende a zero quando n →
∞.
Definição 9.4 (Espaço de Banach). Um espaço vetorial V com uma norma
é um espaço de Banach se toda sequência de Cauchy de elementos de V
tem limite em V.
Teorema 9.5. Seja ||.|| a norma obtida tomando o maior valor absoluto dos
elementos de um vetor. R n com esta norma é um espaço de Banach.
Definição 9.6 (Contração). Seja V um espaço de Banach. Um operador
F : V → V é uma contração se para todos u, v ∈ V, ||Fv − Fu|| ≤ α||v − u||,
com 0 ≤ α ≤ 1.
Teorema 9.7. Seja V um espaço de Banach e F : V → V uma contração
em V. Então F tem um único ponto fixo x ∗ tal que Fx ∗ = x ∗ . Além disso,
se x 0 é um elemento qualquer de V, e x 0 , x 1 , . . . , x k uma sequência tal que
x i = Fx i−1 , então esta sequência converge para x ∗ .
Observamos agora que podemos reescrever a equação de otimalidade
de forma a ficar claro que se trata de um operador linear.
Versão Preliminar
v i (s) = Hv i−1 (s)
{
Hv(s) = max
a∈A
R(s, a) + γ ∑ s ′ ∈S
T(s, a, s ′ )v(s ′ )
}
.