Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
9.2. PROCESSO MARKOVIANO DE DECISÃO 133
9.1.1 Aplicabilidade do Algoritmo
A técnica de programação dinâmica é interessante quando o problema a
ser resolvido apresenta as duas características a seguir.
• Subestrutura ótima: uma solução ótima para o problema pode ser
construída a partir de soluções ótimas para subproblemas. No exemplo
do problema da mochila, os subproblemas consistiam em maximizar
o valor dos itens que poderíamos acomodar em mochilas
menores.
• Subproblemas não completamente isolados: uma solução para um
subproblema pode ser usada mais de uma vez, porque há diferentes
subproblemas maiores que a usam. No exemplo da mochila, após
calcularmos o valor máximo para uma mochila de tamanho 3, usamos
este dado na construção das soluções para mochilas de tamanho
4, 5, etc.
9.2 Processo Markoviano de Decisão
Há problemas de otimização que podem ser formulados como programas
lineares, mas que também podem ser resolvidos por programação dinâmica.
No restante deste Capítulo analisamos os processos Markovianos de
decisão.
O seguinte problema é frequentemente usado para ilustrar o conceito
de processo Markoviano de decisão: um empresário produz um único tipo
de produto. O empresário deve, todo mês, verificar seu estoque e decidir
quantas unidades adicionais deve encomendar para a fábrica, sabendo,
além da quantidade que tem em estoque, a probabilidade de que cada
unidade seja vendida, e o custo de armazenamento por unidade. O empresário
quer maximizar o lucro nos próximos meses.
O estoque no começo do mês t é s t , que chamamos de estado do sistema.
A quantidade de unidades encomendada é a t . A quantidade de
pedidos é aleatória (com distribuição conhecida), e a denotamos por d t .
Então
s t+1 = max {0, s t + a t − d t }
Versão Preliminar
O empresário poderá pedir mais ou menos unidades, dependendo do estoque.
O problema descrito envolve um sistema com estado interno. O estado
do sistema muda de forma probabilística a cada intervalo de tempo,
dependendo de ações escolhidas – e o que se quer é a redução do custo ao