Programação Linear (e rudimentos de otimização não-linear)

notas de aula – versão 64 - Jerônimo C. Pellegrini
134 CAPÍTULO 9. CONTROLE DISCRETO
longo do tempo (a minimização de uma função). Esta é uma instância de
um problema mais geral, chamado de processo Markoviano de decisão.
s (novo estado)
ambiente
política
a (ação executada)
Definição 9.2 (Processo Markoviano de Decisão). Um processo Markoviano
de decisão consiste de um sistema com estado interno, um agente
controlador, uma função de transição para o próximo estado e uma função
que dá a recompensa para cada estado. Define-se o processo Markoviano
de decisão, então, por (S, A, T, R), onde S é o conjunto de possíveis
estados do sistema; A é o conjunto de possíveis ações (ou “controles”);
T : S × A × S → [0, 1] é a função de transição: T(s, a, s ′ ) dá a probabilidade
do sistema passar ao estado s ′ dado que estava no estado s e a ação a foi
executada; R : S → R é a função recompensa: R(s) é a recompensa por
estar no estado s.
Também se deve associar ao problema um horizonte h, que consiste no
número de decisões a serem tomadas e um critério de otimalidade, que
determina o que se quer otimizar ao longo das épocas de decisão.
Este processo de decisões em sequência é chamado de Markoviano
porque a decisão tomada em um dado momento depende apenas do estado
do sistema naquele momento, e não das decisões ou estados anteriores
– esta é a propriedade de Markov.
Ao definirmos um critério de otimalidade, definimos um valor para
cada estado s em cada época de decisão k, que denotamos v k (s), de forma
que em cada decisão a melhor ação é aquela que maximiza o critério de
otimalidade. Por exemplo, podemos decidir maximizar a recompensa média
nas épocas de decisão (1/z ∑ t V t(s)) – ou a recompensa total, ∑ t V t(s),
e neste último caso os valores de cada estado serão ótimos quando
V t (s) = max
Versão Preliminar
a∈A
{
R(s) + ∑ s ′ ∈S
T(s, a, s ′ )V t+1 (s ′ )
Note que esta equação pode ser usada diretamente na elaboração de um
algoritmo recursivo para a solução do problema: parte-se de v z (s) e calculase
os valores da época anterior, até chegar à primeira época.
}