Dispense

268 CAPITOLO 5. SISTEMI MARKOVIANI
e così via. Indicando con p (n) il vettore p (n)
i
, vale in forma vettoriale
i2S
p (n) = p (n 1) P = ::: = p (0) P n :
Le potenze della matrice di transizione, applicate a sinistra al vettore di stato iniziale,
forniscono le probabilità di stato ad ogni istante successivo.
Potrebbe sembrare che il processo (Xn) n2N sia così univocamente determinato. Non è
così. Serve imporre una regola altrimenti non è possibile calcolare univocamente probabilità
del tipo P (X2 = k; X1 = j; X0 = i). Si assume che valga la seguente regola, detta proprietà
di Markov:
P (Xn+1 = in+1jXn = in)
= P (Xn+1 = in+1jXn = in; Xn 1 = in 1; :::; X0 = i0)
per ogni valore degli indici e degli stati. Essa signi…ca che la conoscenza dello stato “presente”
in oppure la conoscenza del “presente” e di tutto il passato, producono le stesse previsioni
sul futuro. Il futuro è idipendente dal passato, noto il presente. Se pensiamo al grafo ed al
processo costruito su di esso, l’idea è che quando il processo occupa, al tempo n, lo stato
i, per la determinazione futura del moto (cioè degli stati che verranno occupati) serve solo
sapere che ci troviamo in i, non serve ricordare da quali stati siamo passati precedentemente.
Se così non fosse, la descrizione algebrica tramite grafo crollerebbe, bisognerebbe introdurre
delle complicazioni per tenere memoria del passato.
Le catene di Markov sono quindi sistemi senza memoria.
Assunta la proprietà di Markov, vale, per ogni valore di stati e tempi
P (Xn = in; Xn 1 = in 1; :::; X0 = i0)
= P (Xn = injXn 1 = in 1; :::; X0 = i0) P (Xn 1 = in 1; :::; X0 = i0)
= P (Xn = injXn 1 = in 1) P (Xn 1 = in 1; :::; X0 = i0)
= pin 1inP (Xn 1 = in 1; :::; X0 = i0)
da cui si può ripetere il conto ricorsivamente ed ottenere
Vediamo quindi che:
P (Xn = in; Xn 1 = in 1; :::; X0 = i0) = p (0)
i0 pi0i1 pin 1in:
Proposizione 27 Sotto la proprietà di Markov, la matrice di transizione P ed il vettore p (0)
determinano tutte le marginali P (Xn = in; Xn 1 = in 1; :::; X0 = i0), quindi determinano
univocamente il processo stocastico (Xn) n2N .
Nota per gli esercizi. Per calcolare in un dato esempio la probabilità p (n)
i con i ed n
(basso) speci…cati si può procedere in due modi. Il primo è puramente algebrico e consiste
nel calcolo della potenza P n . L’altro consiste nel capire gra…camente la formula (5.1), identi…cando
tutti i cammini che in n passi portano nello stato i, cammini che conviene elencare
esplicitamente, calcolando poi le probabilità lungo ciascun cammino e poi la loro somma. Se