Dispense

266 CAPITOLO 5. SISTEMI MARKOVIANI
Nell’interpretazione applicativa il numero pij va pensato come la probabilità di e¤ettuare la
transizione dallo stato i allo stato j. Quindi il numero pij va scritto, nel disegno del grafo,
sulla freccia che porta dallo stato i a j. Quando manca una freccia, è il caso pij = 0.
Si possono riassumere questi elementi in una matrice
P = (pij) i;j2S
quadrata, con tante righe (o colonne) quanti gli stati (anche in…niti). Viene detta matrice di
transizione. Una catena di Markov (per così dire insiemistica o algebrica) è de…nita quindi o
da una matrice di transizione o da un grafo orientato corredato di probabilità di transizione.
Per la caten di Markov della …gura precedente la matrice è
0
P = @
1=3 0 1=3
1 0 0
1=2 1=2 0
Arricchiamo questa visione, peraltro già esaustiva per molte applicazioni, con alcuni
elementi più propriamente stocastici.
De…nizione 48 Dato un insieme S di stati, al più numerabile e data una matrice di transizione
P relativa a tali stati, chiamiamo processo (o catena) di Markov ad essi associata un
processo stocastico (Xn) n2N che assuma valori in S e tale che valga:
pin;in+1 = P (Xn+1 = in+1jXn = in)
1
A :
= P (Xn+1 = in+1jXn = in; Xn 1 = in 1; :::; X0 = i0)
per ogni valore degli indici e degli stati..
A posteriori questa de…nizione sintetica risulterà chiara ma arriviamoci progressivamente
attraverso una serie di ragionamenti e costruzioni.
Introduciamo, a partire dagli elementi sopra descritti, un processo stocastico (Xn) n2N ,
che chiameremo anch’esso catena di Markov (ora in senso propriamente stocastico).
Operativamente, il processo stocastico è de…nito in questo modo. La v.a. Xt è una variabile
discreta che assume come valore uno qualsiasi degli stati, con probabilità che indicheremo
con
p (n)
i := P (Xn = i) ; i 2 S; n 2 N