Dispense

5.1. CATENE DI MARKOV 269
la matrice di transizione è ricca di zeri, cioè ci sono poche frecce nel grafo, e se esse sono
strutturate bene rispetto ad i, forse si fa prima col secondo metodo che col primo. Se invece
si deve calcolare tutto p (n) , forse il primo metodo è più veloce. Vedremo vari esempi negli
esercizi proposti (risolti).
Esempio 98 Immaginiamo di voler costruire un automa che si comporti in modo simile ad
un essere vivente “semplice”, o reativamente ad una serie “semplice”di sue azioni. Supponiamo
che l’essere vivente possa trovarsi in 4 situazioni possibili, ad esempio, inerte, vigile ma
fermo, in fuga, in azione di attacco. Supponiamo poi che, dopo numerose osservazioni del
comportamento di questo essere, si possa dire quanto segue: se inerte, così resta un tempo
arbitrario, dopo di che diventa vigile ma fermo; se vigile ma fermo, può tornare inerte, oppure
mettersi in fuga oppure all’attacco; e dopo molte osservazioni si vede che nel 50% dei
casi torna inerte, nel 20% si mette in fuga, nel restante 30% in attacco; se in fuga, torna
fermo e vigile al termine della fuga; similmente, se in attacco, torna fermo e vigile al termine
dell’attacco. Possiamo allora descrivere questo sistema con 4 stati: 1 = inerte, 2 = fermo
vigile, 3 = in fuga, 4 = in attacco. Le frecce presenti, con le relative probabilità, sono
La matrice di transizione è
P =
1 1 ! 2
2 1=2
! 1; 2 1=5
! 3; 2 3=10
! 4
3 1 ! 2
4 1 ! 2:
0
B
@
0 1 0 0
1=2 0 1=5 3=10
0 1 0 0
0 1 0 0
Ovviamente da qui a costruire un automa ce ne passa, ma è un inizio. Una catena di Markov
è facile da simulare, quindi è facile generare moti causali una volta costruita la catena associata
ad un problema. Nella descrizione ora data manca, rispetto alla realtà, un elemento
fondamentale: il tempo trascorso in uno stato prima di e¤ettuare una transizione. Anche
questo tempo sarà aleatorio. Ci sono due modi di introdurlo. Un primo modo consiste nel
mettere anche le frecce che mandano uno stato in se stesso, con opportune probabilità:
0
1
P =
B
@
1
2 (1 p2) p2
1
C
A :
p1 1 p1 0
1
5
0
(1 p2)
0 1 p3 p3
3
10 (1
0
p2) C
A
0 1 p4 0 p4
:
Si sta immaginando che il tempo ora esista e la catena di Markov esegua un passo ogni
intervallino t (di ampiezza da decidere). Ad esempio, dallo stato 1, con probabilità p1 si
sposta nello stato 2 nel tempo t, altrimenti resta dov’è. Se p1 è piccolo, resterà per molto
tempo nello stato 1, prima di e¤ettuare la transizione. Così, modulando i valori pi, si creano