Dispense

Capitolo 5
Sistemi Markoviani
5.1 Catene di Markov
5.1.1 Grafo, probabilità e matrice di transizione, probabilità di stato,
proprietà di Markov
De…nizione 47 Una catena di Markov, nel senso insiemistico o algebrico del termine, è
de…nita da un grafo orientato (con un insieme di stati al più numerabile) munito di probabilità
di transizione.
Spieghiamo i termini di questa de…nizione. Per grafo orientato intendiamo un insieme S
(al più numerabile) di elementi, i vertici, detti stati, che usualmente disegneremo con cerchietti
o anche solo punti, e da archi orientati che uniscono alcuni degli stati, che disegneremo con
frecce. Sono ammesse anche le frecce che portano da uno stato in se stesso. L’unica regola
da rispettare è che da ogni stato esca almeno una freccia. Queste ultime due convenzioni non
fanno parte della de…nizione usuale di grafo orientato, quindi qui con tale termine intendiamo
la struttura matematica appena descritta, anche se un po’ peculiare rispetto al linguaggio
tradizionale. Gli stati possono essere denominati come si vuole, a seconda dell’esempio, ma
nell’esposizione teorica li numereremo tramite gli interi positivi (stato 1, stato 2 ecc.).
Le probabilità di transizione sono numeri pij 2 [0; 1] associati a ciascuna coppa di stati
i; j 2 S, incluso il caso j = i. Devono soddisfare unicamente la regola
X
pij = 1.
j2S
265