Dispense

5.2. ESERCIZI 275
5.2 Esercizi
Esercizio 33 Consideriamo la catena di Markov su E = f1; 2; 3; 4; 5g associata alla seguente
matrice di transizione 0
1=2 1=2 0 0 0
1
B 1=2
P = B 0
@ 0
1=2
0
0
0
0
1=2
0
1
1=2
0
0
0
C
A
1=3 0 1=3 0 1=3
:
i) Qual è la probabilità, partendo da 5, di essere in 4 dopo 4 passi?
ii) Classi…care gli stati e trovare le classi irriducibili.
iii) Determinare tutte le probabilità invarianti della catena.
Esercizio 34 Consideriamo due agenti …nanziari. Ogni ora, ciascun agente compie un’azione,
scelta tra due possibilità A e B. Ci sono pertanto quattro possibilità di azioni scelte dai due
agenti: (A; A), (A; B), (B; A), (B; B) (ad esempio, (A; B) signi…ca che il primo agente sceglie
A ed il secondo B).
Quando si realizza (A; A), il primo agente guadagna 10 ed il secondo 0. Quando si realizza
(A; B), il primo guadagna 0 ed il secondo 10. Quando si realizza (B; A), il primo guadagna
0 ed il secondo 10. Quando si realizza (B; B), il primo guadagna 10 ed il secondo 0.
I due agenti scelgono in modo indipendente l’uno dall’altro, scegliendo però in base al proprio
guadagno dell’ora precedente: se hanno guadagnato 10 conservano la scelta precedente, altrimenti
la modi…cano con probabilità 1/2.
i) Descrivere il problema con una catena a 4 stati, stabilire tutte le proprietà di tale catena e
calcolare il guadagno medio di ciascun agente all’equilibrio.
ii) Rispondere alle stesse domande nella seguente variante del caso precedente: i due agenti
scelgono in modo indipendente l’uno dall’altro; il primo, se guadagna 10 cambia, mentre se
guadagna 0 cambia con probabilità 1/2; il secondo, se guadagna 10 conferma la scelta precedente,
mentre se guadagna 0 cambia (si consiglia di rileggere più volte questo testo).
iii) Calcolare, nel caso (ii), la probabilità di trovarsi in (A; A) partendo da (B; B) in n passi
(n qualsiasi), traendo delle conclusioni anche in relazione a fatti scoperti al punto (ii). Calcolare
poi la probabilità di trovarsi in (A; A) partendo da (A; B), in 8 ed in 9 passi. Cercare
in…ne di capire se vale la convergenza all’equilibrio partendo da (A; B).
5.3 Processi di Markov a salti
5.3.1 Sistemi a eventi discreti
Portano questo nome tutti quei sistemi in cui possiamo classi…care le situazioni possibili
secondo un numero …nito o al più numerabile di possibilità, dette stati del sistema; il sistema
si trova ad ogni istante in un certo stato, lì resta per un certo tempo, poi e¤ettua una
transizione ad un altro stato, e così via.
Dal punto di vista matematico gli ingredienti sono gli stati e le transizioni (a cui aggiungeremo
altri enti come i tempi aleatori di attesa per una transizione). Di fronte ad ogni nuovo