lez 1_ processi stocastici

Metodi Computazionali
Enza Messina
A.A. 2009/10
Ragionamento probabilistico nel tempo
Il compito di prendere una decisione
dipende da:
Informazioni parziali
Informazioni rumorose
Incertezza sui cambiamenti dell’ambiente nel
corso del tempo
E. Messina Metodi Computazionali

Metodi Computazionali
- Processi stocastici e processi Markoviani
- Tecniche per la generazione di numeri casuali
. generazione di realizzazioni di variabili
discrete
. generazione di realizzazioni di variabili
continue
-
Tecniche di simulazione
o Costruzione e validazione di modelli di simulazione
o Metodi Monte Carlo
o Tecniche di riduzione della varianza
o Analisi dei risultati
-
Metodi per la stima dei parametri
Ragionamento probabilistico nel tempo
Per descrivere un mondo mutevole si
usano:
una serie di variabili casuali
descritte da uno stato
in ogni istante temporale
Le relazioni fra variabili casuali in istanti
temporali diversi descrivono l’evoluzione
dello stato!
E. Messina Metodi Computazionali

Tempo e Incertezza
Modelli statici:
Il valore delle variabili non cambia nel tempo
Modelli dinamici
Il valore delle variabili cambia nel tempo
Lo stato corrente dipende dalla storia
Il processo di cambiamento e’ descritto da una
serie di “fotografie” (time slice) ognuna delle
quali contiene un insieme di variabili casuali
E. Messina Metodi Computazionali
Metodi Computazionali
Processi stocastici e processi Markoviani
Tecniche per la generazione di numeri casuali
generazione di realizzazioni di variabili discrete
generazione di realizzazioni di variabili continue
Tecniche di simulazione
Costruzione e validazione di modelli di simulazione
Metodi Monte Carlo
Tecniche di riduzione della varianza
Analisi dei risultati
Metodi per la stima dei parametri
E. Messina Metodi Computazionali

Processo Stocastico
Un processo stocastico { X ( t),
t T}
è:
un insieme di variabili casuali, (per ogni t, X(t) e’ una variabile casuale)
una variabile casuale che evolve nel tempo
L’insieme T degli indici e lo spazio X degli stati possono essere continui o discreti.
• Processi stocastici a tempo continuo
• Processi stocastici a tempo discreto
• Processi stocastici a stati continui
• Processi stocastici a stati discreti
{ X ( t),
t > 0}
{ X ( t),
t = 0,1,... }
{ , n = 0,1,... }
X n
E. Messina
Metodi Computazionali
7
Processo Stocastico
X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di
una variabile casuale che descrive lo stato del sistema al tempo t
X(t)
X(t)
X(t)
numero di visitatori di una pagina web al tempo t
numero di visitatori di una pagina web fino al tempo t
numero di prodotti venduti fino al tempo t
X(t)
valore di un portafoglio di titoli al tempo t
E. Messina
Metodi Computazionali
8

Esempio
Random Walk
discrete-time, discrete-state
Xt X t
= 1 t=1,2,3,...
+ t
where t = {1,1} and
p( t
= 1)
= p(
t
= + 1) = 0,5
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
-8
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
E. Messina Metodi Computazionali
9
Esempio
Changing p>0,5
we obtain a random walk with drift
12
10
p=0,8
8
6
4
2
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Another way to generalize this process is to let
(discrete time continuous state stochastic process)
t
assume continuous values
t
N(0,1)
5
4
3
2
1
E. Messina
0
-1
-2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Metodi Computazionali
1
0

Esempio
The first order autoregressive process given by the equation
Xt
= aXti
+ b + t
where a and b are constant, with -1

Proprietà dei Processi Markoviani
Una importante proprietà dei processi stocastici è la
Proprietà Markoviana
Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili
valori futuri del processo dipende solo dal loro valore corrente non dai valori
passati o da altre informazioni correnti
P( X t+1 = i t+1 | X t = i t , X t-1 = i t-1 , …, X 1 = i 1 , X 0 = i 0 )
= P( X t+1 = i t+1 | X t = i t )
I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov
E. Messina
Metodi Computazionali
13
Catene di Markov
Un processo stocastico a tempi discreti è una catena di Markov se,
per t = 1, 2, 3, … e per tutti gli stati, si ha che:
P( X t+1 = j | X t = i , X t-1 = i t-1 , …, X 1 = i 1 , X 0 = i 0 )
= P( X t+1 = j| X t = i )
Se P(X 0 = i) = q i
q = [q 1 … q i … q n ] distribuzione probabilità iniziale
E. Messina Metodi Computazionali

Catene di Markov
Se la probabilità di un certo evento è indipendente dal tempo t la
catena di Markov si definisce stazionaria e si ha che:
P( X t+1 = j | X t = i) = p ij
p ij =
probabilità che al tempo t+1 il sistema sarà nello stato j,
essendo nello stato i al tempo t.
Attenzione: non confondere stazionario con statico !!!!!
E. Messina Metodi Computazionali
Matrice delle probabilità
p ij rappresenta la probabilità di raggiungere uno stato j
partendo da uno stato i della catena.
n
p 0 i, j 0
= 1
ij
j=
0
p ij
P =
p 11 p 12 …. p 1n
p 21 p 22 …. p 2n
p n1 p n2 …. p nn
MATRICE DI TRANSIZIONE
(a un passo)
E. Messina Metodi Computazionali

Rappresentazione grafica
Una matrice P delle probabilità di transizione è rappresentabile
graficamente da un grafo. Ogni nodo rappresenta uno stato e l’arco
(i,j) rappresenta la probabilità di transizione p ij .
p ij
p jk
i
j
k
p ii
E. Messina Metodi Computazionali
Esempio
Supponiamo che un’industria produca due tipi di Cola.
Una persona che, all’acquisto precedente, ha comprato Cola1, per il 90% di
possibilità comprerà ancora Cola1.
Chi ha comprato invece Cola2, per l’80% di possibilità comprerà ancora Cola2.
Matrice di transizione:
P =
Cola1
Cola2
Cola1
0.90
0.20
Cola2
0.10
0.80
E. Messina Metodi Computazionali

Esercizi
1. Definire la matrice di transizione dell’esempio del gioco d’azzardo
2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo
ogni periodo e’ la seguente:
- si osserva il livello i di magazzino all’inizio del periodo;
- se i =2 non viene emesso
nessun ordine.
Le consegne degli ordini sono immediate.
- la domanda d segue la seguente distribuzione di probabilità:
con probabilità 1/3 d=0
con probabilità 1/3 d= 1
con probabilità 1/3 d=2
- si osserva quindi il livello di magazzino all’inizio del prossimo periodo.
Determinare la matrice di transizione che caratterizza tale sistema di
stoccaggio.
E. Messina Metodi Computazionali
Esercizi
1. In un’urna sono contenute due palline, inizialmente bianche.
Ad ogni estrazione si procede come segue:
- se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso
altrimenti la dipingo di nero.
- se la pallina estratta è rossa la dipingo di nero
- se la pallina estratta è nera la dipingo di rosso
Determinare la matrice di transizione che descrive questo “gioco”.
E. Messina Metodi Computazionali

Probabilità di transizione a n-passi
Domanda: Se una catena di Markov è in uno stato i al tempo m,
qual è la probabilità che dopo n passi sarà in uno stato j ?
P( X m+n = j | X m = i) = P( X n = j | X 0 = i) =P ij (n)
Si avrà che:
Risposta
P ij (2) = p ik · p kj
n
k=1
P ij (n) = ij-simo elemento di P n
prodotto scalare riga i colonna j
E. Messina Metodi Computazionali
Esempio (2)
1. Se una persona usualmente compra Cola2, qual è la probabilità
che compri Cola1 dopo due acquisti ?
P( X 2 = 1 | X 0 = 2) =P 21 (2)
0.90
0.10
P 2 = =
0.20
0.80
0.90
0.20
0.10
0.80
0.83
0.34
0.17
0.66
E. Messina Metodi Computazionali

Esempio (3)
1. Se una persona usualmente compra Cola1, qual è la probabilità
che compri ancora Cola1 dopo tre acquisti ?
P( X 1 = 1 | X 0 = 1) =P 11 (3)
0.90
0.10
P 3 = =
0.20
0.80
0.83
0.34
0.17
0.66
0.781
0.438
0.219
0.562
E. Messina Metodi Computazionali
Equazioni Chapman-Kolmogorov
La probabilità di transizione a n-passi
P
n
ij
{ X = j | X = i} n 0, i,
0
= P
+
j
n
k
k
può essere calcolata tramite le equazioni di Chapman-Kolmogorov
P
n+
m
ij
=
k =
0
P
n
ik
P
m
kj
n,
m 0,
i,
j 0
P ( n + m)
= P(
n)
P(
m)
E. Messina Metodi Computazionali

Equazioni Chapman-Kolmogorov
{ X = j | X i}
n+
m
Pij = P
n+
m
0
=
=
{ X = j,
X = k | X i}
P
= n+ m n
=
k
0 0
=
{ X = j | X = k,
X = i} P{ X = k X i}
P
= n+ m
n 0 n
| =
k
0 0
= k =0
m n
P kj
Pik
E. Messina Metodi Computazionali
Probabilità di transizione
La probabilità di essere in un certo stato j al tempo n, non
conoscendo lo stato di una catena di Markov al tempo 0, è:
dove:
q i P ij (n) = q · (colonna j di P n )
i
q i = probabilità che la catena sia nello stato i al tempo 0.
E. Messina Metodi Computazionali

Esempio (1)
1. Supponiamo che il 60% delle persone beva Cola1 e il 40%
beva Cola2. Dopo tre acquisti, qual è la percentuale delle
persone che berranno Cola1?
p = q · (colonna 1 di P 3 )
0.781
p = 0.60 0.40 = 0.6438
0.438
E. Messina Metodi Computazionali
Classificazione degli stati
Uno stato j è raggiungibile da uno stato i se esiste un cammino
che da i arriva a j :
n
Pij
> 0
per qualche n0
Due stati i e j si dice che comunicano se j è raggiungibile da i e
viceversa.
Ogni stato comunica con se stesso per definizione e vale anche la
proprietà transitiva.
Una catena di Markov è detta irriducibile se tutti i suoi stati sono
comunicanti fra loro
E. Messina Metodi Computazionali

Classificazione degli stati
Un insieme di stati S in una catena di Markov è un insieme
chiuso se nessuno stato fuori S è raggiungibile dagli stati in S.
Uno stato i si definisce stato assorbente se p ii = 1.
E. Messina Metodi Computazionali
Classificazione degli stati
• Uno stato i si definisce stato transiente se esiste uno stato j
raggiungibile da i, ma i non è raggiungibile da j.
n=1
n
P ii
<
•Uno stato che non è transiente viene definito stato ricorrente.
n=1
n
P ii
=
E. Messina Metodi Computazionali

Classificazione degli stati
• La ricorrenza è una proprietà di classe: se lo stato i è
ricorrente e lo stato j comunica con i allora lo stato j è ricorrente
• Anche essere transiente è una proprietà di classe.
• Tutti gli stati di una catena di Markov finita (n. stati finito)
irriducibile sono ricorrenti
E. Messina Metodi Computazionali
Classificazione degli stati
•Uno stato i è periodico di periodo k>1 se k è il più piccolo
numero tale che tutti i cammini che dallo stato i ritornano ad i
hanno una lunghezza che è un multiplo di k.
• Se uno stato non è periodico si definisce aperiodico.
• Se tutti gli stati in una catena sono ricorrenti, aperiodici e
comunicano l’uno con l’altro, la catena si definisce ergodica.
E. Messina Metodi Computazionali

Esempio (catena ergodica)
Una catena ergodica è, per esempio, la seguente:
P =
0.3 0.7 0
0.5 0 0.5
0 0.25 0.75
0.7
0.25
0.3
1 2
3
0.75
0.5
0.5
E. Messina Metodi Computazionali
Esercizi
Quali stati sono transienti e quali ricorrenti ?
0 0 1/2 1/2
1 0 0 0
0 1 0 0
0 1 0 0
0 0 0
0 0 0
0 0 0
0 0 0
0 0
E. Messina Metodi Computazionali

Esercizi (catena ergodica)
Quali di queste matrici sono associabili a catene ergodiche ?
1/3 2/3 0
1/2 0 1/2
0 1/4 3/4
1/2 1/2 0 0
1/2 1/2 0 0
0 0 2/3 1/3
0 0 1/4 3/4
1/4 1/2 1/4
2/3 1/3 0
0 2/3 1/3
E. Messina Metodi Computazionali
Distribuzione d’equilibrio (steady state)
Sia P una matrice delle probabilità per una catena ergodica di n
stati, vale che:
lim P ij (n) = j
n +
= [ 1 2 3 …. n ]
Dove:
vettore distribuzione d’equilibrio
= ·P
E. Messina Metodi Computazionali

Esempio (Steady State)
P=
0.90 0.10
0.20 0.80
n
P 11
(n)
P 12
(n)
P 21
(n)
P 22
(n)
1
.90
.10
.20
.80
2
.83
.17
.34
.66
3
.78
.22
.44
.56
5
.72
.28
.56
.44
10
.68
.32
.65
.35
20
30
.67
.67
.33
.33
.67
.67
.33
.33
STEADY STATE
40
.67
.33
.67
.33
E. Messina Metodi Computazionali
Esempio (Steady State)
P=
0.90 0.10
0.20 0.80
{
0 +
0
= .9
0
0. 2
0 +
1
= .1
0
0. 8
0
+1
=
1
1
1
E. Messina Metodi Computazionali

Esercizi
1. Una macchina è utilizzata per produrre strumenti di precisione.
Se la macchina è in buone condizioni oggi allora lo sarà anche domani con una
probabilità del 90%.
Se la macchina non è in buone condizioni oggi allora sarà mal funzionante anche
domani con una probabilità dell’80%.
Quando la macchina è in buone condizioni produce 100 pezzi al giorno.
Quando la macchina è mal funzionante produce 60 pezzi al giorno.
In media quanti pezzi al giorno verrano prodotti ?
E. Messina Metodi Computazionali
Transitorio
Il comportamento di una catena di Markov prima di raggiungere la
distribuzione d’equilibrio è chiamato transitorio.
TRANSITORIO
E. Messina Metodi Computazionali

Passaggio Intermedio
Numero di transizioni attese prima di raggiungere lo stato j
essendo nello stato i in una catena ergodica:
m ij = p ij (1)+ p ik· (1+m kj )
kj
m ij = 1+ p ik· m kj
m ii =
1
i
E. Messina Metodi Computazionali
Esempio (passaggio intermedio)
Calcolo di quante bottiglie, in media, berrà un compratore di
Cola1 prima di cambiare a Cola2:
• m 12 = 1+ p 11 · m 12 = 1+ 0.90 · m 12 m 12 = 10
Viceversa, per un compratore di Cola2 si avrà:
• m 21 = 1+ p 22· m 21 = 1+ 0.80 · m 21 m 21 = 5
E. Messina Metodi Computazionali

Catene assorbenti (1)
Le catene assorbenti sono catene di Markov nelle quali
alcuni stati sono assorbenti, mentre tutti gli altri sono
stati transienti.
Definizione:
Uno stato i si definisce stato assorbente se p ii = 1
E. Messina Metodi Computazionali
Catene assorbenti (2)
Possibili domande:
1. Qual’è il numero di passi che intercorrono prima
che, da uno stato transiente, venga raggiunto uno stato
assorbente ?
2. Se una catena parte da uno stato transiente, qual è la
probabilità che termini in uno stato assorbente ?
E. Messina Metodi Computazionali

Matrice di transizione
La matrice di transizione per una catena assorbente può
essere scritta come:
P =
Q
R
0 I
Q matrice che rappresenta le relazioni tra gli stati transienti.
R matrice che rappresenta le transizioni da stati transienti a
stati assorbenti.
E. Messina Metodi Computazionali
Matrice fondamentale
1. Se siamo in uno stato transiente i, il numero di periodi
che si trascorreranno in uno stato transiente j prima
dell’assorbimento è:
ij-simo elemento della matrice (I-Q) -1
E. Messina Metodi Computazionali

Esempio
In una fabbrica le tre tipologie d’impiegati sono: junior, senior e partner.
Ci sono inoltre due stati assorbenti che riguardano due modalità per lasciare la
fabbrica: come non-partner o come partner. La matrice delle probabilità è la
seguente:
Junior
Senior
Partner
Lascia NP
Lascia P
Junior
0.80
0
0
0
0
Q
0
Senior
0.15
0.70
0
0
0
Partner
0
0.20
0.95
0
0
Lascia NP
0.05
0.10
0
1
0
R
I
Lascia P
0
0
0.05
0
1
E. Messina Metodi Computazionali
Esempio (1)
Quanto tempo passa un dipendente Junior nella fabbrica?
(I-Q) -1 =
5 2.5 10
0 3.3 13.3
0 0 20
• tempo che passa come Junior : m 11 = 5
• tempo che passa come Senior : m 12 = 2.5
• tempo che passa come Partner : m 13 = 10
TOT.
17.5 anni
E. Messina Metodi Computazionali

Probabilità d’assorbimento
2. Se siamo in uno stato transiente i, la probabilità di
arrivare in uno stato assorbente j è:
ij-simo elemento della matrice (I-Q) -1·R
E. Messina Metodi Computazionali
Esempio (2)
Qual è la probabilità che un dipendente Junior lasci la
fabbrica come Partner?
(I-Q) -1· R =
0.5 0.5
0.3 0.7
0 1
RISPOSTA
m 12 = 0.5
E. Messina Metodi Computazionali

Esempio: The Drunkard’s walk
Un uomo cammina lungo Park Avenue, dove abita. Per raggiungere il bar deve
passare vicino a 3 lampioni. Ogni volta che arriva ad un lampione si appoggia e
poi riprende il cammino proseguendo in avanti o tornardo indietro con uguale
probabilità. Se arriva a casa o al bar si ferma.
Home
1
2
3
Bar
Home 1 2 3 Bar
1
1/2
0
0
0
Q
0
0
0
1/2
0
0
0
1/2
0
1/2
0
0
0
1/2
0
0
R
I
0
0
0
1/2
1
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
1
2
3
Home
Bar
1 2 3 Home Bar
0
1/2
0
0
0
Q
0
1/2
0
1/2
0
0
0
1/2
0
0
0
1/2
0
0
1
0
R
I
0
0
1/2
0
1
E. Messina Metodi Computazionali

Esempio: The Drunkard’s walk
Quante volte passa per lo stesso lampione?
1 -1/2 0
-1/2 1 -1/2
0 -1/2 1
(I-Q)= (I-Q) -1 =
3/2 1 1/2
1 2 1
1/2 1 3/2
Se parte dallo stato 2 il numero atteso di volte che passa per i
lampioni 1 2 e 3 prima di venire “assorbito” sono 1, 2 e 1.
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
1/2 0
R = 0 0 (I-Q) -1·R =
0 1/2
3/4 1/4
1/2 1/2
1/4 3/4
Se parte dallo stato 2 la probabilità di tornare a casa è 3/4 e quella
di finire al bar è 1/4.
E. Messina Metodi Computazionali

Courtsey of Michael Littman
Example: Academic Life
0.6
A. Assistant
Prof.: 20
0.2
0.2
0.2
B. Associate
Prof.: 60
0.6
0.2
T. Tenured
Prof.: 90
0.7
S. Out on the 0.2
Street: 10 D. Dead: 0
0.8
0.3
1.0
What is the expected lifetime income of an academic?
Solving for Total Reward
L(i) is expected total reward received
starting in state i.
How could we compute L(A)?
Would it help to compute L(B), L(T), L(S),
and L(D) also?

Solving the Academic Life
The expected income at state D is 0
L(T)=90+0.7x90+0.7 2 x90+…
L(T)=90+0.7xL(T)
L(T)=300
0.7
T. Tenured
Prof.: 90
0.3
D. Dead: 0
Working Backwards
287.5
A. Assistant
Prof.: 20
0.6
0.2
50
0.2
0.2
0.2
325
B. Associate
Prof.: 60
0.6
0
S. Out on the
Street: 10 D. Dead: 0
0.2
0.7
T. Tenured
Prof.: 90
0.3
300
0.8
1.0
Another question: What is the life expectancy of professors?

Stepping Stone Model
Let A be a nxn array of squares
Each square is initially any one of k different colors
For each step, a square is chosen at random
This square chooses one of its 8 neighbors at random and assumes its color
(boundary conditions …)
This is an example of absorbing Markov Chain: with probability 1 all the squares
will eventually all be the same color
Credit Rating: Typical Transition Matrix (1-Year)
Initial
Rating
Year-End Rating
AAA AA A BBB BB B CCC D
AAA 90.81 8.33 0.68 0.06 0.12 0 0 0
AA 0.70 90.65 7.79 0.64 0.06 0.14 0.02 0
A 0.09 2.27 91.05 5.52 0.74 0.26 0.01 0.06
BBB 0.02 0.33 5.95 86.93 5.30 1.17 0.12 0.18
BB 0.03 0.14 0.67 7.73 80.53 8.84 1.00 1.06
B 0 0.11 0.24 0.43 6.48 83.46 4.07 5.20
CCC 0.22 0 0.22 1.30 2.38 11.24 64.86 19.79

Example of Rating Transition Matrix*
* Moody’s Investors Service, July 1997. “Moody’s Rating Migration and Credit
Quality Correlation, 1920-1996”
Google’s Search Engine
Assumption: A link from page A to page B is a
recommendation of page B by the author of A
(we say B is successor of A)
Quality of a page is related to its in-degree
Recursion: Quality of a page is related to
its in-degree, and to
the quality of pages linking to it
PageRank [Brin and Page ‘98]
E. Messina Metodi Computazionali

Definition of PageRank
Consider the following infinite random walk
(surf):
Initially the surfer is at a random page
At each step, the surfer proceeds
to a randomly chosen web page with probability p
to a randomly chosen successor of the current page with
probability 1-p
The PageRank of a page d is the fraction of
steps the surfer spends at d in the limit.
E. Messina Metodi Computazionali
Random Web Surfer
What’s the probability of a page being visited?
E. Messina Metodi Computazionali

Markov Chains
Theorem: Under certain conditions:
There exists a unique stationary distribution q with q i > 0
for all i
Let N(i,t) be the number of times the Markov chain visits
state i in t steps. Then,
lim
t
N(
i,
t)
t
=
i
E. Messina Metodi Computazionali
PageRank
PageRank = the probability for this Markov chain,
i.e.
PageRank(
u)
= p / n + (1 p)
where n is the total number of nodes in the graph
p is the probability of making a random jump.
Query-independent
Summarizes the “web opinion” of the page
importance
( v,
u)
E
PageRank(
v) / outdegree(
v)
E. Messina Metodi Computazionali

PageRank
A
B
D
PageRank of D is
(1-p)* ( 1/4 th the PageRank of A + 1/3 rd the PageRank of B ) +p/n
E. Messina Metodi Computazionali
Kth-Order Markov Chain
What we have discussed so far is the first-order
Markov Chain.
More generally, in kth-order Markov Chain, each
state transition depends on previous k states.
What’s the size of transition probability matrix?
X1
X2 X3 X4
E. Messina Metodi Computazionali

Add-ins Excel
Per la risoluzione delle operazioni relative alle catene di
Markov sono presenti in rete add-ins free di Excel:
Sito per il download:
http://www.stanford.edu/~savage/software.htm
E. Messina Metodi Computazionali