Dispense

88 CAPITOLO 1. ELEMENTI DI CALCOLO DELLE PROBABILITÀ
Invece le leggi deboli ci dicono che se facciamo ad es. 1000 lanci, la probabilità che Xn
disti da 1
pq
2 più di " è minore di " 2 1 = 100 " 2400 . Quindi abbiamo tale con…denza (:00 25 " 2 )
che Xn (!), relativo alla storia ! che si sta avverando, disti da 1 più di ". Se aumentiamo n,
2
aumenta la nostra con…denza, ma non possiamo dire che Xn (!), relativo alla nostra storia
!, si stia e¤ettivamente avvicinando a 1
2 .
1.4.4 Stima di Cherno¤ (grandi deviazioni)
In questo paragrafo mostriamo stime esponenziali per le probabilità di errore tra media
aritmetica e media teorica.
Per ogni coppia di numeri ; p 2 (0; 1), introduciamo l’entropia relativa
h( jjp) = log p + (1 ) log
(1 )
(1 p)
detta anche distanza (o divergenza) di Kullback-Leibler.
Per > p vale h( jjp) > 0, come si deduce ad esempio dalla dimostrazione del seguente
), a titolo di esempio.
teorema. Ecco il gra…co di 7! h( jj 1
1
2 ) e di 7! h( jj 4
y
0.6
0.4
0.2
0.0
0.0 0.2 0.4 0.6 0.8 1.0
7! h( jj 1
1
4 ) (linea intera) e 7! h( jj 2 ) (tratteggiata)
Altre proprietà generali, ben visibili negli esempi, sono che h(pjjp) = 0 e che h( jjp) è
convessa in .
Data Sn B (n; p), ricordiamo che la sua media è np. Inoltre sappiamo che la sua
deviazione standard è molto più piccola delle grandezze che crescono con n (come il range
n e la media np): essa vale p n p pq. Quindi Sn si concentra, per così dire, attorno alla sua
media. Preso allora un numero > p, la probabilità della coda P (Sn n ) dovrebbe essere
molto piccola. Dimostriamo che è esponenzialmente piccola.
Teorema 20 Se Sn B (n; p), allora, per ogni > p, vale
Inoltre, per ogni < p, vale
Quindi vale anche
P (Sn n ) e nh( jjp) :
P (Sn n ) e nh( jjp) :
P Xn p > " e nh(p+"jjp) + e nh(p "jjp) :
x