Metodi di ricampionamento: jacknife, bootstrap e test di ipotesi

Metodi di ricampionamento:
jacknife, bootstrap e test di ipotesi
Riccardo Bellazzi
Laboratory for BioMedical
Informatics
University of Pavia, Italy

Concetti introduttivi
Supponiamo di effettuare un esperimento in cui osserviamo
una variabile casuale X osservabile che assume valori in S.
X è costituito da n osservazioni X = (X 1 , X 2 , ..., X n )
indipendenti e identicamente distribuite (IID).
Una statistica è una funzione osservabile dell'esito di un
esperimento casuale: W = h(X).
Una statistica è quindi una variabile casuale derivata dai
dati X, con l'ipotesi che anche W sia osservabile.
Anche W può essere un vettore.
Un parametro a è un valore che permette di specificare la
distribuzione di X, che assume valori in uno spazio
parametrico A. Di solito, la distribuzione
di X avrà k parametri reali di interesse, e a= (a 1, a 2, ..., a k),
con A è sottoinsieme di R k.
In molti casi, uno o più parametri sono sconosciuti e devono
essere stimati a partire da X.
Adattato da:http://www.ds.unifi.it/VL/VL_IT/index.html

Proprietà degli stimatori
Supponiamo di avere un parametro reale ignoto a che
assume valori in uno spazio parametrico A in R. Una
statistica a valori reali W che si utilizza per stimare a è
detta stimatore di a.
Quindi uno stimatore è una variabile casuale e possiede
pertanto una distribuzione, valore atteso, varianza e
così via. Quando si esegue l'esperimento e si osservano
i dati, il valore osservato w (che è un numero) è
la stima del parametro a.
L'errore (variabile casuale) è la differenza tra lo
stimatore e il parametro: W - a.
Il valore atteso dell'errore è detto distorsione o bias:
bias(W) = E(W - a)

Bias

Media campionaria

Altre proprietà
Supponiamo di poter effettuare varie stime W n in
relazione al numero di dati che abbiamo a
disposizione
La sequenza di stimatori W n si
dice asintoticamente corretta per a se:
bias(W n ) 0 per n ∞
La sequenza di stimatori W n è consistente per a se
W n converge in probabilità ad a per n che tende a
infinito:
P (| W n - a| > r) 0 per n ∞ per ogni r > 0 e
ogni a appartenente a A.

Il problema della stima in ambiti complessi
Calcolare le proprietà dello stimatore può
essere complesso.
Nel caso della media è semplice:
Cosa succede se invece utilizziamo la
mediana? O la moda? Non possiamo fare
i calcoli in modo analitico

Jacknife
Bootstrap
Metodi di ricampionamento

Jacknife
La tecnica di jacknife (o leave-oneout)
fornisce una procedura generale per
stimare la varianza ed il bias di uno
stimatore generico
La tecnica venne proposta per la prima
volta da Quenouille nel 1949.
L’idea di base consiste nel togliere un
campione alla volta e ricalcolare lo
stimatore

Jacknife per la media
Partendo dal nostro data set X, togliamo
l’i-esimo campione da X e calcoliamo la
stima leave-one-out (LOO) della media
dagli n-1 campioni rimanenti
Il valore di X i può essere calcolato sulla base della conoscenza dei
valori della media complessiva e della media dell’i-esima iterata

Jacknife: lo stimatore (1)
Supponiamo di impiegare uno stimatore
arbitrario funzione degli n punti (W) e di
effettuare la stima LOO (W (i) ) per ogni i.
In analogia con quanto effettuato per la
media, possiamo calcolare gli i
pseudovalori come

Jacknife: lo stimatore (2)
Lo stimatore Jacknife diventa allora:

€
Jacknife: Bias
La stima Jacknife del Bias è:
bias JK (W ) = W −W JK =
= W − nW + (n −1)W (.) = (n −1)(W (.) −W )
Possiamo correggere la stima W
eliminando il bias:
W '= W − bias JK (W ) = nW − (n −1)W (.)

Jackknife: Varianza
La stima Jacknife della Varianza è:

Jacknife
Le stime jacknife riducono il bias
Lo stimatore può avere dei problemi in
alcuni casi, come ad esempio la mediana
Questi casi corrispondono a statistiche la
cui distribuzione di probabilità non è
smooth (piccoli cambiamenti nei dati
causano grandi cambiamenti nei risultati)

Boostrap
Inventato nel 1979 come metodo per la
stima della varianza
Deriva il suo nome dalle avventure del
Barone di Munchausen
Rispetto ad alcune proprietà migliora le
caratteristiche del jacknife

Il metodo di Bootstrap (con distribuzione
incognita dei dati)
Supponiamo di voler calcolare un
parametro a e di utilizzare uno stimatore
W, di cui vogliamo calcolare bias e
varianza
Dal nostro data set X=(X 1, …, X n)
ricaviamo B nuovi data set (X b , b=1,.. B)
della stessa dimensione, n, ottenuti
campionando i casi di X con risostituzione
Ogni X b viene detto bootstrap sample

Bootstrap: varianza
Possiamo calcolare la stima W (b) per
ognuno dei bootstrap samples
La stima Boostrap della Varianza è:

Bootstrap: bias
La stima Bootstrap del Bias è:
bias bs(W ) = W (.) −W
E’ pertanto possibile correggere la stima
eliminando il bias come:
€

Bootstrap
Grazie ai metodi di bootstrap e’ possibile
calcolare i percentili per W, trovando i
limiti inferiori (α/2) e superiori (1-α/2)
con un certo intervallo di confidenza

Limiti dei metodi di bootstrap nel caso di
ricampionamento
Dati n campioni distinti ci sono fino a
Differenti campioni di bootstrap. Le
statistiche sono pertanto limitate
superiormente in termini di numerosità

Bootstrap e distribuzioni parametriche note
E’ possibile applicare il metodo anche
quando si vogliono calcolare delle
statistiche complesse da campioni estratti
da distribuzioni di probabilità note.
L’unica differenza è che invece di
ricampionare i dati si estraggono dei
campioni di dimensione n dati dalle pdf

Metodi di ricampionamento e test di ipotesi

Metodo Monte Carlo
Supponiamo che sia stata osservata una statistica
W su un data set con n casi
Campioniamo R volte n campioni dalla distribuzione
nulla e calcoliamo le statistiche w (1) , w (2) , …, w (R)
Se l’ipotesi nulla è vera allora w (1), w (2), …, w (R), W
sono R+1 campioni estratti dalla stessa
distribuzione
Il p-value di un’ipotesi unidirezionale viene
calcolato come
p val = P w > W | H 0
( ) = # (w (i) > W )
R +1

Test di randomizzazione (Fisher, 1935)
Supponiamo di avere dei dati complessi
che sembrano mostrare delle regolarità
I test di randomizzazione utilizzano
l’ipotesi che i dati siano random come
ipotesi nulla
Per realizzare il test, vengono effettuate
diverse trasformazioni casuali dei dati

Esempio
Supponiamo di avere una sequenza di DNA e
osserviamo che sono presenti delle ripetizioni
apparentemente non casuali. Siano le ripetizioni
pari a 17
L’ipotesi nulla è che l’ordine delle basi è casuale
Si costruisce una distribuzione empirica
prendendo il campione originale e scambiando
le basi casualmente per R=1000 volte
Se soltanto 5 dei 1000 campioni presenta un
numero di ripetizioni maggiore o uguale a 17, la
probabilità di vedere 17 ripetizioni sotto l’ipotesi
nulla è 0,005

Test basati sulle permutazioni
Introdotti da Fisher nel 1930; studiati in generale per
due campioni
Supponiamo di avere un campione x di n elementi
estratti dalla pdf F, ed un campione y di m elementi,
estratto dalla pdf G.
L’ipotesi nulla è che non vi siano differenze fra F e G
Per prima cosa calcoliamo la differenza fra le medie
Se W è grande, l’evidenza contro H è forte. L’idea è
quella di calcolare il livello di significatività:

Test sulle permutazioni 2
Se l’ipotesi nulla fosse vera le misure X e Y
potrebbero essere state estratte
equivalentemente da entrambi i gruppi
Così vengono inserite in un unico gruppo le m+n
osservazioni e quindi prendiamo un campione di
grandezza n senza rimpiazzamento per
rappresentare il primo gruppo, così che i
rimanenti m campioni rappresentano il secondo
gruppo
Calcoliamo
Ripetiamo la procedura R volte, ottenendo la
distribuzione nulla delle differenze

Test delle permutazioni 3
Verifichiamo la posizione di W nella
distribuzione nulla delle differenze.
Se W è al (1-α)% della distribuzione (o si
trova a (α/2)% o (1-α/2)%) si può
rifiutare l’ipotesi nulla
I test delle permutazioni dipendono dal
seguente lemma: “tutte le permutazioni
dei dati X,Y sono equiprobabili sotto
l’ipotesi nulla”

Test delle permutazioni 4
Supponiamo di avere i seguenti dati:
Li ordiniamo come segue:

Test delle permutazioni - 5
Studiamo il vettore g dei gruppi, corrispondenti
alle etichette dei valori ordinati
Il vettore g contiene N simboli di tipo X e M
simboli di tipo Y
Ci sono possibili modi di partizionare un
vettore di N+M elementi in due sottoinsiemi di
dimensione N e M
Il lemma del test delle permutazioni afferma
che ogni possibile permutazione ha probabilità
di avvenire se F=G

Esercizio
Utilizzando Matlab, si paragonino le due
distribuzioni utilizzando il test delle
permutazioni con R=100 ripetizioni:
t=[94 197 16 38 99 141 23];
c=[52 104 146 10 50 31 40 27 46];
[t c]
dati=[t c];
Delta=mean(t)-mean(c);
Nsamp=100
for i=1:Nsamp,
dati_r=dati(randperm(length(dati(1,:))));
delta(i)=mean(dati_r(1:length(t)))-mean(dati_r(length(t)+1:end));
end
perc=length(find(delta>Delta))/(Nsamp+1)

Bootstrap test
Sia X un campione di grandezza n estratto da F
e Y un campione di grandezza m estratto da G.
I due campioni sono estratti in modo
indipendente
Sia H0: F=G
Formiamo B campioni di bootstrap dal set Z=
{X,Y} campionando con risostituzione e
assegnando i primi n campioni a X (b) e i
rimanenti m a Y (b)
Calcoliamo le differenze

Bootstrap test - 2
Valutiamo la posizione di W rispetto alla
distribuzione dei W (b) e decidiamo se
accettare o rifiutare l’ipotesi nulla
La sola differenza con i metodi basati
sulle permutazioni è che i campioni sono
estratti con risostituzione

Paragone fra bootstrap e permutazione
La permutazione si effettua solo per paragonare
fra loro distribuzioni
Se venissero fatte tutte le permutazioni il
calcolo del p-value sarebbe esatto
Il bootstrap converge all’ipotesi nulla “vera”
solo se il campione tende all’infinito
Il metodo di bootstrap si può utilizzare anche
per paragonare statistiche generali e non solo le
distribuzioni

t=[94 197 16 38 99 141
23];
c=[52 104 146 10 50 …
31 40 27 46];
[t c]
dati=[t c];
Delta=mean(t)-mean(c);
Codice
% ricampionamento
for i=1:100,
dati_r=dati(randperm(length(dati(1,:))));
delta(i)=mean(dati_r(1:length(t)))-mean(dati_r(length(t)+1:end));
end
hist(delta)
perc=length(find(delta>Delta))/100
for i=1:100,
bootstrap=dati(randsample(length(dati(1,:)),length(dati(1,:)),true))
dati_t=bootstrap(1:length(t))
dati_c=bootstrap(length(t)+1:end)
deltab(i)=mean(dati_t)-mean(dati_c);
end
figure
hist(deltab)
percb=length(find(deltab>Delta))/100

Bootstrap e errore di predizione
Supponiamo di avere un modello che è in grado di
effettuare delle predizioni h(x,q) su una variabile y dopo
la stima di un set di parametri q.
La bontà del modello può essere valutata con il calcolo
dell’MSE
Possiamo effettuare una stima di MSE anche mediante il
metodo di bootstrap

Bootstrap e errore di predizione
La stima non funziona molto bene, viceversa il
metodo viene usato per stimare il bias
MSE empirico è calcolato sul dataset di
bootstrap

Altre stime di bootstrap
Se consideriamo lo stimatore non corretto di MSE (MSE BS ),
vediamo che viene effettuato sul data set originale, che
contiene sia esempi che appartengono al data set su cui è
stato appreso il modello sia esempi che non sono stati
utilizzati nell’apprendimento
per n∞ la percentuale di punti che rimangono nel
bootstrap sample è il 63,2% del campione originale
Possiamo allora calcolare la stima di MSE usando solo i
campioni del “test” set
Dove C i è l’insieme degli indici del bootstrap sample b che non
contengono l’iesimo campione, e B i è il numero di questi campioni

.632 bootstrap
La stima MSE 0 è una stima pessimistica
dell’errore di generalizzazione. Viceversa
MSE BS è una stima ottimistica.
E’ stata proposta in modo empirico la media
pesata fra i due, con il peso determinato sulla
base della percentuale dei dati che si trovano
in un bootstrap sample

Acknowledgements
Slides tratte dal corso: “Resampling
techniques for statistical modeling” di
Gianluca Bontempi, Department
d’Informatique, Boulevard de Triomphe,
CP 212, Bruxelles, http://www.ulb.ac.be/
di