Metodi di ricampionamento: jacknife, bootstrap e test di ipotesi

labmedinfo.org

Metodi di ricampionamento: jacknife, bootstrap e test di ipotesi

Metodi di ricampionamento:

jacknife, bootstrap e test di ipotesi

Riccardo Bellazzi

Laboratory for BioMedical

Informatics

University of Pavia, Italy


Concetti introduttivi

Supponiamo di effettuare un esperimento in cui osserviamo

una variabile casuale X osservabile che assume valori in S.

X è costituito da n osservazioni X = (X 1 , X 2 , ..., X n )

indipendenti e identicamente distribuite (IID).

Una statistica è una funzione osservabile dell'esito di un

esperimento casuale: W = h(X).

Una statistica è quindi una variabile casuale derivata dai

dati X, con l'ipotesi che anche W sia osservabile.

Anche W può essere un vettore.

Un parametro a è un valore che permette di specificare la

distribuzione di X, che assume valori in uno spazio

parametrico A. Di solito, la distribuzione

di X avrà k parametri reali di interesse, e a= (a 1, a 2, ..., a k),

con A è sottoinsieme di R k.

In molti casi, uno o più parametri sono sconosciuti e devono

essere stimati a partire da X.

Adattato da:http://www.ds.unifi.it/VL/VL_IT/index.html


Proprietà degli stimatori

Supponiamo di avere un parametro reale ignoto a che

assume valori in uno spazio parametrico A in R. Una

statistica a valori reali W che si utilizza per stimare a è

detta stimatore di a.

Quindi uno stimatore è una variabile casuale e possiede

pertanto una distribuzione, valore atteso, varianza e

così via. Quando si esegue l'esperimento e si osservano

i dati, il valore osservato w (che è un numero) è

la stima del parametro a.

L'errore (variabile casuale) è la differenza tra lo

stimatore e il parametro: W - a.

Il valore atteso dell'errore è detto distorsione o bias:

bias(W) = E(W - a)


Bias


Media campionaria


Altre proprietà

Supponiamo di poter effettuare varie stime W n in

relazione al numero di dati che abbiamo a

disposizione

La sequenza di stimatori W n si

dice asintoticamente corretta per a se:

bias(W n ) 0 per n ∞

La sequenza di stimatori W n è consistente per a se

W n converge in probabilità ad a per n che tende a

infinito:

P (| W n - a| > r) 0 per n ∞ per ogni r > 0 e

ogni a appartenente a A.


Il problema della stima in ambiti complessi

Calcolare le proprietà dello stimatore può

essere complesso.

Nel caso della media è semplice:

Cosa succede se invece utilizziamo la

mediana? O la moda? Non possiamo fare

i calcoli in modo analitico


Jacknife

Bootstrap

Metodi di ricampionamento


Jacknife

La tecnica di jacknife (o leave-oneout)

fornisce una procedura generale per

stimare la varianza ed il bias di uno

stimatore generico

La tecnica venne proposta per la prima

volta da Quenouille nel 1949.

L’idea di base consiste nel togliere un

campione alla volta e ricalcolare lo

stimatore


Jacknife per la media

Partendo dal nostro data set X, togliamo

l’i-esimo campione da X e calcoliamo la

stima leave-one-out (LOO) della media

dagli n-1 campioni rimanenti

Il valore di X i può essere calcolato sulla base della conoscenza dei

valori della media complessiva e della media dell’i-esima iterata


Jacknife: lo stimatore (1)

Supponiamo di impiegare uno stimatore

arbitrario funzione degli n punti (W) e di

effettuare la stima LOO (W (i) ) per ogni i.

In analogia con quanto effettuato per la

media, possiamo calcolare gli i

pseudovalori come


Jacknife: lo stimatore (2)

Lo stimatore Jacknife diventa allora:



Jacknife: Bias

La stima Jacknife del Bias è:

bias JK (W ) = W −W JK =

= W − nW + (n −1)W (.) = (n −1)(W (.) −W )

Possiamo correggere la stima W

eliminando il bias:

W '= W − bias JK (W ) = nW − (n −1)W (.)


Jackknife: Varianza

La stima Jacknife della Varianza è:


Jacknife

Le stime jacknife riducono il bias

Lo stimatore può avere dei problemi in

alcuni casi, come ad esempio la mediana

Questi casi corrispondono a statistiche la

cui distribuzione di probabilità non è

smooth (piccoli cambiamenti nei dati

causano grandi cambiamenti nei risultati)


Boostrap

Inventato nel 1979 come metodo per la

stima della varianza

Deriva il suo nome dalle avventure del

Barone di Munchausen

Rispetto ad alcune proprietà migliora le

caratteristiche del jacknife


Il metodo di Bootstrap (con distribuzione

incognita dei dati)

Supponiamo di voler calcolare un

parametro a e di utilizzare uno stimatore

W, di cui vogliamo calcolare bias e

varianza

Dal nostro data set X=(X 1, …, X n)

ricaviamo B nuovi data set (X b , b=1,.. B)

della stessa dimensione, n, ottenuti

campionando i casi di X con risostituzione

Ogni X b viene detto bootstrap sample


Bootstrap: varianza

Possiamo calcolare la stima W (b) per

ognuno dei bootstrap samples

La stima Boostrap della Varianza è:


Bootstrap: bias

La stima Bootstrap del Bias è:

bias bs(W ) = W (.) −W

E’ pertanto possibile correggere la stima

eliminando il bias come:


Bootstrap

Grazie ai metodi di bootstrap e’ possibile

calcolare i percentili per W, trovando i

limiti inferiori (α/2) e superiori (1-α/2)

con un certo intervallo di confidenza


Limiti dei metodi di bootstrap nel caso di

ricampionamento

Dati n campioni distinti ci sono fino a

Differenti campioni di bootstrap. Le

statistiche sono pertanto limitate

superiormente in termini di numerosità


Bootstrap e distribuzioni parametriche note

E’ possibile applicare il metodo anche

quando si vogliono calcolare delle

statistiche complesse da campioni estratti

da distribuzioni di probabilità note.

L’unica differenza è che invece di

ricampionare i dati si estraggono dei

campioni di dimensione n dati dalle pdf


Metodi di ricampionamento e test di ipotesi


Metodo Monte Carlo

Supponiamo che sia stata osservata una statistica

W su un data set con n casi

Campioniamo R volte n campioni dalla distribuzione

nulla e calcoliamo le statistiche w (1) , w (2) , …, w (R)

Se l’ipotesi nulla è vera allora w (1), w (2), …, w (R), W

sono R+1 campioni estratti dalla stessa

distribuzione

Il p-value di un’ipotesi unidirezionale viene

calcolato come

p val = P w > W | H 0

( ) = # (w (i) > W )

R +1


Test di randomizzazione (Fisher, 1935)

Supponiamo di avere dei dati complessi

che sembrano mostrare delle regolarità

I test di randomizzazione utilizzano

l’ipotesi che i dati siano random come

ipotesi nulla

Per realizzare il test, vengono effettuate

diverse trasformazioni casuali dei dati


Esempio

Supponiamo di avere una sequenza di DNA e

osserviamo che sono presenti delle ripetizioni

apparentemente non casuali. Siano le ripetizioni

pari a 17

L’ipotesi nulla è che l’ordine delle basi è casuale

Si costruisce una distribuzione empirica

prendendo il campione originale e scambiando

le basi casualmente per R=1000 volte

Se soltanto 5 dei 1000 campioni presenta un

numero di ripetizioni maggiore o uguale a 17, la

probabilità di vedere 17 ripetizioni sotto l’ipotesi

nulla è 0,005


Test basati sulle permutazioni

Introdotti da Fisher nel 1930; studiati in generale per

due campioni

Supponiamo di avere un campione x di n elementi

estratti dalla pdf F, ed un campione y di m elementi,

estratto dalla pdf G.

L’ipotesi nulla è che non vi siano differenze fra F e G

Per prima cosa calcoliamo la differenza fra le medie

Se W è grande, l’evidenza contro H è forte. L’idea è

quella di calcolare il livello di significatività:


Test sulle permutazioni 2

Se l’ipotesi nulla fosse vera le misure X e Y

potrebbero essere state estratte

equivalentemente da entrambi i gruppi

Così vengono inserite in un unico gruppo le m+n

osservazioni e quindi prendiamo un campione di

grandezza n senza rimpiazzamento per

rappresentare il primo gruppo, così che i

rimanenti m campioni rappresentano il secondo

gruppo

Calcoliamo

Ripetiamo la procedura R volte, ottenendo la

distribuzione nulla delle differenze


Test delle permutazioni 3

Verifichiamo la posizione di W nella

distribuzione nulla delle differenze.

Se W è al (1-α)% della distribuzione (o si

trova a (α/2)% o (1-α/2)%) si può

rifiutare l’ipotesi nulla

I test delle permutazioni dipendono dal

seguente lemma: “tutte le permutazioni

dei dati X,Y sono equiprobabili sotto

l’ipotesi nulla”


Test delle permutazioni 4

Supponiamo di avere i seguenti dati:

Li ordiniamo come segue:


Test delle permutazioni - 5

Studiamo il vettore g dei gruppi, corrispondenti

alle etichette dei valori ordinati

Il vettore g contiene N simboli di tipo X e M

simboli di tipo Y

Ci sono possibili modi di partizionare un

vettore di N+M elementi in due sottoinsiemi di

dimensione N e M

Il lemma del test delle permutazioni afferma

che ogni possibile permutazione ha probabilità

di avvenire se F=G


Esercizio

Utilizzando Matlab, si paragonino le due

distribuzioni utilizzando il test delle

permutazioni con R=100 ripetizioni:

t=[94 197 16 38 99 141 23];

c=[52 104 146 10 50 31 40 27 46];

[t c]

dati=[t c];

Delta=mean(t)-mean(c);

Nsamp=100

for i=1:Nsamp,

dati_r=dati(randperm(length(dati(1,:))));

delta(i)=mean(dati_r(1:length(t)))-mean(dati_r(length(t)+1:end));

end

perc=length(find(delta>Delta))/(Nsamp+1)


Bootstrap test

Sia X un campione di grandezza n estratto da F

e Y un campione di grandezza m estratto da G.

I due campioni sono estratti in modo

indipendente

Sia H0: F=G

Formiamo B campioni di bootstrap dal set Z=

{X,Y} campionando con risostituzione e

assegnando i primi n campioni a X (b) e i

rimanenti m a Y (b)

Calcoliamo le differenze


Bootstrap test - 2

Valutiamo la posizione di W rispetto alla

distribuzione dei W (b) e decidiamo se

accettare o rifiutare l’ipotesi nulla

La sola differenza con i metodi basati

sulle permutazioni è che i campioni sono

estratti con risostituzione


Paragone fra bootstrap e permutazione

La permutazione si effettua solo per paragonare

fra loro distribuzioni

Se venissero fatte tutte le permutazioni il

calcolo del p-value sarebbe esatto

Il bootstrap converge all’ipotesi nulla “vera”

solo se il campione tende all’infinito

Il metodo di bootstrap si può utilizzare anche

per paragonare statistiche generali e non solo le

distribuzioni


t=[94 197 16 38 99 141

23];

c=[52 104 146 10 50 …

31 40 27 46];

[t c]

dati=[t c];

Delta=mean(t)-mean(c);

Codice

% ricampionamento

for i=1:100,

dati_r=dati(randperm(length(dati(1,:))));

delta(i)=mean(dati_r(1:length(t)))-mean(dati_r(length(t)+1:end));

end

hist(delta)

perc=length(find(delta>Delta))/100

for i=1:100,

bootstrap=dati(randsample(length(dati(1,:)),length(dati(1,:)),true))

dati_t=bootstrap(1:length(t))

dati_c=bootstrap(length(t)+1:end)

deltab(i)=mean(dati_t)-mean(dati_c);

end

figure

hist(deltab)

percb=length(find(deltab>Delta))/100


Bootstrap e errore di predizione

Supponiamo di avere un modello che è in grado di

effettuare delle predizioni h(x,q) su una variabile y dopo

la stima di un set di parametri q.

La bontà del modello può essere valutata con il calcolo

dell’MSE

Possiamo effettuare una stima di MSE anche mediante il

metodo di bootstrap


Bootstrap e errore di predizione

La stima non funziona molto bene, viceversa il

metodo viene usato per stimare il bias

MSE empirico è calcolato sul dataset di

bootstrap


Altre stime di bootstrap

Se consideriamo lo stimatore non corretto di MSE (MSE BS ),

vediamo che viene effettuato sul data set originale, che

contiene sia esempi che appartengono al data set su cui è

stato appreso il modello sia esempi che non sono stati

utilizzati nell’apprendimento

per n∞ la percentuale di punti che rimangono nel

bootstrap sample è il 63,2% del campione originale

Possiamo allora calcolare la stima di MSE usando solo i

campioni del “test” set

Dove C i è l’insieme degli indici del bootstrap sample b che non

contengono l’iesimo campione, e B i è il numero di questi campioni


.632 bootstrap

La stima MSE 0 è una stima pessimistica

dell’errore di generalizzazione. Viceversa

MSE BS è una stima ottimistica.

E’ stata proposta in modo empirico la media

pesata fra i due, con il peso determinato sulla

base della percentuale dei dati che si trovano

in un bootstrap sample


Acknowledgements

Slides tratte dal corso: “Resampling

techniques for statistical modeling” di

Gianluca Bontempi, Department

d’Informatique, Boulevard de Triomphe,

CP 212, Bruxelles, http://www.ulb.ac.be/

di

Similar magazines