Dispense

6.4. METODI DI CLASSIFICAZIONE E CLUSTERING 351
y
1.0
0.5
­4 ­2 0 2 4
Funzione logistica
exp( )
1+exp( ) .
Resta il problema di trovare i coe¢ cienti. Si devono avere n individui di cui si conoscano
i valori dei predittori Xi e di Y . Si usa il metodo della massima verosimiglianza. Noti i valori
x1; :::; xp dei predittori di un individuo, abbiamo detto che Y è B (1; p), con p = g 1 ( ),
= a1x1 + ::: + apxp + b. Quindi P (Y = 1) = p, P (Y = 0) = 1 p. Se indichiamo uno dei
due numeri 0 o 1 con y, si può scrivere in una sola formula
P (Y = y) = p y (1 p) 1 y :
Supponiamo come abbiamo detto che, per un individuo noto, sia noto anche il valore di Y ,
che chiamiamo con y. Il numero p y (1 p) 1 y è la verosimiglianza relativa a quell’individuo.
In astratto, la verosimiglianza è funzione di molte grandezze: x1; :::; xp, y, a1; :::; ap; b.
Trattandosi di un individuo con x1; :::; xp, y noti, ben precisi, la verosimiglianza è funzione di
a1; :::; ap; b. Se poi consideriamo gli n individui indipendenti, ed indichiamo con x (i)
1 ; :::; x(i) p ,
y (i) i loro valori noti, vale
P Y (1) = y (1) ; :::; Y (n) = y (n) nY
=
(i)
p
y(i)
1
(i)
p
1 y(i)
dove
p (i) = g
1 (i)
;
i=1
(i) = a1x (i)
1
x
+ ::: + apx (i)
p + b:
Questa è la verosimiglianza del campione sperimentale, funzione di a1; :::; ap; b. Il metodo
di massima verosimiglianza consiste nel cercare i valori di a1; :::; ap; b che rendono massima
nY
la verosimiglianza, cioè p (i) y(i)
1 p (i) 1 y(i)
. Tecnicamente, conviene massimizzare il
i=1
logaritmo della verosimiglianza (è equivalente), cioè
nX
y (i) log p (i) + 1 y (i)
log 1 p (i)
i=1
Il software esegue la massimizzazione con un procedimento iterativo.
Classi…cazione tramite regressione logistica
Il metodo della regressione logistica serve ad esempio per e¤ettuare una classi…cazione non
perentoria. L’output Y può assumere due valori, che per comodità espositiva chiamiamo A e
B. Assume A con probabilità p.
: