Un algoritmo per la regressione multipla con dati categoriali

UN ALGORITMO REGRESSIONE 5
Σ i φ(z i os - ∧ z i ) ≤ Σ i φ(z i - ∧ z i ) ∀ z ∈ C z (10)
per ogni φ convessa (es. φ = || . || P , Malmgren, 1972).
Proseguendo nel passo di scaling, va minimizzato il secondo membro della (7);
una soluzione naturale per y u sarebbe:
y u = (G¢G) -1 G′ ∧ z (11)
ma non è una strada percorribile perchè i vettori colonna in G sono linearmente
dipendenti, rendendo G¢G non invertibile. La matrice a blocchi G′G è il corrispettivo
della matrice di covarianza per variabili categoriali poiché nei blocchi diagonali essa
evidenzia la struttura categoriale di ogni variabile categoriale (G j ′G j ) e nei blocchi
esterni la struttura incrociata di ogni coppia di variabili (G i ′G j ).
Una regressione con variabili dummy con intercetta, eliminando una colonna per ogni
variabile indipendente nelle matrici G j , rende comunque i parametri stimati non
confrontabili con y nella (6). Nè è efficiente l'utilizzo di D=diag(C), ignorando la
struttura di ogni coppia di variabili esplicative (ponendo i blocchi esterni di C uguali
a zero).
La soluzione proposta per stimare ogni y j * consiste nel proiettare ∧ z su x 1 0 , ..x j-1 0 ,
x j+1 0 .. x k 0 (=X -j ):
ed ottenere il vettore:
∧
z -j = b 1 x 1 0 +.…+ b j-i x j-1
0
+ b j+1 x j+1
0
+…+ b k x k 0 = X -j b -j (12)
∧
z j = ∧ z - ∧ z -j (13)
dove ∧ z j è il contributo da parte di x j . 0 (di x j
0
cioè al netto di X -j ) alla stima di ∧ z .
Tale vettore è scomposto in k termini ortogonali per costruzione:
∧
z = Σ j
∧
z j = Σ j P j
∧
z Σj P j = I, P j P i = P j P i =0 (14)
dove P j è la matrice di proiezione ortogonale generata da x j . (di x j al netto delle
correlazioni tra x j ed X -j ). Il secondo termine della (7) può essere espressa allora
come:
SSQ( ∧ z -Gy * ) = SSQ (Σ j
∧
z j -Σ j G j y j b j ) = Σ j SSQ( ∧ z j - G j y j b j ) + Σ ij a ij (15)