Un algoritmo per la regressione multipla con dati categoriali

Quaderni di Statistica e Matematica
Applicata alle Scienze Economico-Sociali
VOLUME ?? - n° ? - MESE 199?
Un algoritmo per la regressione multipla
con dati categoriali
PIETRO GIORGIO LOVAGLIO
Dipartimento di metodi quantitativi per l’Economia e l’Azienda, Facoltà di Economia, Milano-
Bicocca
Abstract
Il presente lavoro propone un algoritmo per la regressione multipla tra una variabile dipendente z e k variabili
indipendenti x i di natura categoriale (nominale, ordinale) e/o continue, nell’ambito dell’optimal scaling: ciò comporta la
stima dei parametri b di regressione e dei parametri di scaling che definiscono le trasformazioni ottime per ogni
variabile categoriale z os , x os j .
Le proposte esistenti (Morals Young et al. 1976, Canals Gifi 1981) pervengono nel passo di scaling (stima dei punteggi
delle variabili categoriali) ad una diminuzione del residuo solo nel passo di normalizzazione, non durante la stima dei
punteggi di x u i (le stime di x os j non normalizzate).
La proposta attuale si basa sulla decomposizione dello spazio generato da z u , una stima ottima di z, ma non ancora
normalizzata in z os , in k sottospazi ortogonali ottenendo la stima dei parametri di scaling per le x j separatamente, senza
dover eliminare a priori le correlazioni tra le x j : la stima di optimal scaling non normalizzata di ogni regressore x u i è la
proiezione di z u u
su ogni sottospazio di x j (G j ), la normalizzazione successiva (di x i in x os i ) tiene conto della scala di
misurazione di ogni variabile.
1. Natura del problema e lavori precedenti
Il presente lavoro propone un algoritmo per la regressione multipla tra una
variabile dipendente z e k variabili indipendenti x i di natura categoriale o miste.
Nelle scienze sociali una variabile può essere rilevata su scala intervallo o rapporto
(variabile numerica) oppure, più frequentemente, su scala ordinale e nominale (negli
item di un questionario).
Per evitare di trattare le categorie come punteggi si specifica ogni variabile
categoriale come prodotto di una matrice indicatore (nota) che riflette la struttura di
ogni variabile osservata G j (n*k j ) e di un vettore (k j *1) di parametri di scaling y i che,
una volta stimati, originano le variabili z os =G z t # , x j os =G j y j # dove os sta per optimal
scaling.

2 P.G. LOVAGLIO
Le k variabili indipendenti e la variabile dipendente vengono parametrizzate
rispettivamente come Gy e G z t con G z matrice indicatore di z, G=(G 1 …G k ) è la
matrice indicatore completo di dimensione n*Σ j k j ed y (Σ j k j *1) dove y′ = (y 1 ′,….,y k ′)
è il vettore diviso in k blocchi y i (uno per ogni x j ) di k j elementi (numero di categorie
di x j ) ognuno, t = (t 1 ......t k ) vettore delle categorie di z.
Per una variabile nominale i parametri di scaling non presentano nessun vincolo
nello spazio dei parametri di scaling (C j ), mentre per variabili ordinali esiste un
ordinamento supposto a priori:
t 1 ≤...≤ t i ≤....t k
y 1 ≤.…≤ y i ≤…...≤ y kj
La regressione multipla in contesto di optimal scaling induce una funzione di
perdita tipica dei minimi quadrati (SSQ(x) è la somma dei quadrati di x):
min
β,
z, y
(z os -X os b)′(z os -X os b) =
min
β,
z, y
SSQ(z os - Σ j x j
os
b j ) =
min
β,t,y j
SSQ(G z t- Gyb) (1)
da minimizzare rispetto ai parametri di scaling y j , t e al vettore dei parametri b, con i
vincoli:
u′G z t =0, t′G z ′G z t = 1, y j ∈C j t∈C z (2)
dove u è un vettore di uno, C j e C z sono gli spazi delle trasformazioni ammissibili
(spazio dei parametri di scaling) per le categorie di ogni variabile che tengono conto
del livello di misurazione (C j C z sono coni chiusi convessi, Gifi, 1981), e gli altri
vincoli standardizzano z os .
Una variabile nominale non induce nessun vincolo sulle categorie, una variabile
ordinale tiene conto del vincolo di ordinamento delle stesse, mentre i punteggi di una
variabile numerica restano costanti nell’algoritmo.
La procedura che qui si propone è coerente con la filosofia Alternating Least
Squares (ALS, Young 1981) che divide i parametri in due sottinsiemi, minimizzando
la (1) in due passi: nel primo rispetto a b, tenendo fissi i parametri di scaling ad una
stima iniziale:
min SSQ(z 0 - Σ j x j 0 b j ) (3)
β • •
e nel secondo passo con b stimato nel passo precedente si stimano i parametri di
scaling t, y j , iterando i due passi fino a convergenza dell’algoritmo.
L’algoritmo proposto, come quelli Als, converge (De Leeuw, 1973) poiché in ogni
iterazione della procedura iterativa il residuo si riduce progressivamente all’interno di
ogni passo.
Il primo problema di minimo è ovviamente ottenuto con il metodo dei minimi
quadrati applicato ad una stima iniziale delle variabili z 0 , x i 0 con i valori categoriali
2

UN ALGORITMO REGRESSIONE 3
grezzi, (z 0 = z os , x i
0
= x i os ) mentre appare meno chiaro, viste le differenti proposte in
letteratura, il modo di ottenere i parametri di scaling che trasformano le variabili
categoriali in variabili "optimal scaled".
Le proposte esistenti in letteratura (Morals, Young et al. 1976, Canals, Gifi 1981)
stimano i parametri di scaling con vincoli sulla media, sulla varianza e sulla scala di
misurazione (nominale, ordinale, numerica) delle stesse, trovando una soluzione (t u ,
y j u ) secondo un criterio di ottimo che però non tiene conto dei vincoli presenti in C j
(soluzione non normalizzata), successivamente tali soluzioni vengono normalizzate
(t # , y j # ) dando luogo a z os , x os .
Morals (Young et al. 1976) propone di ricavare la i-esima componente di t u come
la media dei punteggi di ∧ z (previsore lineare di z) appartenenti alla i-esima categoria
della variabile grezza z 0 , infine si normalizza la soluzione z u =G z t u in base ai vincoli
supposti per ottenere z os .
Successivamente si ricavano le variabili x i u dall'identità:
z os = b 1 x 1
0
+…..+ b k x k
0
(4)
isolando i punteggi delle k variabili esplicative x i
0
dalle relazioni algebriche nella (4),
tenendo fissi i parametri noti b i e le altre k-1 variabili x i 0 .
La normalizzazione delle x i u (in x i os ) e di z u (in z os ) si ottiene proiettando i vettori z u
ed x i u sullo spazio delle colonne delle rispettive matrici indicatore, costruite in modo
da tener conto della scala di misurazione di ogni variabile (Young 1981).
La normalizzazione di Morals richiede che la variabile dipendente e quelle
indipendenti abbiano media nulla e varianza unitaria.
Infine per l’aggiornamento dei parametri di regressione in una successiva
iterazione si effettua una regressione multipla con le nuove variabili z os ed x i os e così
via fino a convergenza dell’algoritmo.
Canals (van der Burg de Leeuw 1983) un algoritmo per la correlazione canonica,
che consente la regressione con optimal scaling specificando una sola variabile nel
secondo insieme, è equivalente a Morals per il passo di scaling (4) senza richiedere la
standardizzazione delle variabili indipendenti nel passo di normalizzazione che
inficia la convergenza dell’algoritmo Morals (Gifi 1981 pag 221).
.
2. La proposta
Partendo dai valori iniziali delle categorie osservate si ottiene una stima iniziale
delle variabili trasformate: z 0 , X 0 =(x 1 0 .....x k 0 ) e si minimizza rispetto a b la (3)
tenendo fisse t , y i , attraverso le stime dei minimi quadrati che generano ∧ z :
b = (X 0 ′X 0 ) -1 X 0 ′z 0 ∧
z = X
0
b (5)

4 P.G. LOVAGLIO
Successivamente si stimano i parametri di scaling , con b j fissi dal passo precedente,
minimizzando la devianza residua di regressione SSQ(z 0 -S j x j 0 b j ) riparametrizzata in:
SSQ(G z t - Gy * ) (6)
rispetto a t, y * con Gy * = (G 1 y 1 * ,…,G k y k * ) con y j * = y j b j .
Le stime di t, y * coerenti con i vincoli supposti originano z os =G z t e x j os =G j y j (le
stime di optimal scaling di z, x i ).
De Leeuw (1977) ha dimostrato che la minimizzazione della (1) rispetto ai
parametri che rispettano certi vincoli (es. t # , y j # ) può essere ottenuta in un primo
stadio da una stima iniziale non vincolata (es. t u , y i u ) imponendo successivamente
sulle stime ottenute i vincoli opportuni.
I parametri di scaling y j * delle categorie di ogni x i si possono dunque stimare, dopo
aver fissato i parametri di scaling delle altre k-1 variabili x i (i≠j), condizionatamente
ad una stima iniziale (basic estimate) di z ricavata dalle variabili indipendenti: nel
presente lavoro il vettore considerato come basic estimate di z è ∧ z =X 0 b il miglior
previsore lineare dei minimi quadrati di z 0 .
La (6) che va minimizzata rispetto a t ed y * si può esprimere come somma di due
addendi:
SSQ(G z t - ∧ z ) + SSQ( ∧ z - Gy * ) + DP (7)
separando in due parti la stima dei parametri di optimal scaling: il primo membro va
minimizzato rispetto a t, con y * fissato (e il doppio prodotto DP=(G z t - ∧ z )′( ∧ z - Gy * ) si
annulla poichè ∧ z =Gy * per costruzione) e il secondo membro rispetto ad y * (con ∧ z
fissato).
Il primo membro della (7) è minimo rispetto a t proiettando ∧ z sulle colonne di G z :
t u = (G z ′G z ) -1 G z ′ ∧ z ⇒ z u = G z t u (8)
Se z è variabile nominale t u = t # , (z u = z os ) se z è invece una variabile ordinale t u deve
rispettare il vincolo di rango delle categorie e t # si ottiene attraverso una regressione
monotona di t u su t 0 (Kruskal, 1964).
La stima di z os con la regressione monotona ha la seguente proprietà:
SSQ(z os - ∧ z ) ≤ SSQ(z u - ∧ z ) (9)
cioè z os minimizza SSQ(z- ∧ z ) rispetto a tutti i vettori z˛C z , anche rispetto a z u la
“basic estimate” di z, (Barlow et al. 1972) ed inoltre:
4

UN ALGORITMO REGRESSIONE 5
Σ i φ(z i os - ∧ z i ) ≤ Σ i φ(z i - ∧ z i ) ∀ z ∈ C z (10)
per ogni φ convessa (es. φ = || . || P , Malmgren, 1972).
Proseguendo nel passo di scaling, va minimizzato il secondo membro della (7);
una soluzione naturale per y u sarebbe:
y u = (G¢G) -1 G′ ∧ z (11)
ma non è una strada percorribile perchè i vettori colonna in G sono linearmente
dipendenti, rendendo G¢G non invertibile. La matrice a blocchi G′G è il corrispettivo
della matrice di covarianza per variabili categoriali poiché nei blocchi diagonali essa
evidenzia la struttura categoriale di ogni variabile categoriale (G j ′G j ) e nei blocchi
esterni la struttura incrociata di ogni coppia di variabili (G i ′G j ).
Una regressione con variabili dummy con intercetta, eliminando una colonna per ogni
variabile indipendente nelle matrici G j , rende comunque i parametri stimati non
confrontabili con y nella (6). Nè è efficiente l'utilizzo di D=diag(C), ignorando la
struttura di ogni coppia di variabili esplicative (ponendo i blocchi esterni di C uguali
a zero).
La soluzione proposta per stimare ogni y j * consiste nel proiettare ∧ z su x 1 0 , ..x j-1 0 ,
x j+1 0 .. x k 0 (=X -j ):
ed ottenere il vettore:
∧
z -j = b 1 x 1 0 +.…+ b j-i x j-1
0
+ b j+1 x j+1
0
+…+ b k x k 0 = X -j b -j (12)
∧
z j = ∧ z - ∧ z -j (13)
dove ∧ z j è il contributo da parte di x j . 0 (di x j
0
cioè al netto di X -j ) alla stima di ∧ z .
Tale vettore è scomposto in k termini ortogonali per costruzione:
∧
z = Σ j
∧
z j = Σ j P j
∧
z Σj P j = I, P j P i = P j P i =0 (14)
dove P j è la matrice di proiezione ortogonale generata da x j . (di x j al netto delle
correlazioni tra x j ed X -j ). Il secondo termine della (7) può essere espressa allora
come:
SSQ( ∧ z -Gy * ) = SSQ (Σ j
∧
z j -Σ j G j y j b j ) = Σ j SSQ( ∧ z j - G j y j b j ) + Σ ij a ij (15)

6 P.G. LOVAGLIO
dove a ij tiene conto di tutti i doppi prodotti tra gli elementi con indici (i, j).
Le soluzioni di y j u (non vincolate di y j
#
) che minimizzano singolarmente i termini
SSQ( ∧ z j - G j y j b j ) nella parte finale della (15) sono ottenute proiettando ∧ z j sullo spazio
generate dalle rispettive matrici indicatore G j ,
y j u = b j -1 (G j ′G j ) -1 G j ′ ∧ z j ⇒ G j y j u = b j -1 P cj
∧
z j ∀x j (16)
dove P cj il proiettore corrispondente di G j , lo spazio generatore di x j.
Si dimostrerà che le soluzioni y j u minimizzano congiuntamente la (15).
Proposizione 1
Le soluzioni y j u (t.c. G j y j u = b j -1 P cj
∧
z j ) che minimizzano il j-esimo termine di
SSQ( ∧ z j - G j y j ) dell’ultimo membro della (15) minimizzano anche SSQ (Σ j
∧
z j -Σ j G j y j )
= SSQ( ∧ z - Gy * ).
Dimostrazione
Basta far vedere che tutti i termini a ij nella (15) si annullano.
Poiché per la natura discreta dei punteggi di x j . (contributo di x j al netto di X -j alla
spiegazione di ∧ z con proiettore P j ) esiste sempre un vettore g tale che x j . =G j g, dove
G j rappresenta lo spazio generatore (S) della variabile categoriale grezza x j con
proiettore P cj , allora:
x j . ˛S(G j ) ⇒ S(x j .) ⊂ S(G j ) ⇒ P cj P j = P j P cj =P j (17)
(Takeuchi et al. 1982 pag. 31). Allora considerando l’i-esimo e il j-esimo termine
nella (15) si annullano tutti i prodotti incrociati:
∧
z j ′ ∧ z i = 0 per la (14),
∧
z j ′ G i y i = ∧ z j ′ P ci
∧
z i = (P j
∧
z)′ Pci
∧
z i = ∧ z ′P j P ci P i
∧
z =
∧
z ′Pj P i
∧
z = 0 per la (17): ∀i≠j
(G j y j )′G i y i = (P cj
∧
z j )′ P ci
∧
z i = (P cj P j
∧
z )′Pci P i
∧
z =
∧
z ′Pj P i
∧
z = 0 (18)
C.V.D.
Come si nota da (os. 2) i parametri di optimal scaling per ogni x j sono ottenuti
separatamente in ognuno dei k termini SSQ( ∧ z j -G j y j ), perché il vettore y * è reso
separabile nelle sue componenti.
In questo modo i vettori di scaling così stimati tengono conto delle interazioni tra
coppie di variabili categoriali.
Se la variabile in questione è nominale y i
u
= y i # se è ordinale, analogamente al
discorso per z os , y # si ottiene attraverso una regressione monotona delle y j u sulle y j 0 .
6

UN ALGORITMO REGRESSIONE 7
Una volta ottenute z os ed x j os si applica successivamente una regressione multipla,
minimizzando la (1) rispetto ai b, con t # , y j # fissati, e così via, fino alla convergenza
dell’algoritmo che è assicurata (de Leeuw, 1973).
3. Osservazioni
a) Come la filosofia Als suggerisce (Young 1981), le stime trovate in uno stadio
per un sottinsieme di parametri, andrebbero sostituite nel passo successivo per
ottenere le stime dell’altro sottinsieme; la stima z os andrebbe sostituita nella (15) per
ricavare i pesi di scaling y j , ottenendo stime dei parametri di scaling probabilmente
differenti. (Lo stesso problema si presenta in Morals e Canals per la stima dei
punteggi delle variabili indipendenti ricavate dalla (4) in cui ogni variabile stimata
x os u
j andrebbe immediatamente sostituita nella (4) per ricavare le altre x i con i ≠j)
b) La (8) e la (16) per variabili nominali implicano che le quantificazioni delle
categorie (t) di z coincidono con la media dei valori previsti dal modello per z, in
∧
altre parole t a è la media dei valori z dei soggetti che rientrano nella categoria a,
mentre la quantificazione della categoria a della variabile x j (y ja ) è uguale alla media
dei valori di ∧ z j che corrispondono alla categoria a in x j .
La (os. 2) mostra che la stima di x j u coincide con la proiezione di ∧ z j sulle colonne di
G j . Se z è continua (o lo sono alcune variabili indipendenti) i punteggi di tali variabili
restano costanti durante tutto l’algoritmo, evitando la fase di optimal scaling (z os = z,
x os = x).
c) La metodologia per ottenere le stime di optimal scaling è coerente con il
problema di minimo del modello poichè le stime dei parametri di scaling y j u sono
ottenute riducendo ulteriormente la devianza residua (DR) che il modello di
regressione lascia dopo la stima dei pesi b del primo stadio:
DR = SSQ(z 0 - Σ j x j
0
b j ) = SSQ(z 0 - ∧ z ) ≥ SSQ(z os - ∧ z ) + Σ j SSQ( ∧ z j - x j os ) (19)
poiché nella (9) emerge che, sia nel passo di stima di z os sia di x j os :
SSQ(z os - ∧ z ) ≤ SSQ(z 0 - ∧ z ) & SSQ( ∧ z j - x j os ) ≤ SSQ( ∧ z j - x j 0 ) (20)
Mentre il residuo viene minimizzato nel passo di stima di z u ed x u j (e ulteriormente
per variabili ordinali nel passo di regressione monotona in z os ed x os j ), nell’algoritmo
Morals, invece, la riduzione del residuo avviene solo nel passo di normalizzazione di
x u i in x os i , dove le x u
j sono ricavate dall’identità (4) senza alcuna riduzione della
devianza residua.

8 P.G. LOVAGLIO
Infine il presente algoritmo consente la regressione tra dati misti (quantitativi e
categoriali) di qualsiasi tipo (nominale, ordinale), mentre Canals non ammette
variabili continue oltre ad avere gli stessi limiti di Morals nel passo di scaling.
d) Ignorare la struttura di covarianza delle variabili indipendenti nel passo di
scaling, dato che Morals ne tiene conto solo nel passo di stima di b, limita
fortemente l'analisi. Tale problema viene risolto nell’algoritmo proposto con la teoria
dei proiettori (Takeuchi et al. 1982), scindendo il previsore lineare dei minimi
∧
quadrati z , che tiene conto della correlazione tra z 0 e la struttura di covarianza tra le
k(k-1)/2 coppie di variabili categoriali, in k componenti ortogonali ∧ z j .
4. Una Applicazione
La tecnica proposta è stata applicata ad un collettivo di 190 studenti universitari
estratti casualmente dalla popolazione di studenti residenti nel 1999 nelle residenze
universitarie dell’Università di Bologna.
Alle unità statistiche si è somministrato un questionario con item ordinali, su scala
Likert a sette gradi, (1 indica completo disaccordo, 7 completo accordo con ogni
item) per testare la soddisfazione dei residenti dopo un anno trascorso nella residenza
universitaria. La variabile dipendente (X1) è l’item “soddisfazione”, mentre le
variabili indipendenti (X2….X8) riguardano gli item:
X2= “in questo collegio ho sviluppato una buona capacità relazionale”
X3= “in questo collegio mi sento sicuro”
X4= “sono costantemente aiutato nello studio”
X5= ”in collegio ho trovato difficoltà nello studio”
X6= “il direttore è sensibile alle mie richieste”
X7= “la qualità della mensa è buona”
X8= “la stanza è confortevole”
Tutte le variabili sono di natura ordinale e vanno trasformate in modo da
minimizzare la devianza residua; l’output dell’algoritmo restituisce i coefficienti di
regressione stimati, i relativi standard error, (Tab.II) e i parametri di scaling che
vengono proiettati sulle categorie iniziali del questionario (Figura1) definendo la
trasformazione ottima per ogni item.
Tab.I mostra il numero di iterazioni prima della convergenza dell’algoritmo. Il
valore di R 2 =0.5 e i coefficienti stimati mostrano che le uniche informazione
“prevedibili” sui segni dei coefficiente di regressione (negativo di X5 e positivo per
le altre variabili) sono rispettate. Una analoga regressione lineare, trattando le
categorie come punteggi restituisce R 2 =0.36.
8

UN ALGORITMO REGRESSIONE 9
3
3
2
2
1
1
0
Quantificazione di X7
0
-1
1
X7
2
3
4
5
6
7
Quantificazione di X8
-1
-2
-3
-4
1
X8
2
3
4
5
6
7
1.5
1.5
1.0
1.0
.5
.5
0.0
0.0
-.5
-.5
-1.0
T(X1)
-1.5
-2.0
1
X1
2
3
4
5
6
7
T(X2)
-1.0
-1.5
1
X2
2
3
4
5
6
7
1.0
1.5
.5
1.0
0.0
.5
0.0
-.5
-.5
-1.0
-1.0
-1.5
-1.5
T(X5)
-2.0
-2.5
1
2
3
4
5
6
7
T(X6)
-2.0
1
X6
2
3
4
5
6
7
X5
Figura 1: Quantificazione ottima di X1, X2, X5, X6, X7, X8

10 P.G. LOVAGLIO
Tab. I: Iterazioni
Tab II: Stima dei parametri
ITERAZIONI R 2 VARIABILE STIMA STD. ERR.
1
2
3
4
5
6
7
8
0.36277
0.50130
0.50819
0.50918
0.50934
0.50936
0.50937
0.50937
Intercetta 1.251
0.45073
X2 0.2343
0.05592
X3 0.1455
0.05266
X4 0.1001
0.04917
X5 -0.1288
0.04714
X6 0.2143
0.04428
X7 0.0985
0.04623
X8 0.1728 0.05915
La stima di X1 attraverso i previsori permette di classificare e/o costruire graduatorie tra individui,
applicando un qualsiasi metodo di clustering alla distribuzione dei valori previsti per X1 (es. con i
quantili a seconda del numero di gruppi che si vogliono creare).
In questo modo la variabile dipendente è a tutti gli effetti una variabile continua utilizzabile in
analisi successive e può essere concepita come la stima di una variabile latente (di cui si conosce una
sua approssimazione grezza) attraverso un insieme di indicatori esplicativi.
BIBLIOGRAFIA
Barlow R., Bartolomew D.J., Bremner J.M., Brunck H.D.(1972). Statistical Inference under
Order Restrictions, Wiley N.Y.
De Leeuw J. (1977) Normalized cone regression, Datatheory, Leiden Olanda
Gifi A. (1981). Nonlinear Multivariate Analysis, 1981, Departement of data Theory, University of
Leiden, The Netherlands.
Kruskal J.B. (1965). Analysis of factorial experiments by estimating monotone trasformations of
the data, Journal of Royal Statistical Society, Series B,27, 251-263
Malmgren E. (1972). Contributions to the estimation of ordered parameters, Ph.D. thesis,
Departement of statistics, University of Iowa.
Takeuchi K., Yanai H., Mukherjee B.N., (1982). The Foundations of Multivariate Analysis, A
Unified approach by means of projection onto linear subspaces, Wiley Eastern Limited.
Young F., (1981). Quantitative Analysis of Qualitative data, Psychometrika, 46, 357-388
Young F., De Leeuw J., Takane W. (1976). Regression with Qualitative and Quantitative
Variables: an Alternating Least Squares with Optimal Scaling Features, Psychometrika, 41, 505-529
10

UN ALGORITMO REGRESSIONE 11