Un algoritmo per la regressione multipla con dati categoriali

More documents

Recommendations

Info

2 P.G. LOVAGLIO Le k variabili indipendenti e la variabile dipendente vengono parametrizzate rispettivamente come Gy e G z t con G z matrice indicatore di z, G=(G 1 …G k ) è la matrice indicatore completo di dimensione n*Σ j k j ed y (Σ j k j *1) dove y′ = (y 1 ′,….,y k ′) è il vettore diviso in k blocchi y i (uno per ogni x j ) di k j elementi (numero di categorie di x j ) ognuno, t = (t 1 ......t k ) vettore delle categorie di z. Per una variabile nominale i parametri di scaling non presentano nessun vincolo nello spazio dei parametri di scaling (C j ), mentre per variabili ordinali esiste un ordinamento supposto a priori: t 1 ≤...≤ t i ≤....t k y 1 ≤.…≤ y i ≤…...≤ y kj La regressione multipla in contesto di optimal scaling induce una funzione di perdita tipica dei minimi quadrati (SSQ(x) è la somma dei quadrati di x): min β, z, y (z os -X os b)′(z os -X os b) = min β, z, y SSQ(z os - Σ j x j os b j ) = min β,t,y j SSQ(G z t- Gyb) (1) da minimizzare rispetto ai parametri di scaling y j , t e al vettore dei parametri b, con i vincoli: u′G z t =0, t′G z ′G z t = 1, y j ∈C j t∈C z (2) dove u è un vettore di uno, C j e C z sono gli spazi delle trasformazioni ammissibili (spazio dei parametri di scaling) per le categorie di ogni variabile che tengono conto del livello di misurazione (C j C z sono coni chiusi convessi, Gifi, 1981), e gli altri vincoli standardizzano z os . Una variabile nominale non induce nessun vincolo sulle categorie, una variabile ordinale tiene conto del vincolo di ordinamento delle stesse, mentre i punteggi di una variabile numerica restano costanti nell’algoritmo. La procedura che qui si propone è coerente con la filosofia Alternating Least Squares (ALS, Young 1981) che divide i parametri in due sottinsiemi, minimizzando la (1) in due passi: nel primo rispetto a b, tenendo fissi i parametri di scaling ad una stima iniziale: min SSQ(z 0 - Σ j x j 0 b j ) (3) β • • e nel secondo passo con b stimato nel passo precedente si stimano i parametri di scaling t, y j , iterando i due passi fino a convergenza dell’algoritmo. L’algoritmo proposto, come quelli Als, converge (De Leeuw, 1973) poiché in ogni iterazione della procedura iterativa il residuo si riduce progressivamente all’interno di ogni passo. Il primo problema di minimo è ovviamente ottenuto con il metodo dei minimi quadrati applicato ad una stima iniziale delle variabili z 0 , x i 0 con i valori categoriali 2
UN ALGORITMO REGRESSIONE 3 grezzi, (z 0 = z os , x i 0 = x i os ) mentre appare meno chiaro, viste le differenti proposte in letteratura, il modo di ottenere i parametri di scaling che trasformano le variabili categoriali in variabili "optimal scaled". Le proposte esistenti in letteratura (Morals, Young et al. 1976, Canals, Gifi 1981) stimano i parametri di scaling con vincoli sulla media, sulla varianza e sulla scala di misurazione (nominale, ordinale, numerica) delle stesse, trovando una soluzione (t u , y j u ) secondo un criterio di ottimo che però non tiene conto dei vincoli presenti in C j (soluzione non normalizzata), successivamente tali soluzioni vengono normalizzate (t # , y j # ) dando luogo a z os , x os . Morals (Young et al. 1976) propone di ricavare la i-esima componente di t u come la media dei punteggi di ∧ z (previsore lineare di z) appartenenti alla i-esima categoria della variabile grezza z 0 , infine si normalizza la soluzione z u =G z t u in base ai vincoli supposti per ottenere z os . Successivamente si ricavano le variabili x i u dall'identità: z os = b 1 x 1 0 +…..+ b k x k 0 (4) isolando i punteggi delle k variabili esplicative x i 0 dalle relazioni algebriche nella (4), tenendo fissi i parametri noti b i e le altre k-1 variabili x i 0 . La normalizzazione delle x i u (in x i os ) e di z u (in z os ) si ottiene proiettando i vettori z u ed x i u sullo spazio delle colonne delle rispettive matrici indicatore, costruite in modo da tener conto della scala di misurazione di ogni variabile (Young 1981). La normalizzazione di Morals richiede che la variabile dipendente e quelle indipendenti abbiano media nulla e varianza unitaria. Infine per l’aggiornamento dei parametri di regressione in una successiva iterazione si effettua una regressione multipla con le nuove variabili z os ed x i os e così via fino a convergenza dell’algoritmo. Canals (van der Burg de Leeuw 1983) un algoritmo per la correlazione canonica, che consente la regressione con optimal scaling specificando una sola variabile nel secondo insieme, è equivalente a Morals per il passo di scaling (4) senza richiedere la standardizzazione delle variabili indipendenti nel passo di normalizzazione che inficia la convergenza dell’algoritmo Morals (Gifi 1981 pag 221). . 2. La proposta Partendo dai valori iniziali delle categorie osservate si ottiene una stima iniziale delle variabili trasformate: z 0 , X 0 =(x 1 0 .....x k 0 ) e si minimizza rispetto a b la (3) tenendo fisse t , y i , attraverso le stime dei minimi quadrati che generano ∧ z : b = (X 0 ′X 0 ) -1 X 0 ′z 0 ∧ z = X 0 b (5)
Page 1: Quaderni di Statistica e Matematica
Page 5 and 6: UN ALGORITMO REGRESSIONE 5 Σ i φ(
Page 7 and 8: UN ALGORITMO REGRESSIONE 7 Una volt
Page 9 and 10: UN ALGORITMO REGRESSIONE 9 3 3 2 2
Page 11: UN ALGORITMO REGRESSIONE 11

Un algoritmo per la regressione multipla con dati categoriali

Create successful ePaper yourself

Delete template?

Save as template?