una tecnica per la regressione locale - Department of Mathematics ...

POLITECNICO DI MILANOFacoltà di Ingegneria dei SistemiCorso di Laurea in Ingegneria MatematicaLOESS: UNA TECNICA PER LAREGRESSIONE LOCALERelatore: Prof. PIERCESARE SECCHITesi di Laurea di Primo livello di:MARTA COLOMBO Matr. 650663Anno Accademico 2004-2005

Ringrazio il Prof. Piercesare Secchi per la sua attenta e sempre cortesedisponibilità.Un grazie particolare a Simone Vantini che mi è stato di indispensabileaiuto e conforto nella stesura di questo lavoro.Ringrazio la Prof.ssa Raffaella Pavani per l’appoggio che mi ha dato inquesti mesi di grande impegno.Ringrazio Alberto e Alessandra per l’aiuto avventuroso ed indispensabile cheha dato il via alla mia tesi di laurea.Grazie a Silvia, Lisa e Tommaso per esserci sempre stati.

IndiceIntroduzione 31 La regressione locale 41.1 Presentazione del modello . . . . . . . . . . . . . . . . . . . . 41.1.1 Caratteristiche della superficie . . . . . . . . . . . . . . 51.1.2 Caratteristiche dei termini di errore . . . . . . . . . . . 71.2 La stima della superficie . . . . . . . . . . . . . . . . . . . . . 71.2.1 Il metodo Loess . . . . . . . . . . . . . . . . . . . . . . 71.2.2 Superfici condizionatamente parametriche . . . . . . . 121.2.3 Errori non gaussiani e stima robusta . . . . . . . . . . 131.3 Inferenza statistica . . . . . . . . . . . . . . . . . . . . . . . . 151.3.1 Stima di σ ed intervalli di confidenza per g(x) . . . . . 151.3.2 Prova delle ipotesi per il confronto di diversi modelli . 171.3.3 Il numero di parametri equivalenti . . . . . . . . . . . . 191.3.4 Errori con distribuzione simmetrica . . . . . . . . . . . 211.4 Metodi computazionali per la valutazione della superficie . . . 232 Tecniche alternative di smoothing 282.1 Stimatori per g . . . . . . . . . . . . . . . . . . . . . . . . . . 282.1.1 Kernel Smoothers . . . . . . . . . . . . . . . . . . . . . 282.1.2 Funzioni di tipo spline . . . . . . . . . . . . . . . . . . 332.2 Proprietà statistiche . . . . . . . . . . . . . . . . . . . . . . . 392.2.1 Distorsione . . . . . . . . . . . . . . . . . . . . . . . . 402.2.2 Varianza . . . . . . . . . . . . . . . . . . . . . . . . . . 421

2.2.3 Gradi di libertà . . . . . . . . . . . . . . . . . . . . . . 432.2.4 Stima di σ 2 . . . . . . . . . . . . . . . . . . . . . . . . 442.3 Statistiche per stimatori lineari: ampiezza di banda ed inferenza 442.3.1 Determinare il valore dei parametri . . . . . . . . . . . 452.3.2 Inferenza Statistica . . . . . . . . . . . . . . . . . . . . 493 Tecniche a confronto 513.1 Loess e Kernel Smoothers . . . . . . . . . . . . . . . . . . . . 513.2 Loess e Smoothing Splines . . . . . . . . . . . . . . . . . . . . 573.3 Esempio di regressione multipla tramite Loess . . . . . . . . . 624 Esplorazione di un set di dati reali 664.1 Il database BDI . . . . . . . . . . . . . . . . . . . . . . . . . . 664.2 La scelta delle variabili d’interesse . . . . . . . . . . . . . . . . 674.3 I risultati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704.3.1 Distinzione per area geografica . . . . . . . . . . . . . . 714.3.2 Distinzione per sesso . . . . . . . . . . . . . . . . . . . 754.3.3 Distinzione per titolo di studio . . . . . . . . . . . . . . 834.4 Pregi e difetti dell’analisi . . . . . . . . . . . . . . . . . . . . . 925 Discussione conclusiva 94A Le funzioni R utilizzate 97A.1 Loess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97A.2 Ksmooth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99A.3 Smooth.spline . . . . . . . . . . . . . . . . . . . . . . . . . . . 100Bibliografia 1022

IntroduzioneArgomento di questa tesi è una particolare tecnica di stima, adottata inmodelli di regressione locale, che si chiama Loess.Il Loess presenta caratteristiche interessanti, perchè, grazie alla sua flessibilità,permette di cogliere possibili legami tra variabili, anche quando questinon siano facilmente intuibili. Dopo aver introdotto il Loess, per comprendernemeglio pregi e difetti saranno illustrate alcune altre tecniche alternativedi regressione che verranno poi utilizzate come termini di confronto. Infine,il Loess sarà applicato ad un’analisi di dati campionari frutto di un’indagineeffettuata dalla Banca d’Italia e inerente ai bilanci delle famiglie italianenell’anno 2002. In particolare si indagherà la propensione degli individuiad effettuare investimenti in attività finanziarie a medio ed alto rischio inrelazione alla loro età e ricchezza netta.3

Capitolo 1La regressione locale1.1 Presentazione del modelloLa regressione locale si propone di descrivere la relazione esistente tra lavariabile risposta y e p predittori x attraverso il modello seguente:y i = g(x i ) + ε iper ogni i = 1 . . . ndove y i è l’i-esima osservazione della risposta, x i l’i-esima osservazione dei ppredittori ed ε i l’errore casuale. Questo modello è non parametrico perchènon si presume che g appartenga a una specifica classe parametrica di funzioni,ma si assume solo che essa presenti alcune condizioni di regolarità.Il metodo su cui si basa la regressione locale per stimare la funzione di regressioneg si chiama Loess, abbreviazione di local regression. Tale metodoappartiene alla classe degli stimatori lineari, dei quali si riporta la definizione.Definizione 1. Uno stimatore ĝ si dice lineare se esiste una matrice n × nparametrizzata da α, L α , tale che:ĝ(x) =n∑L α (x, x i )y ii=1per ogni x arbitrarioLa matrice L è chiamata smoother matrix oppure, in analogia con la termino-4

logia propria della regressione lineare, matrice hat ed è simmetrica e definitapositiva, mentre il parametro α è detto parametro di lisciamento e la suadefinizione è molto importante per la caratterizzazione dei diversi stimatori.Le idee di base del Loess sono le seguenti:- si presuppone che esista un intorno di x nel quale la superficie di regressionesia ben approssimata da una funzione appartenente ad unaspecifica classe parametrica, tipicamente la classe dei polinomi di primoo di secondo grado;- g è stimata in x utilizzando il metodo dei minimi quadrati pesati, doveil peso di ogni osservazione (x i , y i ) decresce al crescere della distanzadi x i da x.Prima di entrare nei dettagli facciamo alcune assunzioni relative al modello emettiamo in luce le proprietà che possiamo attribuire a g ed ε. È importantesottolineare che le assunzioni si traducono in condizioni sui dati che vannoverificate mediante metodi di diagnostica.I predittori x possono essere variabili sia quantitative che categoriche. Nelcaso in cui siano presenti queste ultime, le osservazioni vengono suddivise insottoinsiemi, uno per ogni combinazione dei livelli delle variabili categoriche.Ad esempio, supponiamo ci siano due predittori categorici con due livelli ciascuno,maschio e femmina per il primo, bianco e nero per il secondo. Allorasi hanno quattro combinazioni possibili e di conseguenza quattro sottoinsiemidi osservazioni. La regressione viene fatta separatamente in ogni sottoinsieme.D’ora in poi supporremo che i predittori siano tutti quantitativi. Sinoti che, per la stesura di questo capitolo, l’ipostazione seguita è quella diWilliam S. Cleveland, Eric Grosse e William M. Shyu [1].1.1.1 Caratteristiche della superficieSupponiamo che per ogni x nello spazio dei predittori la superficie g possaessere stimata in un opportuno intorno con un polinomio di grado λ, dove λassume solo i valori 1 e 2. Le dimensioni dell’intorno sono determinate, in5

ase alla sparsità delle osservazioni, attraverso il parametro di lisciamentoα, aspetto che sarà chiarito adeguatamente descrivendo il metodo Loess.Per parlare di dimensioni va introdotta una metrica adeguata e quindi unafunzione distanza: quella che verrà utilizzata qui è la distanza euclidea. Ora,supponiamo che ci siano due predittori, u e v. Se vogliamo operare conpolinomi lineari dovremo trattare tre monomi: una costante, u e v. Inveceper polinomi quadratici avremo sei monomi: una costante, u, v, uv, u 2 e v 2 .Il numero dei monomi è espresso dal parametro τ. In alcuni casi, quando ipredittori sono in numero maggiore o uguale a due, può essere appropriatoomettere il quadrato di uno dei predittori quando λ è uguale a 2, oppurerichiedere che la superficie sia parametrica condizionatamente a uno specificosottoinsieme dei predittori. Illustriamo quest’ultimo concetto con due esempiin cui i predittori sono u e v:- per λ = 1 imponiamo alla superficie di essere condizionatamente parametricain u; allora dato v, la superficie, lineare in u, è della formay = β 0 (v) + β 1 (v)u- per λ = 2 supponiamo che la superficie sia condizionatamente parametricain u; allora dato v, essa è quadratica in u e si può scriverecosìy = β 0 (v) + β 1 (v)u + β 2 (v)u 2L’ipotesi che la superficie sia condizionatamente parametrica in uno o piùpredittori risulta sensata nel caso in cui l’esplorazione dei dati o informazionia priori suggeriscono che la superficie è globalmente una funzione moltoregolare di questi predittori. Fare una richiesta di questo tipo porta ad unaprocedura meno onerosa per il calcolo della superficie. Questo aspetto saràripreso durante l’illustrazione del metodo Loess.6

1.1.2 Caratteristiche dei termini di erroreSupponiamo che gli errori ε i siano variabili aleatorie indipendenti di media0. Per quanto riguarda la loro distribuzione si possono fare due ipotesidiverse: la prima è che essa sia gaussiana, la seconda è che la distribuzionesia simmetrica e leptocurtica, assunzione che ci porta ad utilizzare metodidi stima robusta in modo da penalizzare, nell’assegnazione dei pesi necessarialla stima di g, le osservazioni con residui troppo grandi. Anche in meritoalla varianza degli ε i possiamo operare due scelte. La prima consiste nelconsiderare la varianza costante e pari a σ 2 . La seconda invece prevede chesiano costanti le varianze non degli ε i ma dei termini a i ε i , dove gli a i sonopesi noti a priori e positivi.1.2 La stima della superficie1.2.1 Il metodo LoessIl Loess è il metodo attraverso il quale si ottiene ĝ(x), la stima di g peruno specifico valore di x. Tale stima è una stima ai minimi quadrati lacui caratteristica distintiva è che le osservazioni non contribuiscono tutte inmodo uguale al calcolo di ĝ(x), come invece avviene nella regressione lineareclassica, ma ciascuna riceve un peso inversamente proporzionale alla propriadistanza da x.Diventa, quindi, fondamentale definire il sistema dei pesi, che dipende dalvalore del parametro di lisciamento α in quanto questo fissa la frazione diosservazioni alle quali assegnare peso non nullo. Di conseguenza l’ampiezzadell’intorno di x da considerare per stimare g non risulta costante ma èmaggiore là dove è maggiore il grado di sparsità dei punti osservati.Sia α > 0 e ∆ i (x) la distanza euclidea di x i da x, nello spazio dei predittori.Siano ∆ (i) (x) i valori di queste distanze ordinate dalla più piccola alla più7

grande e sia così definita la funzione tricubica dei pesi:{(1 − u 3 ) 3 per 0 ≤ u < 1T (u) =0 per u ≥ 1Supponiamo che α ≤ 1. Sia allora q pari alla parte intera di α ∗ n, dove n èil numero di osservazioni.I pesi per (x i , y i ) sono definiti in questo modo:w i (x) = T( )∆i (x)∆ (q) (x)dove ∆ (q) (x) è il massimo delle distanze tra quelle relative ai primi q puntipiù vicini ad x. Otteniamo dunque che le osservazioni più vicine ad x hannopeso maggiore e inoltre T (u) = 0 per u ≥ 1, dove u = ∆ i(x)∆ (q), cioè tutte le(x)osservazioni che hanno distanza maggiore o uguale di ∆ (q) (x) da x ricevonopeso nullo; questo fatto implica che, fissato x, la stima di g viene fattatenendo in considerazione sempre lo stesso numero di osservazioni.Per α > 1 i pesi w i (x) sono definiti allo stesso modo ma ∆ (q) (x) è sostituitoda ∆ (n) (x)α 1/p dove p è il numero dei predittori. In questo modo si vannoa considerare tutte le n osservazioni perchè u non sarà mai maggiore di 1,quindi a nessuna osservazione è assegnato peso nullo. In definitiva i pesi sonosempre tali da decrescere o rimanere costanti al crescere della distanza di x ida x.A questo punto non resta che scegliere il grado del polinomio approssimante,se λ = 1 avremo un polinomio lineare, se λ = 2 esso sarà quadratico. Inogni caso si utilizza il metodo dei minimi quadrati pesati con i valori w i . Vanotato, infine, che al crescere di α e in particolare per α tendente all’infinito,ĝ(x) tende ad essere una superficie globalmente lineare per λ = 1, quadraticaper λ = 2 e quindi tende alla ĝ(x) che si otterebbe con la regressione lineare.8

Esempi illustrativiPer mostrare operativamente qual’è il risultato di un’approssimazioneloess presentiamo qui tre grafici realizzati con il software statistico R facendovariare il parametro α che, nella funzione loess già presente in R, viene chiamatospan, ed anche il grado λ del polinomio approssimante a livello locale.Il set di dati usato è costituito da 88 osservazioni ed è già presente in R sottoil nome di ethanol. I dati derivano da uno studio sui gas di scarico prodottida un motore a Etanolo: la variabile z rappresenta la concentrazione di Ossididi Azoto (NOx), espressa come µg di NOx per Joule, mentre la variabilex è una misura della ricchezza della miscela di aria e carburante.Figura 1.1: α = 0.19

Figura 1.2: α = 0.5Figura 1.3: α = 2Osservando i grafici si può notare che, per α = 0.1, sembra esserci un problemadi sovra-adattamento (over-fitting), del modello ai dati; in casi comequesto, nei quali ĝ tende ad interpolare i dati, la distorsione sarà molto bassa,tendente a zero, così come la varianza dei residui, ma la varianza di ĝsarà massima. La ragione di ciò è che, quando ĝ interpola i dati, il modello10

sta interpolando anche i termini di errore. Per α = 2 si vede, invece, cheil fitting è molto scarso, quindi la varianza di ĝ sarà minore, a scapito delladistorsione, la quale aumenterà. Il valore di α per il quale sembra raggiuntoil compromesso migliore tra varianza e distorsione è dunque 0.5 e ciò emergeguardando le curve di Figura 1.2.Per commentare in modo più completo quanto ottenuto riportiamo gli outputdi R relativi alle curve loess quadratiche.> span0.1 span0.1Call: loess(formula = z ~ x, span = 0.1, degree = 2)Number of Observations: 88 Equivalent Number of Parameters: 36.17Residual Standard Error: 0.2748> span0.5 span0.5Call: loess(formula = z ~ x, span = 0.5, degree = 2)Number of Observations: 88 Equivalent Number of Parameters: 6.16Residual Standard Error: 0.3373> span2 span2Call: loess(formula = z ~ x, span = 2, degree = 2)Number of Observations: 88 Equivalent Number of Parameters: 3.07Residual Standard Error: 0.5366In essi sono presenti, oltre alle informazioni generali, due quantità: il numerodi parametri equivalenti e la deviazione standard dei residui. Al numero diparametri equivalenti sarà dedicata, più avanti, un’intera sezione, ma anticipiamoqui che esso dà un’indicazione relativa al grado del polinomio che,11

globalmente, si avvicina di più alla curva loess; più il valore di questo parametroè basso, più la curva sarà liscia.Osservando i tre output possiamo dire che, in generale, al crescere dello spandiminuisce il numero di parametri equivalenti; d’altra parte la curva tendea seguire di meno i dati quindi si ha un aumento della deviazione standarddei residui. Guardando, invece, come variano i parametri a parità di spanin corrispondenza dei due possibili valori di λ, si nota che, con Loess lineareinvece che quadratico diminuisce il numero di parametri equivalenti, mentrela deviazione standard dei residui aumenta di poco, per span piccoli, di moltoper span grandi.1.2.2 Superfici condizionatamente parametricheAbbiamo visto che una delle caratteristiche che si possono attribuire allasuperficie g è che essa sia parametrica condizionatamente a uno specificosottoinsieme dei predittori. La tecnica per adattare il metodo Loess a questocaso, è molto semplice. Il sottoinsieme in questione non è contemplato nelcalcolo delle distanze euclidee che vengono usate nella definizione dei pesiw i (x). Un esempio può essere utile per comprendere come effettivamente lasuperficie così ottenuta sia condizionatamente parametrica.Supponiamo che i predittori siano 2, u e v, che λ = 2 e inoltre che sia u ilpredittore rispetto al quale si condiziona. Poichè la funzione dei pesi ignorala variabile u, il peso i-esimo, w i (u, v), per l’approssimazione in (u, v), è paripeso al peso i-esimo, w i (u + t, v), per l’approssimazione in (u + t, v). Quindiil polinomio quadratico utilizzato per la stima in (u, v) è lo stesso polinomioquadratico utilizzato in (u + t, v) per qualsiasi valore di t. Ciò significa che,per un dato valore di v, la superficie è data proprio da questo polinomioquadratico in funzione del primo predittore.Quando invece si decide che, per λ = 2, la stima di g debba essere calcolatacome funzione di più predittori ma si ritiene che sia più opportuno omettere12

il quadrato di uno di essi, ciò che si fa è semplicemente non utilizzarlo per ilcalcolo dell’approssimazione locale.1.2.3 Errori non gaussiani e stima robustaSupponiamo che gli errori ε i abbiano una distribuzione simmetrica conuna campana molto stretta e code sottili. Ciò comporta una variante delmetodo Loess che si basa su procedure di stima robusta le quali modificanoi pesi assegnati alle singole osservazioni in modo da tenere conto dell’entitàdei residui associati ad esse.Questa variante inizia con una stima di ĝ(x) basata su errori gaussiani.Quindi vengono calcolati i residuiˆε i = y i − ĝ(x i )A questo punto viene introdotta la funzione biquadratica dei pesi, detta anchefunzione di Tuckey:{(1 − (u/b) 2 ) 2 per 0 ≤ |u| < bB(u; b) =0 per |u| ≥ bSia m = mediana(|ˆε i |) la mediana del valore assoluto dei residui. La correzionedei pesi richiesta dalla tecnica robusta è allora data da r i = B(ˆε i ; 6m).Una stima aggiornata, ĝ(x), viene quindi calcolata a livello locale con i pesiw i sostituiti da r i w i (x), quindi più i residui sono grandi più i pesi attribuitialle osservazioni sono ridotti. La procedura viene ripetuta numerose volteper ottenere la stima finale.Nel caso in cui non siano gli ε i ad avere varianza σ 2 costante ma gli a i ε i siprocede alla stima con pesi dati da a i w i , se gli errori hanno distribuzionegaussiani, oppure da a i r i w i se viene utilizzata la tecnica robusta.13

Esempi illustrativiPer mostrare l’utilità della variante loess appena descritta, presentiamoun esempio nel quale, a partire da 100 realizzazioni del predittore x, equispaziateall’interno dell’intervallo [1, 10], è stata creata una funzione seno. Adessa è stata aggiunta una perturbazione tramite un termine di errore ottenutoutilizzando un generatore casuale da una normale standard ed inoltre adalcune osservazioni sono stati sostituiti dei termini outliers.Figura 1.4: seno perturbato, con outliersIn Figura 1.4 si vedono due curve; la curva in rosso è stata ottenuta usando lafunzione Loess con valore di default del parametro family, che ipotizza che glierrori abbiano distribuzione gaussiana, ed è evidente che questa proceduraè sensibile agli outliers e quindi inadeguata in questo caso. Per ottenereuna buona approssimazione bisogna utilizzare tecniche di stima robusta, chesi ottengono scegliendo per l’argomento family un valore diverso da quellodi default ovvero symmetric. Il risultato è dato dalla curva in blu e la suavalidità è confermata dal fatto che la deviazione standard dei residui, leggibilenell’output di R che qui non riportiamo, è piuttosto piccola, essendo pari a0.3182, mentre quella relativa alla prima stima è pari a 0.8307.14

1.3 Inferenza statistica1.3.1 Stima di σ ed intervalli di confidenza per g(x)Si è detto all’ inizio del capitolo che il Loess è uno stimatore lineare.Questa linearità porta con sè proprietà distribuzionali che sono molto similia quelle delle classiche stime parametriche.Supponiamo che i metodi di diagnostica abbiano verificato che le caratteristicheda noi imposte a g(x) non comportano una distorsione apprezzabile,ovvero che la differenza Eĝ(x) − g(x) sia molto piccola. Supponiamo inoltreche anche per i termini di errore i controlli abbiano dato esito favorevole econforme alle assunzioni fatte.A questo punto procediamo alla stima di σ e alla ricerca di intervalli di confidenzaper g(x).L’inferenza qui condotta utilizza due quantità:δ k = tr[(I − L) ′ (I − L)] k per k pari a 1 e 2δ 1 e δ 2 sono usati nel calcolo dei gradi di libertà necessari alla costruzione diintervalli di confidenza per g(x) tramite la distribuzione T di Student e percondurre gli F -tests che confrontano due diverse stime loess. Una valutazioneesatta di δ 1 e δ 2 risulta molto onerosa, per questo vengono preferiti metodiapprossimati basati su un approccio non numerico ma statistico.Una buona stima per σ, deviazione standard degli errori, è data da:s =√ ∑ni=1 ˆε2 iδ 1calcolata a partire dai residui ˆε i = y i − ŷ i .Poichèĝ(x) =n∑L α (x, x i )y ii=115

allora la deviazione standard di ĝ(x) è:∑σ(x) = σ√ n L α (x, x i ) 2i=1quindi la stima di σ(x) è data da:∑s(x) = s√ n L α (x, x i ) 2Sia orai=1ρ = δ2 1δ 2La distribuzione diĝ(x) − g(x)s(x)è ben approssimata da una distibuzione T di Student con ρ gradi di libertà;possiamo usare questo risultato per costruire intervalli di confidenza per g(x)basati su ĝ(x). Ad esempio l’intervallo di confidenza per g(x) di livello 1 − α,dove in questo caso α è la probabilità di errore di primo tipo, è dato da:⎡⎣∑ĝ(x) − t 1−α/2 (ρ)s√ n L α (x, x i ) 2 ,i=1∑ĝ(x) + t 1−α/2 (ρ)s√ n L α (x, x i ) 2i=1⎤⎦Notiamo che il valore δ 1 per il quale dividiamo la somma dei quadrati deiresidui non è pari a ρ che rappresenta i gradi di libertà della distribuzioneT di Student. Questo costituisce una differenza rispetto alle classiche stime16

parametriche nelle quali i due valori sono uguali. Nel Loess essi sono vicinima non abbastanza da consentire di ignorarne lo scarto.1.3.2 Prova delle ipotesi per il confronto di diversimodelliPer confrontare diversi modelli di regressione locale possiamo usare letecniche di analisi della varianza.In particolare supponiamo di avere unmodello rappresentante l’ipotesi nulla, i cui parametri siano indicati con α (n) ,λ (n) , δ (n)1 e δ (n)2 , e di testarlo contro un modello alternativo, con parametriα, λ, δ 1 e δ 2 . Affinchè la prova delle ipotesi abbia senso, il modello nullodeve essere annidato nell’alternativo. Questo concetto in generale può essereespresso dicendo che il modello alternativo deve essere in grado di coglierequalsiasi effetto colto dal modello legato all’ ipotesi nulla; la definizione, però,specifica in modo chiaro quando è ragionevole usare l’analisi della varianzaper confrontare due modelli. Il modello nullo è annidato in quello alternativose:1. α (n) ≥ α2. λ (n) ≤ λ3. Qualora il quadrato di un predittore numerico venga omesso nel modelloalternativo, allora esso non dovrà essere presente nel modello nullo;non vale l’implicazione inversa.4. I modelli devono avere lo stesso numero di predittori, con la seguenteeccezione: un predittore condizionatamente parametrico nel modelloalternativo potrebbe non essere presente nel modello nullo, se presentedeve essere ancora condizionatamente parametrico.Le condizioni 2. e 4. possono essere espresse in modo diverso. Per fareciò dobbiamo individuare due insiemi di variabili: le variabili di intorno,ovvero i predittori usati per individuare l’intorno relativo alla stima loess,17

e le variabili di stima, che sono i predittori usati per il calcolo attraverso iminimi quadrati. Facciamo un esempio. Supponiamo di avere tre predittorinumerici: u, v e w. Supponiamo inoltre che λ = 2, u sia condizionatamenteparametrico e il quadrato di w venga omesso. Allora le variabili di intornosono v e w, mentre le variabili di stima sono: una costante, u, u 2 , v, v 2 , w,uv e vw. Ora possiamo riformulare 2. e 4. in questo modo:2.’ Le variabili di stima del modello nullo sono un sottoinsieme di quelledell’alternativo.4.’ Il modello nullo e l’alternativo hanno le stesse variabili di intorno.A questo punto possiamo finalmente introdurre la statistica test F tramitela quale confrontiamo la validità dei due modelli.Sia rss la somma dei quadrati dei residui nel modello alternativo e rss (n) lasomma dei quadrati dei residui in quello nullo. La statistica F è data da:F = (rss(n) − rss)/(δ (n)1 − δ 1 )rss/δ 1Essa è analoga a quella usata in campo parametrico. Valori grandi di F sonoprove a favore dell’ipotesi alternativa. Questa statistica ha una distribuzioneche può essere ben approssimata da una distribuzione F con gradi di libertàdel denominatore dati da ρ, precedentemente definito, e gradi di libertà delnumeratore dati da:ν = (δ(n) 1 − δ 1 ) 2(δ (n)2 − δ 2 )Quindi la regione di rifiuto del test sarà del tipo R = F > F (ã)ν,ρdove F (ã)ν,ρscelto in modo tale che la probabilità di errore di primo tipo sia pari ad ã.Alternativamente si può costruire una regione critica basata sul p-value deltest.è18

1.3.3 Il numero di parametri equivalentiSiaµ = tr(L ′ L)Se gli ŷ i sono i valori approssimati, allora:µ =∑ ni=1 V arianza(ŷ i)σ 2µ viene chiamato numero dei parametri equivalenti perchè se gli ŷ i fossero ivalori stimati di un modello lineare, l’espressione a destra dell’uguale rappresenterebbeil numero di parametri di regressione. µ è maggiore o uguale a τ,il numero di variabili di stima, e si avvicina a τ al tendere di α all’infinito.Il numero di parametri equivalenti è una misura della regolarità della stima edipende da α, dai predittori, dalla scelta dell’intorno e delle variabili di stima.Inoltre, una volta fissate tutte le specifiche sopra elencate tranne α, possiamoottenere, approssimativamente, un valore desiderato di µ scegliendo α pari a1.2τ/µ.Esempi illustrativiDi numero di parametri equivalenti si è già parlato negli esempi atti adescrivere l’influenza di α e di λ sulla qualità della stima tramite Loess, inquanto questo numero è uno dei parametri restituiti in uscita dalla funzione.Osserviamo ora che quest’ultima offre la possibilità di fissare approssimativamenteil numero di parametri equivalenti voluto attraverso uno dei suoiargomenti, chiamato enp.target. In pratica questo parametro rappresenta unmodo alternativo di scegliere lo span α, ma va detto che il numero di parametriequivalenti esatto, fornito dall’output, sarà leggermente diverso daquello specificato. Dalle prove sperimentali sul campione ethanol, effettuatecon enp.target pari a 15, 6.5 e 4, i cui risultati sono mostrati in Figura 1.5si evince che il valore esatto di µ è sempre leggermente minore di quelloapprossimato. Inoltre se per α = 0.5 µ è pari a 6.16, ci si aspetta che19

Figura 1.5: numero di parametri equivalentiper enp.target = 6.5 il valore di α, calcolato con la formula approssimata,sia vicino a 0.5 e che quindi i risultati siano simili. La conferma si ha dalseguente graficoFigura 1.6: confronto tra α = 0.5 e enp = 6.520

1.3.4 Errori con distribuzione simmetricaQuanto detto sino ad ora riguardo agli aspetti inferenziali dei modellidi regressione locale ha come presupposto che i termini di errore abbianodistribuzione gaussiana. Se invece la distribuzione degli errori è simmetrica,l’inferenza si basa sui cosiddetti pseudo-valori. Indichiamo con r i ed m i pesilegati alla stima robusta e la mediana del valore assoluto dei residui, usatinell’ aggiornamento finale dell’approssimazione ĝ(x). Sia inoltre ψ(u; b) =uB(u; b).Gli pseudo-valori sono:ÿ i = ŷ i + cr iˆε idove ŷ i sono i valori approssimati, ˆε i i residui e c:c =n∑ ni=1 ψ′ (ˆε; 6m)Per fare inferenza si applica la stessa procedura usata in caso gaussiano mautilizzando gli pseudo-valori ÿ i al posto delle osservazioni della variabile risposta.Il calcolo degli intervalli di confidenza produce in questo modo buonirisultati. Per quanto riguarda invece l’analisi della varianza, in presenza dicampioni di piccole dimensioni, l’approssimazione non è così buona comequella per gli intervalli di confidenza.Supponiamo ora che gli errori casuali ε i nel modello siano tali che a i ε i sonoidenticamente distribuiti con pesi a priori, a i , positivi e noti. In questo casovanno introdotte alcune modifiche nei metodi inferenziali.Per l’approssimazione basata su errori gaussiani, ridefiniti opportunamenteL, δ 1 e δ 2 , si ha la seguente stima di σ:s =√ ∑ni=1 a iˆε 2 iδ 121

e la stima della deviazione standard di ĝ(x) diventa:∑s(x) = s√ n L α (x, x i ) 2 /a ii=1Per l’analisi della varianza, la somma dei quadrati dei residui è modificataaggiungendo i termini a i , analogamente a quanto si è appena fatto per s.Per l’approssimazione robusta, la mediana del valore assoluto dei residui èdefinita usando i residui standardizzati:ˆε ∗ i = √ a iˆε iQuindi si ha m = mediana(|ˆε ∗ i |).Analogamente, i pesi legati alla stima robusta divengono:r i = B(ˆε ∗ i ; 6m)Gli pseudo-valori sono:ÿ i = ŷ i + cr iˆε ∗ idove però c è:c =n∑ ni=1 ψ′ (ˆε ∗ ; 6m)22

1.4 Metodi computazionali per la valutazionedella superficieIn linea di principio la stima loess richiede un calcolo, attraverso minimiquadrati pesati, in ogni punto nel quale la superficie deve essere valutata.Tipicamente però, la valutazione diretta è troppo onerosa a livello computazionale.Si preferisce quindi selezionare un numero limitato di punti nei qualiapplicare direttamente il metodo Loess e poi interpolare attraverso opportunialgoritmi.Per selezionare il sottoinsieme di punti nei quali effettuare la valutazionediretta, poichè ĝ è regolare per costruzione, risulta sensato ricorrere ad unagriglia, la quale viene costruita tramite un algoritmo basato sugli alberi k−d.L’idea di base consiste nel fatto che questa griglia viene costruita in modoadattativo, cioè tenendo conto della sparsità delle osservazioni e non con dimensioniuniformi. Una volta ottenuta la griglia, il sottoinsieme di punticercato sarà dato dai vertici di ogni cella costituente la griglia. L’interpolazioneviene infine effettuata tramite funzioni regolari dette blending functionsche mirano a costruire una superficie globalmente di classe C 1 .Entriamo ora nel dettaglio, descrivendo la struttura della griglia e illustrandoquindi cosa si intende per albero k − d.Un albero k − d è una particolare struttura dati che consente di suddividerelo spazio dei predittori in modo ricorsivo utilizzando un iperpiano ortogonalea uno degli assi coordinati. Vediamo dunque come è fatta questa strutturadati. Sia C una cella rettangolare contenente le osservazioni x i ed h unnumero compreso fra 0 e 1. Quello che si fà in pratica è individuare il predittoreche varia all’interno del più ampio range di valori, calcolare la medianadelle osservazioni rispetto a quel predittore, e dividere la cella a metà, incorrispondenza del valore della mediana, con un segmento che risulta perpendicolareall’asse del predittore individuato. Il parametro h ci dice quandola partizione si blocca. Se in una cella ci sono meno di n ∗ h punti allora ci siferma, altrimenti il procedimento viene iterato. Quanto detto si può esprime-23

e attraverso la seguente funzione ricorsiva presentata in pseudocodice, chechiameremo partition(C):partition(C)j :=maximizer-of(max x∈C [x] j − min x∈C [x] j );µ :=median{[x] j : x ∈ C};cut C := L ∪ R by the hyperplane that intersects j-th axis at µ;left subcell L ⊆ {x ∈ C : [x] j ≤ µ};right subcell R ⊆ {x ∈ C : [x] j > µ};if size(L) > nhpartition(L);if size(R) > nhpartition(R);Illustriamo la procedura con un esempio in cui siano n = 100 e h = 0.05.24

Figura 1.7: albero k − dIn Figura 1.7 vediamo rappresentate le osservazioni x i nello spazio dei predittori,in questo caso bidimensionale. Consideriamo la parte superiore dellafigura: in essa è rappresentato il rettangolo di partenza, quello più esterno,25

che racchiude tutte le osservazioni. Questo rettangolo è più esteso verticalmenteche orizzontalmente, motivo per cui il rettangolo è diviso in due incorrispondenza della mediana del secondo predittore, il quale ha una variabilitàmaggiore. I due nuovi rettangoli che si ottengono vengono suddivisia loro volta in corrispondenza della mediana del primo predittore, semprein conseguenza del criterio appena illustrato. L’albero finale è mostrato nelpannello inferiore.Una volta costruito un albero k − d, ĝ(x) è calcolata direttamente solo aisuoi vertici, dove per vertice si intende ogni nodo della griglia generata. Oltreal valore di ĝ(x) in un vertice, si ottiene anche il valore della sua derivataapprossimata senza nessun costo addizionale, in quanto essa è un naturaleprodotto del calcolo attraverso minimi quadrati. Il valore del parametro h,oltre ad essere fondamentale nel criterio di arresto dell’algoritmo per gli alberik − d, ne influenza le velocità. Infatti, valori grandi di h rendono il metodopiù veloce generando pochi vertici, mentre, per valori piccoli di h, esso èpiù lento ma si ottiene una superficie più vicina a quella che si otterrebbeapplicando direttamente in ogni punto il metodo Loess.Chiarito quindi il metodo per la selezione dei punti nei quali eseguire lavalutazione diretta possiamo ora descrivere lo schema usato per costruire unabuona approssimazione polinomiale di g, schema che sfrutta le informazionidate dalla valutazione di ĝ in corrispondenza dei vertici dell’ albero k − d.Per semplificare la trattazione supponiamo che ci siano solo due predittori.Per la struttura dell’albero k − d, il bordo di ogni cella rettangolare è suddivisoin segmenti dai suoi vertici. Nel nostro esempio si hanno quattro latiprincipali che potrebbero essere ulteriormente divisi nel caso in cui un latocontenga vertici interni. Su ognuno dei lati la superficie è interpolata attraversoun polinomio di terzo grado, univocamente determinato noti i valoridella funzione e della sua derivata in corrispondenza dei vertici. Analogamente,tramite interpolazione, si determina il valore della funzione derivatadella superficie su tutto il confine della cella. E’ a questo punto che entranoin scena le blending functions. Esse sono costruite combinando opportuna-26

mente interpolanti univariati, ovvero funzioni di uno solo dei due predittori, evengono utilizzate per ottenere l’approssimazione di g all’interno della cella.Per approfondimenti su questo tema si può consultare il lavoro di Farin [4].La tecnica che si basa sulle blending functions è tale da garantire la continuitàdella derivata prima, quindi il risultato finale è una superficie di classeC 1 che non è esattamente la stessa che si otterrebbe se fosse effettuata unavalutazione loess in ogni punto ma, tipicamente, l’accordo fra i risultati esattie quelli interpolati è eccellente. L’unico limite del metodo che si basasull’interpolazione è che esso consente di valutare la superficie solo in puntiinterni al range dei dati mentre il metodo basato sulla valutazione diretta èapplicabile in ogni punto.27

Capitolo 2Tecniche alternative dismoothing2.1 Stimatori per gLa regressione locale, argomento di questa tesi, è, ovviamente, solo unadelle diverse tecniche che si possono utilizzare per studiare le relazioni travariabili, fornendo una stima di g. Obiettivo del capitolo è fare una carrellatagenerale delle possibili alternative adatte ad essere poste a confrontocon il metodo Loess nel capitolo successivo. La Lezione seguita qui è quelladi Catherine Loader [2]. (Per semplicità non è stato descritto il caso multivariatoma tutto ciò che segue ha essenzialmente validità generale). Tuttele tecniche che verranno presentate appartengono, come il Loess, alla classedegli stimatori lineari.2.1.1 Kernel SmoothersIl primo e più semplice metodo che presentiamo è quello dei Kernel Smoothers.Essi partono da un’idea non molto diversa da quella che sta alla basedel loess. Si fissa infatti un punto x appartenente al dominio della funzioneg e si determina intorno ad esso una finestra, la quale generalmente nonè altro che un intervallo della forma (x − α, x + α), dove α, il parametro28

di lisciamento, è fissato ed è solitamente chiamato bandwidth, ampiezza dibanda.Lo stimatore Kernel agisce realizzando una media pesata delle osservazioniall’interno della finestra e assume questa forma:ĝ(x) =∑ ( )ni=1 W (xi −x)α∑ ( )nj=1 W (xj −x)αdove W è detta funzione nucleo, kernel, da cui il nome del metodo e n è ilnumero totale delle osservazioni di cui si dispone. Questa funzione è sceltain modo che sia dato peso maggiore alle osservazioni più vicine al punto incui stiamo calcolando la stima. Qui si evidenzia un’importante differenzarispetto al metodo Loess; infatti, mentre nel Loess l’ampiezza dell’intornovaria al variare della sparsità dei punti osservati, essendo ragionevolmentemaggiore là dove le x i sono più disperse, nei Kernel Smoothers e nelle tecnicheda essi derivate l’ampiezza di banda è costante lungo l’asse x.La fuzione nucleo può avere diverse forme; una delle scelte più comuni è lafunzione biquadratica,W (x) =y i{(1 − x 2 ) 2 −1 ≤ x ≤ 10 altroveoppure W può essere una funzione di densità simmetrica attorno all’origine,come una normale standard, o ancora si può utilizzare un nucleo rettangolarein cui W vale,{1/2 −1 ≤ x ≤ 1W (x) =0 altroveDunque nei Kernel Smoothers il peso di ogni osservazione è dato da29

[ n∑ ( ) ] −1 ( )(xj − x) xi − xK i = WWααj=1Lo stimatore Kernel introdotto, molto noto in letteratura, è generalmentechiamato stimatore Nadaraya-Watson e la sua semplicità lo rende piuttostofacile da comprendere e da implementare con software statistici. Esso presenta,però, alcune debolezze, tra le quali la più evidente è un’elevata distorsioneagli estremi del dominio di interesse.Esempi illustrativiVediamo ora alcuni esempi che ci mostrano delle stime ottenute usandola funzione ksmooth di R, la quale implementa il metodo di regressione legatoallo stimatore Nadaraya-Watson con due possibili scelte del nucleo: in bluè raffigurata l’approssimazione con nucleo rettangolare, in rosso quella connucleo normale.Figura 2.1: α = 0.0530

Figura 2.2: α = 0.1Figura 2.3: α = 0.531

I tre grafici sono stati realizzati con il set di dati ethanol, già usato in precedenza,con tre valori diversi del parametro ampiezza di banda α: 0.5, 0.1 e0.05. Osservando i risultati e i grafici dei residui, si vede che l’approssimazionemigliore, in termini di confronto distorsione-varianza, si ottiene usando laW gaussiana con α pari a 0.1. Questo non deve stupire, in quanto il nucleogaussiano è per sua natura molto regolare, essendo una funzione continua cheha per supporto tutto R e che decade a zero abbastanza rapidamente; inoltresi nota che, al diminuire di α, diminuisce la distorsione ma, come vedremopiù avanti, aumenta la varianza, quindi per ottenere una buona stima di gbisogna trovare un giusto compromesso, cosa che in questo caso si ottieneappunto per α = 0.1.Tecniche derivatePartendo dallo stesso presupposto che sta alla base della regressione localetramite Loess, e cioè che una funzione regolare può essere ben approssimataa livello locale da un polinomio di basso grado, le tecniche derivate dai KernelSmoothers procedono alla stima di g attraverso il criterio dei minimi quadratipesati, usando la stessa funzione nucleo e l’ampiezza di banda definiteper la regressione kernel. Ad esempio se si vuole calcolare un’approssimazionelocalmente lineare di g essa viene determinata calcolando â 0 ed â 1 cheminimizzanon∑( ) (xi − x)W(y i − (a 0 + a 1 (x i − x))) 2αi=1Va notato che in questo modo si determina ĝ(x) per un valore)di x specificoma, naturalmente, al variare di x cambiano i pesi W e di coseguenzale stime di a 0 ed a 1 .((xi −x)α32

2.1.2 Funzioni di tipo splineUn’approccio completamente diverso ma comunque molto interessante èquello delle Splines. (Per approfondire si vedano [5] e [6]). Esse sono funzioniparticolari le quali sono state studiate inizialmente soprattutto per il loro usonel campo dell’analisi numerica ma in seguito si è scoperto che esse possonoessere impiegate con profitto anche in statistica per problemi di smoothing.Così come il termine Loess è stato scelto non solo come abbreviazione di localregression ma anche perchè in campo geologico sta ad indicare un depositodi argilla o fango e quindi si adatta bene ad indicare una superficie moltomalleabile, anche il termine Spline ha un’origine interessante. Esso indicava,infatti, delle flessibili asticciole di legno usate per la progettazione degli scafidelle navi. Fissati alcuni punti sulla sezione trasversale dello scafo, il restodella curvatura era ottenuto forzando le asticciole a passare da tali punti elasciandole libere di disporsi per il resto del profilo secondo la loro naturaletendenza; si determinava così una curva regolare con comportamento preassegnatoin certe posizioni. Nel mondo della matematica le splines fannoqualcosa di analogo, con lo scopo di costruire funzioni polinomiali a tratti,non solo continue ma anche derivabili in uno specifico intervallo.Diamone ora la definizione rigorosa, il riferimento è in [7]:Definizione 2. Siano ξ 1 , . . . , ξ k k nodi distinti e ordinati sull’intervallo [a, b]con a = ξ 1 < ξ 2 < . . . < ξ k = b. Una funzione g d (x) sull’intervallo [a, b] èdetta Spline di grado d relativa ai nodi ξ i seg d |[ξi ,ξ i+1 ] ∈ P d , i = 1, . . . , k − 1g d ∈ C d−1 [a, b]dove P d rappresenta lo spazio dei polinomi di grado minore o uguale a d.In pratica ciò che si richiede è che tra due nodi successivi, ovvero nell’intervallo(ξ i , ξ i+1 ), la curva g(x) coincida con un opportuno polinomio di gradoprefissato d, e che tutte le porzioni di polinomi si uniscano nei punti di giunzioneξ i in modo regolare, nel senso che la funzione risultante g(x) abbia le33

derivate dal grado 0 al grado d − 1 continue in ognuno degli ξ i . Di solitoil grado preferito è d = 3 e si parla quindi di Splines cubiche. Il motivo diquesta scelta è che l’occhio umano non riesce di fatto a cogliere discontinuitànella derivata terza. Molto usate sono inoltre le splines di tipo interpolatorio,che sono tali per cui g d (ξ i ) = y i per i = 1, . . . , k con y 1 , . . . , y k valoriassegnati. Accoppiando le due scelte possiamo scrivere le condizioni che unaspline cubica interpolatoria è costretta a soddisfare:g(ξ i ) = y iper i = 1, . . . , kg(ξ − i ) = g(ξ+ i ), g′ (ξ − i ) = g′ (ξ + i ), g′′ (ξ − i ) = g′′ (ξ + i) per i = 2, . . . , k − 1dove g(x − ) e g(x + ) indicano il limite da sinistra e da destra di una funzioneg nel punto x.Un problema così impostato è caratterizzato da quattro parametri incognitiper ciascuna delle k − 1 cubiche che formano la spline e quindi da un totaledi 4(k − 1) incognite. Per contro ci sono k vincoli dovuti al passaggio peri punti e 3(k − 2) vincoli di continuità. La differenza tra numero di vincolie di incognite mostra che la soluzione non è univocamente determinata eil sistema presenta due gradi di libertà. Per questo motivo si introduconogeneralmente delle condizioni addizionali. Ad esempio se si impone che lederivate seconde siano nulle nei due punti estremi dell’intervallo, a e b, sihanno le Splines naturali, se invece si impone la continuità della derivataterza nei due punti ξ 2 e ξ k−1 si ha la Spline detta not a knot.In ambito statistico, più che le Splines interpolatorie risultano interessantile Splines di regressione e le Smoothing Splines. Le Splines di regressione,per le quali la Lezione di riferimento è quella di Adelchi Azzalini e BrunoScarpa [3], sono legate a modelli di tipo parametrico. Esse si propongonodi indagare il legame presente fra una o più variabili esplicative x e unarisposta y, date n coppie di osservazioni (x i , y i ), facendo riferimento a una34

formulazione generale del tipoy = g(x; β) + εdove ora g(x; β) è per ipotesi una Spline. Se l’asse delle ascisse è diviso ink + 1 intervalli separati da k ascisse, i nodi, con β indichiamo ora i parametrinon vincolati dei k + 1 polinomi che compongono la Spline. Notiamo che ladifferenza sostanziale tra le Splines di regressione e le Splines interpolatorieè che in quelle di regressione la selezione dei parametri incogniti non puòpiù avvenire in base a vincoli del tipo g(ξ j ) = y j , perchè ora il numero k eil numero n sono slegati e k ≪ n. Ciò che si fa, dunque, per determinarein modo univoco la Spline è stimare i parametri non vincolati β attraversoil criterio dei minimi quadrati, ovvero si trova il minimo rispetto a β dellaseguente funzione obiettivoD(β) =n∑{y i − g(x i ; β)} 2 = ||y − g(x; β)|| 2i=1La principale difficoltà che si incontra usando questa tecnica è legata allascelta della posizione dei nodi. L’approccio più semplice consiste nel scegliereil numero di intervalli desiderato e nel fissare i nodi in modo tale che gliintervalli abbiano ampiezza uniforme. Alternativamente si possono porre gliintervalli in corrispondenza dei punti che individuano i quartili della variabileindipendente.Se si utilizzano Splines cubiche si hanno 4(k + 1) incognite e 3k vincoli dicontinuità, quindi β ha k + 4 componenti. Si dimostra che la soluzione delproblema di minimo può essere riscritta nella forma equivalentedoveg(x; β) =∑k+4j=1ˆβ j (x)h j (x)35

h j (x) = x j−1 per j = 1, . . . , 4h j+4 (x) = (x − ξ j ) 3 +per j = 1, . . . , k(x − ξ) 3 + = max(0, (x − ξ) 3 )Smoothing SplinesPrima di descrivere questo tipo di stimatore rammentiamo come è fattoil modello non parametrico a cui esso fa riferimento. Consideriamoy i = g(x i ) + ε ii = 1, 2, . . . , ndove ε = (ε 1 , . . . , ε n ) ′ ∼ N(0, σ 2 I) e di g si sà soltanto che è regolare. LaSmoothing Spline che fornisce una stima di g è una funzione che deve appartenereallo spazio di Sobolev H 2 (Ω), spazio delle fuzioni a quadrato sommabile,le cui derivate fino all’ordine 2 incluso, nel senso delle distribuzioni, sonofunzioni a quadrato sommabile con Ω aperto di R. Essa si trova cercando lasoluzione che soddisfa il criterio dei minimi quadrati penalizzati e cioè cherende minima la seguente espressione:n∑∫(y i − g(x i )) 2 + αi=1g ′′ (x) 2 dxper ogni α fissato, maggiore di 0. Si dimostra che la soluzione di questoproblema è data da una Spline cubica naturale, in cui i nodi sono i puntix i distinti. Ora osserviamo meglio la formulazione del criterio dei minimiquadrati penalizzati. Essa vuole realizzare un compromesso tra la fedeltà aidati, garantita dal primo termine, somma dei quadrati dei residui, e la regolaritàdella soluzione, misurata nel termine integrale. A questo propositoil parametro α svolge l’importante ruolo di parametro di lisciamento ed agisceandando a penalizzare il grado di irregolarità della curva g, quantificato36

dall’integrale di g ′′ (x) 2 . In altre parole esso rappresenta l’ago della bilanciadel compromesso che si vuole realizzare usando i minimi quadrati penalizzati.Se α = 0 non vi è penalità per l’irregolarità di g(x) e quindi si scegliedi privilegiare nettamente la fedeltà ai dati a scapito della regolarità dellacurva approssimante. Ciò che si ottiene in questo caso limite è una Splineinterpolatoria. Se invece α → ∞, la penalità è massima e comporta l’adozionedi una retta in quanto impone g ′′ (x) = 0. Questa retta non è altro che laretta che si otterrebbe utilizzando un modello di regressione lineare, ovverola retta dei minimi quadrati. Quanto detto mostra inequivocabilmente che lastima di g tramite Smoothing Splines è fortemente condizionata dalla sceltadi α. Questa scelta può essere lasciata a colui che sta studiando i dati oppurepuò essere fatta tramite tecniche automatiche, alcune delle quali sarannopresentate in seguito.Esempi illustrativiVediamo ora alcuni grafici che mostrano stime realizzate tramite SmoothingSplines. I dati utilizzati provengono nuovamente dal campione chiamatoethanol.Figura 2.4: scelta di α tramite il parametro spar37

Figura 2.5: scelta di α tramite il parametro dfFigura 2.6: scelta di α tramite Cross-Validation generalizzata38

La funzione smooth.spline di R offre tre diversi modi di specificare il valoredi α voluto.In Figura 2.4 si è utilizzato il parametro spar con valori 0.1, 0.8 e 1.5. Percome è stata costruita smooth.spline, α è una funzione monotona crescentedi spar quindi il risultato ottenuto è perfettamente in accordo con la teoria.Si vede infatti che al crescere di spar, e quindi di α, la stima di g parte comeuna curva irregolare ma molto fedele ai dati e diventa, per spar = 1.5, unaretta di regressione. É evidente che in questo caso l’ultima stima è del tuttoinadeguata.Il secondo modo di scegliere α è una tecnica indiretta che, analogamente aquanto abbiamo visto per il Loess, passa attraverso la richiesta del numerodi gradi di libertà desiderato per la stima. L’argomento della funzione implementatada R preposto a questa scelta è df. I risultati ottenuti sono visibiliin Figura 2.5.Se nella funzione non si inserisce un valore nè per spar, nè per df, α vienedeterminato tramite una tecnica automatica chiamata Cross-Validation, ilcui meccanismo verrà descritto più avanti. La curva presente in Figura 2.6 èstata ottenuta in questo modo.2.2 Proprietà statisticheIn vista dello studio delle tecniche per la selezione del parametro di lisciamentoe di altre procedure inferenziali, è necessario descrivere alcune proprietàche sono comuni a tutti gli stimatori lineari. Consideriamo una misuradella bontà della stima di g(x), in particolare l’errore quadratico medio,MSE(x) = E((ĝ(x) − g(x)) 2 ) = var(ĝ(x)) + bias(ĝ(x)) 2dove la distorsione è data da bias(ĝ) = E(ĝ(x)) − g(x).Intuitivamente, per quanto riguarda i Kernel Smoothers ed anche il Loess, alcrescere del parametro di lisciamento α vengono usati più dati per costruire la39

stima ĝ(x), e quindi la varianza diminuisce; d’altro canto l’approssimazionea livello locale è migliore su intervalli piccoli, quindi ci aspettiamo che crescala distorsione. Se invece si riduce troppo α, con lo scopo di diminuire la distorsione,si corre il rischio di trovarsi in una situazione di sovra-adattamentodel modello ai dati, ovvero si ha un aumento della varianza, senza guadagnorilevante in termini di distorsione. Per le Smoothing Splines vale un discorsoanalogo, quindi, la scelta di α va fatta cercando un compromesso tra due entitàin conflitto: varianza e distorsione. Vediamo allora di analizzare megliole proprietà che ci saranno utili per compiere questa scelta.2.2.1 DistorsioneLa distorsione di uno stimatore lineare è data daE(ĝ(x)) − g(x) =n∑L α (x, x i )E(y i ) − g(x) =i=1n∑L α (x, x i )g(x i ) − g(x)i=1Poichè essa dipende dalla funzione incognita g(x), non è molto utile a questolivello, sebbene sia possibile calcolare la distorsione a livello approssimato.Deriviamo una di queste approssimazioni rifacendoci, a scopo illustrativo, aun modello di regressione derivato dai Kernel Smoothers. Sviluppiamo g(x i )in serie di Taylor troncata al second’ordineg(x i ) = g(x) + (x i − x)g ′ (x) + (x i − x) 2g ′′ (x) + o(α 2 )2per |x i − x| ≤ α. Sostituendo quanto ottenuto nell’espressione della distorsionesi ha40

E(ĝ(x)) − g(x) = g(x)g ′′ (x)2n∑L α (x, x i ) + g ′ (x)i=1n∑(x i − x)L α (x, x i ) +i=1n∑(x i − x) 2 L α (x, x i ) − g(x) + o(α 2 )i=1Si dimostra che, per uno stimatore lineare e di consequenza per uno stimatoreKernel,∑ ni=1 L α(x, x i ) = 1∑ ni=1 (x i − x)L α (x, x i ) = 0Quanto appena scritto espone matematicamente una naturale proprietà deimodelli di regressione che stiamo trattando: se le y i giacciono su una linearetta, la funzione di regressione riprodurrà tale retta. Con questa semplificazionela distorsione si riduce aE(ĝ(x)) − g(x) = g′′ (x)2n∑(x i − x) 2 L α (x, x i ) + o(α 2 )i=1In questa espressione risulta evidente che il termine dominante nella distorsioneè proporzionale alla derivata seconda della funzione che stiamostimando.Il prossimo passo consiste nell’approssimare le sommatorie con integrali,cosa che si dimostra implicare il seguenteE(ĝ(x)) − g(x) ≃ g ′′ (x)α 2 ∫v 2 W (v)dv2 ∫ W (v)dvOltre alla dipendenza da g ′′ (x), vediamo dunque la dipendenza da α: al-41

l’aumentare dell’ampiezza di banda, la distorsione cresce quadraticamenterispetto ad α.Stime di questo tipo coprono approssimazioni polinomiali di qualunquegrado, anche in presenza di più predittori. Il loro risultato implica che quandoλ, il grado del polinomio, è dispari, il termine dominante della distorsione èproporzionale a α λ+1 g (λ+1) (x). Quando λ è pari, il termine di prim’ordinesparisce, lasciando una distorsione di ordine α λ+2 .2.2.2 VarianzaPrima di derivare la varianza di uno stimatore lineare ricordiamo le principaliassunzioni fatte sui termini di errore presenti nel generico modello diregressione che stiamo considerando. Indicati tali termini con ε i , ipotizziamoche essi siano indipendenti e identicamente distribuiti con varianza pari a σ 2 .La varianza di uno stimatore lineare èvar(ĝ(x)) =n∑L α (x, x i ) 2 var(y i ) = σ 2 ||L α (x, x i )|| 2i=1Così come è stato fatto anche per la distorsione, anche per la varianza possiamocalcolare un’approssimazione sostituendo le sommatorie con terminiintegrali. Riprendendo l’esempio precedente relativo alle tecniche derivatedai Kernel Smoothers si havar(ĝ(x)) ≃∫ σ2 W (v) 2 dvnαf(x) ( ∫ W (v)dv) 2dove f(x) è la densità delle x i . Vediamo, dunque, che la varianza è inversamenteproporzionale alla dimensione del campione, all’ampiezza di banda ealla densità, qualunque sia il grado del polinomio approssimante a livello locale;il termine dipendente dalla funzione dei pesi W , invece, varia al variaredi tale grado, ma generalmente aumenta con esso.42

2.2.3 Gradi di libertàNei modelli che stiamo analizzando le y i hanno varianza σ 2 , mentre lestime ĝ(x i ) hanno varianza σ 2 ||L α (x i , x i )|| 2 . Il termine ||L α (x i , x i )|| 2 è unamisura della riduzione della varianza della funzione approssimante in corrispondenzadi x i e, in analogia con i modelli legati alla regressione lineareclassica, possiamo indicare tale quantità con il nome di leverage o termine dileva. E’ molto importante osservare il valore che assume il leverage, infattise i dati vengono interpolati, allora ĝ(x i ) = y i ed ||L α (x i , x i )|| 2 = 1, d’altraparte se ĝ(x i ) = ȳ, allora ||L α (x i , x i )|| 2 = 1/n. Quindi si ha1/n ≤ ||L α (x i , x i )|| 2 ≤ 1Quando ||L α (x i , x i )|| 2 = 1 segue che per stimare ĝ(x i ) si considera solo ilvalore y i dell’ i-esima osservazione, la quale si dice costituire un caso influente.Inoltre il modello in quel punto sta interpolando anche il termine di errore,quindi si crea un problema di over-fitting che va analizzato con la dovutacautela.Una misura generale della regolarità della funzione approssimante è fornitadaν 2 =n∑||L α (x i , x i )|| 2i=1Questo è uno dei modi possibili di calcolare i gradi di libertà, in particolarela quantità ν 2 non è altro che la quantità che, descrivendo il Loess, abbiamogià introdotto come numero di parametri equivalenti. ν 2 soddisfa la seguentedisuguaglianza:1 ≤ ν 2 ≤ n43

e si può anche esprimere come ν 2 = tr(L ′ L).Un altro modo di quantificare i gradi di libertà è il seguente:ν 1 =n∑L α (x i , x i ) = tr(L)i=1Per un’approssimazione nel senso dei minimi quadrati, la matrice hat è taleche L = L ′ L e quindi ν 1 = ν 2 . Per gli stimatori lineari le due definizioni disolito differiscono ma sono simili in grandezza. I gradi di libertà fornisconoun meccanismo attraverso il quale diversi stimatori, con diversi parametridi smoothing, possono essere confrontati: semplicemente i parametri vannoscelti in modo da produrre gli stessi gradi di libertà.2.2.4 Stima di σ 2L’ultimo componente necessario per fare inferenza è una adeguata stimadella varianza σ 2 dei termini di errore. Diamo la seguente:ˆσ 2 =1n − 2ν 1 + ν 2n∑(y i − ĝ(x i )) 2i=1La normalizzazione è fatta in modo tale che, se si trascura la distorsione diĝ(x i ), ˆσ 2 è non distorto.2.3 Statistiche per stimatori lineari: ampiezzadi banda ed inferenzaUna volta descritte le proprietà principali degli stimatori di cui ci stiamooccupando, è giunto il momento di costruire intervalli di confidenza, testd’ipotesi, e di descrivere le tecniche di scelta del parametro di smoothing.44

2.3.1 Determinare il valore dei parametriTutte le tecniche viste finora, dal Loess alle Smoothing Splines, presentanoalmeno un parametro che controlla la regolarità della funzione approssimante.Questo parametro è il parametro di lisciamento o smoothness e, persceglierne il valore più adatto, esistono due approcci alquanto diversi. Daun lato si possono utilizzare metodi automatici, programmati a computer,basati sull’ottimizzazione di qualche espressione che valuta la bontà dell’approssimazione;dall’altro ci si può basare su metodi grafici ed esplorativi. Iprimi hanno il vantaggio di richiedere poco lavoro ma sono meno affidabili:stime con ampiezze di banda molto diverse possono risultare simili dal puntodi vista della bontà dell’approssimazione. Il risultato può quindi essere moltoirregolare(undersmoothed) o molto distorto.Di seguito verranno descritti i principali criteri usati per valutare la bontàdell’approssimazione.Cross ValidationLa tecnica chiamata Cross Validation cerca di rispondere a domande deltipo: se la curva di regressione è utilizzata per prevedere il valore di nuoveosservazioni, quanto buona sarà la previsione? Se si è in possesso di unanuova osservazione x 0 , e si fà una previsione di y 0 tramite ŷ 0 = ĝ(x 0 ), qual’èl’errore di previsione?Una misura di tale errore è data daE((y 0 − ŷ 0 ) 2 )La Cross Validation può essere usata per stimare questa quantità. Essafuziona nel modo seguente: iterativamente ogni osservazione (x i , y i ) è estrattadal set di dati e si calcola una stima di y i con uno dei metodi di smoothingvisti, applicato alle n − 1 osservazioni rimanenti. Questo porta alla funzioneCross Validation ordinaria45

CV (ĝ) = 1 nn∑(y i − ĝ −i (x i )) 2i=1da minimizzare. Nell’espressione appena scritta ĝ −i rappresenta la stimaquando la singola osservazione (x i , y i ) è omessa dal set di dati. Formalmentecalcolare ogni regressione ĝ −i risulta molto costoso a livello computazionale;esiste a questo proposito una notevole semplificazione, valida per tutti glistimatori lineari descritti:ĝ −i (x i ) = ĝ(x i) − L α (x i , x i )y i1 − L α (x i , x i )Con questa semplificazione, il criterio Cross Validation diventaCV (ĝ) = 1 nn∑i=1(y i − ĝ −i (x i )) 2(1 − L α (x i , x i )) 2Esiste una Cross Validation generalizzata, adatta quando sono presenti valoridi x coincidenti, che sostituisce i valori L α (x i , x i ) con la media, ν 1 /n. Essaassume la seguente forma:∑ ni=1GCV (ĝ) = n(y i − ĝ −i (x i )) 2(n − ν 1 ) 2Il parametro di smoothing ottimale corrisponde al valore di α che minimizzaCV o GCV .La Cross Validation è applicabile per la scelta di α sia al Loess che ai KernelSmoothers, ma, nel software R, le Smoothing Splines sono le uniche a offrirela possibilità di utilizzare la Cross Validatio semplicemente aggiungendoun argomento, cv nella funzione smooth.spline. Se cv = T RUE viene usatala Cross Validation ordinaria, altrimenti quella generalizzata. In Figura2.6 si può vedere una curva ottenuta attraverso Cross Validation generaliz-46

zata, applicata giustamente in quanto il predittore x presenta alcuni punticoincidenti.Stima non distorta del RischioUna funzione Rischio misura la distanza tra la funzione g e la sua stima;per esempio si haR(g, ĝ) = 1 σ 2n∑E((ĝ(x i ) − g(x i )) 2 )i=1Idealmente, una buona stima è tale da presentare basso rischio. Poichè,però, g non è nota, R(g, ĝ) non può essere valutata direttamente; per questola funzione Rischio va stimata e una stima non distorta è, ad esempio, laseguenteˆR(g, ĝ) = 1 σ 2n∑(y i − ĝ(x i )) 2 − n + 2ν 1i=1dove σ 2 si può stimare come visto nella sezione 2.2.4. Questa funzione siutilizza nello stesso modo della funzione di Cross Validation; le approssimazioniche producono un Rischio minore sono considerate migliori e quindi perscegliere i parametri di interesse si cerca di minimizzare la funzione di rischio.Stima della distorsione e metodi Plug-inUna classe completamente diversa di metodi di selezione dell’ampiezza dibanda, solitamente chiamati metodi Plug-in, cerca di stimare direttamenteuna misura di rischio attraverso approssimazioni di media e varianza. Proprioperchè si parla di ampiezza di banda, va chiarito che questi metodi sono statisviluppati relativamente ai Kernel-Smoothers.Concentrandoci nuovamente sull’espressione di una funzione di rischio,possiamo scriverne una decomposizione in distorsione e varianza47

σ 2 R(g, ĝ) =n∑n∑bias(ĝ(x i )) 2 + var(ĝ(x i )) =i=1n∑i=1( n∑j=1i=1) 2 n∑L α (x i , x j )g(x j ) − g(x i ) + σ 2 ||L α (x i , x i )|| 2i=1Una stima plug-in inizia costruendo un’approssimazione preliminare di g.Questa è quindi sostituita all’interno dell’espressione precedente, che può alloraessere minimizzata rispetto all’ampiezza di banda α. Esistono numerosevarianti dei metodi Plug-in in letteratura. Spesso si semplifica la funzionedi rischio usando delle approssimazioni asintotiche per la distorsione e lavarianza del tipo visto precedentemente; in questo modo si ottiene(∫ ) vσ 2 R(g, ĝ) ≃ α 4 2 2 n∑W (v)dv2 ∫ g ′′ (x i ) 2 + σ2W (v)dvnαi=1∫W (v) 2 dv( ∫ ∑W (v)dv) 2i=1n 1f(x i )Se le osservazioni sono uniformemente distribuite in un intervallo [a, b], alloraapprossimando le somme con integrali si ha(∫ ) vσ 2 R(g, ĝ) ≃ nα 4 2 2W (v)dv2 ∫ 1W (v)dv b − a∫ bag ′′ (x) 2 (b − a)σ2dx+α∫W (v) 2 dv( ∫ W (v)dv) 2Minimizzando questa espressione rispetto ad α si ottiene un’ampiezza dibanda ottimale a livello asintotico:α 5 opt =σ 2 (b − a) 2 ∫ W (v) 2 dvn( ∫ v 2 W (v)dv) 2 ∫ ba g′′ (x) 2 dxPer valutare α opt è necessario sostituire ∫ ba g′′ (x) 2 dx e σ 2con delle stime.48

Essendo σ 2 la varianza dei termini di errore, per essa si può utilizzare l’approssimazionegià introdotta; stimare la quantità integrale è, invece, più problematicoperchè introduce ulteriori parametri incogniti e quindi lasciamo ladiscussione di questo problema a testi più specifici.2.3.2 Inferenza StatisticaIn questa sezione è presentata una descrizione generale delle tecnicheinferenziali usate per costruire intervalli di confidenza e test d’ipotesi relativiagli stimatori di g che stiamo studiando.Intervalli di confidenzaSe gli errori ε i hanno distribuzione normale, allora gli intervalli di confidenzaper la funzione g, ovvero per il valor medio di y in corrispondenza dix, possono essere costruiti nel seguente modo:[ ĝ(x) − cˆσ||l(x)||, ĝ(x) + cˆσ||l(x)|| ]La costante c può essere scelta da una distribuzione T di Student con n −2ν 1 + ν 2 gradi di libertà in base al livello che si vuole abbia il test.Test d’IpotesiConsideriamo il problema di testare l’adeguatezza di un certo modello.Ad esempio, studiando un set di dati, ci chiediamo se un’approssimazionetramite regressione lineare del tipo g(x) = a + bx sia adeguata, oppure sesia più opportuno utilizzare qualcuna delle tecniche alternative descritte inprecedenza. Il problema di test delle ipotesi assume questa forma:H 0 : g(x) = a + bxper qualche a,bH 1 : modello alternativo49

A questo punto è possibile calcolare una statistica F considerando l’approssimazionefatta con la regressione lineare e quella con un modello alternativo,e valutandone la differenza. Sotto l’ipotesi nulla i valori stimati siano dati daMY , dove M è la matrice hat per un’approssimazione nel senso dei minimiquadrati. Sotto l’ipotesi alternativa i valori stimati siano invece HY , dove Hè la matrice hat per una regressione basata su tecniche derivate dai KernelSmoothers. F allora si può scrivere comeF = ||HY − MY ||2 /νˆσ 2dove ν = tr((H − M) ′ (H − M)). Questa statistica non ha una distribuzioneF esatta; nonostante questo, approssimando la distribuzione che ci interessacon una F , supposto che H 0 sia vera, otteniamo dei risultati ragionevoli. Labontà di questi risultati è influenzata dalle quantità usate per stimare i gradidi libertà della F . Una possibile scelta è ν per il numeratore e n − 2ν 1 + ν 2per il denominatore. L’approssimazione può però essere migliorata operandodelle trasformazioni su queste quantità: sia Λ = (H − M) ′ (H − M), i gradidi libertà del numeratore diventano tr(Λ) 2 /tr(Λ 2 ), similmente si ottengono igradi di libertà del denominatore.Una volta descritta la distribuzione approssimata della statistica F il test diipotesi si conduce considerando il p-value che si calcola a partire da F . Essosarà certamente valido in quanto valori grandi della statistica che stiamoutilizzando sono prove contro l’ipotesi nulla, quindi a partire dal p-valuepossiamo costruire la regione di rifiuto del test.50

Capitolo 3Tecniche a confrontoTutte le tecniche illustrate nel capitolo precedente rientrano nella teoriadella regressione non parametrica e sono caratterizzate dal valore assuntoda un’opportuno parametro, detto parametro di lisciamento. Esse risultanoquindi particolarmente adatte ad essere poste a confronto con il Loess.3.1 Loess e Kernel SmoothersSia i Kernel Smoothers che la regressione locale, la quale si avvale delLoess per stimare g, partono dal presupposto che, per il calcolo di ĝ sia opportunoattribuire importanza diversa alle osservazioni a seconda della lorodistanza dal punto x, nello spazio dei predittori, nel quale si sta effettuando ilcalcolo. Per tener conto di ciò, entrambe le tecniche utilizzano una funzionedei pesi, w, che assume valore maggiore per le osservazioni vicine al punto incui si sta effettuando la stima, minore per quelle lontane; la struttura di talefunzione rappresenta la prima grande differenza presente fra i due stimatori.Infatti, se per i Kernel Smoothers l’ampiezza dell’intervallo all’interno delquale le osservazioni presenti ricevono peso non nullo rimane costante, nelLoess tale ampiezza è funzione del grado di sparsità dei punti osservati. Inaltre parole, mentre nel primo caso il parametro di lisciamento è dato dall’ampiezzadi banda h, che viene mantenuta costante, e il sistema dei pesi51

viene semplicemente traslato in ogni nuovo punto dove si effettua la stima,nel Loess ciò che si sceglie di mantenere costante e di usare come parametrodi lisciamento è la frazione di osservazioni a cui assegnare peso non nullo.Questo fatto costituisce un indubbio vantaggio in quanto consente di ottenerebuoni risultati anche in presenza di osservazioni il cui grado di dispersionevari molto nello spazio dei predittori. Per illustrare graficamente quanto dettomostriamo due grafici. I dati utilizzati sono stati creati artificialmentein modo da avere osservazioni fortemente non equispaziate. In Figura 3.1mostriamo osservazioni allineate su una retta in assenza di perturbazionee vediamo come, anche nella situazione ideale, i risultati ottenuti con unastima kernel sono piuttosto scadenti. Nelle altre due figure mostriamo situazioniottenute perturbando dati provenienti da una retta e da una funzioneseno attraverso un generatore di numeri casuali da una normale di media 0e varianza 0.2 2 .Figura 3.1: osservazioni disposte su una retta52

Figura 3.2: osservazioni perturbate provenienti da una rettaFigura 3.3: osservazioni perturbate provenienti da una funzione seno53

D’altra parte ciò che ci si deve aspettare è che in una buona parte dei problemidi regressione i dati con cui si ha a che fare non siano equispaziati. Ad esempionel seguente grafico in cui si vuole studiare la relazione tra cilindrata e percorrenzaurbana di un’automobile attraverso una stima di regressione, ( i dati sonodisponibili al seguente indirizzo Web: http://azzalini.stat.unipd.it/Libro-DM/ ), sembra ragionevole usare un’ampiezza di banda più elevata per c > 3in quanto in quella regione cadono molte meno osservazioni.Figura 3.4: un set di dati reali: i dati delle autoIn Figura 3.4 sono riportate due curve: in rosso vediamo la ĝ ottenutatramite loess, nella sua variante robusta con α = 0.75 e λ = 2, mentre inblu abbiamo una stima attraverso Kernel Smoother con nucleo gaussiano eampiezza di banda pari a 0.5.A questo punto va notato che i Kernel Smoothers possono essere visti nonsolo come una tecnica che stima g attraverso una media pesata delle osservazioniche cadono all’interno della finestra selezionata dall’ampiezza di banda,ma anche come una speciale forma di regressione locale in cui però si scelgonosolo ed esclusivamente polinomi di grado λ = 0. Ora, posto il fatto che,qualunque sia la tecnica di regressione che si utilizza, bisogna prestare particolareattenzione quando si stima g in punti vicini alla frontiera dell’insieme54

che costituisce lo spazio dei predittori, nei Kernel Smoothers si evidenzia unadistorsione al bordo di entità notevole. La spiegazione di tale comportamentoè alquanto semplice. Sia x 0 il punto nel quale vogliamo realizzare la stima,all’avvicinarsi di x 0 ai bordi il sistema dei pesi cessa inevitabilmente di esseresimmetrico fino a che si giunge ad un punto in cui le osservazioni con pesonon nullo giacciono o solo a destra o solo a sinistra di x 0 . Supponiamo adesempio di voler stimare g in un punto prossimo al limite sinistro; in questocaso le osservazioni x i giacciono tutte alla destra di x 0 e il fatto di stimareg attraverso una media pesata delle y i genera la distorsione. Infatti, almenolocalmente, la funzione g sarà o solo crescente o solo decrescente. Se consideriamoil caso in cui essa sta crescendo, e di conseguenza stanno crescendo ley i , tutti i valori che entrano nella media pesata sono presumibilmente maggiorio uguali ad y 0 e ciò porta ad un valore stimato di g distorto in quantotroppo alto. Un discorso analogo vale per dati decrescenti, in cui la g vienesottostimata, e per un punto x 0 prossimo al limite destro. Un modo perrisolvere questo problema è quello di non utilizzare costanti per stimare g,ma, proprio come fa il Loess, polinomi di primo o di secondo grado, cosache è illustrata nella Figura seguente ( di Azadeh Shakery e Jakob Metzler,Kernel Methods, 8 ottobre 2003):Figura 3.5: distorsione al bordo: a sinistra la curva in verde è ottenuta usandolocalmente polinomi di grado zero, a destra sono usati polinomi lineariSpecifichiamo che il Loess da buoni risultati ai bordi non solo perchè nonusa costanti per il calcolo di ĝ, cosa che fanno anche le tecniche derivate daiKernel Smoothers, ma anche perchè il suo sistema di pesi, il quale non è55

vincolato ad essere simmetrico intorno al punto x 0 , non si limita ad esserela copia, troncata per mancanza di osservazioni, di quello che si ha nei puntiinterni, ma si modifica opportunamente in modo da attribuire peso non nulloalla frazione di punti richiesta dallo span α. In Figura 3.6 mostriamo il differentecomportamento di Loess e Kernel Smoothers nella stima di regressionerelativa a un campione di 100 osservazioni creato artificialmente perturbandouna funzione seno con un termine di errore ottenuto usando un generatorecasuale da una distribuzione normale standard.Figura 3.6: distorsione al bordoUna caratteristica del metodo Loess che abbiamo visto essere particolarmenteutile è il fatto che è possibile renderlo resistente agli outliers semplicementesostituendo ai pesi w i la loro correzione r i w i , la quale tiene contodell’entità dei residui associati ad ogni osservazione penalizzando quelle perle quali essa è troppo elevata. In R ciò viene fatto automaticamente scegliendoper il parametro family il valore symmetric. Per quanto riguardai Kernel Smoothers, nella loro versione standard, che è quella che abbiamoqui descritto, essi sono sensibili agli outliers come si vede chiaramente dalseguente grafico in cui è presentata anche una stima Loess:56

Figura 3.7: presenza di outliersIn realtà, a livello teorico, non sembrano esserci ragioni che impediscanodi introdurre un termine di correzione, analogo a quello del Loess, tale darendere robusta la stima attraverso Kernel Smoothers.Concludendo questa parte va notato che, così come il Loess è per sua naturauna tecnica che funziona bene sia in presenza di un solo predittore, sia inpresenza di più predittori, i risultati relativi ai Kernel Smoothers si estendonocon relativa facilità al caso multidimensionale.3.2 Loess e Smoothing SplinesMentre Loess e Kernel Smoothers sono due metodi che partono da un’idea essenzialmente simile per poi diversificarsi nel modo con il quale essaè stata sviluppata, l’approccio delle Smoothing Splines è completamente diverso.Infatti, mentre nel Loess l’unica richiesta che si fa a g è di essere benapprossimabile in un opportuno intorno con polinomi di primo o di secondogrado, e si procede al calcolo di ĝ traslando di volta in volta il sistemadei pesi in diversi punti nello spazio dei predittori, per quanto riguarda leSmoothing Splines la stima di g non passa attraverso la costruzione di una57

funzione che assegna peso diverso alle singole osservazioni e inoltre si richiedeuna regolarità molto forte alla funzione g; la ĝ che si trova con le SmoothingSplines minimizzando l’espressione dei minimi quadrati penalizzati è, infatti,una funzione continua insieme alle sue derivate fino al second’ordine incluso.Poichè esiste una funzione obiettivo da ottimizzare, le Smoothing Splines sonouna tecnica più elegante a livello matematico rispetto al Loess, nel qualenon abbiamo nessuna espressione che definisce ĝ, neppure a livello implicito.Nonostante ci sia questa grossa differenza di impostazione e nonostante ledue tecniche presentino diversi parametri di lisciamento, esse risultano comunqueconfrontabili in quanto entrambe appartengono alla classe degli stimatorilineari e quindi risulta interessante vedere quali risultati si ottenganoimponendo a entrambe di stimare g utilizzando lo stesso numero di gradidi libertà. Qui sotto riportiamo due grafici in cui la curva Loess e la curvacalcolata tramite Smoothing Splines sono state realizzate in modo da averelo stesso numero di gradi di libertà. Ricordiamo che R calcola i gradi di libertàvalutando la traccia della cosiddetta smoother matrix che in precedenzaabbiamo indicato con L.Figura 3.8: confronto tra Loess e Smoothing Splines, fissato il numero digradi di libertà58

Figura 3.9: stime ottenute tramite Loess e Smoothing Splines a parità digradi di libertàLa prima delle due figure è stata realizzata con il consueto set di dati creatoartificialmente fissando a 6.83 il numero di gradi di libertà. Per fare il secondografico è stato usato il set di dati Prestige, già presente in R, nel quale sonopresenti 102 osservazioni relative a uno studio sociologico condotto in Canadaall’inizio degli anni ’70; la relazione che ci si è proposti di studiare è quella frareddito medio e prestigio sociale calcolato tramite un indice chiamato indicePineo-Porter. In questo caso abbiamo prima calcolato la stima loess di gradounitario con span pari a 0.7 e poi, dopo aver letto nel relativo output che latraccia di L era pari a 4.5, abbiamo fatto il calcolo relativo alle SmoothingSplines usando, per calcolare il valore di lisciamento λ, un numero di gradidi libertà proprio pari a 4.5. Osservando i risultati ottenuti si constata chele stime ottenute tramite Loess e Smoothing Splines con lo stesso numero digradi di libertà sono molto simili; va notato che il comportamento al bordo delmetodo Loess risulta comunque più accurato anche se le Smoothing Splinesnon sembrerebbero presentare una distorsione sistematica del tipo visto coni Kernel Smoothers. Segnaliamo infine che in una situazione come quellarelativa ai dati di 3.9 i Kernel Smoothers non riescono a produrre risultati59

accettabili.Esaminiamo ora i risultati che si ottengono quando si vuole stimare g inpresenza di outliers. Con il Loess sappiamo bene che è particolarmente agevolerealizzare una stima robusta mentre con le Smoothing Splines i risultatiche si ottengono sono molto simili a quelli che si otterrebbero se il calcolofosse svolto con il metodo Loess nella sua versione standard, sensibile aglioutliers. Tutto ciò è ben visibile nella figura seguente:Figura 3.10: presenza di outliersVa detto che, così come per i Kernel Smoothers, anche per le SmoothingSplines non sembra esserci una motivazione teorica che precluda la possibilitàdi pesare in modo diverso le osservazioni in base all’entità dei residui adesse associati, inserendo opportuni coefficienti nel primo termine dell’espressionedel criterio dei minimi quadrati penalizzati, ovvero nella somma deiquadrati dei residui; inoltre la funzione di R smooth.spline offre la possibilitàdi inserire fra i suoi argomenti un vettore di pesi w, della stessa lunghezzadi x. (L’adattamento delle Smoothing Splines a casi in cui si evidenzia lapresenza di outliers sarà oggetto di un approfondimento successivo al presentelavoro di tesi). Tuttavia la tecnica Loess, nella quale la correzione sirealizza automaticamente, semplicemente cambiando il valore del parametro60

family da quello di default, gaussian, a quello relativo alla stima robusta, checome abbiamo già più volte detto è symmetric, si dimostra ancora una voltaestremamente flessibile e adatta ad applicazioni con qualsiasi tipo di set didati.Un ultimo punto su cui va testata l’effecienza del metodo Loess rispettoa quella delle Smoothing Splines è la generalizzazione al caso multivariato.Mentre alla fine di questo capitolo presenteremo una semplice analisi in presenzadi due variabili esplicative volta a mostrare come sia semplice usarela tecnica Loess anche in presenza di più predittori, la generalizzazione delletecniche facenti riferimento a funzioni di tipo spline è piuttosto complessa.Per quanto riguarda le Smoothing Splines, una loro generalizzazione, che introduciamosolo dal punto di vista teorico, si ottiene attraverso le thin-platesplines, le quali si ottengono minimizzando un’espressione analoga a quelladel criterio dei minimi quadrati penalizzati in cui il laplaciano sostituisce laderivata seconda della funzione g.A causa della loro elevata complessitàcomputazionale, le thin-plate splines vengono raramente utilizzate quando sihanno più di due predittori; in questo semplice caso, se si suppone di avereuna coppia di predittori, x 1 e x 2 , il secondo termine che costituisce l’espressionedei minimi quadrati penalizzati, ovvero quello che controlla la regolaritàdella soluzione, assume la seguente forma∫∫R 2 { (∂ 2 g(x)∂x 2 1) 2 ( ) ∂ 2 2g(x)+ 2+∂x 1 ∂x 2( ) }∂ 2 2g(x)dx 1 dx 2∂x 2 2dove si è esplicitato il laplaciano bidimensionale. Si può dimostrare che lasoluzione del problema di ottimizzazione che rappresenta il criterio dei minimiquadrati penalizzati ha la formag(x) = ˆβ 0 + ˆβn∑′ x + ˆα j h j (x)dove h j (x) = η(||x − x j ||), e η(z) = z 2 logz 2 ; gli ˆα j , ˆβ 0 e ˆβ sono determinatij=161

via minimizzazione.Per completezza riportiamo che esiste una tecnica di generalizzazione in piùdimensioni anche per le spline di regressione; essa si basa sulle cosiddettespline prodotto tensoriale, delle quali però non entriamo nel merito.3.3 Esempio di regressione multipla tramiteLoessPrima di concludere questo capitolo può essere interessante vedere all’operail Loess nello studio di un problema in cui sono presenti due variabiliesplicative. Che la teoria relativa alla regressione locale abbia validità generaleè stato chiarito fin dall’inizio, ma lo scopo di questa sezione è mostrareche tipo di risultati si ottengono digitando semplici comandi R. Per realizzarequesto esempio si consideri nuovamente il set di dati Prestige, però orasi prenda come predittore, non solo il reddito, income, ma anche un’indicerelativo al titolo di studio, education. In questo caso la funzione g, che vogliamostimare, non è più una curva ma una superficie. Applichiamo il metodoLoess con span pari a 0.5 e grado λ = 1, in modo da condurre una regressionelocalmente lineare. La superficie risultante ĝ è mostrata nel seguente grafico:62

Figura 3.11: esempio di regressione multiplaLa relazione tra la variabile risposta e i predittori appare non lineare e seanalizziamo la significatività di ciascuna variabile di predizione tramite un F-test, vediamo che nè income nè education possono essere omessi nel modello.Riportiamo le tabelle di ANOVA ottenute con R, nelle quali, osservando ip-value, si possono leggere i risultati dell F-test:> mod.lo mod.lo.inc mod.lo.ed anova(mod.lo.inc,mod.lo)Model 1: loess(formula = prestige ~ income, span = 0.7, degree = 1)Model 2: loess(formula = prestige ~ income + education, span = 0.5,degree = 1)Analysis of Variance: denominator df 90.66ENP RSS F-value Pr(>F)1 3.9 12006.163

2 8.0 4245.9 20.8 4.841e-16 ***---Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1> anova(mod.lo.ed,mod.lo)Model 1: loess(formula = prestige ~ education, span = 0.7, degree =1)Model 2: loess(formula = prestige ~ income + education, span =0.5, degree = 1)Analysis of Variance: denominator df 90.66ENP RSS F-value Pr(>F)1 3.0 7640.22 8.0 4245.9 7.8 7.1e-08 ***---Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1In entrambe le tabelle di analisi della varianza si vede che il p-value del test,P r(> F ), è molto basso e quindi induce ad adottare come modello migliorequello sostenuto dall’ipotesi alternativa comprendente entrambi i predittoriincome ed education.Si vede dunque che è piuttosto semplice maneggiare il metodo Loess conun numero di predittori p maggiore di uno; in realtà, raramente ci si addentramolto al di là delle due dimensioni, e per concludere la sezione vediamo leprincipali ragioni di ciò.Un primo motivo è la difficoltà di rappresentare i risultati e, di conseguenza,di interpretarli; infatti anche se l’idea di funzione di sei o ventisei variabilinon è concettualmente diversa da quella di funzione in due variabili, risultadi fatto mentalmente e graficamente non visualizzabile, per lo meno in modosemplice.Una seconda e molto importante ragione è che, all’aumentare della dimensionep dello spazio dove si collocano i predittori, i punti osservati si disperdono64

molto rapidamente, quindi se il numero di osservazioni n resta invariato, laqualità della stima ĝ degrada notevolmente. Per compensare l’aumento dispaziatura tra i punti, avremmo bisogno di un campione di dimensione n p ,cosa che diventa rapidamente improponibile se, ad esempio, supponiamo diavere n = 500 e abbiamo a che fare con 5 o addirittura 10 variabili esplicative.Questa situazione di sostanziale impossibilità di stimare g quando p èelevato prende il nome di maledizione della dimensionalità.Infine, va sottolineato che all’aumentare di p, la stima diventa sempre piùonerosa a livello computazionale.Per ovviare a questi problemi, ciò che generalmente si fà è cercare di ridurre ilnumero delle variabili esplicative, facendone opportune combinazioni lineariin modo da perdere il meno possibile del contenuto informativo, la tecnicaprobabilmente più usata e più efficace è quella che si basa sull’analisi dellecomponenti principali.65

Capitolo 4Esplorazione di un set di datirealiIl Loess è, per sua natura, una tecnica che appare particolarmente adattaper fare dell’analisi esplorativa. Per mostrare che tipo di risultati si possonoottenere applicando il Loess ad un set di dati reali presentiamo ora l’analisisvolta sul database I Bilanci delle Famiglie Italiane 2002 (BDI), creato utilizzandoi dati disponibili gratuitamente sul sito Internet della Banca d’Italia:www.bancaditalia.it.4.1 Il database BDIL’indagine sui bilanci delle famiglie italiane condotta dalla Banca d’Italianel 2002 ha coinvolto nel complesso 8011 famiglie, le quali hanno fornitoinformazioni anagrafiche e relative alla condizione monetaria e patrimonialedel capofamiglia, inteso come il maggior percettore di reddito al 31.12.2002.A partire da questi dati è stato creato il database BDI.Poichè nel condurre l’analisi ciò che interessava era comprendere in che modogli Italiani investono il proprio denaro in relazione a variabili quali ad esempioil sesso e il titolo di studio, il database presenta sei classi di attività finanziariealle quali è associato un livello di rischiosità crescente:66

1. V 1: depositi bancari e postali2. V 2: titoli di Stato e fondi monetari3. V 3: obbligazioni e fondi obbligazionari4. V 4: fondi azionari, misti, e gestioni patrimoniali5. V 5: azioni6. V 6: titoli esteriQueste variabili sono state normalizzate in modo da attribuire loro il significatodi percentuali di investimento nella rispettiva tipologia di attivitàfinanziaria; va inoltre detto che dal campione sono stati esclusi tutti gli individuiper i quali non erano disponibili i valori di tutte e sei le variabili,di conseguenza la numerosità complessiva di BDI non è di 8011 ma di 4433individui. Infine ad ogni individuo è stato associato un peso, inversamenteproporzionale alla probabilità di appartenenza dell’individuo al campione, inmodo da produrre un quadro più fedele possibile della popolazione italiana.Del sistema dei pesi, la cui costruzione è spiegata in una nota metodologicaanch’essa disponibile in rete, si è tenuto conto durante l’applicazione dellatecnica Loess.4.2 La scelta delle variabili d’interesseIl database BDI è una fonte di informazioni molto ricca in quanto contiene,oltre alle sei variabili relative alle attività finanziarie precedentementeintrodotte, indicazioni anagrafiche e variabili relative all’area geografica diprovenienza, al titolo di studio, al reddito disponibile netto, alla ricchezzanetta, al tipo di lavoro svolto, a affitti o mutui e all’ evetuale possesso dipensioni private o assicurazioni sanitarie. Per poter condurre l’analisi deidati è stato necessario operare una scelta per individuare quali variabili utilizzarecome predittori e quali come risposta.67

Per quanto riguarda i predittori si è scelto di utilizzare la variabile età, E,e la variabile ricchezza netta, W , prima separatamente poi effettuando unaregressione multipla. Inoltre sono state utilizzate anche le variabili categorichesesso, titolo di studio e area geografica, tramite le quali le osservazionisono state suddivise in sottoinsiemi con lo scopo di applicare il Loess ad ognisottoinsieme e scoprire le differenze fra i gruppi. Come variabile risposta,dopo aver fatto una serie di prove, si è scelta quella che forniva risultati piùinteressanti e leggibili, e cioè 1 − (V 1 + V 2) che rappresenta la percentualeinvestita in attività a medio ed alto rischio.Prima di mostrare i risultati ottenuti occorre precisare che la maggioranzadelle osservazioni presenta valore nullo della variabile risposta, fatto che nonsarà evidente nei grafici successivi a causa dei punti sovrapposti ma che èfondamentale considerare per interpretare in modo corretto i risultati. Alloscopo di chiarire meglio ciò e, più in generale, di prestare maggior attenzionealla distribuzione dei dati in nostro possesso, mostriamo i tre istogrammi divariabile risposta e predittori, e inoltre una stima di densità congiunta di Ee W .Figura 4.1: istogramma relativo alla variabile età68

Figura 4.2: istogramma relativo alla variabile ricchezzaFigura 4.3: istogramma relativo alla variabile 1 − (V 1 + V 2)69

Figura 4.4: stima di densità bidimensionale relativa ai due predittori, età ericchezzaIn Figura 4.4 la densità è minima in corrispondenza delle zone dove prevaleil colore rosso, massima dove il colore è giallo chiaro e bianco; si vedequindi che i valori dei predittori per i quali la densità è significativamentediversa da zero sono concentrati in una zona molto ristretta. Infine si notiche l’osservazione delle diagnostiche grafiche relative ai residui mostra che,in questo caso, l’assunzione di distribuzione gaussiana oppure simmetrica eleptocurtica di media zero, relativa ai termini di errore, non è assolutamenteverificata. Ciò è una conseguenza diretta del tipo di dati di cui siamo in possessoquindi, nonostante tale assunto sia una delle ipotesi che caratterizzanola teoria relativa alla regressione locale, poichè il nostro interesse è di tipopuramente esplorativo, mentre vengono tralasciati gli aspetti inferenziali peri quali l’assunzione sarebbe fondamentale, procediamo nell’analisi applicandoun Loess lineare con α = 0.5 e valore di default del parametro family.4.3 I risultatiPrima di presentare le curve stimate con il Loess, le quali danno un’indicazionepiuttosto chiara del modo in cui età e ricchezza, come predittori, e70

zona geografica, sesso e titolo di studio, come variabili categoriche, influisconosulla quota che gli Italiani investono in titoli rischiosi, illustriamo brevementeil tipo di risultati che ci si aspetta di ottenere, facendo riferimento a studieconomici condotti nell’ambito della letteratura sulle scelte di portafoglio,[Guiso e Jappelli,2000],[Ameriks e Zeldes,2001].Da questi studi si evince che la quota investita in attività finanziarie a medioed alto rischio è crescente con l’età e poi decrescente, con un massimoraggiunto tra i 40 e i 45 anni. Inoltre tale quota è crescente nella ricchezzae nell’educazione; le donne, infine, investono meno degli uomini in titolirischiosi.4.3.1 Distinzione per area geograficaMostriamo ora i grafici ottenuti attraverso l’applicazione del Loess primaall’intero database e poi ai sottoinsiemi dei dati divisi per area geografica inmodo da evidenziare le differenze presenti tra gli investitori del Nord Italia,del Centro e di Sud e Isole.Figura 4.5: 1 − (V 1 + V 2) ∼ età71

Figura 4.6: 1 − (V 1 + V 2) ∼ ricchezzaOsservando gli andamenti ottenuti possiamo dire che essi sono in perfettoaccordo con la letteratura che si occupa delle scelte di portafoglio. Inoltrevediamo che le regioni nelle quali si tende ad investire di più in titoli rischiosisembrano essere quelle settentrionali; esse sono, fra l’altro, le regioni dallequali proviene il maggior numero di dati presenti in BDI, mentre il minornumero di osservazioni è fornito dal meridione. Ciò è conseguenza del fattoche nel Sud circa il 50% della popolazione non detiene attività finanziarie(compresi i depositi bancari) mentre tale percentuale scende a meno del 15%nel Centro-Nord.Ricordiamo che le curve tendono ad essere concentrate nella parte inferioreper quanto riguarda Figura 4.5, a causa dell’elevatissimo numero di osservazioniper le quali la risposta assume valore nullo. In Figura 4.6 si nota inveceche le curve relative al Centro e al Sud si interrompono a causa della scarsitàdi osservazioni e del fatto che il Loess, condotto tramite interpolazione e nonvalutazione diretta in ogni punto, riesce a stimare g solo all’interno del rangedei dati.Di seguito mostriamo i grafici in tre dimensioni, creati utilizzando congiuntamentei due predittori, che rappresentano esempi di regressione multipla. La72

superficie ottenuta è stata stimata tenendo conto del termine di interazionefra i due predittori.Figura 4.7: ItaliaFigura 4.8: Nord73

Figura 4.9: CentroFigura 4.10: Sud e IsoleOsservando quanto ottenuto notiamo che la superficie stimata relativamenteal Nord è quella che più si avvicina alla superficie relativa all’Italia intera;questo dato non deve stupire ricordando la composizione del set di dati.Inoltre la differenza più evidente in termine di risultati è quella che si vede74

tra Nord e Sud e Isole.interazione tra i due predittori, età e ricchezza.Infine dai grafici sembra emergere la presenza di4.3.2 Distinzione per sessoPresentiamo ora i grafici ottenuti considerando separatamente i dati relativia capifamiglia uomini e donne, prima in riferimento all’intero territorioitaliano, poi distiguendo rispetto alle tre aree geografiche considerate.Figura 4.11: Italia 1 − (V 1 + V 2) ∼ età75

Figura 4.12: Italia 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.13: Italia, uomini76

Figura 4.14: Italia, donneDalle curve ottenute si deduce che, da una certa età in poi, gli uomini tendonoad investire maggiormente in titoli rischiosi rispetto alle donne; ciò risultain perfetto accordo con la teoria. Di seguito presentiamo i grafici relativi aNord, Centro, Sud e Isole separatamente; l’ossevazione delle curve stimateconduce a conclusioni analoghe a quelle tratte in riferimento all’Italia intera.Figura 4.15: Nord 1 − (V 1 + V 2) ∼ età77

Figura 4.16: Nord 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.17: Nord, uomini78

Figura 4.18: Nord, donneFigura 4.19: Centro 1 − (V 1 + V 2) ∼ età79

Figura 4.20: Centro 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.21: Centro, uomini80

Figura 4.22: Centro, donneFigura 4.23: Sud e Isole 1 − (V 1 + V 2) ∼ età81

Figura 4.24: Sud e Isole 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.25: Sud e Isole, uomini82

Figura 4.26: Sud e Isole, donneDa tutti i grafici emerge che la differenza di comportamento tra uomini e donneaumenta all’aumentare della variabile ricchezza, infatti, per valori moltoelevati di W , la variabile risposta calcolata per le donne assume valori moltopiù bassi di quelli che raggiunge relativamente agli uomini.4.3.3 Distinzione per titolo di studioInfine abbiamo suddiviso i dati in sottoinsiemi in base al tipo di titolodi studio posseduto dai singoli individui. Per semplicità abbiamo consideratosolo due livelli della variabile, raggruppando da un lato (basso titolodi studio) coloro non in possesso di alcun titolo di studio e coloro dotati dilicenza elementare, media inferiore oppure che hanno frequentato un corsoprofessionale, dall’altro (alto titolo di studio) quelli che hanno conseguito undiploma, una laurea triennale o quinquennale oppure che hanno seguito corsipost-laurea. Anche qui mostriamo prima i risultati relativi all’Italia nel suocomplesso e poi quelli delle tre aeree geografiche in cui il Paese è diviso.83

Figura 4.27: Italia 1 − (V 1 + V 2) ∼ etàFigura 4.28: Italia 1 − (V 1 + V 2) ∼ ricchezza84

Figura 4.29: Italia, basso titolo di studioFigura 4.30: Italia, alto titolo di studio85

Si noti che la curva stimata sulla base dei dati relativi a chi possiede untitolo di studio considerato alto si trova sempre sopra a quella associata aun basso livello di educazione. Sembra quindi trovare conferma l’assunzionesecondo cui la quota investita in attività finanziarie a medio ed alto rischio ècrescente al crescere del livello di istruzione. Un andamento simile si riscontraanche nei grafici relativi alle singole aree geografiche, anche se per quantoriguarda il Centro è presente qualche anomalia. Prima di mostrare tali graficiva però fatta una ulteriore osservazione. Se osserviamo attentamente Figura4.28 possiamo notare che la curva generata a partire da tutti i dati non giacetra le altre due curve, stimate a partire da sottoinsiemi. Questa è, però,solo apparentemente un’anomalia, perchè il loess, per sua natura, non operafissando la finestra nello spazio dei predittori da utilizzare per realizzare lastima di regressione locale, ma fa in modo di utilizzare localmente sempre lostesso numero di osservazioni, allargando e restringendo la finestra in mododa raggiungere questo scopo. Risulta quindi possibile che la curva originatadall’intero set di dati assuma valori superiori o inferiori a tutte le curveottenute a partire da sottoinsiemi dei dati che costituiscono una partizionedell’insieme originario.Figura 4.31: Nord 1 − (V 1 + V 2) ∼ età86

Figura 4.32: Nord 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.33: Nord, basso titolo di studio87

Figura 4.34: Nord, alto titolo di studioFigura 4.35: Centro 1 − (V 1 + V 2) ∼ età88

Figura 4.36: Centro 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.37: Centro, basso titolo di studio89

Figura 4.38: Centro, alto titolo di studioFigura 4.39: Sud e Isole 1 − (V 1 + V 2) ∼ età90

Figura 4.40: Sud e Isole 1 − (V 1 + V 2) ∼ ricchezzaFigura 4.41: Sud e Isole, basso titolo di studio91

Figura 4.42: Sud e Isole, alto titolo di studio4.4 Pregi e difetti dell’analisiDopo aver stimato le curve di regressione e aver visualizzato i risultatiottenuti, è buona norma valutare la bontà del proprio lavoro attraverso l’analisidiagnostica. Guardando i grafici dei residui si conclude che essi non sonocompatibili con le assunzioni del modello di regressione locale, in particolareessi non verificano assolutamente l’ipotesi di normalità. Inoltre, se si volessecalcolare il coefficiente di determinazione R 2 , pur sapendo che valutato al difuori dei modelli di regressione lineare perde di significatività, si otterrebbeun valore molto basso (inferiore al 12%), peraltro confrontabile e di pocomigliore di quello ottenuto con una regressione lineare del tipo presente inletteratura; questo induce a pensare che non si è scelta una tecnica di stimainadeguata benì, sono i dati ad essere particolarmente delicati da trattare. Ascopo illustrativo riportiamo uno solo dei grafici dei residui, il quale mostraresidui contro valori previsti relativi alla stima che ha originato la curva rossain Figura 4.5:92

Figura 4.43: grafico dei residuiQuesto grafico rivela chiaramente che i residui non hanno distribuzione gaussiana.Per ovviare a questo problema sarebbe stato possibile applicare ai datiqualche trasformazione, ad esempio una trasformazione Box-Cox, in modo daportarsi più vicini all’assunzione di normalità, ma si è scelto di non farlo pernon introdurre problemi di interpretazione. Infatti l’obiettivo principale dell’analisisvolta non è stato fare test d’ipotesi ma verificare in che modo varia lapercentuale investita in attività finanziarie a medio e ad alto rischio rispettoall’età e alla ricchezza degli individui osservati e confrontare gli andamentiottenuti con quelli previsti in letteratura, confronto che ha dato i risultatisperati evidenziando come il Loess sia una tecnica ottima per effettuareanalisi esplorativa.93

Capitolo 5Discussione conclusivaAvendo descritto in dettaglio la tecnica Loess ed avendola posta a confrontocon tecniche alternative di regressione e smoothing siamo ora in gradodi mettere in evidenza i pregi e i difetti che la contraddistinguono.Innanzitutto il Loess, non solo fa riferimento a modelli di regressione nonparametrici, ma le condizioni che impone sul modello sono talmente deboliche essa lascia veramente che i dati si esprimano senza costringerli dentrouna formulazione vincolata. Questo è particolarmente evidente nel capitoloquarto durante l’analisi dei dati della Banca d’Italia, osservando i grafici incui il predittore è l’età. Ciò che ci si aspetta dagli studi teorici è che l’andamentodella quota investita in titoli a medio ed alto richio sia sostanzialmenteparabolico nell’età; le curve ottenute con il Loess, realizzate utilizzando localmentepolinomi lineari, sono prove a sostegno dei risultati teorici moltopiù nette rispetto a quelle che fornirebbe una stima di regressione linearecon termini quadratici in quanto in questo secondo caso il profilo parabolicosarebbe imposto dal modello e non generato dai dati.Un’ulteriore prova di flessibilità è data dalla capacità di questa tecnica dimodificare il proprio sistema di pesi in base alla sparsità delle osservazioni,fatto che le permette di ottenere stime di gran lunga più valide di quelle dateda tecniche con ampiezza di banda fissata, come i Kernel Smoothers, e dilimitare gli effetti di bordo. Qui va sottolineato che, nonostante i vantaggi94

appena rimarcati, l’ampiezza di banda variabile può portare anche a qualchesgradita anomalia come quella rilevata nel capitolo precedente in Figura 4.28.Più volte in precendenza è emerso come sia possibile rendere il Loess resistenteagli outliers e come sia sostanzialmente equivalente operare con uno opiù predittori, cosa che invece crea alcuni problemi, soprattutto di caratterecomputazionale, alle Smoothing Splines. Ciò può essere visto come una conseguenzadell’estrema semplicità dell’idea e dell’implementazione del metodoLoess che sfrutta sapientemente per le sue stime oggetti matematici di naturalineare.A questo punto è però necessario evidenziare il difetto principale della tecnicaLoess, difetto che è inevitabilmente legato ai vantaggi appena esposti.Abbiamo visto che nelle Smoothing Splines si ha una vera e propria funzioneobiettivo da minimizzare, quindi la stima di g che si ottiene ha un’espressioneanalitica nota definita come la spline cubica naturale che minimizza il criteriodei minimi quadrati penalizzati. Per il Loess non è possibile fare niente disimile; di fatto esso non fornisce alcuna espressione analitica per ĝ e l’unicomodo per permettere ad osservatori esterni di avere accesso ai risultati ottenutiè di descrivere in dettaglio come è stato fatto l’esperimento specificandoil valore usato per ciascuno dei parametri passati alla funzione loess di R. Lamancanza di un’espressione analitica che descriva a livello globale la stimaLoess comporta anche l’assenza di un indice che dia una valutazione adeguatadella variabilità spiegata dal modello e di conseguenza della sua affidabilità.Infatti un indice come R 2 sembra perdere significato fuori dal contesto dellaregressione lineare.Alla luce delle ultime considerazioni si evince che l’estrema flessibilitàche contraddistingue il Loess ne costituisce il principale pregio ma anche ilmaggiore limite. Infatti, questa tecnica costituisce un ottimo strumento diesplorazione dei dati e come tale viene ampiamente utilizzata in letteratura,ma per fare analisi più approfondite potrebbe essere preferibile affidarsi ametodi più tradizionali.Per concludere, possiamo dire che il Loess rappresenta un utile trampo-95

lino dal quale patire per l’analisi di un particolare problema statistico eche esso riveste un ruolo guida nell’indirizzare lo studio verso il modello,matematicamente più rigoroso, che meglio cattura la natura dei dati daelaborare.96

Appendice ALe funzioni R utilizzateA.1 LoessUSO:loess(formula, data, weights, subset, na.action, model=FALSE,span=0.75, enp.target, degree=2,parametric=FALSE, drop.square=FALSE, normalize=TRUE,family=c(gaussian,symmetric),method=c(loess,model.frame),control=loess.control(. . . ),. . . )ARGOMENTI:formula : formula che specifica qual’è la variabile risposta e quali i predittori,che possono essere al massimo quattro; i predittori possono essereintrodotti additivamente ma è cosa migliore evidenziarne l’interazione.data : data frame opzionale entro il quale cercare la variabile risposta, ipredittori e i pesi.weights : vettore opzionale di pesi.subset : argomento opzionale tramite il quale specificare un particolaresottoinsieme di dati da utilizzare; molto utile in presenza di variabilicategoriche.97

na.action : indica il trattamento da riservare ai valori mancanti nella rispostae nei predittori. Il suo valore di default si ottiene tramite ilcomando ’getOption(na.action).model : assume solo i valori TRUE e FALSE. Se si specifica ’model=TRUE’si impone che in uscita sia fornito anche il model frame.span : è il parametro α, il quale controlla il grado di regolarità della stimaloess.enp.target : modo alternativo per fissare l’argomento ’span’; approssimazionedel numero di parametri equivalenti da utilizzare.degree : grado dei polinomi da usare per la stima locale; assume solo i valori1 o 2.parametric : argomento che serve a imporre che la superficie sia condizionatamenteparametrica rispetto a uno specifico sottoinsieme dei predittori;i predittori interessati possono essere indicati per nome, numero,oppure attravero un vettore logico di lunghezza pari al numero deipredittori.drop.square : per stime con più di un predittore e ’degree=2’, serve adomettere il termine quadratico (e i termini misti) relativamente ad alcunipredittori; tali predittori vengono indicati nel modo già visto per’parametric’.normalize : se si pone ’normalize=TRUE’, in presenza di due o più predittorinumerici, essi vengono normalizzati ad una scala comune. La normalizzazioneviene fatta utilizzando le stime 10% trimmed per mediae varianza.family : argomento relativo alla natura dei termini di errore; se gli si attrubuisceil valore ’gaussian’ la stima è fatta nel modo classico, se invecesi pone ’family=symmetric’ si ottiene una stima resistente agli outliers.98

method : di default assume il valore ’loess’, che implica che venga svolta lastima; se invece si pone ’method=c(model.frame)’, viene semplicementeestratto il model frame e non viene calcolata alcuna stima.control : serve per gestire i parametri di controllo, i quali consentono di richiedereche la superficie sia ottenuta per calcolo diretto in ogni punto,invece che tramite interpolazione, e che le statistiche ad essa associatenon siano ottenute per approssimazione ma attraverso valutazioneesatta.VALORE:Ciò che la funzione loess restituisce è un oggetto di classe ’loess’; essoforisce parecchie informazioni, il cui elenco si può ottenere tramite ilcomando ’names(nome oggetto)’, e in particolare contiene le stime ĝ(x) incorrispondenza di ciascun valore dei predittori con i relativi residui.A.2 KsmoothUSO:ksmooth(x, y, kernel=c(box,normal), bandwidth=0.5, range.x=range(x),n.points=max(100, length(x)), x.points)ARGOMENTI:x : vettore contenente le osservazioni del predittore.y : vettore contenente le osservazioni della risposta.kernel : funzione nucleo da usare.bandwidth : ampiezza di banda.range.x : range di punti che si vuole sia coperto dall’output.n.points : numero di punti in corrispondenza dei quali si vuole sia condottala stima.99

x.points : punti in corrispondenza dei quali si vuole sia condotta la stima.Se questo argomento è mancante, vengono scelti uniformemente’n.points’ in modo da coprire ’range.x’.VALORE:Ciò che la funzione ksmooth restituisce è la seguente listax : valori in corrispondenza dei quali è stata calcolata la stima; essi sonosempre in ordine crescente.y : valori approssimati relativi alle corrispondenti ’x’.A.3 Smooth.splineUSO:smooth.spline(x, y=NULL, w=NULL, df, spar=NULL, cv=FALSE,all.knots=FALSE, nknots=NULL, df.offset=0, penalty=1,control.spar=list())ARGOMENTI:x : vettore contenente le osservazioni del predittore, oppure lista o matricea due colonne che contiene sia il predittore che la risposta.y : vettore contenente le osservazioni della risposta. Se quest’argomento èmancante si presuppone che le risposte siano già presenti in ’x’.w : vettore opzionale di pesi, della stessa lunghezza di ’x’; di default esso èun vettore unitario.df : numero di gradi di libertà desiderato.spar : parametro di lisciamento, tipicamente (ma non necessariamente) in(0,1]. Il coefficiente α, presente nell’espressione che caratterizza lesmoothing splines, è una funzione monotona di spar e si ottiene quindia partire da esso.100

cv : serve per selezionare il parametro α attraverso cross-validation ordinaria(’TRUE’) oppure generalizzata (’FALSE’).all.knots : se quest’argomento prende valore ’TRUE’, tutte le ’x’ distintesono utilizzate come nodi; invece se si ha ’all.knots=FALSE’ (default),viene usato un sottoinsieme ’x[j]’, scelto attraverso ’nknots’indici equispaziati tra 1 ed n.nknots : intero indicante il numero di nodi da usare quando ’all.knots=FALSE’.Di default tale numero è minore di n, il numero di ’x’ distinte (pern > 49).control.spar : lista opzionale di parametri relativi al calcolo di spar, qualoraesso non sia dato.df.offset e penalty : argomenti opzionali relativi all’implementazione delcriterio di cross-validation generalizzata.VALORE:Ciò che la funzione smooth.spline restituisce è un oggetto di classe ’smooth.spline’;esso forisce parecchie informazioni, il cui elenco si può otteneretramite il comando ’names(nome oggetto)’, e in particolare contiene le stimeĝ(x) in corrispondenza di ciascun valore di ’x’ dato.101

Bibliografia[1] Cleveland, W. S., Grosse, E., e Shyu, W. M. (1992) Local RegressionModels. Statistical Models in S, Editors: Chambers, J., Hastie, T.,Wadsworth & Brooks/Cole Advanced Books & Software Pacific Grove,California[2] Loader, C. (2004) Smoothing: Local Regression Techniques. Handbookof Computational Statistics, Editors: Gentle, J. Hardle, W. e Mori, Y.,Springer-Verlag, Heidelberg[3] Azzalini, A. e Scarpa, B. (2004) Analisi dei dati e Data mining, Springer-Verlag Italia, Milano[4] Farin, G. (1990) Curves and Surfaces for Computer Aided Design: APractical Guide, 2nd ed., New York: Academic Press[5] Eubank, R.L. (1988) Spline Smoothing and Nonparametric Regression(Statistics, Textbooks and Monographs: vol.90), D.B. Owen, CoordinatingEditor, Department of Statistics, Southern Methodist UniversityDallas, Texas[6] Wahba G. (1990) Splines Models for Observational Data, Society for Industrialand Applied Mathematics, 3600 University City Science Center,Philadelphia, Pennsylvania[7] Quarteroni, A., Sacco, R. e Saleri, F. (2000) Matematica Numerica(seconda edizione), Springer-Verlag Italia, Milano102