Dipartimento di Statistica, Probabilità e Statistiche ... - Sapienza

Dipartimento di Statistica, Probabilità e Statistiche Applicate
Università di Roma "La Sapienza"
Grazia Di Bella
Relazioni non lineari asimmetriche
e calibrazione multivariata
Roma -febbraio 1995

Dottorato di Ricerca in Statistica Metodologica
VII ciclo (1991 ..1994)
Relazioni non lineari asimmetriche
e calibrazione multivariata
Grazia Di Bella
,',
Dipartimento di Statistica, Probabilità e Statistiche Applicate'
Università degli Studi di Roma lILa Sapienza"

Desidero ringraziare tutti coloro che con i loro consigli hanno' contribuito al
compimento della tesi. Inoltre ringrazio il pro! R. Coppi, supervisore della tesi, il pro! L.
Piccinato, coordinatore del corso di Dottorato in Statistica Metodologica, il pro! G. Bave e
il dotto C. J. F. ter Braak dell'Agricultural Mathematics Group (Wageningen, Olanda) per gli
incoraggiamenti e le interessanti discussioni.

Indice
Introduzione l
1. Metodologie per lo studio delle relazioni lineari asimmetriche tra due
insiemi di variabili quantitative 3
1.1. Analisi in Componenti Principali con variabili strumentali 4
2. Metodologie per lo studio delle relazioni non lineari asimmetriche tra due
insiemi di variabili qu.antitative 9
2.1. Optimal scaling e REDUNDALS 9
2.2. Regressione non parametrica Il
2.2.1. Stimatore smoothing spline 13
2.2.1.1. Scelta del parametro di smoothing 18
2.2.2. Stimatore spline dei minimi. quadrati 20
2.2.3. Il caso dei caratteri qualitativi 24
2.2.4. L'approccio non parametrico e l'Optimal Scaling 25
2.2.5. Modelli multivariati 26
2.2.5.1. Estensioni multivariate degli stimatori spline 27
2.2.5.2. Modelli additivi 30
2.3. Modelli multivariati e multirisposta 32
2.3.1. Spline-PCAIV e spline-RDA 33
2.3.2. 'Sinoothing spline-RDA 36
pag

2.2.5.1. Estensioni multivariate degli stimatori spline 27
2.2.5.2. Modelli additivi 30
2.3. Modelli multivariati emultirisposta 32
2.3.1. Spline-PCAIV e spline-RDA 33
2.3.2. Smoothing spline-RDA 36
3. Una nuova proposta per un problema di calibrazione multivariata vincolata 39
3.1. Un problema di calibrazione multivariata lineare vincolata 41
3.2. Calibrazione multivariata estimatori regression spline 50
3.3. Calibrazione e modelli lineari generalizzati non parametrici 54
3.3.1 Il caso univariato 55
3.3.2 Il caso multivariato additivo 63
3.4. Un esempio con dati simulati 68
Bibliografia 73
",.

Si è tentato di awicinare e confrontare le due impostazioni, quella della regressione
non parametrica multivariata e multirisposta e quella dell'analisi non lineare dei dati
nell'ambito dell'analisi canonica asimmetrica, .cercando di interpretare e giustificare le
procedure di trasformazione e quantificazione dell'Optimal Scaling. Dalle considerazioni
effettuate è scaturito un nuovo metodo di analisi canonica asimmetrica non lineare
denominato smoothing spline -RDA.
Nella seconda parte della tesi si affronta un problema di calibrazione multivariata
vincolata; questo può essere considerato come un problema di studio delle relazioni
asimmetriche tra due insiemi di variabili. Si è utilizzato un approccio originale secondo il
quale la fase di costruzione del modello di calibrazione coivolge tutti i dati disponibili e
non solo i cosiddetti training data, le stime si ottengono attraverso procedure dei minimi
quadrati alternati e sue generalizzazioni.
2

dove Al = UAcontiene i punteggi delle unità e A 2 = V i pesi delle variabili. Le matrici
ortonormali U, Vela matrice diagonale A derivano dalla decomposizione in valori
singolari (SVD) della matrice V
V=U A V'
Se ora imponiamo che i punteggi delle unità siano funzione lineare dell'insieme di
variabili esplicative Z
Al =ZC+E
con il vincolo che la-matrice C'Z'ZC sia diagonale, avremo
1\
c = (Z'Z)-l Z' Al = .{Z'Z)-l Z' UA.
f\
V = ZC A 2 ' = Z (Z'Z)-l Z' UAV' = Z (Z'Z)-l Z' V V V'
(1.1)
(1.2)
Volendo considerare un numero di componenti r

Si può verificare che la soluzione precedentemente trovata soddisfa tale equazione.
A A
Infatti sostituendo nella (1.5) respressione di c h prima colonna della matrice C definita
nella (1.2) owero
A
CI =(Z'Z)-I Z' À.IUI =(Z'Z)-I Z' Y vI
si ha
(Z'Z)-IZ'YY'Z (Z'Z)-I Z' YVI = Il (Z'Z)-I Z' YVI
ma
A A
y'Z (Z'Z)-I Z' Y VI = Y'Y vI =À.IVI
e si ottiene l'uguaglianza desiderata con Il = 1... 1
Il problema proposto da van den Wollenberg (1977) per la soluzione dell'RDA è:
Elaborando la fo.
max Lk r 2 (Yk, Zc)
c'Z'Zc=l
Lk r 2 (Yk, Zc) = Lk I1n 2 (Yk',Zc)2 = I1n211 Yk' Zc Il 2 = 1/n 2 c'Z'vy'Zc
si ottiene lo stesso problema (1.4) formulato da Rao.
D'Ambra e Lauro (1992) forniscono un'altra interpretazione. Una volta proiettata
la matrice Y sullo spazio generato dalle colonne linearmente indipendenti di Z, si cerca
la combinazione lineare Z(Z'Z)-IZ'Yv di varianza massima, owero
max v' (l/n v'Y'Z(Z'Z)-IZ'Yv) V
v'v =1
Anche in questo caso è immediato verificare che la soluzione per v è fornita dal primo
A A
autovettore della matrice Y' Y .
Nel problema proposto da Escoufier (1987) sono esplicitate le metriche Q e D
adottate rispettivamente nello spazio delle unità e nello spazio delle variabili. Si cerca la
metrica R per le variabili esplicative Z, tale che la distanza tra gli operatori caratteristici
di rappresentazione delle unità sia minima
7

La soluzione si ottiene con
R = (Z'DZ)-l Z'DYQY'DZ(Z'DZ)-l
min Il YQY'D - ZRZ'DII 2
ed effettuando un'ACP sulla tema (Z,D,R) owero diagonalizzando la seguente matrice
ZRZ'D = Z(Z'DZ)-l Z'DYQY'DZ(Z'DZ)-IZ'D
A
che può essere letta come il prodotto scalare pesato tra le colonne di Y.
Tale elenco, non esaustivo, ha il solo scopo di descrivere la richezza interpretativa
del metodo e di mettere in luce la natura lineare delle relazioni esplorate dal modello
dell'RDA. Spesso, però, è necessario disporre di strumenti che siano in grado di
individuare relazioni più complesse. A tale scopo è dedicato il prossimo capitolo.
8

Least Squares) ha dato l'awio alla serie di metodi di analisi dei dati raccolti sotto la sigla
ALSOS. Tali metodi permettono di generalizzare le più classiche tecniche multilineari al
caso di caratteri con livello di misura disomogeneo (Gifi, 1990).
Le variabili quantitative, con livello di misura numerico, sono anch'esse trasformate, in
modo parametrico, o attraverso funzioni polinomiali, riproducendo in tal caso il modello
lineare, o attraverso basi di spline. La loro trattazione risulta comunque marginale
rispetto al ruolo centrale giocato dalle variabili qualitative.
Per lo studio delle relazioni asimmetriche e non lineari tra due insiemi di variabili
miste van den Burg e de Leeuw (1990), nell'ottica delle procedure ALSOS, propongono
una generalizzazione della RDA in cui è possibile considerare anche variabili qualitative.
A tale scopo vengono introqotte delle quantificazioni/trasformazioni, sia delle variabili
esplicative che delle variabili risposta, ottime nel senso dell'Optimal Scaling. Il problema
viene formalizzato nel seguente modo.
Determinare le trasformazioni ottime T I e T 2 rispettivamente delle variabili Y e Z e la
matrice dei parametri del modello A che minimizzano la seguente funzione obiettivo
tr (TI - T2A)'(TI - T2A) /nm
con i vincoli
.. T I e T2 appartenenti all'insieme delle possibili quantificazioni/trasformazioni;
.. rango(A) ::::; r, tale vincolo equivale a porre la seguente fattorizzazione A = FG' con
F matrice di ordine (p,r) e G di ordine (m,r);
.. F' T2'T2 F = nI
Quest'ultimo vincolo di normalizzazione è necessario per la determinazione univoca delle
matrici F e G.
L'insieme delÌe possibili quantificazioni/trasformazioni è, nella. pratica, definito nel
seguente modo
tlk = Gt

Chiudendo questa pàrentesi bibliografica, introduciamo gli elementi necessari per la
determinazione della soluzione dell'espressione (2.2) riportando brevemente le
definizioni di funzione spline e di funzione natural spline (per maggiori approfondimenti
si veda De Boor, 1978).
Una spline di ordine r con nodi nei punti çh...,çk è una funzione che ha le seguenti
proprietà:
(i) è un polinomio di ordine r in ogni subintervallo [çi, çi+l)
(ii) ha r-2 derivate continue
(iii) l'(r-l)-sima derivata è una funzione a gradini con salti in çl,...,çk­
In forma parametrica può essere scritta nel seguente modo
{ O se x ...,çk' indicato con sr(ç}>".,ç0, costituisce uno spazio vettoriale di dimensione (r+k);
la rappresentazione (2.3) utilizza la base dello spazio definita serie di potenze troncata.
Una natural spHne di ordine r=2m e k nodi nei punti çl,...',çk è una spline con la·
proprietà aggiuntiva:
(iv) è un polinomio di ordine m al di fuori dell'intervallo [çhçkl
14

e matrice di varianze e covarianze
L = ì.,Q + 0'-2 8'S
inoltre si ha che
-2 0'2 log p(y!y,O'2) = ±[Yi -f(Xi)]2 +ì.,J(f(ID)(X»)2 dx
i=l a
owero illog della funzione a posteriori è proporzionale alla funzione dei minimi quadrati
penalizzata. Quindi lo stimatore smoothing spline risulta essere la media ed il massimo
della funzione di distribuzione a posteriori così costruita. Si noti che la distribuzione a
priori è parzialmente impropria poichè la matrice Q , definita non negativa e simmetrica,
ha due autovalori pari a zero. Tale interpretazione permette di considerare utili strumenti
inferenziali (Eubank, 1988, pp.233-267).
Senza soifermarci sui problemi computazionali relativi allo stimatore smoothing
spline, diremo solo che un'opportuna scelta della base (Sl> ...,sn) da utilizzare per il
calcolo dello stimatore permette di ridurre il numero di operazioni. In particolare .
utilizzando come basi le cosiddette B-spline la soluzione si ottiene in un numero di
operazioni dell'ordine di n. Tali basi, oltre a possedere le proprietà delle natural spline,
sono non negative ed hanno un supporto limitato, owero
Sj(X) > O
sjCx) = Ose x è esterno all'intervallo [Xj' Xj+m]
Da quest'ultima pro·prietà deriva che la matrice 8'S è 2m+l-banded cioè Sij = Oper
li-jl > m e ciò comporta notevoli vantaggi computazionali.
17

In quest'ottica risulta ancora più evidente come, sia il valore di À per lo stimatore
smoothing spline, che i valori relativi al numero e alla posizione dei nodi (çl,...,çk) dello
stimatore regression spline siano detti entrambi parametri di smooth.
Benchè lo stimatore regression spline rislldti molto semplice dal punto di vista
computazionale, la determinazione di (çl> ...,ç0 risulta complessa e una scelta non
corretta può portare a conclusioni fuorvianti.
Il modo più semplice per determinare il numero e la posizione dei nodi per lo
stimatore regression spline è quello di trarre suggerimenti da una attenta osservl;lZiòne dei
dati. Eubank (1988) fornisce delle linee guida basate sull'individuazione dei punti di
minimo, di massimo e di flesso nei dati. Essendo il numero di parametri da stimare pari a
(m + k ), si tende a considerare pochi nodi (k=1,2), ma in tal caso la scelta della loro
posizione diventa molto influente per i risultati. Un criterio "standard" può essere quello
di scegliere nodi equispaziati (B-spline cardinali, de Boor, 1978).
Un altro suggerimento viene dal teorema di Curry e Schonberg, riportato da de
Boor (1978, p. 113). Esso determina una relazione tra la molteplicità dei nodi in un
punto e le condizioni di continuità della curva rappresentata con B-spline.
Esistono, comunque, anche metodi di tipo "automatico" che cercano di ottimizzare
un criterio di bontà di adattamento dello stimatore ai dati. Ad esempio sono stati presi in
considerazione l'errore quadratico medio e la funzione GeV già citata. Tali metodi sono
stati adottati, secondo una strategia stepwise ed in un contesto più ampio, da Friedman e
Silverman (1989) nella procedura definita TURBO.
Non esiste, comunque, in letteratura una posizione chiara relativamente alla scelta
del numero e della posizione dei nodi. Ciò rende l'utilizzazione di tale stimatore poco
agevole anche in considerazione della influenza decisiva che ha tale scelta nella
deteminazione del modello.
23

possibili stimatori della funzione f. Lo stimatore polinomiale presuppon.e che Rm sia
trascurabile, lo stima.tore smoothing spline pone un estremo superiore sul suo valore ed
infine lo stimatore regression spline presuppone che Rm possa essere approssimato da
una sommatoria discreta.
Nell'approccio dell'Optimal Scaling (OS) le variabili quantitative erano inizialmente
trasformate attraverso l'uso di basi polinomiali. Successivamente, per introdurre
trasformazioni non lineari delle variabili, si sono prese in considerazione basi di B-spline
di ordine e nodi prefissati, owero degli stimatori regression spline i quali introducono
una ben definita forma parametrica, anche se molto flessibile. Lo stimatore smoothing
spline, ancora non considerato nell'OS, può essere invece utilizzato per i vantaggi di cui
gode rispetto allo stimatore regression spline per quanto riguarda la scelta del parametro
di smoothing.
Relativamente alle variabili qualitative si riesce a dare una giustificazione all'uso
delle procedure utilizzate nell'OS per la quantificazione delle modalità. Infatti, in tal
caso, lo stimatore ottenuto è unico a meno della determinazione dei coefficienti y, come
si è verificato nel precedente paragrafo.
2.2.5. Modelli multivariati
Per lo studio delle relazioni tra due insiemi di variabili occorre estendere gli
stimatori spline al caso multivariato e multirisposta. Per evitare confusione precisiamo
. . .
nuovamente che con l'aggettivo multivariato si intende denominare i modelli in cui sono
presenti più variabili esplicative, mentre con l'aggettivo multirisposta si intendono più
variabili risposta...Con tale terminologia possiamo introdurre lo studio delle relazioni
asimmetriche tra due insiemi di variabili nell'ambito regressivo.
26

Nel seguito tratteremo modelli multivariati e successivamente si introdurrà
l'estensione multirisposta.
Esistono due diversi approcci allo studio della regressione non parametrica
multivariata. Il primo considera la possibilità di estendere il dominio degli stimatori ad
uno spazio RP, dove p è ilnumero di variabili esplicative, mentre il secondo, assumendo
l'additività degli .effetti, introduce gli stimatori univariati all'interno di una struttura
additiva.
2.2.5.1. Estensioni multivariate degli stimatorispUne
Supponiamo di avere p variabili esplicative Xh...,X p e di voler studiare le relazioni
con la variabile risposta Y. Avendo n osservazioni, consideriamo il seguente modello
Yi =f(Xli,· ..,Xpi) + Ei
con
E(Ei) = O E(E?) =0 2 ,
E(Ei Ej) = O i:;f=j i,j=l,...,n
per il quale occorre stimare la funzione f su R p. Noi ci limiteremo a considerare
estensioni multivariate dei soli stimatori smoothing spline e regression spline. Precisiamo
sin dall'inizio che, benchè la trattazione teorica consideri il caso generale di p variabili, i
notevoli problemi computazionali legati agli siimatori spline multivariati, rendono in
pratica poco utilizzabili gli stimatori con p>2.
Thin P1Qte Smoothing Spline
Consideriamo la seguente estensione multivariata della funzione dei nuruml
quadrati penalizzata già descritta nel caso univariato (par 2.2.1).
27

successivi paragrafi vedremo come questa idea può essere attuata utilizzando gli
strumenti propri dell'analisi d,ei dati.
2.3.1 Spline-PCAIV e spline-RDA
Per studiare le relazioni non lineari e simmetriche tra i due insiemi di variabili e per
attuare l'idea di riduzione del modello (2.9), prima esposta, ci sembra naturale cercare un
metodo non lineare di RDA seguendo l'impostazione della regressione non parametrica.
Durand (199j) ha proposto un metodo di analisi canonica in cui le variabili
predittive sono trasformate attraverso spline dei· minimi quadrati, denominandolo spline­
PCAIV (principal Component Analysis with respect to Instrumental Variables), con
riferimento all'omonimo metodo lineare proposto da Escoufier (1987). Data la tema
(Y, Q, D), dove Q e D sono le metriche esplicitamente definite rispettivamente per lo
spazio delle unità e per lo spazio delle variabili, e l'insieme delle variabili esplicative X, si
cerca la trasformata T di X e la metrica R tale che la distanza tra gli operatori
caratteristici di rappresentazione degli oggetti sia minima owero:
min IIYQY'D - TRT'DI1 2
T,R
essendo
T = {tj}j=l,...,p con. tj = S/l)1bj e Sj (n,dj) basi spline di ordine e nodi fissati a pnon
e d j = (ordine dellaj-esima spline)+(numero di nodi dellaj-esima spline).
Tale problema di minimo non ha una soluzione esplicita. Una soluzione approssimata si
ottiene adottando una procedura iterativa che calcola in modo alternato la metrica R,
dati i coefficienti b j G=I, ..,p), secondo l'espressione
R(bh...,b p ) ,;., (T'DT) T'DYQY'DT(T'DT)
33

dove () indica l'inversa generalizzata, e i coefficienti bj (j=l,..,p), data R, in base al
metodo del gradiente; la direzione di discesa ed il passo sono calcolati con il metodo
quasi-Newton oppure con il metodo IIsteepest descent ll (Durand, 1993).
Una volta determinati R e T si applica l' ACP alla tema (T,R,D) o equivalentemente alla
1\. .
tema (Y,Q,D) dove
1\ _
Y = T(T'DT) T'DY
ovvero la proiezione D-ortogonale di Y nel sottospazio di Rn generato dalle colonne di
T. Il modello di ricostruzione dei dati, considerando r componenti, è:
A
Y == (Y)r= T(T'DT)· T'DY VrVr' =TMN'
dove Vr è la matrice di ordine (m,r) costituita dai primi r autovettori associati alla
A
matrice Y, M e N sono·le matrici dei coefficienti canonici
-
M = (T'DT) T'DY V r
N=V r
In termini estesi
(Yk)r= t(±tjmjSJnks
s=1 j=1
(2.10)
si ha che le trasformate spline ty ottenute utilizzando lo stimatore regression spline, sono
comuni a tutte le variabili Y k per k=l,...,m. Consideriamo, ad esempio, il caso di r=2
1\ p P
(Ykh = L tjmjlnlk + L tjmj2n2k
j=l j=l
si hanno due combinazioni lineari delle variabili trasformate tj per ciascuna variabile Yk e
esplicitando i coefficienti delle trasformate spline si ha
Cercando un'analogia con il modello della RDA, potremmo dire che mjl e mj2 sono i
coefficienti canonici e Sjbjmjh Sjbjmj2 sono le variabili canoniche.
34

Seguendo un approccio più vicino alla RRR di Davies,Tso (1982), piuttosto che
alla PCAIV di Ecoufier (1987), si propone una diversa versione del metodo di Durand
che ammette una soluzione diretta e non iterativa e nella quale non sono considerate
esplicitamente le metriche, tale versione è stata denominata spline-RDA.
Consideriamo ilmodello additivo multirisposta
Y = ±Sj(Xj)Bj +E
j=l
dove Sj (n,dj) j=I,...,p sono p le ba.si spline di ordine e nodi fissati a pnon e Bj (dj>m)
per j=I,...,p le matrici dei coefficienti. Scritto in forma più compatta
Y=S(X)B+E
p
dove S(X) = {St(Xl),S2(X2),""Sp(xp)} è la matrice di ordine (n, Ldj) contenente le basi
j=l
di spline di ordine e nodi fissati e
p
B(L dj ,m)
j=l
è la matrice dei coefficienti
B = (Bl,B 2 ,...,Bp)'.
La stima del modello si ottiene attraverso la minimizzazione della seguente funzione
obiettivo
min Ily - SBI1 2
Poniamo inoltre il vincolo di riduzione di rango su B, rango (B) ::; r ,owero
B=FG'
con F(s,r) e G(m,r)
La soluzione si ricava calcolando la stima dei minimi quadrati per B non vincolata,
utilizzando lo stimatore regression spline (Eubank, 1988)
:B = (S' S)-lS'y
ed effettuando poi la SVD della matrice dei valori stimati
1\ 1\
Y =SB =UAV'
La stima di rango ridotto, secondo la procedura della RRR, sarà
35

Capitolo terzo
Una nuova proposta per un
multivariata vincolata
problema di calibrazione
Utilizzando gli strumenti fino ad ora descritti, affrontiamo un problema di
calibrazione multivariata. Questo implica, nelle due fasi di calibrazione e di previsione,
l'uso dell'analisi delle relazioni asimmetriche tra due insiemi di variabili.
Introduciamo brevemente la calibrazione multivariata utilizzando un esempiO
particolare. Oltre al settore applicativo della chemiometria, a cui gran parte degli articoli
sulla calibrazione si riferiscono (Sekulic et al., 1993), anche la disciplina delle scienze
naturali dimostra un crescente interesse verso lo studio di tali metodologie. In particolare
numerosi lavori sono stati pubblicati sulle relazioni esistenti tra comunità vegetali e"
ambiente (Prentice et aL, 1991; Ter Braak et al., 1993; Ter Braak e Juggins, 1993; Ter
Braak e Wiertz, 1994). Quando le variabili ambientali (inquinamento atmosferico, acidità
del suolo, variabili climatiche,...) non sono rilevabili o comunque il loro rilevamento
richiede tempi o costi troppo elevati, è possibile utilizzare le numerose· infòrmazioni
contenute nel pattern della vegetazione, rilevando le specie vegetali presenti e studiando
il tipo di associazione da queste adottato. Tale idea è anche alla base degli studi paleo­
ambientali nei quali, partendo dai dati fossili della vegetazione (licheni, pollini,...), si
39

\ ./\ /\
Xh=YhB'(BB,)"1 h=I,...,H
Si noti che inizializzando le Xh= Xo per h=I,...,H, si hanno i seguenti modelli
h=O,I,..,H
e minimizzando la funzione obiettivo
H 2
Lllyh - xoBl1
h=O
otteniamo la stima di B
H
LYh
B= (Xo'Xo)"1 X o ' h=O
H+I
mentre con lo stiinatpre classico avremmo avuto
Be = (Xo'Xor l Xo'Yo
Ciò evidenzia quanto già detto in precedenza in relazione alla strategia adottata che
utilizza tutte lè informazioni disponibili e non solo i "training data" (Xo,Yo).
Nel nostro problema di calibrazione, però, abbiamo la possibilità di sfruttare le altre
informazioni contenute nella matrice Z. Consideriamo, allora, la seguente forma della f.o.
2 .
= Y - (Xo+ Ll)B
in cui si è sostituito il vincolo (3.8). Possiamo detenllinare 11. minimizzando:la f.o: con B
noto, nel seguente modo
11.* =(Y - X oB)B'(BB')-l (3.11)
utilizzando poi il modello (3.9) possiamo determinare la stima del parametro C
C Ll = (Z'Z)-IZ'/!J.* (3.12)
infine avremo che
/\ A
I1.=ZC
e l'espressione per l'aggiornamento di X sarà data da
A _ /\
X = Xo+ A
45

*
Quindi alternando il calcolo di B, A e C possiamo costruire una procedura iterativa per
la determinazione delle variabili Xl>""X H ,
Un altro modo più breve per calcolare X, dato B, è di minimizzare direttamente la
seguente forma della fo. rispetto a C
2
= Y - (:Xo+ ZC)B
Il minimo della funzione obiettivo si ha per
Cy =(Z'Z)-IZ'(Y- XoB)B'(BB')-
In tal caso la stima di X sarà data dalla seguente espressione
1\ _ _/\
x= X o+ ZCy
(3.13)
1\ 1\
E' immediato verificare che C Ll = C y e, quindi, le due procedure di stima conducono allo
stesso risultato.
Prima di riportare i due algoritmi iterativi nei quali sono riassunte le suddette
procedure, si sottolinea che i valori assunti dalla funzione obiettivo costituiscono una
successione monotona non crescente e limitata e quindi convergente.
Il primo algoritmo, denominato 3-steps, alterna la stima di B con la stima non vincolata
di A e la stima del parametro C.
Algoritmo C:3-steps"
(O) inizializza Al,'''' AH
calcola Xh = Xo+ Ah h=l,...,H
(1) calcola B utilizzando la formula (3.10)
(2) calcola A* non vincolato utilizzando la (3.11)
1\ .
(3) calcola Cd attravero la (3.12)
1\
aggiorna Ah = tll ZCd h=l, ,H
aggiorna Xh = Xo+ Ah h=l, ,H
46

{ E (
02J(C)]}-1 oJ(c)
acoe' oc
c new = c- --
calcolando le derivate prima e seconda
dove con gik si è indicato il valore della funzione gk nel punto xi , si ha
tale formula può essere considerata come una stima dei minimi quadrati pesati della
variabile dipendente di lavoro
rispetto alle variabili Z, conp?si
(Wk)ii= b"(8ik) g'k (Xi)2· per ogni i e k.
In termini matriciali si ha dunque
ID .
c new = (Z'WZrIZ' LWkçk'·
k
dove W = }: k W k
57
(3.21)

che esplicita la relazione con le variabili z.
Allora, utilizzando i pesi W (3.27), si ha
ooew= z (Z'wzt1z'wo*
Esponiamo ora l'algoritmo 3-steps
Algoritmo 3-steps
(O) inizializza 0i e calcola xi = }COi + 0i i=l,..., li
inizializza gk(xi) = gkO(Xi) i=l,..., li e k=l,...,m.
(1) calcola 0* (o non vincolato) in base alla (3.26)
(2) aggiorna Oin base alla (3.28)
aggiorna xi = }COi + 0i i=l,..., li
(3) calcola gk in base alla (3.22) k=l,...,m.
verifica la convergenza
I/xo 1d _ xoewI/ < 8
altrimenti vai al passo (1).
(3.28)
Anche in questo caso è semplice verificare che i risultati dei due algoritmi 2-steps e
3-steps sono uguali, infatti al passo (2) dell'algoritmo 3-steps l'aggiornamento di Oè dato
da
m
0= Z (Z'WZ)-IZ'Wo*= Z (Z'wzt1z'WW-1L:Wk/;k=
k
m
= Z (Z'wzt1z LWk/;k
le
mentre nell'algoritmo 2-steps, utilizzando l'espressione (3.21) per c si ha
III
0= Zc = Z (Z'WZ)-IZ'LWk/;k
k
che è uguale alla (3.29).
61
(3.29)

3.4. Un esempio con dati simulati
Per verificare le nuove procedure definite nel capitolo 3, sono state effettuate
delle simulazioni. In particolare si sono considerati sia il caso del modello lineare, per il
quale lo stimatore classico e lo stimatore RRR (descritto nel paragrafo 3.1) sono stati
posti a confronto, sia quello non lineare sul quale è stato applicato lo stimatore ALS
(paragrafo 3.3.2).
Modello lineare
Per il modello lineare, descritto dalle relazioni (3.4), (3.5) e (3.6), è stato
considerato un campione di n=30 unità, m=5 variabili risposta, p=2 variabili esplicative e
h=O,l (corrispondentemente all'esperimento di calibrazione e all'esperimento di
previsione). Si è inoltre ipotizzato che le unità siano disposte su di una griglia regolare 6
x 5; le variabili ausiliarie ZI (l = 1,2) indicano le coordinate spaziali di tale griglia. Si
riportano le relazioni utilizzate per la determinazione dei dati
YOk = XoI b1k + Xo2 b2k + eok
Ylk = Xll b1k + X12 b2k + elk
Xll = Xol + 011
X12 = Xo2 + 012
Al =ZC+EI*
k=1, ,5
k=1, ,5
Gli errori sono stati generati da distribuzioni normali di media zero e varianza fissata. Gli
m modelli, per ciascuna variabile risposta, sono indipendenti.
Si è considerata,' come già detto, sia la stima prodotta dallo stimatore classico
che quella determinata attraverso la Reduced Rank Regression (RRR). Tali stimatori
sono stati confrontati sotto" due differenti ipotesi. La prima è che i dati relativi
68

Nella seconda ipotesi "diverso range" (figura 4) i risultati sono meno
soddisfacenti e, per quanto riguarda la prima variabile esplicativa, i residui crescono via
via che ci si allontana dal range relativo alla fase di calibrazione (individuabile dai valori
esatti di Xo),
'i.
o
"7
MODELLO NON LINEARE "diverso range"
10 20 30 -20 O 20 40 60
stimatore ALS x1 0=1 ) stlmatore ALS x10=2)
............ _-
.. "":
"" ••D _.a a
.. ..
10 20 30 40
x1true 0=1)
e . . D.
e e
Figura 4
... . ... ... .
··.a· ·.a ..
•••• a-I.. ••••• • •
e e e
-20 O 20 40 60
x1true 0=2)
Nella tabella 2 sono,indicate le percentuali di varianza non spiegata; i valori
"
risultano ancora contenuti anche se nell'ipotesi di "diverso range" si ha un sensibile
aumento.
stesso range diverso range
j=l j=2 j=l j=2,·
Istimatore ALS 1,270 1,275 5,478 6,064
Tabella 2. Percentuale di varianza non spiegata
72

Bibliografia
ANDERSON T. W. (1984) An Introduction to Multivariate Statistical Analysis, John Wiley
& SonsLtd.
BARTI..EIN P. J., WmTI..OCK C. (1993) Paleoclim'atic interpretation of the Elk Lake pollen
record, Geological Society ojAmerica, Special Paper 276.
BROWN,P.J. (1982). Multivariate Calibration. J.R. Statisti. Soc. B 44, 287-231.
CHAlv1BERS J. M., HAsTIE T. J. (eds) (1991) Statistical Models in S, Pacific Grove:Wadsworth
and Brooks/Cole.
COHMAPMEJ:vIBERS (1988) Climatic Changes ofthe Last 18,000 Years: Observation and Model
Simulations, Science, 241, 1043-1052.
D'AJ:vIBRA L., LAURO N. C. (1992) Non symmetrical exploratory data analysis, Statistica
Applicata 4,511-529.
DAVIES, P. T., Tso, M. K-S (1982). Procedures for Redunced-rank Regression Appl. Statfst.
31, 244-255.
DE BOOR C. (1978). A praticai Guide to Splines. Spinger-Verlag, New York.
DI CIACCIO A. (199.) Analisi simultanea dei caratteri' qualitativi e quantitativi attraverso la
parametrizzazione dei dati, Metron, ..........
DURAND J.F. (1993). Generalized Principal'Component Analysis with respect to instrumental
Variables via Univariate Spline Trasformations, Computational Statistics & Analysis 16,
423-440.
ESCOUFIER Y. (1987) Principal Component Analysis with respect to Instrumental Variables,
European CourSes in Advanced Statistics (Università di Napoli), 285-299.
EUBAill( R.L. (1988). Smoothing Splines and Non Parametric Regressfon. Markel Dekker,
New York and BaseI.
73

FRIEDMAN, SILVERMAN (1989) FIexibIe Parsimonious Smoothing and Additive Modeling (con
discussione), Techometrics 31, 3-39.
GIFI A. (1990) Nonlinear MlIltivariate Analysis, Wiley, New York.
GREEN P. l, SILVERMAN P. W. (1994) Nonparametric Regression and Generalized Linear
Models: A Roughness Penalty Approach, Chapman and Hall, London.
HARDLE W. (1990) AppliedNonparametric Regression, Cambridge University Presso
HASTIE C.I ,TrnsHIRANI R.I. (1990). Generalized Additive models, Statistics and Applied
Probability 43, Chapman and Hàll, London.
HASTIE C.I. ,TIBSHIRANIR.J. (1993) Varying"coefficient ModeIs, J. R. Statist. Soc. B 55, 757­
796.
HUNTLEY R, PRENTICE L C. (1988) JuIy Tempatures in Europe from Pollen Data,'6000 Years
Before Present, Science 241,687-690.
ISRAELS A. (1992) Redundancy anaIysis for various types ofvariabIes, Statistica Applicata. 4,
531-542.
KIMELDORFG., WAHBA G., (1971) Some resuIts on Tchebycheffian spline finctions, J.
MathAnal. Appl. 33, 82-95.
LYCHE T., SCHUMAKERL., (1973) Computation ofsmoothing and interpolating natural splines
via Iocai bases, SIAMJ. Numer. Anal. lO, 1027-1038.
MARTENS H., NAES T. (1993)"MlIltivariate Calibration, JoOO Wiley & Sons Ltd.
MCCULLAGH P., NELDER J. A. (1989) Generalized Linear Models, Chapman and Hall,
London.
OSBORNE C: (1991) Statistical Calibration: A Review, International Statistical Review 59, 3,
309-336.
RAo C. R. (1964) The use and inferpretation of principai components anaIysis in applied
research, Sankhya serie A, 26, 329-358.
REINSCH C., (1967) Smoothing by spline functions, NlIIner. Math. lO, 177-183.
ROBERTP., ESCOUFIER Y. (1976) A Unif}'ing tool for linear multivariate statistical methods:
the RV-coefficient, Applied Statistics 25, 257-265.
74

SABATIER R., LEBRETON J. D., CHESSEL D. (1989) Prinçipal component analysis with
:\
instrumentaI variables as a tool for modeUing composition data, Multiway Data
Analysis, Coppi R., Bolasco S. (eds.), Elvesier Science Publishers B. V., North
Holland, 341-352:
SEKULIC S., SEASHOLTZ M.B. WANG Z., COLWALSKI B. R, LEE S. E., HOLT B. R (1993)
Nonlinear Multivariate Calibration Methods in Analitical Chemestry, Analitical
Chemistry 65, 835-846,
SILVERMAN B. W. (1985) Some Aspects of the Spline Smoothing Approach to Non­
parametric Regression Curve Fitting, 1. R. Statist. Soc. B 47, l-52.
TER BRAAK C. J. F., JUGGINS S. (1993) Weighted Average Partial Least Squares Regression
(Wa-Pls): An Improved Method for Reconstraction Environmental Variables from
Species Assemblages, Hidrobiologia 269/270, 485-502.
TER BRAAK C. 1. F., JUGGINS S., BIRKS H. J. B., VAN DER VOET H. (1993) Weighted
Average Partial Least Squares Regression (Wa-PIs): Definition and Comparison with
other Methods for Species-Environment Calibration in PatiI G. P., R,.ao C. R (eds)
Multivariate Environmental Statistics, Elsevier Science Publishers B.V..
TER BRAAK C.J. F., WIERTZ J. (1994) On the StatisticalAnalysis of Vegetation Change:
Affected by Water Extration and SoiI Acidification, Jomal oJVegetation Science 5, 361-
372.
VAN DEN BURG E., DE LEEW J., (1990). Non-linear Redundancy Aflalysis. British Joumal oJ
Mathematical and Statistical Psychology 43,217-230.
VAN DEN WOLLEMBERG A. L. (1977) Redulldancy· analysis:' analternative for canonical
correlation analysis, Psycometrika 2, 207-219.
WAHBA GRACE (1978) Improper priors, splille smoothing and the problem ofguarding against
model errors in regression, 1. R. Statlst. Soc. B 40, 364-372.
WAHBA GRÀcE (1985) A comparison of GCV and GML for choosing the smoothing
parameter in the generalized spline smoothing problem, Ann. Statist. 13, 1378-1402.
WAHBA GRACE (1990). Spline modelsfor Observatlonal Data. Siamo
'.
YOUNGF. \V. (1981) Quantitative Analysis ofQualitativeData, Psychometrika46, 357-388.
75

STAMPATO CON IL MUL TlLlTH DEL DIPARTIMENTO DI
STATISTICA, PROBABILITA' E STATISTICHE APPLICATE
Universita' di Roma "La Sapienza"
Capo Centro Stampa - FRANCESCHETTI Orfeo
Agenti di Stamperia - MAZZOLI Mario
PAGANUCCI Giuseppe