Elementi di algebra delle matrici - Dipartimento di Economia e ...

Spazio delle variabili e delle unità.Le analisi statistiche della matrice dei dati sono talvolta dirette alle relazioni tra le variabili ed inquesto caso la si considera un aggregato di m colonneOgni x i è il vettore colonna formato dalle osservazioni per la i-esima variabile su tutte le n unitàincluse nella rilevazione. Si dice che in questa analisi ci si muove nello spazio delle variabili che èun sottoinsieme di R m .In alternativa l’angolatura di studio potrebbe puntare di più sulle relazioni tra le unità ed inquesto caso lamatrice dei dati è considerata un aggregato di n righeOgni u i è è il vettore riga formato dalle rilevazioni effettuate su tutte le m variabili rispetto alla i-maunità. Si dice che in queste analisi ci si muove nello spazio delle unità, sottinsieme di R n .EsempioLa disposizione dei punti dallo spazio (dalle variabili o delle unità) è la struttura che deve esserespiegata e semplificaa. L’analisi multivariata può fare riferimento sia ad al numero di unità n che alnumero di variabili m ed a seconda della scelta si richiamano certe tecniche e non altre. Un punto incomune è che, sia nel caso delle unità che nel caso delle variabili, le dimensioni effettivamente ingioco non sono n o m, ma dei valori inferiori.La maledizione della dimensionalitàLa qualità di una tecnica di analisi multivariata è in genere misurata sul rapporto: dimensioninecessarie/dimensioni totali e sul rapporto variabilità nello spazio effettivo/variabilità nello spaziototale. Il problema della iperdimesionalità (o della maledizione della dimnensionalità) è che manmano che aumentano le dimensioni i punti diventano sempre più sparsi ed è più difficile individuarerelazioni significative.

Consideriamo l’ipercubo [-a,a] m che abbia inscritta una ipersfera di raggio r=a. La quotaparte di ipervolume contenuta nella sfera èq m=ipervolume sferaipervolume cubo =m2πm2 m−1 Γ( m 2)€doveΓ( −)È la funzione gamma che è simile al fattorialecioè se m/2 è intero vale:€Γ( m /2) = (m −1)!Se m è piccolo il centro dell’ipercubo è importantecome le altre zone. All’aumentare di m siha però €lim q = 0 mm →∞Cioè il volume dell’ipercubo tende sempre più aconcentrarsi sugli angoli con conseguenze moltoserie per € le nostre analisi: se i nostri punti sonoanalizzati con una griglia regolare, la maggiorparte delle ipercelle risulterà vuota.Dimesioni dello spazio m 1 2 3 4 5 6 7quota parte di ipervolume q m1 0.785 0.524 0.308 0.164 0.081 0.037€

€Norme di vettoriLa norma di un vettore è una funzione definita in R m ed a valori in RTale chef xf : Rm →( ) = 0 ⇒ x = 0( ) ≥ 0 ∀ x ∈ R m( ) ≤ f ( x) + f ( y) ∀ x,y ∈ R m( ) = α f ( x) α ∈ R, x ∈ R m( ) − f ( y) ≤ f ( x − y) ∀ x,y ∈ R mf xf x + yf αxf xUn’importante classe di norme è quella di Minkowsky:R€⎡ mx p= ⎢ ∑⎣px ii=1⎤⎥⎦1pp ≥1Tale classe include diversi casi speciali€City block : x 1= ∑ x iEuclidea x 2= x i2∑( ) 1 2= x t x{ }Tchebycheff : x ∞= max1 ≤ i ≤ m x iSe nella norma non è indicato l’indice si intende quella euclidea. Tutte le norme sono equivalentidato che rispondono ad un preciso ordinamento numerico:€x p≤ x p+1e quindi sex€ p≤ y p≤ z p⇒ x q≤ y q≤ z qindipendentemente dal valore assegnato ad p e da q (purché p,q≥1 altrimenti non si tratta di norme)a) Le norme di Minkowsky verificano la disuguaglianza di Holder€x t 1y ≤ x py qperp + 1 q =1che ha come caso speciale la diseguaglianza Cauchy-Schwartz per p=2€x t y ≤ x 2y 2

) Ogni vettore non nullo può essere trasformato (riscalato) in modo da avere norma unitaria.y = 1 x x ⇒ y = 1 x x = 1 x x =1Esempio⎡ 6 ⎤⎢ ⎥x =⎢ €3⎥⎣ ⎢ −2⎦⎥⎡ 6 7 ⎤x = x t ⎢ ⎥x = 36 + 9 + 4 = 7 ⇒ y =⎢3 7⎥⎣ ⎢ −4 7⎦⎥c) Rappresentazione geometrica del vettore.I vettori € possono essere trattati come entità geometriche. Come mostra la figura, un vettore puòessere rapprresentato come una freccia che si diparte dall’origine per raggiungere un punto concoordinate fornite dagli elementi del vettore.⎡OP è il vettore P ≡ x ⎤1P⎢ ⎥⎣ ⎦x 2Pcon norma P = x 2 21P+ x 2P(in base al teorema di Pitagora)⎡ 1⎤⎡ 0⎤P = x 1P ⎢ ⎥ + x⎣ 02P ⎢ ⎥ = x⎦ ⎣ 11Pe 1+ x 2Pe 2⎦€d) La legge dei coseni (teorema di Carnot)I vettori posso differire per lunghezza, per l’angolo formato con gli assi o per entrambi.Rispetto all’angolo θ tra i vettori P1 e P2 possiamo stabilire un utile teorema.d = asenθX = acosθOX è la proiezione di P 1su P 2€d può essere visto come ladistanza perpendicolare tra P1 eP2Ne consegue che:c 2 = d 2 + ( b − X) 2 = d 2 + b 2 − 2bX + X 2= a 2 senθ + b 2 − 2abcosθ + a 2 cos 2 θ[ ] + b 2 − 2abcosθ= a 2 sen 2 θ + cos 2 θ

Dal teorema di Carnot sappiamo che2 2 2P 1 P 2 = OP1 + OP2 − 2OP1 ⋅ OP 2 cosθI segmenti possono essere espressi come distanze euclidee (al quadrato)( ) 2 + x 2 2( 12 − x 22 ) 2 = x 2 2( 11 + x 21 ) + x 2 2( 12 + x 22 ) − 2 x 11 x 21 + x 12 x 22P € 21 P 2 = 2 2 x11 − x 21( )€PoichéSi ha:€E quindi:€2( ) ; OP 2 = 2 2( x12 + x 22 )2OP 1 = 2 2 x11 + x 21( ) = −2OP 1 ⋅ OP 2 cosθ−2 x 11 − x 21 + x 12 − x 22⎡( x 11 − x 21 + x 12 − x 22 ) = x 2 211 + x⎣ ⎢21cosθ =x 11 x 21 + x 12 x 222 2( + x 22 ) = P t 1 P 2P 1 ⋅ P 2x 2 11 + x 2( ) 21 ⋅ x 12( ) ⋅ x 2 2( 11 + x 21 )= P 1 tP 1⋅⎤⎦ ⎥ ⋅ cosθP 2P 2Ne consegue che il prodotto scalare è pari al prodotto delle lunghezze dei due vettori per il cosenodell’angolo da essi formato.€P t 1 P 2 = P 1 ⋅ P 2 cosθDati due vettori noti, ovunque essi siano, possiamo determinare l’angolo tra essi compreso.Se i vettori sono normalizzati€P 1 + = P 1P 1, P 2 + = P 2P 2il prodotto scalare è pari al coseno:€P 1+ t P 2 + = cosθ ⇒ −1≤ P 1+ t P 2 + ≤1€

€f) Trasformazioni ortogonali (rotazione degli assi)È’ spesso necessaria o opportuna la trasformazione del piano cartesiano: rotazioni, contrazioni,dilatazioni, deformazioni, etc. allo scopo di semplificare il problema trattato. Ogni trasformazionedel piano può essere descritta algebricamente con delle equazioni che collegano il piano cartesianooriginale con il nuovo sistema di coordinate.Consideriamo un sistema di assi ortogonali x 1 e x 2 ed un punto P=(x 1 ,x 2 ). Guardiamo questopunto anche con un altro sistema di assi ortogonali y 1 e y 2 che è ruotato di un angolo θ rispetto alpiano (x 1 ,x 2 ) con riferimento all’origine. Questa è una rotazione ortogonale cioè il movimento delpiano è rigido e solidale e ogni nuovo asse forma con il corrispondente vecchio asse lo stessoangolo (rotazione in senso antiorario. Moto rigido con perno sull’origine).Il vettore P può essere scritto in entrambi i sistemi come:( ) sistema ( y 1y 2 )sistema x 1x 2P = x 11e 1+ x 12e 2P = y 11e * *1+ y 21e 2€dove e 1,e 2,e * 1,e * 2sono dei vettori normalizzati ed ortogonali (ovvero vettori coordinate) tali che€e T *i e j = d ij e t i e * ⎧j = d ij d ij = delta di Kronecker ⇒ d ij = ⎨1 se i = j⎩ 0 se i ≠ jNel sistema (x 1 , x 2 ) effettuiamo il prodotto scalare:€*e t *1 ( x 11⋅ e 1+ x 12⋅ e 2 ) = e t *1P = x 11e t *1e 2+ x 12e t 1e 2Lo ripetiamo nel sistema (y 1 , y 2 ) per ottenere:€*e t 1y 11⋅ e * * *( 1+ y 21⋅ e 2 ) = e t *1P = y 11e t 1e * *1+ y 21e t 1e * 2= y 11⋅1+ y 21⋅ 0 = y 11e quindi, eguagliando i due risultati, si avrà€x 11e 1* t e 1+ x 12e 1* t e 2= y 11Allo stesso modo, effettuando il prodotto scalare per il secondo vettore per P, si ottiene€e 2* t P = x 11 e 2* t e 1 + x 12 e 2* t e 2 ;

Si arriva pertanto al sistema:y 11 = x 11 e 1* t e 1 + x 12 e 1* t e 2y 21 = x 11 e 2* t e 1 + x 12 e 2* t e 2Cerchiamo di scoprire la natura geometrica del particolare prodotto scalare€e i* t e j =e i * t e je i * ⋅ e jdato che e i * = e j =1€e i* t e j. Innanzitutto:Il rapporto tra il prodotto scalare ed il prodotto delle norme dei vettori, come si è visto, è pari alcoseno dell’angolo tra i due vettori€e i* t e je i * ⋅ e j= cosθ⎛θ = arcos⎜⎝e i *e i* t e j⋅ e j⎞⎟⎠Ad ogni prodotto scalare del sistema di trasformazione può essere applicata la relazione del coseno(tenuto conto del giusto angolo)*e t *1 e 1 = cosθ ; e t 2 e 1 = cos( θ + 90) = −sen( θ)*e t *1 e 2 = cos( 90 −θ) = senθ ; e t 2 e 2 = cosθIl sistema di trasformazione può quindi essere riespresso come€€y 11= x 11cosθ − x 12senθy 21= x 11senθ + x 12cosθ⎡⎢⎣y 11y 21⎤ ⎡ cosθ +senθ⎤⎡⎥ = ⎢⎥ x ⎤ ⎡11cosθ ⎤ ⎡ senθ⎤⎢ ⎥ = x 11 ⎢ ⎥ + x 12 ⎢ ⎥⎦ ⎣ −senθ cosθ ⎦ ⎣ ⎦ ⎣ −senθ⎦⎣ cosθ⎦x 12In notazione matriciale compatta si ha: Y=XQ t dove Q è una matrice ortogonale detta di rotazione.Tale € matrice è anche ortonormale cioè ortogonale e con norma unitaria di righe e di colonne.

⎡ cosθ −senθ⎤⎡Q t Q = QQ t = ⎢⎥ cosθ senθ ⎤⎢⎥⎣ +senθ cosθ ⎦ ⎣ −senθ cosθ⎦⎡= cos2 θ + sen 2 θ 0 ⎤⎢⎥⎣ 0 cos 2 θ + sen 2 θ⎦⎡= 1 0 ⎤⎢ ⎥ ;⎣ 0 1⎦EsempioSupponiamo che θ=30° e determiniamo la corrispondente matrice di rotazione.€cos( θ) = 3 2 ; sen( θ) =1 2 ⇒⎡3 2 + 1 ⎤⎢Q = 2⎥⎢− 1 ⎥⎢ 3 2⎥⎣ 2 ⎦€Il punto P rimane fermo. È il sistema degli assi che ruota. Se P=(1,1) nel sistema (x 1 ,x 2 ) nel nuovosistema (y 1 ,y 2 ) diventerà⎡3 2 + 1 ⎤ ⎡ 3 +1 ⎤⎢2⎥ ⎡ 1⎤⎢( )⎥⎢⎢ − 1 ⎥ ⎢ ⎥ = ⎢ 2 ⎥3 2⎥⎣ 1⎦⎢ ( 3 −1)⎥⎣ 2 ⎦ ⎣ 2 ⎦Laddove nel vecchio sistema di assi le coordinate del punto avevano lo stesso valore, nel nuovosistema i rapporti cambiano e una delle coordinate diventa maggiore dell’altra. Questo, comepotremo accertare non è € senza significato.g)Riduzione delle dimensioniConsideriamo i punti:⎡ 1⎤⎢⎣ 1⎦⎥ ; ⎡ 2 ⎤⎢⎣ 2 ⎦⎥ ; ⎡ 6 ⎤⎢⎣ 6 ⎥⎦I punti sono perfettamente allineati lungo laretta x 2 =x 1 . Nota una coordinata l’altra sidetermina € in modo automatico. Si vuole oraspostare l’asse x 1 in modo da farlo coinciderecon la retta di equazione x 2 =x 1 .

La matrice di rotazione necessaria per tale operazioneè⎡ ⎛θ = π cos π ⎞⎜4 ⇒ ⎝ 4 ⎠⎟ −sen ⎛ π ⎞ ⎤ ⎡ 2⎢⎜⎝ 4 ⎟ ⎥ + 2 ⎤⎠⎢ ⎥⎢⎢ ⎛sen⎜π ⎞⎝ 4 ⎠⎟ cos ⎛⎜π ⎥ = ⎢ 2 2⎞⎝ 4 ⎟ ⎥⎣ ⎢⎠ ⎦ ⎥− 2 ⎥⎢ 2 ⎥⎣ ⎢ 2 2 ⎦ ⎥La rotazione avviene in senso orarioper cui si inverte il segno degli elementifuori diagonale.€I punti trasformati sono perciò1⎡2 − 2⎤⎢2⎣2 2 ⎦⎥ ⎡ 1 ⎤⎢⎣ 1 ⎦⎥ = ⎡ 0 ⎤⎢⎣ 2 ⎥⎦1⎡2 2⎤⎢2⎣2 2⎦⎥ ⎡ 2 ⎤⎢⎣ 2 ⎦⎥ = ⎡ 0 ⎤⎢⎣ 2 ⎥⎦1⎡2 − 2⎤⎢2⎣2 2 ⎦⎥ ⎡ 6 ⎤ ⎡ 0 ⎤⎢⎣ 6 ⎥ = ⎢ ⎥⎦ ⎣ 6 2⎦L’aggregato€dei punti nelle coordinateoriginali era:⎡ 1 2 6⎤⎢ ⎥⎣ 1 2 6⎦Nelle nuove coordinate diventa invece:⎡ 0 0 0 ⎤⎢⎥ = 1 ⎡ 0 0 0⎤⎢ ⎥⎣ 2 2 2 6 2⎦2 ⎣ 1 2 6⎦e quindi, di fatto, è stata eliminata una dimensione che era solo un duplicato dell’altra: basta un soloasse per rappresentare € i tre punti dati. È chiaro € che nella realtà in punti non sono mai perfettamenteallineati, pure una opportuna rotazione degli assi consente di trascurare dimensioni pocoinformative.h)Rotazione degli assi e distanze.Le rotazioni ortogonali mantengono inalterata la distanza euclidea tra i punti. Consideriamo latrasformazione Y=RX dove⎡R = ⎢cos θ⎣ −sen θ( ) +sen( θ)( ) cos( θ)⎤⎥⎦€Indichiamo i nuovi punti nel sistemaruotato conQ 1 = RP 1 e Q 2 = RP 2€

La distanza euclidea è data daQ 1− Q 22= ( Q 1− Q 2 ) t ( Q 1− Q 2 ) = Q t 1Q 1− Q t 1Q 2− Q t 2Q 1+ Q t 2Q 2t= P 1R t t( R)P 1− P 1R t t( R)P 2− P 2R t t( R)P 1+ Q 2 ( R t R)Q 2= P t 1P 1− P t 1P 2− P t 2P 1+ P t 2P 2= ( P 1− P 2 ) t ( P 1− P 2 )= P 1− P 22Quindi la distanza tra i punti P 1 e P 2 è la stessa nei due sistemi di assi purché la rotazione siaortogonale.€ Le proprietà delle rotazioni ortogonali si applicano oltre che al piano anche allo spazio mdimensionale: anche se qui sono meno immediate le relazioni tra gli elementi della matrice dirotazione e le funzioni trigonometriche degli angoli che i vettori formano con gli assi. In generale,ogni trasformazione ortogonale corrisponde ad una rotazione degli assi (intorno all’origine) di undato angolo. Le distanze tra i punti restano comunque invariate.L’uguaglianza delle norme – sotto rotazione ortogonale – non implica che gli elementi deivettori abbiano lo stesso peso all’interno dei vettori in relazione agli altri elementi.EsempioConsideriamo il punto P=(2,√3) ed effettuiamo unarotazione degli assi di 30° (π/6)⎡ 3− 1 ⎤ ⎡ 3⎤⎢ ⎥⎢ 2 2⎡ 2 ⎤ ⎢ ⎥⎥ ⎢ ⎥ = ⎢ 2 ⎥⎢ 1 3⎥⎣ 3⎦⎢5⎥⎣ ⎢ 2 2 ⎦ ⎥ ⎣ 2 ⎦Dal sistema y 1 y 2 si ruota a x 1 x 2€Il ruolo delle dimensioni è diverso nei due sistemi.Nei due sistemi, la norma al quadrato nonché i pesi degli elementi (nell’ambito del vettorenormalizzato) sono⎛⎜⎝Sistema x 1, x 2322( ) Sistema ( y 1, y 2 )2⎞ ⎛⎟ + ⎜ 5⎞⎟⎠ ⎝ 2⎠( 2) 2 + ( 3) 2=177328 + 2528 =1 1628 + 1228 =1Nel secondo sistema il peso delle dimensioni si inverte e l’asse più rilevante o preferenziale è y 1 enon più x 2 . È’ chiaro che a seconda della posizione del punto e dell’angolo di rotazione del sistemasi può fare in modo da € precostituire l’ordinamento dei pesi desiderato.=1i) Scelta del perno (pivot) di rotazione

e C è la cosiddetta matrice di centramento. Ecco un esempio⎡1− 3⎢⎢4⎢ 2⎢⎣ 11021− 3⎤10⎥⎥5 ⎥⎥0 ⎦;ˆ µt=( 2, 1, 3)⇒⎡−1⎢⎢2xˆ=⎢ 0⎢⎣−10−110− 6⎤7⎥⎥2 ⎥⎥− 3⎦⎧⎡1⎪⎢⎨⎢0⎪⎢0⎪⎢⎩⎣0010000100⎤0⎥⎥ −0⎥⎥1⎦14⎡1⎢⎢1⎢1⎢⎣11111⎡1⎢⎢4⎢2⎢⎣1111110211⎤⎫⎡11⎪1⎥ ⎢⎥⎢4 0⎬1⎥⎪⎢22⎥⎪⎢1⎦⎭⎣11− 3⎤⎡210⎥ ⎢⎥ − ⎢25 ⎥ ⎢2⎥ ⎢0 ⎦ ⎣21111− 3⎤⎡110⎥ ⎢⎥ = ⎢45 ⎥ ⎢2⎥ ⎢0 ⎦ ⎣13⎤⎡−13⎥ ⎢⎥ = ⎢23⎥⎢ 0⎥ ⎢3⎦⎣−110210− 3⎤10⎥⎥ −5 ⎥⎥0 ⎦−11014− 6⎤7⎥⎥2 ⎥⎥− 3⎦⎡8⎢⎢8⎢8⎢⎣8444412⎤12⎥⎥12⎥⎥12⎦La matrice di centramento C è idempotente e simmetricaC= CteC ⋅C= C2= Ctt t( ν ν )t ⎡ 1 t ⎤ ⎡ t 1 ⎤ 1 tC =⎢I n − ν nνn IICn ⎥=⎢ n − n nn ⎥= n − ν nνn =⎣ ⎦ ⎣⎦ nt⎡ 1 t ⎤ ⎡ 1 t ⎤ 1 tC ⋅ C = C ⋅C=⎢I n − ν nνn ⋅ I n n n = I n − n nn ⎥ ⎢− ν ν⎣ ⎦ ⎣ n ⎥ ν ν⎦ n1 t 1 t 1 t 1 t= I n − ν nνn − ν nνn + nνnνn = I n − ν nνn = C2n n nn1 t− ν nνnn+n12νnνtnνnνtnLa matrice di devianze-codevianze èfacilmente ottenuta dal prodotto matricialeX ˆ t X ˆ = X t C t CX = X t CX = VLa matrice di varianze-covarianzeW = 1 n V = 1 n X ⎡t CX =⎣⎢€Si ottiene dal prodotto di matrici trasformate1 nX tC t⎤ ⎡⎦⎥⎣⎢1nC⎤X⎦⎥€Y = 1 n CX⇒ Y t Y = W€

Esempio⎡ 3 4 −1 4 −1 4 −1 4⎤Y = 1 ⎢⎥⎢−1 4 3 4 −1 4 −1 4⎥2⎢−1 4 −1 4 3 4 −1 4⎥⎢⎥⎣ −1 4 −1 4 −1 4 3 4 ⎦⎡ −1 2 1 0 −1 2⎤Y t ⎢⎥Y =⎢0 −1 2 1 2 0⎥⎣ ⎢ −3 7 2 1 −3 2⎦⎥⎡ 6 4 −2 4 23 4⎤⎢⎥=⎢−2 4 2 4 −5 4⎥= W⎣ ⎢ 23 4 −5 4 67 4⎦⎥⎡ 1 1 −3⎤⎡ −1 0 −6⎤⎢ ⎥⎢4 0 10⎥ = 1 ⎢ ⎥⎢2 −1 7⎥⎢ 2 2 5 ⎥ 2⎢0 1 2 ⎥⎢ ⎥ ⎢ ⎥⎣ 1 1 0 ⎦ ⎣ −1 0 −3⎦Questi risultati giustificano l’adozione della trasformazione lineare€ˆ X = CXIl cui effetto è di spostare l’origine degli assi sul centroide della matrice dei dati .€tµ = ( µ , µ ,…,µ ).ˆ1 2 mLa dispersione dei punti rimane tuttavia invariata.E’ importante non perdere di vista il risultato ottenuto: il contenuto informativo dellamatrice dei dati può essere fatto confluire nella matrice di varianze-covarianze. Almeno quelloessenziale, visto che comunque una informazione si perde: la differenza tra le medie delle variabilioriginarie.