Le mod`ele de régression multiple

Matrice de projection
Bien entendu, on retrouve l’idée que la méthode d’estimation par MCO partitionne
y en 2 parties orthogonales. On peut réinterpréter l’estimation effectuée
comme la détermination de la projection orthogonale de y sur l’espace engendré par
les X, etlasérie ajustée ŷ est alors orthogonale au résidu ˆε.
Cette interprétation permet de retrouver directement la définition de l’estimateur
des MCO. En effet, puisque ˆε est orthogonal à l’ensemble des X, ona:
X ′ˆε =0⇔ X ′ (y − X ˆβ) =0⇔ X ′ y = X ′ X ˆβ
A partir de la définition de l’estimateur MCO, on peut définir les matrices de
projection :
ˆε = y − X ˆβ = y − X(X ′ X) −1 X ′ y =[I − X(X ′ X) −1 X ′ ]y = M X y
La matrice M X est fondamentale dans la théorie de la régression. Elle est
symétrique (M X ′ = M X), idempotente (MX 2 = M X). Appliquée à y, elle donne
les résidus de la régression de y sur X.
Ainsi, M X X = 0 : quand X est régressé surX, le fit (ou ajustement) est parfait
et le résidu est nul.
On a
ŷ = y − ˆε =[I − M X ]y = P X y
La matrice P X telle que M X = I−P X ou P X = X(X ′ X) −1 X ′ est aussi symétrique
et idempotente. C’est une matrice de projection. Appliquée à y, elle donne la série
ajustée. On a alors P X X = X et P X M X = M X P X =0.
La notion de corrélation partielle
En utilisant les matrices de projection, on peut étudier les régressions partitionnées,
afin de voir l’effet de l’ajout ou de l’oubli d’une variable dans la régression.
Ceci nous permet d’étendre la notion de corrélation simple afin d’étudier le lien
entre la variable à expliquer et UNE variable explicative prise séparément : dans les
variations de y, qu’est-ce qui est du à la variation d’une variable explicative, l’autre
étant maintenue constante. Il s’agit du coefficient de corrélation partielle : c’est la
corrélation entre y et X 1 une fois qu’on a retiré l’effet des autres variables àlafois
sur y et sur X 1 .
Supposons que le modèle s’écrive :
( )
β1
y = X 1 β 1 + X 2 β 2 + ε =[X 1 X 2 ] + ε
β 2
X 1 et X 2 pouvant être des matrices à plusieurs colonnes (contenant plusieurs variables).
Les équations normales donnent :
X 1X ′ 1 β 1 + X 1X ′ 2 β 2 = X 1y
′
X 2X ′ 1 β 1 + X 2X ′ 2 β 2 = X 2y
′
soit
ˆβ 1 =(X ′ 1 X 1) −1 X ′ 1 (y − X 2β 2 )
34