Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Le modèle linéaire
Pour commencer formalisons les hypothèses et résultats connus dans le cadre simple du
modèle linéaire, afin d’être capable par la suite de comprendre en quoi les GLMs en sont une
extension immédiate.
Soit la matrice X ∈ M np (R) dont les p colonnes contiennent les variables explicatives (exemple :
âge, sexe, ...), et les n lignes sont les valeurs observées de ces covariables par individu. Nous
appelons X la matrice de schéma (ou design) suivante :
⎛
⎞
1 X 11 . . . X 1p
⎜
X = ⎝
.
. ..
⎟
. . . ⎠
1 X n1 . . . X np
Nous désignons par Y la variable réponse (à expliquer), avec Y = (Y 1 , ..., Y n ) T où Y j ∈ R d
(d = 1 en unidimensionnel pour l’individu j). Le vecteur X j = (X j1 , ..., X jp ) représente les
facteurs explicatifs de l’individu j.
Sous forme matricielle, le modèle linéaire établit la relation suivante entre X et Y :
Y = Xβ + ɛ
où β = (β 0 , β 1 , ..., β p ) T est le vecteur des paramètres à estimer, et ɛ = (ɛ 1 , ..., ɛ n ) T est l’erreur
commise lors de la mesure de Y (les mesures y sont entachées d’un bruit).
L’étude du modèle linéaire nécessite de poser les hypothèses suivantes :
1. identification (non-colinéarité des covariables) : rang(X) = p < n, où n est le nombre
d’individus et p le nombre de covariables considérées ;
2. bruit blanc ou résidus centrés : E[ɛ j |X j ] = 0 ;
3. non-corrélation des résidus : ∀k ≠ j, E[ɛ k ɛ j | X k , X j ] = 0 ;
4. homoscédasticité (variance constante) : ∀j ∈ 1, n, V ar(ɛ j |X j ) = σ 2 ;
5. normalité des résidus : ɛ j |X j ∼ N (0, σ 2 ).
Le théorème de Gauss-Markov garantit que l’estimateur des moindres carrés est le meilleur
estimateur linéaire (il est sans biais et de variance minimale). Cet estimateur ˆβ minimise
l’erreur L 2 entre l’observation Y obs et la réponse modélisée Y mod :
ˆβ = arg min
β
n∑
j=1
(Y j,obs − Y j,mod ) 2 = arg min
β
n∑
(Y j,obs − X j β) 2 .
j=1
Cet estimateur est donné par ˆβ = (XT Y )
(X T . Nous trouvons par la même méthode un estimateur
de la variance des résidus, donné par ˆσ 2 = 1 ∑ n
X) −1
j=1
n − p
(Y j − X j ˆβ) 2 .
Quelques propriétés de cet estimateur sont bien connues, notamment :
– ˆβ est un vecteur gaussien ;
– ˆβ est indépendant de ˆσ 2 ∼ χ 2 n−p ;
– V ar( ˆβ) = σ 2 (X T X) −1 .
148