Mélanges de GLMs et nombre de composantes : application ... - Scor

B.2. La régression logistique
et est estimée par l’inverse de la matrice d’information de Fisher, qui vaut
[ ∂ 2 ln(L(β))
]
I(β) = −E
.
∂β∂β ′
Un des caractéristiques intéressantes est que le dernier terme de cette équation est déjà calculé
par l’algorithme de Newton-Raphson, ce qui permet d’estimer les coefficients de régression et
leur matrice de covariance simultanément.
Comme d’habitude, l’estimateur par maximum de vraisemblance ˆβ converge asymptotiquement
vers une loi normale de moyenne la vraie valeur de β et de variance l’inverse de la matrice
de Fisher I(β). Le terme dans l’espérance est appelé la Hessienne et est également utilisé dans
les tests de significativité des coefficients de régression β.
B.2.5
Statistique de déviance et tests
Evaluation statistique de la régression
Pour vérifier la pertinence du modèle, nous utilisons la statistique du test du ratio de
vraisemblance : l’hypothèse nulle de ce test est β 1 = β 2 = ... = β k = 0 (H 0 ) ;
Et l’hypothèse alternative est "au moins un des coefficients de régression n’est pas nul" (H 1 ).
Soit l(β) la log-vraisemblance du modèle de régression logistique avec k + 1 coefficients de
régression, et l(β 0 ) la log-vraisemblance du modèle de régression logistique le plus simple
(avec seulement l’ordonnée à l’origine β 0 ), la statistique du ratio de vraisemblance vaut
(
)
Λ = 2 × l(β) − l(β 0 ) . (B.14)
Cette statistique suit une loi du χ 2 k
à k degrès de liberté (d.f.).
Si la p-valeur est plus petite que le niveau de confiance que nous nous accordons, alors le
modèle est globalement significatif et H 0 est rejetée.
Plus intuitivement, les statisticiens utilisent parfois le coefficient R 2 (ou coefficient de MC
Fadden) : R 2 = 1 − l(β)
l(β 0 ) .
Un coefficient R 2 proche de 0 signifie que le ratio de vraisemblance est proche de 1, et donc
que la log-vraisemblance du modèle complet est proche de celle du modèle le plus simple.
Ainsi il n’est pas très utile d’introduire des variables explicatives supplémentaires pour la
modélisation. A l’opposé, si R 2 est proche de 1, alors il y a une grande différence en termes
de vraisemblance entre les deux modèles et il est intéressant de considérer le modèle complet
qui est bien meilleur.
Pertinence et significativité d’une variable explicative
L’idée de ce test est de comparer la valeur du coefficient estimé β j (associé à la variable
explicative X j ) à sa variance, elle-même extraite de la matrice hessienne.
L’hypothèse nulle (H 0 ) est : β j = 0 ; et l’hypothèse alternative (H 1 ) est donnée par : β j ≠ 0.
Nous utilisons la statistique de Wald qui suit une distribution du χ 2 1 pour réaliser ce test :
ˆβ j
2
Λ =
V ar( ˆβ j ) .
Choisissons par exemple un seuil de confiance de 5%, et notons χ 2 95% (1) le 95eme percentile
de la loi du chi-deux à 1 d.f. H 0 est vraie si le ratio est plus petit que ce quantile, sinon nous
rejetons H 0 .
197