Le mod`ele de régression multiple

On remarque que le ¯R 2 peut diminuer quand on ajoute une variable si la SCR du
modèle ne diminue pas suffisamment.
Ainsi, on peut calculer le ¯R 2 pour tous les modèles possibles obtenus àpartir
de toutes les combinaisons possibles de 1, 2, 3,...,K variables parmi l’ensemble
x 1 ,x 2 ,...,x K . On retient l’ensemble de variables explicatives qui conduit àmaximiser
ce critère.
Soulignons cependant que ce critère, pour pertinent qu’il soit, ne suffit pas à
guider le modélisateur dans son choix de variables explicatives. Il présente, à l’instar
du R 2 , l’inconvénient d’être aisément manipulable par une transformation du vecteur
y. De plus, il a le défaut de ne pas pouvoir s’interpréter à partir de l’équation
d’analyse de la variance. Il peut en particulier être négatif.
Que ce soit le R 2 ou le ¯R 2 , ces coefficients doivent toujours être utilisés avec
précaution et jamais comme critère unique pour juger de la qualité d’une régression.
Pour comparer 2 modèles qui n’ont pas les mêmes variables explicatives, on ne
peut utiliser le R 2 que si c’est la même variable y que l’on cherche à expliquer (même
nombre d’observations et même forme retenue pour y) etquesiles2modèles ont le
même nombre de variables explicatives.
Critères d’information
Ces critères sont utilisés généralement pour choisir le nombre de variables explicatives
à introduire dans le modèle. Lesplusconnussontlecritère d’Akaïke
(AIC) et celui de Schwarz (BIC). Pour un modèle avec K variables explicatives, ils
sont donnés par :
AIC = s 2 y (1 − R2 )e 2(K+1)/n
et
BIC = s 2 y (1 − R2 )n (K+1)/n
On cherche le nombre K qui minimisent ces critères. En effet, ce critères diminuent
quand le R 2 augmente, mais ils augmentent quand le nombre de régresseurs augmente.
Ainsi, ils permettent de pénaliser la variance expliquée du nombre de degré
de liberté, et donc de trouver un modèle parcimonieux.
On utilise en général le log de ces critères :
2(K +1)
AIC =log(SCR/n)+
n
et
(K +1)logn
BIC =logSCR/n +
n
Ces 2 critères ont chacun leurs avantages et aucun n’est vraiment meilleur. Le
critère de Schwarz, qui pénalise fortement pour la perte de degré de liberté, conduira
plus souvent àunmodèle très parcimonieux.
Méthodes automatiques de choix de variables :
Dans le cadre de l’estimation MCO d’un modèle de régression multiple, les logiciels
d’économétrie proposent généralement des procédures d’aide au choix d’un
modèle, c’est–à–dire au choix d’un ensemble de variables explicatives. Trois méthodes
peuvent être utilisées :
48