Le mod`ele de régression multiple

Supposons que l’on s’intéresse à une variable aléatoire X qui suit une certaine
loi (inconnue) d’espérance µ et de variance σ 2 , µ et σ 2 étant inconnus.
Un échantillon de taille n est une série de variables aléatoires X 1 ,X 2 ,...,X n
indépendantes, suivant la même loi que X.
Un “bon” estimateur de µ, l’espérance inconnue de X, est la moyenne empirique,
définie par :
¯X = 1 n∑
X i
n
Il est très important de noter que ¯X est une variable aléatoire, dont la valeur dépend
des valeurs prises par X 1 ,X 2 ,...,X n ,même si la moyenne de la population µ reste
inchangée. Ceci car ¯X dépend des observations que l’on va observer et donc de
l’échantillon considéré.
En effet, il n’y a pas de raison que, si l’on tire aléatoirement 1 échantillon de 1000
personnes dans la population totale et qu’on leur demande leur taille, la moyenne
( ¯X) soitégale à la vraie valeur (µ).
Si on recommence 100 fois (soit 100 échantillons de 1000 personnes), il n’y a
pas de raison qu’on trouve 100 fois la même moyenne de la taille. On trouvera 100
valeurs différentes, mais on espère que la moyenne de ces 100 valeurs soit très proche
de la vraie taille moyenne de la population (estimateur sans biais).
On conçoit bien aussi que si on augmente le nombre de personnes dans l’échantillon
(de 1000 on passe à 100000), on va se rapprocher de la vraie valeur et on va avoir
un nombre plus précis (estimateur convergent).
On peut montrer que ¯X est un “bon” estimateur, c’est-à-dire qu’il est sans biais
(en espérance, on obtient la vraie valeur inconnue du paramètre µ) :
(∑
E( ¯X) i
=E
X ) ∑
i
i
=
µ
n n = µ
et convergent (l’estimation est plus précise quand le nombre de répétitions augmente)
:
Var( ¯X) =
∑i σ2
n 2
i=1
= σ2
n →n→∞ 0
Supposons que, maintenant, on s’intéresse àladifférence de taille des individus,
donc à la variance de la taille. Un choix raisonnable pour estimer la variance serait :
1
n
∑
(X i − ¯X) 2
i
Le problème est que cet estimateur est biaisé si la moyenne est inconnue et que l’on
doit l’estimer. Un estimateur sans biais de la variance est :
S 2 = 1
n − 1
n∑
(X i − ¯X) 2
i=1
12