Mélanges de GLMs et nombre de composantes : application ... - Scor

4.1. Théorie de l’information et sélection de modèle
En effet pour ψ g au voisinage de ψ 0 , τ(y) se trouve au voisinage de 1 ; et le terme d’ordre 1
disparait. J(ψ 0 ) n’est rien d’autre que la matrice d’information de Fisher en ψ 0 , obtenue par
passage à l’espérance (rappelons qu’elle s’exprime également E Y
[ (
∂
∂ψ ln L(ψ; Y ) ) 2
ψ=ψ 0 ]).
Pour que la discrimination se comporte comme une distance entre ψ g et ψ 0 , il faut que Φ(1) = 0
et que Φ ′′ (1) > 0. Cette remarque amène l’auteur à choisir de manière arbitraire Φ(x) =
−2 ln(x). Par ce choix il retombe (à un facteur 2 près) sur la distance KL, appelée aussi
négentropie :
∫
D(ψ g , ψ 0 ) = 2
Y
f(y; ψ 0 ) ln f(y; ψ0 )
f Mg (y; ψ g ) dy
= 2 ( E Y [ln f(Y ; ψ 0 )] − E Y [ln f Mg (Y ; ψ g )] ) = 2 d KL (f 0 , f Mg ). (4.3)
De plus, nous retrouvons l’objectif initial dans le deuxième terme en passant à l’espérance
dans (4.3) et en considérant l’estimateur du maximum de vraisemblance pour ψ g , dans le cas
où Y et Z sont indépendantes :
E Z [D( ˆψ
(
g (Z), ψ 0 )] = E Z
[2 E Y [ln f(Y ; ψ 0 )] − E Y [ln f Mg (Y ; ˆψ
)]
g (Z))]
= 2 E Y [ln f(Y ; ψ 0 )] − 2 E (Y,Z) [ln f Mg (Y ; ˆψ g (Z))], (4.4)
} {{ }
(4.1)
[
= E Z 2 d KL
(f(y; ψ 0 ), f Mg (y; ˆψ
)]
g (Z)) . (4.5)
Nous appelons cette quantité la négentropie probabilisée.
Par conséquent, Akaike en déduit que maximiser la log-vraisemblance espérée n’est
donc rien d’autre que minimiser l’espérance de la distance KL entre la densité estimée
f Mg (.; ˆψ g (Z)) et la densité théorique f(.; ψ 0 ). De plus il remarque que dans le cas de n
observations indépendantes, la fonction Φ choisie conserve la propriété d’additivité :
D n (ψ g , ψ 0 ) = nD(ψ g , ψ 0 ).
Afin d’évaluer l’adéquation du modèle, Akaike se base sur le principe de maximisation
de l’entropie provenant de la théorie des grands échantillons. Celui-ci préconise d’étudier la
negentropie probabilisée en le paramètre théorique :
R(ψ 0 ) = E Z [D( ˆψ 0 (Z), ψ 0 )] = 2E Y [ln f(Y ; ψ 0 )] − 2E (Y,Z) [ln f Mg (Y ; ˆψ 0 (Z))].
Remarquer que ˆψ 0 (Z) remplace ˆψ g (Z) dans (4.4). Finalement, le modèle sélectionné sera donc
celui dont la valeur R(ψ 0 ) sera la plus petite. Cependant quelques problèmes subsistent : ψ 0
est inconnu, de même que l’espérance sur Z ; cela nous empêche de calculer la valeur minimale
de R(ψ 0 ). Pour résoudre ce problème, Akaike utilise alors la loi faible des grands nombres sur
n observations indépendantes :
ˆD n (ψ g , ψ 0 ) = 2 n
n∑
k=1
ln f(y k; ψ 0 )
f Mg (y k ; ψ g )
P
−→ D(ψ g , ψ 0 ) = 2(E Y [ln f(Y ; ψ 0 )] − E Y [ln f Mg (Y ; ψ g )]).
Sous certaines conditions de régularité de la densité f, cette convergence simple devient uniforme
(donc convergence du sup ψ∈Ψ ). Ceci garantit que l’estimation du maximum du rapport
109