Modèle logistique et scoring - Université Rennes 2

1.2 Analyse discriminante de linéaire (au sens de Fisher ou LDA) 11
donc P(X = x|Y = j), ∀j. Les probabilités cherchées sont évaluées grâce au théorème de Bayes
de la façon suivante.
P(Y = j|X = x) =
f(x|y = j)P(Y = j)
g
j ′ =1 f(x|y = j′ )P(Y = j ′ )
∀j ∈ {1,...,g}. (1.1)
Les probabilités a priori des groupes j, notée P(Y = j), sont connues (elles doivent être choisies
comme présenté précédemment).
Pour pouvoir calculer ces probabilités d’appartenance, il faut modéliser f(x|y = j). L’analyse
discriminante linéaire ou quadratique propose une modélisation gaussienne comme expliciter ciaprès.
Discriminante quadratique La densité des variables explicatives dans chaque groupe j suit une
loi multi-normale : f(x|y = j) ∼ N(µj, Σj).
Ensuite nous pouvons ajouter une hypothèse supplémentaire pour obtenir le modèle de discrimination
linéaire.
Discriminante linéaire La densité des variables explicatives dans chaque groupe j suit une loi
multi-normale de même matrice de variance Σ dans chacun des groupes : f(x|y = j) ∼
N(µj, Σ).
Une fois estimés tous les paramètres des lois normales il suffit alors d’utiliser l’équation (1.1)
pour connaître les probabilités d’affectation de la nouvelle observation aux différents groupes.
Evidemment la prévision par la méthode sera donnée par le groupe le plus probable, c’est à dire
j0 = argmax
j∈{1,...,g}
1.2.2 Estimation des paramètres
P(Y = j|X = x) = argmax f(x|y = j)P(Y = j).
j∈{1,...,g}
Nous devons pour chacun des g groupes estimer (µj, Σj) g
j=1 où µj ∈ R p et Σj ∈ M(p,p) à partir du
n-échantillon (X1,Y1),...,(Xn,Yn). Il y a donc g moyennes à estimer et 1 ou g matrice de variance
à estimer. Il existe de nombreuses procédures d’estimation plus ou moins classiques. Citons par
exemple
– la méthode des moments ;
– le maximum de vraisemblance ;
– les méthodes d’estimation robuste.
Dans ce cours, nous nous focaliserons sur la méthode du maximum de vraisamblance dont nous
rappelons le principe dans le paragraphe à venir.
La méthode du maximum de vraisemblance
Etant donné un échantillon observé (X1,...,Xn) et une loi de probabilité Pθ, la vraisemblance
quantifie la probabilité que les observations proviennent effectivement d’un échantillon (théorique)
de la loi Pθ.
Régression logistique et scoring Pierre-André Cornillon
Laurent Rouvière