Modèle logistique et scoring - Université Rennes 2

1.3 Le modèle linéaire généralisé : GLM 15
y
−4 −2 0 2 4
−4 −2 0 2 4
x
Fig. 1.6 – Frontières théoriques pour une LDA basée sur des données X ∼ N(µj, Σ), où µ1 = (2, 2) ′ ,
µ2 = (−2, 2) ′ , µ3 = (0, −2) ′ , les variables X étant corrélées. Les ellipses correspondent à la région de
probabilité 1/2.
1.3 Le modèle linéaire généralisé : GLM
1.3.1 La régression logistique
Nous sommes en présence de n observations (x1,y1),...,(xn,yn) d’un couple de variables aléatoires
(X,Y ). Pour la i ème observation (xi,yi), yi est un label qui dénote l’appartenance à un groupe
j ∈ {1,...,g} et xi ∈ R p est un ensemble de variables explicatives de l’appartenance à un groupe
(variable notée Y ). Nous souhaitons prédire le label y0 d’une nouvelle observation pour laquelle
nous avons seulement mesuré les variables explicatives x.
Pour simplifier les notations, nous nous placerons dans un contexte de classification binaire, c’est à
dire que nous supposerons qu’il existe seulement deux groupes. Par conséquent la variable aléatoire
Y peut prendre seulement deux valeurs que l’on notera 0 et 1. Nous verrons plus tard dans ce cours
comment étendre les techniques à des modèles multiclasses (plus de deux groupes).
L’analyse discriminante propose de calculer les probabilités
P(Y = 0|X = x) et P(Y = 1|X = x),
en modélisant la loi de X|Y = j avec j = 0, 1. Le calcul s’effectue à l’aide du Théorème de Bayes.
Ici nous allons modéliser directement P(Y = j|X = x), ce qui semble la démarche la plus naturelle.
Plus précisément, nous allons modéliser non pas P(Y = j|X = x) mais le rapport
P(Y = 1|X = x)
P(Y = 0|X = x)
= P(Y = 1|X = x)
1 − P(Y = 1|X = x) .
Ce rapport est toujours positif et il est compris entre 0 et +∞. En passant au log nous obtenons
une mesure qui sera dans R et que nous pouvons relier aux variables explicatives X via une fonction
f qui sera choisie dans la classe la plus simple, à savoir les fonctions linéaires :
log
P(Y = 1|X = x)
P(Y = 0|X = x) = f(x) = x′ β.
Régression logistique et scoring Pierre-André Cornillon
Laurent Rouvière