Modèle logistique et scoring - Université Rennes 2

More documents

Recommendations

Info

12 Introduction Définition 1.1 Soit {Pθ} une famille de lois de probabilité continues sur R et n un entier. Notons fθ la densité de probabilité de la loi Pθ. On appelle vraisemblance associée à la famille {Pθ}, la fonction qui à un n-uplet (x1,...,xn) et à une valeur θ du paramètre associe la quantité : L(x1,...,xn,θ) = n fθ(xi) . Estimer un paramètre par la méthode du maximum de vraisemblance, c’est proposer comme valeur de ce paramètre celle qui rend maximale la vraisemblance, à savoir la probabilité d’observer les données comme réalisation d’un échantillon de la loi Pθ, ou encore à chercher la loi Pθ la plus “vraisemblable” pour l’échantillon (x1,...,xn). Exemple Montrer que pour la méthode du maximum de vraisemblance, les paramètres estimés des lois normales sont : ˆµj = 1 ⎧ ˆΣj = ⎪⎨ Xi, nj i∈J ⎪⎩ 1 (Xi − ˆµj)(Xi − ˆµj) nj i∈J ′ Discriminante quadratique ˆΣ = 1 g (Xi − ˆµj)(Xi − ˆµj) n ′ Discriminante linéaire. j=1 i∈J où J est l’ensemble des numéros d’observations qui sont dans le groupe j et nj le nombre d’observations dans le groupe j (ce qui est le cardinal de J). On remarquera que les moyennes par groupes µj sont estimées par le centre de gravité de chacun des groupes . 1.2.3 Point de vue géométrique L’analyse discriminante possède une interprétation géométrique. Cette interprétation n’est pas utile pour faire des calculs ni pour appliquer la méthode mais elle permet d’associer une interprétation visuelle à des calculs pas toujours très clairs. Afin de pouvoir faire des représentations graphiques et y voir quelque chose, nous allons supposer que le nombre de variables explicatives p est égal à 2. Par ailleurs supposons que nous n’avons pas d’a priori, ce qui permet de ne pas s’occuper des P(Y = j) qui sont tous égaux à 1/g. Discriminer revient à chercher i=1 argmax f(x|y = j)P(Y = j) = argmax f(x|y = j). j∈{1,...,g} j∈{1,...,g} Rappelons que p = 2, donc x ∈ R 2 est un point du plan. Nous cherchons à savoir, en fonction de la valeur de x, la classe que l’on va choisir. Il va y avoir des régions du plan où tous les points seront classés dans le groupe 1, d’autres où le classement sera 2 etc.. Nous sommes donc intéressés par les frontières, c’est à dire l’ensemble des points x que l’on peut classer soit dans une classe j, soit dans une autre j ′ . Cette frontière est simplement les points x qui sont tels que P(Y = j|X = x) = P(Y = j ′ |X = x) f(x|y = j) = f(x|y = j ′ ) 1 (2π|Σj|) exp − 1 2 (x − µj) ′ Σ −1 1 j (x − µj) = exp (2π|Σj ′|) Pierre-André Cornillon Laurent Rouvière − 1 2 (x − µ′ j ′)′ Σ −1 j ′ (x − µ ′ j ′) Régression logistique et scoring
1.2 Analyse discriminante de linéaire (au sens de Fisher ou LDA) 13 En passant au log nous obtenons, ln |Σj ′| |Σj| 1 − 2 x′ (Σ −1 j − Σ−1 j ′ )x + x ′ (Σ −1 j µj − Σ −1 j ′ 1 µj ′) − 2 (µ′ jΣ −1 j µj − µ ′ j ′Σ−1 j ′ µj ′) = 0 Si l’on développe cette équation en remplaçant le vecteur x par ses coordonnées (x1,x2) nous obtenons une équation quadratique en x1 et x2 qui permet de dire qu’une frontière sera de la forme d’une conique. Cette constatation donne son nom à la méthode dite de discrimination quadratique. Par contre lorsque Σ = Σj = Σj ′ nous avons alors x ′ Σ −1 1 (µj − µj ′) − 2 (µj + µj ′)′ Σ −1 (µj − µj ′) = 0 Si l’on développe cette équation en remplaçant le vecteur x par ses coordonnées (x1,x2) nous obtenons une équation d’une droite. Exemple (LDA dans R 2 pour 3 groupes, variables X non corrélées) Supposons que g = 3 et que Σ = Σ1 = Σ2 = Σ3 = I2. Les observations suivent toutes des lois normales N(µj,I2), où µj est la moyenne du groupe. Les moyennes sont choisies égales à µ1 = (2, 2) ′ , µ2 = (−2, 2) ′ et µ3 = (0, −2) ′ respectivement. La frontière entre le groupe 1 et le groupe 2 est donc l’ensemble des x ∈ R 2 tel que : P(Y = 1|X = x) = P(Y = 2|X = x) f(x|y = 1) = f(x|Y = 2) 1 (2π|Σ|) exp − 1 2 (x − µ1) ′ Σ −1 1 (x − µ1) = (2π|Σ|) exp − 1 2 (x − µ2) ′ Σ −1 (x − µ ′ 2) − 1 2 (x − µ1) ′ (x − µ1) = − 1 2 (x − µ2) ′ (x − µ ′ 2) − 1 2 x′ x − x ′ µ1 − 1 2 µ′ 1µ1 = − 1 2 x′ x − x ′ µ2 − 1 2 µ′ 2µ2 x ′ (µ1 − µ2) − 1 2 (µ1 + µ2) ′ (µ1 − µ2) = 0 (x − 1 2 (µ1 + µ2)) ′ (µ1 − µ2) = 0 Soit M le point de coordonnée x, G1 le centre de gravité du groupe 1 de coordonnées µ1 et G2 celui du groupe 2 de coordonnées µ2. Soit G12 le milieu des deux points G1, G2. Il est de coordonnées 1 2 (µ1 + µ2). Cette dernière équation se lit alors < −−−→ G12M, −−−→ G2G1 >= 0, c’est à dire que les points M cherchés sont sur une droite passant par G12 et orthogonale à la droite portée par −−−→ G2G1 c’est à dire la droite (G1G2). En faisant de même pour les 2 autres frontières nous pouvons obtenir les frontières théoriques de la méthode LDA. En général nous n’avons pas les valeurs de µj et Σ et on les remplace par leurs estimateurs, donnant des frontières empiriques légèrement différentes. Régression logistique et scoring Pierre-André Cornillon Laurent Rouvière
Page 1: Année Universitaire 2007-2008 UFR
Page 4 and 5: 4 Table des matières Pierre-André
Page 6 and 7: 6 Introduction Il est bien entendu
Page 8 and 9: 8 Introduction pour la seconde esp
Page 10 and 11: 10 Introduction Cela donne, en remp
Page 14 and 15: 14 Introduction y −4 −2 0 2 4
Page 16 and 17: 16 Introduction Ce type de modélis
Page 18 and 19: 18 Introduction −3 −2 −1 0 1
Page 20 and 21: 20 Analyse discriminante logistique
Page 33 and 34: Chapitre 3 Sélection et validation
Page 35 and 36: 3.1 Sélection ou choix de modèle
Page 43 and 44: 3.2 Validation du modèle 43 - H1 l
Page 45 and 46: 3.2 Validation du modèle 45 où hi
Page 47 and 48: 3.2 Validation du modèle 47 et la
Page 49: 3.2 Validation du modèle 49 est d

Modèle logistique et scoring - Université Rennes 2

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?