Mélanges de GLMs et nombre de composantes : application ... - Scor

B.2. La régression logistique
Algorithme 1. Pour connaître les branches à élaguer et le α optimal associé,
1. Soient les feuilles t L et t R les descendants immédiats du noeud parent t ; en commençant
par T max , nous cherchons la division qui n’a pas donné de diminution de l’erreur, i.e.
pour laquelle ˆτ(t) = ˆτ(t L ) + ˆτ(t R ) (voir (B.7)). Elaguer t L et t R , et recommencer de
même jusqu’à ce que ce ne soit plus possible. Nous obtenons T 1 < T ;
2. Pour T1 t branche de T 1, définissons ˆτ(T 1 t) = ∑ t∈ ˜T 1
t ˆτ(t). D’après (B.8), les noeuds nonterminaux
t de l’arbre T 1 satisfont la propriété : ˆτ(t) > ˆτ(T 1 t ) (pas d’égalité grâce à la
première étape).
3. Notons {t} la sous-branche de T1 t qui consiste en l’unique noeud {t}, card({t}) = 1.
Ainsi, τˆ
α ({t}) = ˆτ(t) + α et
τˆ
α (T1) t = ˆτ(T 1) t + α Card( ˜T 1)
t
(B.11)
Nous avons vu que ˆτ(T 1 t ) < ˆτ({t}), mais l’introduction d’un terme de complexité fait
que cette inégalité avec τˆ
α n’est pas toujours respectée. Tant que τˆ
α (T1 t) < τˆ
α({t}) il est
inutile d’élaguer, mais il existe un seuil α c tel que τˆ
αc (T1 t) = τˆ
α c
({t}). On a donc
ˆτ(T t 1) + α c Card( ˜T t 1) = ˆτ(t) + α c
α c = ˆτ(t) − ˆτ(T t 1 )
Card( ˜T t 1 ) − 1
Tant que α < α c , il n’est pas nécessaire d’élaguer l’arbre au noeud t, mais dès que α = α c
l’élagage de cette sous-branche est intéressante car l’erreur est équivalente et l’arbre est
plus simple ;
4. Faire ceci pour tous les noeuds t de T 1 et choisir le noeud t dans T 1 qui minimise la
quantité α c . Soit α 1 = α c . En élaguant T 1 au noeud t, nous obtenons T 2 = T 1 − T t 1 .
Répéter 3. et 4. récursivement avec T 2 , obtenez α 2 et ainsi de suite jusqu’à la racine.
Au final, nous obtenons par construction (avec les cas extrêmes) une suite α 1 < α 2 < ... < α root
qui correspondant aux arbres élagués T 1 > T 2 > ... > T root . T root est juste le noeud racine.
Pour définir l’arbre optimal de cette suite, (B.10) nous dit que le meilleur arbre élagué est
celui avec le taux de mauvaise classification minimum.
B.2 La régression logistique
B.2.1
Résultats numériques de l’analyse statique
Les coefficients de régression, leur écart-type, la confiance que nous pouvons avoir dans
l’estimation de ces coefficients et leur effet sont disponibles dans la table B.2. Les coefficients
de régression de l’analyse dynamique du début du chapitre... ne sont pas donnés ici car ils
n’ont pas vraiment d’intérêt (l’analyse logistique dynamique avait pour but de montrer que
les prévisions n’étaient pas robustes).
B.2.2
Un peu de théorie
La modélisation “logit” est pertinente car nous voulons étudier un événement binaire (le
rachat), or la régression logistique analyse des données issues de loi binomiale de la forme
195