Mélanges de GLMs et nombre de composantes : application ... - Scor

1.1. Modélisation CART
Construction de l’arbre de classification
Notation Soit ɛ = (x n , j n ) 1≤n≤N un échantillon de taille N, où les j n représentent les
observations de la variable réponse Y (Y ∈ C = {1, 2, ..., J} et les x n = {x n1 , x n2 , ..., x np } sont
les observations de X dans X , ensemble des p variables explicatives (X = ∏ p
i=1 X i où X i est
un ensemble de variables continues et/ou catégorielles). Soit
• ∀x ∈ X , le classifieur class(., ɛ) classe x dans un groupe j ∈ C.
• La probabilité a priori d’appartenir au groupe j vaut π j = N j
N
où N j = Card{j n |j n = j}.
• Sachant t ⊂ X (t sous-ensemble fini de X ), notons N(t) = Card{(x n , j n ) ∈ ɛ, x n ∈ t}.
• N j (t) = Card{(x n , j n ) ∈ ɛ, j n =j sachant que x n ∈ t}.
• Un estimateur par substitution de P(j,t), noté p(j,t), est donné par p(j,t) = π j
N j (t)
N(t) .
• Un estimateur par substitution de P(t), noté p(t), est donné par p(t) = ∑ J
j=1
p(j, t).
• Soit P (j|t) la probabilité a posteriori d’appartenir à j, estimée par p(j,t)
p(t)
= N j(t)
N(t) = p(j,t)
π j
.
Comment débuter ? Le principe est de diviser X en q classes, où q n’est pas connu à l’avance
(a-priori). La méthode construit une séquence croissante de partitions de X ; On passe d’une
partition à l’autre en appliquant des règles de division binaires telles que :
x ∈ t, avec t ⊂ X .
Par exemple, la première partition de X peut être le sexe de l’assuré. L’assuré dont la caractéristique
est x est soit une femme soit un homme (une spécification des règles binaires est
détaillée en annexe B.1.3).
Nous commençons par diviser la racine X en deux sous-ensembles disjoints appelés noeuds
et notés t L et t R . Chaque noeud est ensuite divisé de la même manière (s’il contient au moins
deux éléments). Au final nous obtenons une partition de X en q groupes appelés noeuds
terminaux ou feuilles. Dans la suite, nous notons ˜T l’ensemble des feuilles de l’arbre T ; T t
est l’ensemble des descendants de l’ancêtre t dans l’arbre T (voir l’illustration en figure B.2).
Nous mesurons la qualité de la division d’un noeud t en t L et t R grâce à un critère
d’impureté. Ce concept est également expliqué en détail en annexe B.1.3. Dans notre cas,
l’impureté du noeud t dans l’arbre T est la quantité
impur(t) = g(p(1|t), p(2|t), ..., p(J|t)), (1.1)
où g est la fonction d’impureté. Par conséquent, l’impureté de l’arbre T est donnée par
Impur(T ) = ∑ t∈ ˜T
Impur(t) (1.2)
où Impur(t) = p(t)impur(t).
Une règle de division ∆ d’un noeud t donne p L =p(t L )/p(t) observations dans t L , et p R =p(t R )/p(t)
observations dans t R . Nous aimerions maximiser la pureté, dont la variation due à la division
vaut :
δ impur(∆, t) = impur(t) − p L impur(t L ) − p R impur(t R ) (1.3)
La pureté de l’arbre est censée augmenter à chaque division, ce qui impose la contrainte
naturelle suivante :
impur(t) ≥ p L impur(t L ) + p R impur(t R ).
25