Mélanges de GLMs et nombre de composantes : application ... - Scor

B.1. Méthode CART
Pénalisation de la mauvaise classification
Les méthodes en structure d’arbre ont subi beaucoup de critiques à cause de la taille
des arbres finaux sélectionnés en pratique et de l’usage de l’estimation par resubstitution (cf
1.1.1). Le coût de mal classer une observation n’est souvent pas le même pour toutes les classes
dans les applications, d’où l’idée de pénaliser la mauvaise classification d’une observation (par
rapport à sa classe observée, apprentissage supervisé) par un facteur positif.
Définition. Le coût de mauvais classement d’une observation est défini par
Définissons ainsi
Γ : C × C → R + , such that
Γ(i|j) ≥ 0 and Γ(i|i) = 0
• la probabilité de mal classer une observation par P class (i|j) = P (class(x, ɛ) = i | j) (la
fonction class classe x dans la classe i au lieu de la classe j ),
• τ class (j) = ∑ i Γ(i|j)P class(i|j) : le coût moyen de mauvaise classification.
Nous obtenons τ class = τ(T ) et
τ(T ) = ∑ j
π(j)τ class (j) = 1 ∑
N j τ class (j)
N
Ghattas (1999) définit dans ce contexte la fonction de classification pénalisée d’assignation
d’une classe à un noeud terminal t :
∑
class(x, ɛ) = argmin Γ(i|j) p(j|t)
(B.4)
i∈C
D’après (B.4), l’estimation du taux de mauvaise classification est maintenant
∑
r(t) = min Γ(i|j) p(j|t)
i∈C
j∈C
Sachant que τ(t) = r(t)p(t), le taux de mauvaise classification par substitution de l’arbre T
est donné par
ˆτ(T ) = ∑ t∈ ˜T
ˆτ(t). (B.5)
j∈C
j
Corollaire 3. L’estimateur ˆτ(T ) du taux de mauvaise classification de l’arbre s’abaissent à
chaque division, et ce quelle que soit la division. Ainsi, si nous notons T s l’arbre obtenu par
division de T à une feuille, nous avons
ˆτ(T s ) ≤ ˆτ(T )
Soient t L et t R les descendants du noeud t dans l’arbre T s .
D’après (B.5) et (B.6),
∑
∑
t∈ ˜T sˆτ(t) ≤ ∑ t∈ ˜T
ˆτ(t)
ˆτ(t)
(B.6)
ˆτ(t) − ˆτ(t) + ˆτ(t L ) + ˆτ(t R ) ≤ ∑
t∈ ˜T t∈ ˜T
ˆτ(t L ) + ˆτ(t R ) ≤ ˆτ(t) (B.7)
193