Mélanges de GLMs et nombre de composantes : application ... - Scor

Annexe B. Méthodes de segmentation
• impur(t) = ∑ j≠k
p(j|t) p(k|t) (index de Gini)
Remarque B.1.2. Dans une approche variance,
• l’index de Gini est aussi égal à 1 − ∑ j p2 j ;
• nous utilisons également la twoing rule : choisir ∆ qui maximise p Lp R
4
2
p(j|t R )|]
;
[ ∑
j |p(j|t L) −
• dans un problème avec une réponse binaire, l’index de Gini se réduit à impur(t) =
2p(1|t)p(2|t).
Commentaires sur l’erreur de prévision
Nous pouvons écrire de manière formelle l’expression de la portion d’observations mal
classées par la fonction class suivant l’estimation choisie de l’erreur de prévision :
– l’estimate “resubstitution” :
ˆτ(class) = 1 ∑
1{class(x n , ɛ) ≠ j n }
(B.1)
N
(x n,j n)∈ɛ
– l’estimation par échantillon de validation : quasiment comme dans (B.1) :
ˆτ ts (class) = 1 ∑
1{class(x
N ′
n , ɛ) ≠ j n }
– l’estimation par validations croisées :
Remarquons aussi que
ˆτ cv (class) = 1 N
E[ˆτ(class)] = E
= 1 N
[
K∑
k=1
(x n,j n)∈W
∑
(B.2)
(x n,j n)∈ɛ k
1{class(x n , ɛ k ) ≠ j n } (B.3)
∑
1
N
(x n,j n)∈ɛ
∑
(x n,j n)∈ɛ
1{class(x n , ɛ) ≠ j n }
E[ 1{class(x n , ɛ) ≠ j n }]
= P (class(X, ɛ) ≠ Y ) = τ(class).
et que tous les estimateurs présentés ci-dessus sont non-biaisés :
E[ˆτ(class)] = E[ˆτ cv (class)] = E[ˆτ ts (class)]
L’erreur de prévision et le taux de mauvaise classification sont deux concepts différents. L’erreur
de mauvaise classification est l’erreur dans les noeuds de l’arbre alors que l’erreur de
prévision est liée à la classification finale de la variable d’intérêt et est calculée une fois l’arbre
construit.
Par défaut, R calcule un estimateur par validations croisées de l’erreur d’apprentissage.
Ce sont les résultats du tableau des paramètres de complexité. Toutefois cette procédure de
validations croisées ne correspond pas à la fameuse technique de validations croisées dans la
théorie du reéchantillonage. La première calcule l’arbre optimal pour une taille donnée en
minimisant l’erreur d’apprentissage alors que la dernière permet d’obtenir une estimation plus
réaliste de l’erreur de prévision mais ne traite pas le problème qui est de trouver un arbre
optimal.
192
]