Mélanges de GLMs et nombre de composantes : application ... - Scor

1.1. Modélisation CART
nous entendons réponse par groupe d’appartenance, ce qui se traduira dans nos applications
par le rachat ou non-rachat. Le classifieur, noté class(., ɛ), s’exprime comme
class : X → C
x → class(x, ɛ) = j,
avec B j = {x ∈ X ; class(x, ɛ) = j}. Cette fonction doit si possible classer au mieux les données
et avoir un pouvoir prédictif intéressant. Considérons que l’arbre optimal a été construit ; pour
connaître la classe d’appartenance d’un noeud terminal, nous utilisons la règle
class(x, ɛ) = arg max
j∈C
p(j|t), (1.6)
autrement dit la fameuse règle de Bayes qui maximise la probabilité a posteriori d’être dans la
classe j sachant que nous sommes dans le noeud t. Ce processus nous permet ainsi d’effectuer
des prévisions de classification. Une estimation de la mauvaise classification d’une observation
dans le noeud t (par rapport à la classe observée) est donnée par
r(t) = 1 − class(x, ɛ) = 1 − max p(j|t), (1.7)
j∈C
Soit ˆτ(t) = p(t) r(t) le taux de mauvaise classification du noeud t. Pour chaque noeud, c’est la
probabilité d’être dans le noeud t multipliée par la probabilité de mal classer une observation
sachant que nous sommes dans ce noeud t. Nous en déduisons immédiatement le taux global
de mauvaise classification de l’arbre T , donné par
ˆτ(T ) = ∑ t∈ ˜T
ˆτ(t). (1.8)
Finalement, nous pouvons résumer les quatre étapes essentielles de la procédure de construction
de l’arbre :
1. un ensemble de questions binaires {x ∈ S ?}, S ∈ X ,
2. une fonction d’impureté pour le critère de qualité d’ajustement (choix arbitraire),
3. une règle d’arrêt des divisions (choix arbitraire),
4. une procédure de classification permettant d’affecter à chaque feuille une classe.
De fait, le choix arbitraire concernant la règle d’arrêt des divisions est évitée puisque l’algorithme
CART construit un arbre maximal T max avant de procéder à un élagage.
Estimation de l’erreur de prévision
L’erreur de prévision est évaluée par la probabilité qu’une observation soit mal classée par
class(., ɛ), c’est-à-dire :
τ(class) = P (class(X, ɛ) ≠ Y )
L’efficacité du prédicteur est basée sur l’estimation de cette erreur. Le taux de mauvaise
classification réel τ ∗ (class) ne peut pas être estimé lorsque la procédure de classification est
construite à partir de l’ensemble des données, mais il existe plusieurs estimateurs dans la littérature
(Ghattas (1999)). L’expression du taux de mauvaise classification dépend évidemment
de l’échantillon d’apprentissage (détails en annexe B.1.3).
27