Les arbres d'induction comme outils de modélisation de tables de ...

2.3 Les critères
Critères issus de
la théorie de l’information : entropies (incertitude) de la distribution
Entropie de Shannon :
Entropie quadratique (Gini) :
h S (p) = − ∑ c
i=1 p i log 2 p i
h Q (p) = ∑ c
i=1 p i(1 − p i ) = 1 − ∑ c
i=1 p2 i
⇒ maximiser la réduction d’entropie (ou entropie standardisée)
( hS (p y ) − h S (p y |x)
)
Par exemple, C4.5 maximise le Gain Ratio
h S (p x )
association statistique Khi-2 de Pearson, mesures d’association
⇒ maximiser l’association, minimiser la p-valeur du test de l’association
nulle.
Modéliser avec arbres Plan Motiv Princ Valid Ajust Qual Titanic Conc ◭ ◮ 25/6/2003gr 11