kombiniertes data mining – klassifikation unter verwendung von ...

Kombiniertes Data Mining – Klassifikation anhand von Hilfsinformationen
Die Entropie ist ein Maß für die Unreinheit einer Verteilung, d.h. z.B. für entropie(T) =
0, dass eine Verteilung mit einem Splitwert S absolut rein ist und alle Objekte
verschiedener Klassenzugehörigkeiten von einander getrennt wurden, während bei
entropie(T) = 1 alle durch S erzeugten Partitionen die gleiche Menge an Objekten mit
unterschiedlicher Klassenzugehörigkeit beinhalten.
Der Informationsgewinn eines Attributs A in Bezug auf die Menge T ist nach [ES00]
definiert als
| Ti
|
informationsgewinn(T,A) = entropie ( T ) − ∑ ⋅ entropie(
Ti
),
(2.7)
| T |
wobei das Attribut A jenes Attribut ist, dessen Attributausprägungen mittels eines
Splitkriteriums in die vollständigen, disjunkten Partitionen T1, …, Ti geteilt wurden.
Die Anwendung des Informationsgewinns auf eine Trainingsmenge T soll im nun
folgenden Beispiel illustriert werden (vgl. Tabelle 3), wobei als Trainingmenge
wiederum die Datensätze der Tabelle 2 aus Kapitel 2.3 verwendet wird.
ID Alter Familienstand Kinder
1 23 geschieden nein
2 17 ledig nein
3 43 ledig nein
4 68 geschieden ja
5 32 verheiratet ja
Tabelle 3: Trainingstabelle für den Entscheidungsbaum-Klassifikator
Zunächst muss die Gesamtentropie der Trainingsmenge (entropie(T)) berechnet
werden. T enthält zwei Tupel mit „Kinder = ja“ und drei Tupel mit „Kinder = nein“.
entropie(T) ergibt sich somit aus:
2 2 3 3
entropie ( T ) = ⋅ log 2 ( ) + ⋅ log 2 ( ) = 0,
97095
5 5 5 5
Seite 30