Einführung in die Methoden der Künstlichen Intelligenz - Goethe ...

8.3 Lernen mit Entscheidungsbäumen
Der im Folgenden verwendetet Entropie-Ansatz bewirkt, dass das Verfahren einen Entscheidungsbaum
erzeugt der eine möglichst kleine mittlere Anzahl von Anfragen bis zur
Entscheidung benötigt. Einen Beweis dazu lassen wir weg. Das Verfahren ist verwandt
zur Konstruktion von Huffman-Bäumen bei Kodierungen.
8.3.2 Lernverfahren ID3 und C4.5
Es wird angenommen, dass alle Objekte vollständige Attributwerte haben, und dass es
eine Menge von positiven Beispielen und eine Menge von negativen Beispielen für ein zu
lernendes Konzept gibt, die möglichst gut die echte Verteilung abbilden. Für rein positive
Beispielmengen funktionieren diese Verfahren nicht.
Wichtig für die Lernverfahren ist es, herauszufinden, welche Attribute für das Konzept
irrelevant bzw. relevant sind. Nachdem ein Teil des Entscheidungsbaumes aufgebaut ist,
prüfen die Lernverfahren die Relevanz weiterer Attribute bzw. Attributintervalle.
Das Lernverfahren ID3 (Iterative Dichotomiser 3) iverwendet den Informationsgehalt
der Attribute bezogen auf die Beispielmenge. Der Informationsgehalt entspricht der mittleren
Anzahl der Ja/Nein-Fragen, um ein einzelnes Objekt einer Klasse zuzuordnen. Das
Lernverfahren versucht herauszufinden, welche Frage den größten Informationsgewinn
bringt, wobei man sich genau auf die in einem Entscheidungsbaum erlaubten Fragen beschränkt.
Das Ziel ist daher die mittlere Anzahl der Fragen möglichst klein zu halten.
Sei M eine Menge von Objekten mit Attirbuten. Wir berechnen den Informationsgehalt
der Frage, ob ein Beispiel positiv/negativ ist in der Menge aller positiven / negativen
Beispiele. Sei p die Anzahl der positiven und n die Anzahl der negativen Beispiele für das
Konzept. Wir nehmen eine Gleichverteilung unter den Beispielen an, d.h. wir nehmen
an, dass die relative Häufigkeit die reale Verteilung in den Beispielen widerspiegelt. Die
Entropie bzw. der Informationsgehalt ist dann:
I(M) =
p
p + n ∗ log 2 (p + n ) + n
p p + n ∗ log 2 (p + n
n )
Sei a ein Attribut. Wir schreiben m(a) für den Wert des Attributs a eines Objekts m ∈ M.
Hat man ein mehrwertiges Attribut a mit den Werten w 1 , . . . , w n abgefragt, dann zerlegt
sich die Menge M der Beispiele in die Mengen M i := {m ∈ M | m(a) = w i }, wobei w i , i =
1, . . . , k die möglichen Werte des Attributes sind. Seien p i , n i für i = 1, . . . , k die jeweilige
Anzahl positiver (negativer) Beispiele in M i , dann ergibt sich nach Abfragen des Attributs
an Informationsgehalt (bzgl. positiv/negativ), wobei I(M i ) der Informationsgehalt (bzgl.
positiv/negativ) der jeweiligen Menge M i ist.
I(M|a) =
k∑
P (a = w i ) ∗ I(M i )
i=1
D.h. es wird der nach relativer Häufigkeit gewichtete Mittelwert der enstandenen Infor-
M. Schmidt-Schauß & D. Sabel, Skript KI, WS 2012/13 267 Stand: 30. Januar 2013