Einführung in die Methoden der Künstlichen Intelligenz - Goethe ...

8.3 Lernen mit Entscheidungsbäumen
• Der Algorithmus basiert auf der Annahme, dass die vorgegebenen Beispiele repräsentativ
sind. Wenn dies nicht der Fall ist, dann weicht das durch den Entscheidungsbaum
definierte Konzept evtl. vom intendierten Konzept ab.
• Wenn man eine Beispielmenge hat, die den ganzen Tupelraum abdeckt, dann wird
genau das Konzept gelernt.
Beispiel 8.3.7. Wir nehmen als einfaches überschaubares Beispiel Äpfel und die Attribute Geschmack
∈ {süß, sauer} und Farbe ∈ {rot, grün}. Das Konzept sei „guter Apfel“.
Es gibt vier Varianten von Äpfeln, {(süß, rot), (süß, grün), (sauer, rot), (sauer, grün)}. Wir geben
als Beispiel vor, dass die guten Äpfel genau {(süß, rot), (süß, grün)} sind. Wir nehmen mal
an, dass pro Apfelvariante genau ein Apfel vorhanden ist.
Es ist offensichtlich, dass die guten genau die süßen Äpfel sind, und die Farbe egal ist. Das kann
man auch nachrechnen, indem man den Informationsgewinn bei beiden Attributen berechnet:
Der Informationsgehalt I(M) vor dem Testen eines Attributes ist:
0.5log 2
(2) + 0.5log 2
(2) = 1
Nach dem Testen des Attributes „Geschmack“ ergibt sich als Informationsgehalt 0, 5 ∗ (log 2
(1) +
0) + 0, 5 ∗ (0 + log 2
(1)) = 0, d.h. Der Informationsgewinn ist maximal.
Nach dem Testen des Attributes „Farbe“ ergibt sich als Informationsgehalt
0, 5 ∗ (0, 5log 2
(2) + 0, 5log 2
(2)) + 0, 5 ∗ (0, 5log 2
(2) + 0, 5log 2
(2)) = 0, 5 ∗ 1 + 0, 5 ∗ 1 = 1, d.h.
man gewinnt nichts.
Als Variation des Beispiels nehmen wir irgendeine Anzahl der Äpfeln in jeder Kategorie an:
süß,rot süß,grün sauer,rot sauer,grün
10 20 4 6
D.h. es gibt 30 gute und 10 schlechte Äpfel.
Der Informationsgehalt ist vor dem Testen:
0.75log 2
(1, 333) + 0.25log 2
(4) ≈ 0, 311 + 0, 5 = 0, 811
Nach dem Testen des Attributs „Geschmack“ ergibt sich:
30
40 ∗ ( 30
30 log 2(1) + 0
30 log 2(0) )
+ 10
40 ∗ ( 10
10 log 2(1) + 0
10 log 2(0) )
= 0
M. Schmidt-Schauß & D. Sabel, Skript KI, WS 2012/13 269 Stand: 30. Januar 2013