Einführung in die Methoden der Künstlichen Intelligenz - Goethe ...

8 Maschinelles Lernen
Der Normierungsfaktor für ein Attribut a mit den Werten w i , i = 1, . . . , k ist:
1
k∑
1
P (a = w i ) ∗ log 2
(
P (a = w i ) )
i=1
Bei einem Booleschen Attribut, das gleichverteilt ist, ergibt sich als Normierungsfaktor
0, 5 ∗ 1 + 0, 5 ∗ 1 = 1, während sich bei einem Attribut mit n Werten, die alle gleichverteilt
sind, der Wert
1
n ∗ 1 n ∗ log 2 (n) = 1
log 2
(n)
ergibt.
Durch diese Vorgehensweise wird die Personalnummer und auch die Apfelnummer als
irrelevantes Attribut erkannt. Allerdings ist es besser, diese Attribute von vorneherein als
irrelevant zu kennzeichnen, bzw. erst gar nicht in die Methode einfließen zu lassen.
Beispiel 8.3.10. Im Apfelbeispiel s.o. ergibt sich bei Hinzufügen eines Attributes Apfelnummer
mit den Ausprägungen 1, 2, 3, 4, als Normierungsfaktor für Apfelnummer:
1
1
4 ∗ 2 + . . . + 1 4 ∗ 2 = 0.5
Damit wird die Abfrage nach dem Geschmack vor der Apfelnummer bevorzugt.
8.3.2.2 Übergeneralisierung (Overfitting)
Tritt auf, wenn die Beispiele nicht repräsentativ sind, oder nicht ausreichend. Der Effekt
ist, dass zwar die Beispiele richtig eingeordnet werden, aber der Entscheidungsbaum zu
fein unterscheidet, nur weil die Beispiele (zufällig) bestimmte Regelmäßigkeiten aufweisen.
Beispiel 8.3.11. Angenommen, man will eine Krankheit als Konzept definieren und beschreibt
dazu die Symptome als Attribute:
Fieber: Temperatur, Flecken: j/n, Erbrechen: j/n, Durchfall: j/n, Dauer der krankheit: Zeit, Alter des
Patienten, Geschlecht des Patienten, . . ..
Es kann dabei passieren, dass das Lernverfahren ein Konzept findet, dass beinhaltet, dass Frauen
zwischen 25 und 30 Jahren diese Krankheit nicht haben, nur weil es keine Beispiele dafür gibt.
Auch das ist ein Fall von overfitting.
Besser wäre es in diesem Fall, ein Datenbank aller Fälle zu haben. Die Erfahrung zeigt aber, dass
selbst diese Datenbank aller Krankheiten für zukünftige Fragen oft nicht ausreicht, da nicht jede
Frage geklärt werden kann: z.B. Einfluss des Gendefektes XXXXX auf Fettsucht.
Abschneiden des Entscheidungsbaumes: Pruning
Stand: 30. Januar 2013 272 M. Schmidt-Schauß & D. Sabel, Skript KI, WS 2012/13