Konzeption und Implementierung eines ... - Stephan, Daniel

61 5.3. REPRÄSENTATION VON DOKUMENTEN
einbringt. Und zwar wie folgt:
G(t) =
m�
− P (ci) log P (ci)
i=1
m�
+P (t) P (ci|t) log P (ci|t)
i=1
m�
+P (t) P (ci|t) log P (ci|t)
i=1
(5.5)
In dieser Formel bezeichnet c eine Klasse aus der Menge aller Klassen (i=1. . . m),
denen jeweils ein Dokument entweder zugeordnet wird oder nicht. Dabei ist P(c)
die Wahrscheinlichkeit oder Frequenz, mit der ein Dokument dieser Klasse c zu-
geordnet wird. P(t) ist die Frequenz des Auftretens des Terms/Features t und
P(c|t) entsprechend die Frequenz, mit der Dokumente bei vorliegendem Feature
t der Klasse c zugeordnet werden.
Mutual Information
Mutual Information (MI) beschreibt die statistische Korrelation, in diesem Fall
zwischen Features und Klassen, und ist folgendermaßen definiert.
I(t, c) = log
P (t ∧ c)
P (t) × P (c)
(5.6)
Gleichung 5.6 geht auf das Maß des gemeinsamen Informationsgehaltes von
Kullback-Leibler [KL51] zurück, das in Gleichung 5.7 dargestellt ist. Es geht von
zwei unterschiedlichen Wahrscheinlichkeitsverteilungen über eine gemeinsame
Wahrscheinlichkeitsvariable x aus, die in Beziehung gesetzt werden.
Besondere Eigenschaften: Dieses Maß ist nicht symmetrisch, so dass es eher
als Inklusion verstanden werden kann. Zudem ist zu beachten, dass es unendlich
wird, wenn die Wahrscheinlichkeit q für x 0 ist, während dies bei p für x nicht
der Fall ist.
IKL(p, q) = log p(x)
q(x)
(5.7)
Die Formel, die im allgemeinen unter der Bezeichnung Kullback-Leibler-
Divergenz bekannt ist und die auch im folgenden die Grundlage bilden soll, ent-
spricht dem erwarteten gemeinsamen Informationsgehalt. Der Erwartungswert
beschreibt den durchschnittlichen Wert einer Wahrscheinlichkeitsverteilung und