Konzeption und Implementierung eines ... - Stephan, Daniel

5.3. REPRÄSENTATION VON DOKUMENTEN 62
erweitert die Formel zur KL-Divergenz über eine Wahrscheinlichkeitsvariable x
mit n Ausprägungen wie folgt:
�
KL(p|q) = EpIKL(p, q) = Ep log p(x)
�
=
q(x)
n�
i
pi log pi
qi
(5.8)
Auf unsere Domäne der Klassifizierung von Termen bezogen wird aus 5.8 und
5.6 die Gleichung 5.9 für Terme t.
m�
P (t ∧ ci)
MI(t) = P (t ∧ ci) log
P (t) × P (ci)
i=1
(5.9)
Dabei beschreibt MI, wie viel Information von P(t) in P(c) und von P(c)
in P(t) enthalten ist. Sind die Wahrscheinlichkeitsverteilungen P(c) und P(t)
unabhängig voneinander, hat MI den Wert 0, ansonsten ist er positiv. Je höher
er ist, um so mehr Information ist beiden Verteilungen gemein.
Es existiert eine Abschätzung der obigen Formel auf der Basis der Anzahlen
A, B und C, sowie der Gesamtanzahl an Dokumenten N. Die Anzahlen be-
gründen sich durch Korrelationen von t und c wie folgt: t mit c (A), t ohne c
(B) sowie c ohne t (C) und münden in der Abschätzung:
Anwendung
I(t, c) ≈ log
A × N
(A + C) × (A + B)
(5.10)
Bei den drei erläuterten Maßen kommt nur DF ohne eine Lernphase aus. So-
wohl IG als auch MI basieren auf Wahrscheinlichkeitsverteilungen, die zunächst
unbekannt sind. Sie setzen voraus, dass eine Klassifikation existiert, der Do-
kumente zugeordnet sind und dass eine Menge an Termkandidaten existiert.
Nur wenn das der Fall ist, können die nötigen Wahrscheinlichkeitsverteilungen
P(c) oder P(t) überhaupt ermittelt werden. Wenn die zugrundeliegenden Daten
nicht ausreichen, ist eine Trainingsmenge ausreichender Größe mit repräsentati-
ven Dokumenten anzulegen, damit die nötigen Wahrscheinlichkeitsverteilungen
ermittelt werden können.
5.3.4. Latent Semantic Indexing
LSI [DFL + 88] arbeitet ebenso wie die meisten anderen bekannten Verfahren
mit dem Vektorraummodell und repräsentiert ein Dokument somit als Feature
Vektor.