Konzeption und Implementierung eines ... - Stephan, Daniel

59 5.3. REPRÄSENTATION VON DOKUMENTEN
5.3.3. Methoden für die Beschränkung auf wesentliche Features
Aufgrund der genannten Beschränkungen ist es sinnvoll, nach Wegen zu suchen,
die Dimensionalität der Feature Vektoren einzuschränken. Yang und Pedersen
[YP97] sind eben dieser Frage nachgegangen und haben verschiedene Methoden
auf ihre Wirksamkeit hin überprüft. Die Gewinner der Studie sollen an dieser
Stelle kurz vorgestellt werden.
Inverse Document Frequency
Dieser Ansatz wurde bereits in [SJ72] beschrieben, wo er als ” Collection Fre-
quency Weight“ bezeichnet wurde. Die Annahme dahinter ist, dass offenbar
solche Begriffe für die Klassifikation besonders nützlich sind, die in einzelnen
Dokumenten besonders häufig vorkommen, gleichzeitig aber in der gesamten
Sammlung nur selten auftauchen. Solche Begriffe trennen einzelne Dokumente
sehr gut von anderen und sind daher von Vorteil.
idfi = log N
ni
(5.3)
Rechnerisch kann IDF recht einfach als das Verhältnis zwischen der Zahl
an Dokumenten insgesamt (N) und der Anzahl jener Dokumente, in denen der
jeweilige Begriff bzw. das Feature i vorkommt (ni) angegeben werden, so dass
letztendlich für jedes einzelne Feature ein entsprechender IDF-Wert existiert.
Um entscheiden zu können, welche Features in den meisten Dokumenten vor-
kommen und welche nicht, wäre ein Schwellenwert denkbar, der die allgemeine
Umschreibung ” die meisten“ expliziert. Features, deren IDF nun über diesem
Schwellenwert läge, könnten aus der Betrachtung ausgeschlossen werden.
Häufiger dürfte IDF jedoch als Mittel zur Gewichtung der ermittelten Häufig-
keiten angewandt werden. In dieser Funktion nennt man es auch TF-IDF, kurz
für Term Frequency and Inverse Document Frequency. Dabei multipliziert man
einfach die ermittelten Häufigkeiten (TF) eines Terms i in einem Dokument j
mit der passenden IDF für den Term i.
Information Gain
Information Gain (IG) beschreibt den Informationsgewinn, der durch ein Fea-
ture in Bezug auf die Klassifikation erbracht wird. Um den Gewinn ausdrücken
zu können, benötigt man zunächst ein Maß für den Informationsgehalt. Ein