Konzeption und Implementierung eines ... - Stephan, Daniel

5.3. REPRÄSENTATION VON DOKUMENTEN 58
Feature zugeordnet. Ein Feature beschreibt dann für ” sein“ Wort die Häufigkeit
dessen Auftretens im Text. Dies folgt dem Gedanken, dass Begriffe, die häufig
vorkommen, eher dem Inhalt des Textes entsprechen als solche, die nur selten
oder gar nie im Text vorkommen. Dieser Logik folgend entsprechen Features,
die für ein bestimmtes Dokument mit einem hohen Wert ausgestattet sind,
besonders gut dem Inhalt dieses Dokuments.
Luhn [Luh58] fügt dieser Idee noch eine weitere hinzu. Und zwar schlägt
er vor, zusätzlich noch die relative Position der Wörter im Satz zu bewerten
und somit eine kombinierte Bewertung von Begriffen zu verwenden. Das ließe
sich zum Beispiel so umsetzen, dass sich benachbarte Begriffe gegenseitig Boni
geben. Dadurch erhöht sich die Bewertung eines Begriffs allein dadurch, dass
es neben einem stark bewerteten Begriff steht.
In der Praxis werden vor der statistischen Verarbeitung die betrachteten Wor-
te mindestens auf ihre Wortstämme reduziert (genannt ” Stemming“), um die
vielen Variationen, die aufgrund von Konjugationen oder unterschiedlichen Aus-
prägungen in Einzahl und Mehrzahl entstehen, auf einen gemeinsamen Begriff
zurückzuführen. Zudem werden sogenannte Stoppwörter aus der Menge der
betrachteten Begriffe entfernt, die mit ausreichender Sicherheit keine bedeu-
tungstragende Funktion haben. Dabei handelt es sich hauptsächlich um Artikel
oder Pronomen sowie einige Verben. Zum Beispiel: ” ist“, ” ein“, ” für“, ” der“
und weitere ähnliche Worte.
Spätestens dann hat man eine einfache aber wirksame Repräsentation des
Dokumenten-Inhalts geschaffen. Dennoch ist sie natürlich weit davon entfernt,
perfekt zu sein. Insbesondere erschließt sich der Sinn eines Wortes mitunter
erst aus seinem Kontext. Den Kontext nicht zu berücksichtigen, kann beson-
ders bei kurzen Texten zu falschen Schlüssen führen. Auch das Stemming ist
nicht in allen Fällen perfekt. Mitunter reduziert es Begriffe auf die gleichen
Wortstämme, die eine völlig andere Bedeutung haben. Auch andersherum wird
ein Schuh daraus: es reduziert Begriffe auf unterschiedliche Wortstämme, ob-
wohl sie völlig identische Bedeutungen haben. Weiterhin werden derart ermit-
telte Feature-Vektoren sehr groß und spannen einen riesigen Raum mit sehr
vielen Dimensionen auf. Dadurch werden Berechnungen im Vektorraum sehr
rechenintensiv. Folglich entsteht der Wunsch, die Dimensionalität der Vektoren
zu verringern und gleichzeitig die inhaltliche Übereinstimmung der Vektoren
mit der Zielsetzung des Textes zu erhöhen.