Einführung in die Informationswissenschaft

Textstatistik
• einfaches Zählen der Worte: Freq(i,j):
untaugliches Verfahren (Grund: lange Texte haben viele Worte
und würden zu Unrecht nach oben sortiert)
• Gewichtung nach Position im Text (P)
– Gewichtungsfaktor für Vorkommen in unterschiedlichen
Textteilen (Bsp.: 1.Abschnitt: 1,5 - Mitte: 0,8)
– Gewichtungsfaktor für Vorkommen in unterschiedlichen
Feldern bzw. Meta-Tags (Bsp.: Titel: 2,5; - Abstract: 1,5 - Text:
1; title-tag: 2,5 – keywords-tag: 1,5)
– wenn das Wort mehr als einmal vorkommt: Übernahme des
größten Wertes (Maximum) als Gewichtungsfaktor
– als alleiniger Wert untauglich (ein Vorkommen z.B. im Titel
sagt allein nichts über die Signifikanz des Wortes im
gesamten Text aus); u.U. einsetzbar in Verbindung mit WDF
HHU Düsseldorf, WS 2004/05 Einführung in die Informationswissenschaft 239