Einführung in die Informationswissenschaft

Textstatistik
Textstatistik (Relevance Ranking I). Fazit
• Zuordnung von Gewichtungswerten bei Suchanfragen durch
Nutzer (bei Google: durch Reihenfolge der Suchworte)
• Der Übergang zum Relevance Ranking ist sowohl aus Booleschen
Systemen als auch aus informationslinguistischen Komponenten
automatisch indexierender Systeme möglich.
• Historischer Ausgang: These von Luhn: Häufig vorkommende
Worte sind für ein Dokument auch wichtig (schlecht: zu häufige
und zu seltene Worte)
• Grunddaten für Textstatistik:
– Position eines Wortes im Text (im Titel wichtiger als in einer Fußnote)
– WDF (Gewichtung nach Auftretenshäufigkeit im Dokument: je häufiger,
desto wichtiger)
– IDF (Gewichtung nach Auftretenshäufigkeit in der gesamten
Datenbank: je mehr Dokumente das Wort enthalten, desto unwichtiger)
– „einfacher“ Gewichtungswert (Wort im Dokument): P * WDF * IDF
HHU Düsseldorf, WS 2004/05 Einführung in die Informationswissenschaft 283