Einführung in die Informationswissenschaft

Informationslinguistik
Grundansatz: Worte vs. N-Gramme
– Zerlegen der Dokumente / Suchanfragen in Worte
und/oder N-Gramme
– Wortidentifikation: ein Wort ist eine Zeichenfolge
zwischen zwei Leerstellen oder Satzzeichen bzw. dem
Anfang eines Feldeintrags und einer Leerstelle/einem
Satzzeichen
– N-Gramm: Zerlegung eines Textes in Zeichenfolgen mit
n Zeichen (etwa: n=3 oder n=5).
– Zuordnung einer Wort- bzw. N-Gramm-Position (und ggf.
weiterer Merkmale) in der invertierten Datei
– bei nicht-zeichensensitiven Systemen: Übertragung aller
Buchstaben in eine Form (etwa: alles Großschreibung)
HHU Düsseldorf, WS 2004/05 Einführung in die Informationswissenschaft 153