Einführung in die Informationswissenschaft

N-Gramme
Informationslinguistik
• alle Zeichen innerhalb eines Satzes werden in N-Gramme
zerlegt (dies wird für alle Sätze eines Textes wiederholt)
• Probleme:
– Überzerlegung (wie „Reihe“ bei „Widerspruchsfreiheitsbeweis“
in einem 5-Gramm)
– Zeichenfolge mit n-2 Zeichen (und weniger) werden durch ein
n-Gramm nicht erkannt (wie „IBM“ bei einem 6-Gramm)
– Entstehung von Mehrdeutigkeiten durch die n-Gramm-
Zerlegung (Bsp.: Treffer „prime minister“ für den Satz „The
foreign minister ate prime rib for lunch“: Such-4-Gramme
„prim“, „rime“, „mini“, „inis“, „nist“, „iste“, „ster“ kommen
alle im Satz vor. Lösung: Einbeziehen von Leerzeichen:
„me_m“, „e_mi“ – diese kommen im Satz nicht vor)
HHU Düsseldorf, WS 2004/05 Einführung in die Informationswissenschaft 158