Kostenloser Download der gesamten Diplomarbeit - dotSource

KAPITEL 2. GRUNDLAGEN 7
• Polysemie ist das Gegenstück zu Synonymie und steht für die Mehrdeutigkeit eines
Ausdrucks. Ein repräsentatives Beispiel stellt das Wort ” Bank“ dar. Dieses Wort
kann ohne weiteren Kontext beispielsweise als Sitzmöbel oder als Kreditinstitut interpretiert
werden.
Es muss also dafür gesorgt werden, dass verschiedene Formulierungen auf die gleiche Repräsentation
abbilden und unklare Formulierungen identifiziert werden. [Fuh11]
Die im Folgenden vorgestellten Texttransformationen bieten Lösungsansätze für das oben
beschriebene Problem.
In Abhängigkeit von der gegebenen Dokumentensammlung ist u.U. eine Vorverarbeitung
wie die Bestimmung der Kodierung, des Dateiformates sowie der Sprache notwendig. Im
nächsten Schritt der Tokenisierung wird der Volltext in Worte zerlegt und von Ziffern,
Bindestrichen, Satzzeichen undStoppwörtern befreitsowie dieGroß-/Kleinschreibung vereinheitlicht.
Anschließend werden die einzelnen Zeichenketten weiteren Normalisierungsund
Filterprozessen wie z.B. die Stammwortreduzierung sowie Anwendung der Thesauren
undphonetischer Analyse unterworfen. Das Resultat dervorgenommenen Texttransformationen
ist eine Ansammlung von einzelnen Zeichenketten, welche als Tokens bzw. Terme
bezeichnet werden und in dieser Form in den Index aufgenommen werden. [Got10]
Stoppwortliste
Die Stoppwortliste enthält die Stoppwörter, diese wird bei der Texttransformation geladen
und auf den Volltext angewendet. Stoppwörter kommen i.d.R. in allen Dokumenten vor
undhabendemzufolgenursehrgeringen Identifikationspotenzial fürdenRetrieval Prozess,
weil sie in relevanten Dokumenten genauso oft vorkommen können wie in nicht relevanten.
Die Stoppwörter tragen also einen geringen auszeichnenden Charakter und bringen aus
diesem Grund keinen bedeutenden Informationsgewinn für das IRS. [Sto07]
Die typischen Vertreter von Stoppwörtern sind Artikel oder Präpositionen. Diese sind
sprachspezifisch und sollten der Übersichtlichkeit wegen separiert gespeichert und gepflegt
werden. Ein Beispiel ist die Zeichenkette ” die“, welche in deutsche, aber keinesfalls eine
englische Stoppwortliste gehört. [Fer03]
In gewissen Anwendungsfällen kann es jedoch sinnvoll sein die Stoppwörter mit in die
Suche einzubeziehen. Ein Beispiel ist das berühmte Zitat aus Hamlet ” Sein oder nicht
Sein“. Intuitiv bieten sich die Zeichenketten ” oder“ und ” nicht“ für die Aufnahme in die
Stoppwortliste an, was in diesem konkreten Beispiel die Tragödie von William Shakespeare
mit hoher Wahrscheinlichkeit als nicht relevant für das Zitat zuordnen würde. Dieses
Beispiel zeigt, dass die Stoppwörter in einem gewissen Kontext nicht vollkommen informationsleer
sind. So ist es denkbar die Stoppwörter in Abhängigkeit von der Thematik
der Dokumentensammlung mit in den Index aufzunehmen und bei dem Retrieval Prozess
mit einer gewissen Abwertung einzubeziehen. [Sto07]
Stoppwörter bieten keine direkte Lösung für das zur Einleitung dieses Abschnittes beschriebene
Problem der Wissensrepräsentation an. Sie dienen vielmehr als ein Teil der
Vorverarbeitungsschritte vor den eigentlichen Filteroperationen. Der positive Effekt neben
der Beseitigung nicht auszeichnender Tokens ist ein nicht unnötig aufgeblähter Umfang
des Indexes, was einen effizienteren Retrieval Prozess zur Folge hat.
Stammwortreduzierung
Die Stammwortreduzierung (engl. stemming) ist ein Vertreter der Freitextsuche, bei der