Kostenloser Download der gesamten Diplomarbeit - dotSource

KAPITEL 2. GRUNDLAGEN 15
Veränderungen zeigt, wird auf die inverse Dokumentfrequenz der Logarithmus angewendet.
Dieser globale Faktor wird größer, umso weniger der Term global verteilt ist. Das
impliziert, dass es sich eher um einen beschreibenden spezielleren Term handelt. Das Gegenteil
passiert, wenn der Term oft vorkommt, in diesem Fall findet eine Abwertung statt.
Es handelt sich also um Terme, welche nicht auszeichnend für die in dem Dokument befindliche
Information sind. Solche Terme bewegen sich in die Richtung der Stoppworte,
welche im Abschnitt 2.2.1 beschrieben wurden.
Der zweite Faktor heißt Termfrequenz tf(t) und gibt die Anzahl der Vorkommnisse des
Terms in dem Dokument an. Je häufiger ein Term in einem Dokument vorkommt, umso
wichtiger ist es für das Dokument.
Das Termgewicht w für den Term t nach der TF-IDF-Methode im VRM wird als Produkt
aus der Termfrequenz mit der inversen Dokumentenfrequenz nach der folgenden Formel
berechnet.
N
wt = tf(t)∗log
df(t)
Das VRM ist benutzerfreundlich, weil es die natürliche Sprache direkt für die Suche verwenden
lässt und keine Sprachelemente erfordert. Die Gewichtung der Terme erlaubt das
Ranking nach der Relevanz der Ergebnisse und die Formulierung von gewichteten Anfragen.
Neue Dokumentensammlungen können direkt nach dem Indizierungsprozess für den
Retrieval Prozess eingesetzt werden. [Lew05, Fuh11]
Da keine Operatoren existieren, erfordert eine sinnvolle Anfrage relativ viele Suchbegriffe.
Aus demselben Grund ist ein Ausschließen von Suchbegriffen nicht möglich, was in der
booleschen Logik mit dem Komplement einfach realisiert ist. [Lew05]
Probabilistisches Modell
Bei dem probabilistischen Retrieval Modell wird die Fragestellung, wie relevant das Dokument
für dieAnfrage ist, beantwortet. Die Relevanz unter der Bedingung, dass die Anfrage
unddas Dokument vorliegen, kann mithilfe der Formel von Bayes berechnet werden. Dafür
muss die Unabhängigkeit der Dokumente untereinander vorausgesetzt werden [Fer03]. Der
Nutzer ordnet die Dokumente als relevant auf der Grundlage bereits angesehener Texte
ein. Das probabilistische Modell berechnet stets die Relevanz, die der Algorithmus vorgibt,
so dass der subjektive Einfluss durch die Unabhängigkeit nicht einbezogen werden kann
[Sto07].
Die Umsetzung dieses Modells erfordert mindestens zwei Suchanfragen für das Generieren
des Suchergebnisses. Der Algorithmus erfordert für die Berechnungen die Wahrscheinlichkeit
der Relevanz unter der Bedingung, dass das Dokument vorliegt. Diese Wahrscheinlichkeit
liegt zunächst nicht vor und kann erst im initialen Durchlauf ermittelt werden. Im
zweiten Schritt kann nach dem Feedback des Nutzer oder automatisiert durch Pseudo-
Feedback des System der zweite Durchsuchungsschritt gestartet werden. Der Nachteil
dabei ist, dass der Nutzer, die für ihn relevanten Dokumente nicht notwendig in den
Top-Ergebnissen findet. Bei dem Feedback durch das System geht die subjektive Relevanz
verloren, was zu stark verfälschten Ergebnissen aus der Sicht des Nutzers führen kann.
[Sto07]
In der Tabelle 2.5 sind die wichtigsten Kriterien der vorgestellten Modelle zusammenfassend
dargestellt. Alle hier vorgestellten IRMs, bis auf das boolesche Modell, geben eine geordnete
Dokumentenliste aus. Das bedeutet insbesondere, dass das Ergebnis eines solchen