Boolesche- und Vektorraum- Modelle Retrieval Modelle Klassen ...

Das Vektorraum-Modell
• Gehe davon aus, das t eindeutige Terme nach der
Vorverarbeitung bleiben; nenne sie Indexterme oder das
Vokabular.
• Diese “orthogonalen” Terme spannen einen Vektorraum
mit Dimension t auf.
• Jedem Term i in einem Dokument oder einer Anfrage j
wird ein reellwertiges Gewicht w ij. zugeordnet (im
einfachsten Fall die Anzahl des Auftretens von i in j).
• Sowohl Dokumente als auch Anfragen werden als
t-dimensionale Vektoren ausgedrückt:
d j = (w 1j , w 2j , …, w tj )
Grafische Darstellung
Beispiel:
D 1 = 2T 1 + 3T 2 + 5T 3
T 3
D 2 = 3T 1 + 7T 2 + T 3
Q = 0T 1 + 0T 2 + 2T 5
3
D 1
= 2T 1
+ 3T 2
+ 5T 3
2 3
T 1
D 2
= 3T 1
+ 7T 2
+ T 3
Q = 0T 1
+ 0T 2
+ 2T 3
T 2
7
•IstD 1
oder D 2
zu Q ähnlicher?
• Wie messe ich den Grad der
Ähnlichkeit? Abstand? Winkel?
Projektion?
13
14
Dokumentensammlung
• Eine Sammlung von n Dokumenten kann im
Vektorraummodell durch eine Term-Dokument-Matrix
dargestellt werden.
• Ein Eintrag in der Matrix entspricht dem “Gewicht” eines
Terms in dem Dokument; Null heisst, dass der Term im
Dokument keine Bedeutung hat oder dass er im Dokument
einfach nicht vorkommt.
T 1 T 2 …. T t
D 1 w 11 w 21 … w t1
D 2 w 12 w 22 … w t2
: : : :
: : : :
Termgewichte: Termhäufigkeit
• Häufigere Terme in einem Dokument sind
wichtiger, d.h. indikativer für das Thema.
f ij = Häufigkeit von Term i in Dokument j
• Man kann Termhäufigkeit (tf) über den gesamten
Korpus normalisieren mit:
tf ij = f ij / max k,l {f kl }
D n w 1n w 2n … w tn
15
16