PDF 1.392kB - Hochschule Ulm

Ergebnisse
5.4 Erprobung der semantischen Suche
Um einen groben Überblick zu erhalten, wie sehr die Suchergebnisse mit der
semantischen Suche des entwickelten Systems von den herkömmlichen
Suchergebnissen abweichen, wurde stichprobenartig getestet. Dabei wurde
sowohl die semantische Suche, als auch die normale Suche mit dem entwickelten
System durchgeführt. Es wurde keine Domäne bestimmt und als Dateiformat
wurde HTML ausgewählt. Es wurde nach Dokumenten aus
Deutschland in deutscher Sprache gesucht, wobei die strikte Sprachfilterung
aktiviert war.
Die eingegebenen Suchbegriffe wurden rein willkürlich und ohne zugrunde
liegendes Konzept gewählt. Daher kann dies nicht als repräsentative Evaluation
gesehen werden. Es wurden jedoch stets nur Begriffe gewählt, welche
bei der semantischen Suche auch semantische Informationen einbringen, da
andernfalls die Ergebnismengen identisch sind. Prinzipiell wurden dabei
zum Einen medizinische Fachbegriffe, Befunde und Symptome, zum Anderen
auch technische, abstrakte, gesellschaftliche und Laienbegriffe genutzt.
Die Suchergebnisse wurden nicht auf inhaltliche Relevanz hin untersucht.
Der durchgeführte Test verschafft lediglich einen groben Überblick über die
Abweichungen in den Suchergebnismengen.
Dafür wurde zum Einen die Überscheidung der Suchergebnisse von 20 Anfragen,
in den ersten zehn Suchergebnissen gemessen, da, wie in Kapitel
2.5.3 beschrieben, meist nur diese von Nutzern gesichtet werden. Es wurde
untersucht, wie oft die Ergebnisse generell übereinstimmen und wie oft diese
gleich gerankt sind. Als Messgröße wurde hier der Median gewählt, da
dieser prinzipiell von Extremwerten kaum beeinflusst wird und sich daher
zur Beurteilung von unsymmetrischen und schiefen Verteilungen eignet. Bei
der Überschneidung der Suchergebnisse ergab sich ein Median von 4, beim
Ranking ein Median von 1. Die Ergebnisse werden in Tabelle 12 dargestellt.
Die konkreten Ergebnisse dieses Tests sind in Anhang I einsehbar.
65