Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

5 Evaluation
äquivalentes Ergebnis zu denen des Card-Sorting-Experiments zu erhalten. Bei
dem ersten Set konnten die höchsten Übereinstimmungen mit den menschlichen
Gruppierungen erreicht werden. Auf der Datengrundlage des DWDS-Korpus konnte
sogar eine 100% Übereinstimmung erreicht werden. Die beste Suchmaschine mit
einem F-Measure-Wert von 80,37% war in diesem Fall Altavista unter Verwendung
des NEAR-Opertators. Auch beim dritten Set, welches per Zufall generiert
wurde und auch für Menschen schwierig zu gruppieren war, erzielte Altavista
mit NEAR-Operator immerhin noch einen F-Measure-Wert von 56,82%. Die
Anwendung des Verfahrens auf das Set mit den Menüelementen erzielte ein weniger
gutes Ergebnis. Die beste Gruppierung mit der höchsten Übereinstimmung erzielte
Altavista mit dem NEAR-Operator mit einen F-Measure von nur 30,37%. Dies
mag daran liegen, das die verwendeten Menübegriffe weit verbreitet sind und sehr
häufig in Anwendungsprogramme auftreten. Desweiteren werden durch die Begriffe
Funktionen der Software benannt. Ein Navigationsmenü einer Webseite lässt sich
durch das Verfahren wahrscheinlich besser gruppieren, da hier die Begriffe den
Inhalt der Webseite widerspiegeln.
Die Annahme, dass durch die Berechnung der Ähnlichkeit zweier Begriffe ein
besseres Ergebnis erzielt werden kann, bewahrheitete sich nicht. In allen Fällen
erwies sich die Einbeziehung der Ähnlichkeit als unvorteilhaft, wie in der Tabelle
5.2 zu sehen ist. Die Gründe hierfür müssen noch untersucht werden.
Set1 (Alltag) Set2 (Menü) Set3 (Zufall)
Altavista (NEAR) Maß PAF PAF PAF
F-Measure 39,25% 26,67% 55,10%
Exalead (NEAR) Maß LLR PAF LLR
F-Measure 56,07% 28,09% 36,67%
DWDS Maß PAF – –
F-Measure 56,60% – –
Tabelle 5.2: Ergebnisse unter Einbeziehung der Ähnlichkeitsberechnung
Tabelle 5.3 zeigt die Unterschiede zwischen den Ergebnissen von Altavista bzw.
Exalead mit und ohne den NEAR-Operator. Es ist zu erkennen das sich deutlich
bessere Ergebnisse unter Verwendung des NEAR-Operators erzielen lassen. Am
stärksten fällt dieser Unterschied bei der Suchmaschine Exalead mit dem ersten
Set auf. Hier erreichte die Verwendung des NEAR-Operators einen um 16,1
Prozentpunkte höheren F-Measure-Wert. Dadurch konnte gezeigt werden, dass
der Abstand, in dem die Begriffe innerhalb eines Dokumentes vorkommen, von
Bedeutung ist und begrenzt werden sollte, um ein exakteres Ergebnis zu erhalten.
29