Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

5 Evaluation
Aus einer Gruppe mit den 3 Begriffen: Hund, Katze, Fisch würden sich beispielsweise
drei Assoziationspaare ergeben: Hund ↔ Katze, Hund ↔ F isch,
Katze ↔ F isch.
Die Gruppen, die sich durch das Card-Sorting-Experiment gebildet haben, ergeben
dabei die Menge an relevanten Assoziationspaaren. Die Ergebnisse des semantsichen
Clusterings bilden die Menge an gefundenen Assoziationspaaren. Wobei auch nicht
relevante Assoziationspaare enthalten sein können. Aus der Schnittmenge beider
Mengen ergeben sich die gefundenen relevanten Assoziationspaare.
Aus den Betrag der Mengen lassen sich wie folgt die Maße Recall, Precision und
F-Measure berechnen:
Trefferquote:
Recall =
|{relevante Assoziationspaare} ∩ {gefundene Assoziationspaare}|
|{relevante Assoziationspaare}|
(5.1)
Der Recall ist eine Kennzahl für die Vollständigkeit und gibt an, wieviel Prozent
der relevanten Assoziationspaare gefunden wurden.
Genauigkeit:
P recision =
|{relevante Assoziationspaare} ∩ {gefundene Assoziationspaare}|
|{gefundene Assoziationspaare}|
(5.2)
Die Precision gibt an, wieviel Prozent der gefundenen Assoziationspaare relevant
sind und ist somit eine Kennzahl für die Genauigkeit des Verfahrens.
Harmonisches Mittel [Yang und Liu, 1999]:
F − Measure =
2 ∗ P recision ∗ Recall
P recision + Recall
(5.3)
Das F-Measure wird als harmonisches Mittel aus Precision und Recall berechnet
und beim Vergleich als Qualitätsmaß verwendet.
27