Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8 Evaluation
Mittelwert über alle FRR(n):
FRR = 1
N
N
∑ FRR(n) «
n=1
In Anlehnung an dieses Vorgehen soll für die Evaluation des hier entwickelten Retrievalsystems
gelten:
precisionn(τ) =
recalln(τ) =
Zahl korrekter Treffer bei Suche nach Dokumenten von Person n
Zahl aller Treffer bei Suche nach Dokumenten von Person n
(8.8)
Zahl korrekter Treffer bei Suche nach Dokumenten von Person n
Zahl der erwarteten Treffer bei Suche nach Dokumenten von Person n (8.9)
Hierbei seien precisionn(τ) und recalln(τ) die Precision und der Recall für einen Schreiber
n. Der Funktionsparameter τ ist der Toleranz- oder Schwellwert für die Anfrage (vgl. Kapitel
6). Für N verschiedene Schreiber ergeben sich damit die globalen Präzisions- und Recallwerte
wie folgt:
precision(τ) = 1 N
N ∑ precisonn(τ) (8.10)
n=1
recall(τ) = 1 N
N ∑ recalln(τ) (8.11)
n=1
Die Precision und der Recall als Funktionen des Parameters τ lassen sich als Graphen in
Diagrammen darstellen. Dadurch ist zum einen der Einfluss des Schwellwertes τ auf diese
Qualitätsmaße erkennbar, zum anderen ist hierdurch ein Vergleich unterschiedlicher Retrievalsysteme
möglich. Abbildung 8.2 (links) zeigt das Beispiel eines solchen Diagramms für
zwei verschiedene Retrievalsysteme, dargestellt als durchgezogene beziehungsweise gestrichelte
Kurven.
Der Schnittpunkt der Precision- und Recall-Kurve des jeweiligen Retrievalsystems entspricht
etwa dem EER-Punkt 1 (engl. equal error rate) biometrischer Systeme, mit dem Unterschied,
dass ein biometrisches System als umso besser gilt, je kleiner der EER-Wert ist,
während für Retrievalsysteme möglichst hohe Werte der Precision und des Recalls im Schnittpunkt
wünschenswert sind. Im Beispiel in Abbildung 8.2 wäre daher das System 1 besser als
das System 2.
Die rechte Seite der Abbildung 8.2 zeigt die Precision als Funktion des Recalls. Diese
Art der Darstellung wird als Precision-Recall-Diagramm bezeichnet 2 [Rij79, S. 115] und ist
1 Der EER-Punkt ist der Schnittpunkt der Fehlerkurven der FRR und FAR.
2 In der Literatur finden sich mitunter auch Diagramme, die den Recall in Abhängigkeit von der Precision
darstellen, und die als Recall-Precision-Diagramme bezeichnet werden [Mal06].
102