Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

1
0
recall
precision
1
precision
system 1
system 2
8.1 Grundlagen
similarity threshold τ 1
recall
Abbildung 8.2: Grafische Darstellung der Precision und des Recalls zweier Retrievalsysteme
als Funktionen eines Ähnlichkeitsschwellwertes (links) sowie als Precision-
Recall-Diagramm (rechts)
verwandt mit den klassischen ROC-Kurven (engl. receiver operating characteristic), welche
für Klassifikatoren die Abhängigkeit der korrekt positiven von den falsch positiven Entscheidungen
visualisieren [Faw06, HMS01, S. 454]. Die Schnittpunkte der Kurven in diesem
Precision-Recall-Diagramm mit der Hauptdiagonalen (hier dargestellt als gepunktete Linie)
entsprechen den Werten der Schnittpunkte der Precision- und Recall-Kurven im linken Diagramm.
Jeder Punkt auf der Precision-Recall-Kurve eines Retrievalsystems entspricht einem anderen
Schwellwert τ. Um den Vergleich von Retrievalsystemen zu vereinfachen, werden oftmals
nur einzelne Größenwerte statt der kompletten Precision-Recall- oder ROC-Kurven herangezogen
3 ; zum einen die bereits erwähnten Schnittpunkte mit der Hauptdiagonale [HMS01, S.
455] und zum anderen die Flächen unter den Precision-Recall-Kurven (AUC, engl. area under
curve) [Faw06]. Beide Größen können einen Wert im Intervall [0,1] annehmen.
Für n diskrete Ähnlichkeitsschwellwerte τ1 bis τn seien precision(τ1) bis precision(τn) und
recall(τ1) bis recall(τn) die ermittelten Werte der Precision und des Recalls. Es gilt hierbei
und
0 ≤ precision(τ1) ≤ precision(τ2) ≤ ... ≤ precision(τn) ≤ 1 (8.12)
1 ≥ recall(τ1) ≥ recall(τ2) ≥ ... ≥ recall(τn) ≥ 0 (8.13)
mit 0 ≤ τ1 < τ2 < ... < τn ≤ 1. Die AUC einer Precision-Recall-Kurve, die durch n Ähnlich-
keitsschwellwerte τ1 bis τn definiert ist, kann wie folgt bestimmt werden:
AUC =
n 1
∑
i=0 2 ·
�
�
precision(τi) + precision(τi+1)
·
�
�
recall(τi) − recall(τi+1)
1
(8.14)
3 »To compare classifiers we may want to reduce ROC performance to a single scalar value representing expec-
ted performance.« [Faw06]
103