Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8 Evaluation
Hierbei wird die Fläche unter der Precision-Recall-Kurve als Summe von Teilflächen in
Trapezform berechnet. Die Werte für τ0 und τn+1 sollen mit 0 beziehungsweise 1 festgelegt
sein. Weiterhin gelte precision(0) = recall(1) = 0 und precision(1) = recall(0) = 1. Alternativ
lässt sich die Fläche auch durch eine Zerlegung in Rechtecke annähern, wobei die
Resultate dabei pessimistischer sind als bei der Trapezmethode:
AUC ′ =
n
�
�
∑ precision(τi) · recall(τi) − recall(τi+1)
i=1
(8.15)
Grafisch werden beide Methoden in Abbildung 8.3 veranschaulicht. Die Trapezmethode ist
im linken Diagramm, die Rechteckmethode im rechten Diagramm dargestellt.
1
precision
τ
n
τ
n−1
...
τ 3
τ
2
recall
τ
1
1
1
precision
AUC AUC’
Abbildung 8.3: Berechnung der Fläche unter einer Precision-Recall-Kurve mittels der Trapezund
der Rechteckmethode
Der erwähnte Schnittpunkt einer Precision-Recall-Kurve mit der Hauptdiagonalen lässt sich
nicht in jedem Fall exakt bestimmen, da bei lediglich endlich vielen Suchanfragen sich die
Werte der Precision und des Recalls auch bei kontinuierlich steigenden Ähnlichkeitsschwellwerten
in diskreten Schritten verändern. Der Schnittpunkt kann jedoch dadurch approximiert
werden, dass für jenes Precision-Recall-Paar einer Kurve, welches der Hauptdiagonalen am
nächsten liegt, der F1-Wert bestimmt wird; das der Hauptdiagonalen am nächsten liegende
Precision-Recall-Paar minimiert den Wert |precision − recall|.
mit
104
F1 = 2 × precision(τEER) × recall(τEER)
precision(τEER) + recall(τEER)
τ
n
τ
n−1
...
τ 3
τ
2
recall
τ
1
1
(8.16)
τEER = argmin|precision(τ)
− recall(τ)| (8.17)
τ