Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8 Evaluation
(korrekt positiv) zur Anzahl aller Treffer. Der Recall ist das Verhältnis der Anzahl der korrekten
Treffer zur Anzahl aller erwarteten Treffer. In einer alternativen Deutung beschreibt
die Precision die bedingte Wahrscheinlichkeit, dass ein zufällig ausgewähltes Element x aus
der Menge A aller gefundenen Dokumente auch Element der Menge B aller erwarteten Dokumente
ist. Umgekehrt beschreibt der Recall die bedingte Wahrscheinlichkeit eines zufällig
ausgewählten Elementes x aus B, auch Element in A zu sein.
precision =
P(x ∈ A ∩ B)
P(x ∈ B|x ∈ A) =
P(x ∈ A)
recall =
P(x ∈ A ∩ B)
P(x ∈ A|x ∈ B) =
P(x ∈ B)
(8.4)
(8.5)
Eine hohe Precision bedeutet, dass nur wenige der von einem Retrievalsystem gefundenen
Dokumente aus Sicht des Benutzers irrelevant sind und ein hoher Recall bedeutet, dass
nur wenige relevante Dokumente bei einer Suche nicht gefunden wurden. Es ist unmittelbar
einsichtig, dass die Güte eines Retrievalsystems umso höher ist, je höher die beiden Qualitätsmaße
Precision und Recall sind. Wie sich im weiteren Verlauf dieses Kapitels zeigen wird,
besteht zwischen beiden Qualitätsmaßen ein Zusammenhang, der dazu führt, dass beide Werte
nicht unabhängig voneinander betrachtet werden dürfen. Es ließe sich beispielsweise leicht
ein Retrieval-System konstruieren, welches alle Dokumente der Menge D als Ergebnis liefert
(d. h. A = D) und somit einen Recall von 1 beziehungsweise 100 % hätte. Die Precision eines
solchen Systems wäre sehr gering, ebenso wie der Nutzen für den Anwender.
Der Fallout gibt das Verhältnis der Anzahl der irrelevanten Treffer zur Gesamtzahl aller
irrelevanten Treffer an. Dieses Qualitätsmaß drückt also die bedingte Wahrscheinlichkeit aus,
dass irgendein irrelevantes Dokument x fälschlicherweise gefunden wird:
f allout = P(x ∈ A|x ∈ ¯B) (8.6)
Ein Retrievalsystem gilt als umso besser, je kleiner der Fallout ist. In Abbildung 8.1 sind
die drei Qualitätsmaße in 3-Mengen-Venn-Diagrammen [Edw04] als Verhältnis der jeweils
dunkleren grauen Fläche zur Summe beider grauen Flächen dargestellt.
Um die Bewertung eines Retrievalsystems mittels der Qualitätsmaße Precision und Recall
unter Berücksichtigung des oben skizzierten Zusammenhangs zwischen beiden Werten zu
vereinfachen, wird in der Literatur häufig der F-Wert oder, präzizer, der F1-Wert (engl. F1measure)
herangezogen, welcher laut [YL99, Ren04] erstmals in [Rij79] verwendet wurde.
Dabei handelt es sich um den harmonischen Mittelwert aus Precision und Recall:
F1 =
2 × precision × recall
precision + recall
(8.7)
Während bei den meisten Retrievalsystemen das Auffinden von Dokumenten mit bestimmten
Eigenschaften im Vordergrund steht, zielt das in dieser Arbeit entwickelte System auf das
Auffinden von Teilen von Dokumenten, das heißt von Textstellen (Worte, Teilworte, Wortgruppen,
Symbole, . . . ) innerhalb von Handschriftdokumenten ab, woraus folgt, dass zur Bewertung
der Güte des Retrievalsystems auch die Fähigkeit untersucht wird, fehlerfrei alle
100