Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8 Evaluation
Evaluation: Das Unwichtigste läßt sich am genauesten messen.
Aber wie stellt man fest, was wichtig ist?
Es ist das, was übrigbleibt, wenn alles gemessen wurde.
(Rainer Kohlmayer)
Ziel dieses Kapitels ist es, die Evaluation der Leistungsfähigkeit des in dieser Arbeit entwickelten
Handschriftsuchsystems zu beschreiben. Hierzu werden im ersten Abschnitt (8.1) die
grundlegenden Größen erklärt, die für eine solche Evaluation von Interesse sind. Insbesondere
handelt es sich hierbei um eine Reihe von Qualitätsmaßen. Im sich daran anschließenden
Abschnitt 8.2 wird die für die Evaluation benötigte Datenbasis dargestellt und Abschnitt 8.3
schließlich beschreibt das konkrete Vorgehen bei der Ermittlung der Leistungsfähigkeit des in
dieser Arbeit entwickelten Systems. Die Resultate dieser Evaluation finden sich im folgenden
Kapitel 9.
8.1 Grundlagen
Im Bereich des Information Retrieval gibt es eine Reihe von Qualitätsmaßen zur Beurteilung
unterschiedlicher Systeme in Hinblick auf ihre Leistungsfähigkeit, relevante Dokumente
aufzufinden. Häufig verwendete Quälitätsmaße sind die Treffergenauigkeit (engl. precision)
und die Vollständigkeit der Treffer (engl. recall). Ein weiteres relevantes Qualitätsmaß ist der
Fallout-Wert [Rij79, Fra92, MKSW99, Sch04].
Die Grundlage dieser Qualitätsmaße bildet die Überlegung, dass ein Retrievalsystem auf
eine Suchanfrage für die Menge D aller durchsuchten Dokumenten eine Ergebnismenge A (A ⊂
D) aller Treffer liefert. Aus Sicht des Benutzers existiert eine Menge B (B ⊂ D) der für diese
Suchanfrage relevanten, das heißt, erwarteten Dokumente. Die Komplemente der Mengen A
und B, also die Menge der nicht gefundenen beziehungsweise nicht relevanten Dokumente,
werden mit Ā und ¯B bezeichnet. Die oben erwähnten Qualitätsmaße Precision, Recall und
Fallout lassen sich mit Mitteln der Mengenlehre wie folgt formulieren:
precision =
|A ∩ B|
|A|
recall =
|A ∩ B|
|B|
f allout = |A ∩ ¯B|
|¯B|
= |A\B|
|¯B|
(8.1)
(8.2)
(8.3)
Diese drei Werte bewegen sich im Intervall [0...1] und werden bisweilen auch als Prozentwerte
angegeben. Die Precision beschreibt das Verhältnis der Anzahl korrekter Treffer
99