Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8.3 Vorgehen bei der Evaluation
8.3.3 Automatische Bestimmung individueller Schwellwerte
Die in Abschnitt 8.1 beschriebenen Qualitätsgrößen Precision und Recall sowie die aus ihnen
abgeleiteten Werte AUC und F1 werden typischerweise dadurch ermittelt, dass ein System mit
denselben Schwellwerteinstellungen für die Suchanfragen aller Benutzer evaluiert wird. Es
wird also global für alle Benutzer der Einfluss des Ähnlichkeitsschwellwertes auf die Precision
und den Recall untersucht. In Abbildung 8.9 sind die individuellen Precision- und Recallkurven
als Funktionen des Ähnlichkeitsschwellwertes für 13 Schreiber der in dieser Arbeit
verwendeten Handschriftdatenbank dargestellt. Wie zu erkennen ist, gibt es keinen einzelnen
Schwellwert, der für die Suchanfragen aller Personen optimale Werte liefert. Stattdessen ergeben
sich für jenen Schwellwert, welcher insgesamt der beste für alle 13 Personen ist (der
Schnittpunkt der als gepunktete Linien dargestellten Kurven in Abbildung 8.9), für einzelne
Personen individuell sehr schlechte Resultate.
precision, recall
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
user: all
user: 2
user: 3
user: 5
user: 6
user: 9
user: 10
user: 12
user: 16
user: 24
user: 27
user: 29
user: 30
user: 31
o
o
o o
o o
o
o
o
0.4 0.42 0.44 0.46 0.48 0.5 0.52 0.54 0.56 0.58 0.6 0.62 0.64 0.66
o
similarity threshold
Abbildung 8.9: Precision und Recall als Funktion des Ähnlichkeitsschwellwertes, individuell
für 13 Personen aus der Testdatenbasis dargestellt
Durch das Auffinden individueller optimaler Ähnlichkeitsschwellwerte könnte die Gesamtperformanz
des Systems verbessert werden. Für eine Dokumentdatenbank einer begrenzten
Anzahl von Personen wäre es trivial, anhand von individuellen Precision-Recall-Schwellwert-
Kurvenpaaren den lokalen optimalen Schwellwert manuell einzustellen. Dies setzt jedoch das
Vorhandensein von entsprechendem a priori Wissen (Ground-Truth-Informationen) für die
o
o
o
113