Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

9.6 Zusammenfassung
Das System von Poon et al. in [PWC95] wurde mit einem eher ungewöhnlichen Korrektheitsmaß
(matching accuracy) A = (T P − 0.5(FP)/P) evaluiert 3 und erreichte einen Wert
von A = 75,2%. Da klassische Maße wie Precision und Recall oder der F1-Wert nicht angegeben
wurden, ist ein Vergleich dieses Verfahrens mit anderen nicht möglich.
Zum Vergleich dieser Verfahren aus der Literatur mit dem in der vorliegenden Arbeit entwickelten
Retrievalsystem sind in Abbildung 9.11 und in Tabelle 9.11 für jeden verwendeten
Gerätetyp die entsprechenden Precision-Recall-Kurven beziehungsweise F1- und AUC-Werte
der besten Parametrisierungen für das System mit und ohne Fusion dargestellt.
Precision
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
Legend
writer1
writer2
writer3
writer4
writer5
writer6
writer7
writer8
writer9
writer10
Lopresti et al.
Lopresti &
Tomkins [9] -->
Proposed
Algorithm -->
0 0.2 0.4 0.6 0.8 1
Recall
Abbildung 9.12: Originales Precision-Recall-Diagramm des Verfahrens von Jain und Namboodiri
aus [JN03]
9.6 Zusammenfassung
Die Resultate in diesem Kapitel belegen die generelle Funktionsfähigkeit des in dieser Arbeit
entwickelten Suchsystems für Handschriftdaten. Im Rahmen der verwendeten Testdokumente
erwies sich das System als mindestens ebenbürtig, im Vergleich zu verwandten, in der Literatur
veröffentlichten Verfahren; in Teilen überstieg seine Leistungsfähigkeit sogar die der
anderen Verfahren.
Eine genauere Betrachtung der untersuchten Merkmalstypen zeigt jedoch große Unterschiede
hinsichtlich der mit ihnen erzielbaren Resultate. Während etwa mit Hilfe des Merk-
3 »TP is the number of true positive matches, FP is the number of false positives, and P is the correct total
number of matches.« [PWC95]
135