Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

9.5 Resultate verwandter Suchverfahren
dargestellt. Zu erkennen sind die verschiedenen Parametereinstellungen der Gitterweite wg =
7, 10, 20, 35 (dargestellt durch verschiedene Punktsymbole). Pro Gitterweite entspricht jedes
Symbol einer Person. Wie in diesem Diagramm erkennbar ist, besteht kein offensichtlicher
Zusammenhang (etwa in Form einer direkten oder indirekten Proportionalität) zwischen
der Entropie H und dem optimalen Schwellwert, welcher eine automatische Bestimmung
H → τEER ermöglichen würde.
In Anhang G sind die entsprechenden Diagramme für die Geräteklassen ioPen, DigiMemo
und Notes Taker bei Verwendung der Merkmalstypen Quadrat- und Dreiecksgitter sowie
der lokalen Schriftrichtung und -krümmung, jeweils für verschiedene Parametereinstellungen,
dargestellt. Auch in diesen Diagrammen findet sich kein Hinweis auf eine Möglichkeit, die
individuellen Werte τEER automatisiert mittels der Entropie zu bestimmen. Somit scheint der
Versuch einer automatischen individuellen Schwellwertbestimmung auf diese Weise gescheitert
zu sein.
9.5 Resultate verwandter Suchverfahren
Ein Vergleich unterschiedlicher Verfahren und Systeme aus der Literatur im Bereich der
Handschriftsuche ist mit dem Problem konfrontiert, dass keine allgemein akzeptierte und
verbreitete Testbasis für die Evaluation der Systeme existiert. Daneben sind die konkreten
Implementierungen der anderen Forscher nicht öffentlich verfügbar. Ein drittes Problem stellt
die zum Teil unzureichende Veröffentlichung der vollständigen Testresultate in der Literatur
dar. In diesem Abschnitt wird dennoch versucht, die wenigen verwandten Resultate in einheitlicher
Art und Weise zu präsentieren, um einen Vergleich mit den eigenen Resultaten aus
den vorangegangenen Abschnitten zu ermöglichen.
Lopresti und Tomkins geben in [LT94] die Werte Precision und Recall ihres ScriptSearch-
Verfahrens (siehe 2.1.2) für verschiedene Schwellwertausprägungen an, woraus der F1- und
der AUC-Wert sowie die Precision-Recall-Kurve bestimmt werden können. Siehe hierzu Tabelle
9.11 und Abbildung 9.11 (gepunktete Kurve).
Jain und Namboodiri stellen in [JN03] die Resultate ihres Word-Spotting-Systems denen
von Lopresti und Tomkins gegenüber, indem sie ein Precision-Recall-Diagramm präsentieren,
welches auch in Abbildung 9.12 zu sehen ist. Zusätzlich geben sie für ihr eigenes System den
Mittelwert der Precision aller Schreiber mit 92,3 % bei einem Recall von 90 % an. Aus dem
in [JN03] präsentierten Diagramm (siehe Abbildung 9.12) lassen sich die Werte der einzelnen
Schreiber nicht sinnvoll bestimmen, sodass hier für das Verfahren von Jain und Namboodiri
auf eine »echte« Precision-Recall-Kurve in Abbildung 9.11 verzichtet werden muss. Stattdessen
wird ihr Verfahren in Abbildung 9.11 nur als singulärer Punkt dargestellt.
Im Falle des Suchverfahrens mittels Texterkennung von Perrone et al. [PRZ02, RPCZ02]
ist die Situation eine ähnliche wie bei Jain und Namboodiri. Auch hier sind die Resultate nur
in grafischer Form präsentiert worden, sodass eine direkte Übernahme ihrer Ergebnisse für
einen Vergleich schwerfällt. Aus den Diagrammen in [PRZ02] lassen sich jedoch Resulate
von etwa 70% sowie 90% (abhängig von der Länge der Suchanfragen) für die Precision und
den Recall abschätzen, welche ebenfalls jeweils in Form eines Punktes anstatt einer Kurve in
Abbildung 9.11 erscheinen.
133