Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8.2 Datenbank
Für die Evaluierung der verschiedenen Varianten (Merkmalstypen und Parametrisierungen)
des in dieser Arbeit entwickelten Handschriftsuchsystems im folgenden Kapitel sollen die
Größen precision(τEER), recall(τEER), F1 und AUC bestimmt werden.
8.2 Datenbank
Zur Ermittlung der zuvor beschriebenen Qualitätsmaße für das in dieser Arbeit entwickelte
Retrievalsystem wurde eine möglichst umfangreiche Sammlung von handschriftlichen online
Dokumenten benötigt, also eine Testdatenbank. Um für diese Zwecke geeignet zu sein,
muss eine Datenbank Textdokumente enthalten, in denen eine größere Anzahl von Worten,
Wortgruppen, gezeichneten Symbolen und ähnlichen Eingaben wiederholt vorkommen, sodass
nach diesen Wiederholungen gesucht werden kann. Des Weiteren dürfen diese Datenbanken
nicht zu klein sein, damit die Evaluation eine statistische Signifikanz aufweist. In der
Literatur sind eine Reihe von verfügbaren Handschriftdatenbanken erwähnt, die jedoch für
andere Zwecke erstellt wurden und für eine Evaluierung des hier vorgestellten Systems aus
verschiedenen Gründen zumeist nicht geeignet sind.
Ein Teil der Datenbanken diente primär der Evaluierung von biometrischen Systemen zur
stiftbasierten Authentifikation 4 , etwa die mit einer Videokamera erfasste Signaturdatenbank
von Munich et al. [MP98], die PlataSign-Datenbank von Vielhauer et al. [ZV03, Vie04,
SWV06], die Datenbanken des Wettbewerbs SVC 2004 (engl. Signature Verification Competition)
[YCX + 04], die eNTERFACE’05-Biometrie-Datenbank [SPC + 05] oder der MYCT-
Baseline-Corpus [OFS + 03, FFOG06].
Andere öffentliche Handschriftdatenbanken bestehen nur aus separaten Buchstaben und
Worten, jedoch nicht aus kompletten Texten. Beispiele sind die train_r01_v07 Datenbank
[GSP + 94] des UNIPEN-Projektes, die Pendigits-Datenbank [AA96, AA01] oder die IRON-
OFF Datenbank [VGLBK99]. Ziel dieser Datenbanken ist das Trainieren von Handschrifterkennungssystemen.
Eine möglicherweise für den Zweck der Evaluierung des Retrievalsystems nützliche Quelle
für Handschriftdokumente ist das Nakagawa Laboratory der Universität Tokio (TUAT – Tokyo
University of Agriculture & Technology). Dort entstanden zwei Datenbanken (Kuchibue
und Nakayosi), die Schriftproben von 120 beziehungsweise 163 Personen enthalten [JN01,
OKON04, ON05]. Da jedoch die Texte mehrheitlich in japanischer Sprache und entsprechender
Schrift verfasst sind (Abschriften aus japanischen Zeitungen), hat der Autor dieser Arbeit
keine Möglichkeit, sinnvoll Suchanfragen zu stellen und die Resultate einer Suche zu bewerten,
weswegen diese Datenbanken für die Evaluation in dieser Arbeit nicht verwendet werden
können.
Das von Jain und Namboodiri in [JN03] vorgestellte System zur Handschriftsuche wurde
von den Autoren mit einer eigenen Datenbank getestet, die jedoch nicht öffentlich verfügbar
ist. Zudem war die Datenbank, bestehend aus 3.872 Worten, aufgezeichnet von einer einzigen
Person, sehr klein. Ähnliches gilt für die Datenbasis in [LT94], die aus Handschriftdaten von
lediglich zwei Personen besteht und ebenfalls nicht öffentlich ist.
4 Verifikation oder Identifikation von Personen anhand ihrer Unterschrift, individuellen oder vorgegebenen Ziffernfolgen,
Symbolen oder ähnlichen Eingaben.
105