Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

8 Evaluation
Im Bereich der off-line-basierten Suche in Handschriftdokumenten wäre die Verfügbarkeit
an passenden Datenbanken weitaus höher. So existiert mit der IAM-Handwriting-Database
[MB99, ZB00], bestehend aus 1.500 Seiten gescannten Textes von 500 verschiedenen Schreibern
eine außergewöhnlich umfangreiche Basis für statistisch signifikante und miteinander
vergleichbare Tests verschiedener Systeme zur Texterkennung oder -suche. Darüberhinaus ist
es im off-line Bereich weitaus einfacher, selbst solche Datenbanken zu erstellen, da handschriftliche
Dokumente auf Papier im Alltag weit verbreitet sind [SHS05] und zudem viele
Bibliotheken historische Manuskripte archivieren [RKL + 02, RM03, GX04, BKD + 04].
Eine Ausnahme unter den frei verfügbaren on-line Handschriftdatenbanken stellt die IAM-
OnDB Datenbank [LB05b, LB05a] des Institutes für Informatik und angewandte Mathematik
der Universität Bern dar. Diese Datenbank besteht aus Sätzen, die dem LOB Corpus [JNLG78]
entstammen und an einem Whiteboard geschrieben wurden. Die Datenerfassung erfolgte mit
dem eBeam System [Lui07] der Firma Luidia (siehe Abschnitt 3.3). Insgesamt 221 Personen
schrieben zusammen mehr als 82.000 Worte, wobei darauf geachtet wurde, dass die Personen
jeweils möglichst viele verschiedene Worte schrieben, was umgekehrt bedeutet, dass die
einzelnen Personen kaum Worte wiederholten. 5 Dieser Umstand, der diese Datenbank möglicherweise
für das Trainieren von Handschrifterkennungssystemen besonders geeignet macht
[LB06], führt dazu, dass eine Suche nach wiederholten Wortvorkommen ein und derselben
Person nur in wenigen Fällen möglich ist.
Aus Mangel an geeigneten, öffentlich verfügbaren Datenbanken wurde für diese Arbeit eine
eigene Sammlung von handschriftlichen on-line Dokumenten erstellt. In der Anfangszeit wurden
die Testpersonen gebeten, Texte ihrer Wahl aus Zeitschriften oder Büchern abzuschreiben
oder eigene Texte zu verfassen. Später diente ein systematischerer Testplan (siehe Anhang
B) als Grundlage für die Schriftdatenerfassung. Als Geräte zur Erfassung der Schreibsignale
dienten Schreibgeräte, die auf Basis dreier verschiedener physikalischer Effekte die Stiftposition
bestimmen: die optische Erfassung der Schreiboberfläche (io Personal Digital Pen
[Log07] der Firmal Logitech; siehe Abschnitt 3.1), die Messung der Laufzeitverzögerung des
Schalls (PC Notes Taker [Peg07] der Firma Pegasus Technologies; siehe Abschnitt 3.3) sowie
die Nutzung des elektromagnetischen Feldes einer speziellen Schreibunterlage (DigiMemo
Digital Notepad [ACE07] der Firma ACE CAD; siehe Abschnitt 3.2). Für den einfachen Zugriff
auf die Rohdaten der so erfassten Handschriftdaten wurden diese in einer Datenbank
gespeichert. Das Datenmodell dazu ist in Anhang C näher beschrieben.
Um die Evaluation des hier vorgestellten Retrievalsystems mittels der erstellten Dokumentdatenbank
automatisieren zu können, ist es nötig, ein bestimmtes apriorisches Wissen, die so
genannte Ground-Truth, zu definieren. Das heißt, es müssen für alle in der Evaluation gestellten
Suchanfragen die erwarteten Treffer, also die relevanten Textstellen manuell ausgezeichnet
werden. Hierfür kommt ein Zusatzmodul des Retrievalsystms zum Einsatz, das in Abbildung
8.4 dargestellt ist. Zu sehen ist ein handschriftliches Dokument. Hervorgehoben sind die Positionen
einer Auswahl von Wörtern.
Die Ground-Truth-Informationen 6 für alle im Test verwendeten Suchanfragen sind in ei-
5 »To acquire a database of handwritten sentences contained in the corpus we split the texts in the corpus into
fragments of about 50 words each. [. . . ] To make sure that many different word samples are obtained from
each writer, we have chosen these [. . . ] texts from different text categories in the LOB corpus.« [LB05b]
6 Dokumentenkennung und Start- und Endzeitpunkt aller Vorkommen von für die Suche relevanten Worten,
106