Zusammenfassung - Otto-von-Guericke-Universität Magdeburg

9 Diskussion der Resultate
ioPen DigiMemo Notes Taker
w P R F1 AUC ms
doc P R F1 AUC ms
doc P R F1 AUC ms
doc
7 80.8 75.7 0.781 0.846 715 89.8 91.0 0.904 0.966 1112 58.0 69.0 0.630 0.683 723
10 71.8 72.8 0.723 0.805 401 88.8 91.8 0.902 0.965 631 61.9 59.9 0.609 0.659 397
15 75.3 69.1 0.721 0.785 192 91.0 92.3 0.916 0.971 305 60.1 59.8 0.599 0.641 185
20 61.4 69.3 0.651 0.729 112 84.8 88.5 0.866 0.948 182 58.6 57.9 0.582 0.626 101
25 61.4 60.4 0.609 0.652 82 87.0 80.8 0.838 0.923 137 56.4 57.4 0.569 0.607 70
30 51.5 55.2 0.532 0.567 64 78.3 83.3 0.807 0.894 113 51.3 56.1 0.536 0.568 54
35 41.9 49.3 0.453 0.488 48 71.8 69.8 0.707 0.802 89 48.0 53.3 0.505 0.528 41
Tabelle 9.2: Evaluationsmaße (P – Precision, R – Recall, F1 und AUC) und durchschnittliche
Suchdauer für Dreiecksgittermerkmale in Abhängigkeit von der Gitterweite w
F1-und den AUC-Wert, umso höher, je kleiner die Gitterweite ist. Auch ist erneut der Unterschied
der Werte zwischen den drei Gerätetypen erkennbar. Die vollständigen Leistungsdaten
sind in Anhang D.1, S. 147f sowie als Diagramme in Anhang E.1 zu finden.
Verglichen mit dem zuvor untersuchten Merkmalstyp basierend auf quadratischen Gittern
ist die Suchqualität mit dreieckigen Gittermerkmalen geringer. Im besten Fall betragen die
F1-Werte 0,781 (Precision: 80,8 %, Recall: 75,7 %), 0,916 (Precision: 91,0 %, Recall: 92,3 %)
und 0,63 (Precision: 58,0 %, Recall: 69,0 %) für die Gerätetypen ioPen, DigiMemo und Notes
Taker. Ein Grund hierfür könnte in der geringeren Fähigkeit von Dreiecksgittern liegen,
geometrische Formen auszudrücken, da nur sechs statt zuvor acht Richtungen unterschieden
werden können.
9.1.3 Lokale Schriftrichtung
Der Merkmalstyp, basierend auf der lokalen Schriftrichtung, besitzt zwei Parameter (siehe
Abschnitt 5.3). Zum einen ist dies der Abstand w der Abtastpunkte nach erfolgter äquidistanter
Neuabtastung. Der zweite Parameter ist der Quantisierungsgrad q des Winkels, welcher
die Schriftrichtung im jeweiligen Abtastpunkt beschreibt. Wie im Falle der beiden auf unterschiedlichen
Gitterformen (Quadrat- und Dreicksgitter) basierenden Merkmalstypen, wurden
hier für die Punktweite w der Neuabtastung Werte zwischen 7 und 35 Längeneinheiten gewählt.
Der Quantisierungsgrad q variierte zwischen 3 und 20. Aufgrund der Vielzahl möglicher
Parameterkombinationen wurde für die in Abbildung 9.3 (links) dargestellten Tests
zunächst der Quantisierungsgrad auf den Wert acht gesetzt, das heißt, es können hierbei acht
voneinander verschiedene Schriftrichtungen ausgedrückt werden. Dies entspricht der Anzahl
unterscheidbarer Richtungen in Quadratgittern. Wie für die gitterbasierten Merkmalstypen ist
ein starker Zusammenhang zwischen der Leistungsfähigkeit des Suchsystems und der Punktweite
erkennbar; je größer der Abstand zwischen zwei aufeinander folgenden Abtastpunkten
ist, umso geringer ist die Systemleistung. Die genauen Werte für F1 und AUC bei unterschiedlichen
Parametern w finden sich in Tabelle 9.3.
Um den Einfluss des Parameters q auf die Systemleistung zu untersuchen, wurden testweise
die Punktweite w fest auf den Wert 7 gesetzt, der für die Gittermerkmale zumeist die
besten Ergebnisse erbrachte. Die Ergebnisse dieser Tests sind in Abbildung 9.3 (rechts) sowie
120