Aspekte der morphologischen Analyse des Deutschen - Universität ...

Kapitel 4: Ein Modell eines morphologischen Analysesystems
Suffix von Becken ist. Allgemeiner gefaßt enthält die Ausgabefunktion für einen Zustand s
neben dem Eintrag σ, der von s charakterisiert wird (s.u.) auch alle echten Suffixe von σ.
Beispiel 4.2: Analyse des Wortes „Staubecken“
Durchlaufene
Zustandsfolge:
Ausgegebene
Segmente:
0 7 8 9 10 11 13
(=f(11))
14 15 16 17 18
↓ ↓ ↓ ↓ ↓
s Stau Staub Ecke Becken,n
Aho/Corasick (1975) haben gezeigt, daß bei einer Wortlänge von n höchstens 2n Zustände 6
durchlaufen werden, d.h. das Durchlaufen der Automatenzustände ist von der Ordnung
O(n). Die aufwendigste Operation des Algorithmus 4.1 ist die mit { *1* } gekennzeichnete
Zeile. Im schlechtesten Fall muß die Ausgabefunktion für einen Zustand Verweise für alle in
den Automaten eingefügten Morpheme ausgeben, d.h. der Algorithmus hat hierfür einen
Zeitbedarf, der linear proportional zur Summe der Längen aller eingefügten Verweise ist
(Aho/Corasick (1975), Theorem 3), wobei zu beachten ist, daß die Komplexität dieser Ausgabe
nicht von n, der Länge des zu analysierenden Wortes abhängt. Dieser schlechteste Fall
ist im Fall der Anwendung des Automaten für die morphologische Analyse sehr unwahrscheinlich
(dies hieße nämlich, daß es einen Zustand s gibt, der eine Zeichenkette z charakterisiert,
die alle Lexeme des Deutschen als Suffixe enthält).
Eine weitere Frage ist noch zu klären: Ein Kriterium für die Konzeption des Analysemodells
war, es auf einem der bekannten Automatenmodelle zu basieren, vorzugsweise auf dem
Modell endlicher Automaten. Die failure-Funktion des segmentierenden Automaten scheint
nun aus diesem Rahmen herauszufallen. Dies ist jedoch nicht der Fall, da es ohne weiteres
möglich ist, den Automaten mit seiner failure-Funktion in einen deterministischen endlichen
Automaten mit Ausgabefunktion umzuwandeln. Der entsprechende Algorithmus hierfür ist
in Anhang A wiedergegeben. Der Grund, warum diese Determinisierung des Segmentierers
nicht durchgeführt wird, ist der, daß sich dadurch die Anzahl der Zustandsübergänge stark
erhöhen kann. Dies ist ein Umstand, der für das ursprüngliche Problem der Suche mit einer
relativen kleinen Menge von Schlüsselwörtern in einem größeren Text ohne Relevanz ist,
beim Problem von sehr vielen Schlüsselwörtern (in der Größenordnung einiger zehntausend)
jedoch deutlich zu Buche schlagen kann. Beispiel 4.3 veranschaulicht die deterministische
Version des Automaten aus Abb. 4.1. Die Determinisierung kommt durch Ausrechnen
des Gesamteffekts der failure-Funktion zustande.
Beispiel 4.3: Der Automat aus Abb. 4.1 als deterministischer Automat
Die zu einer Relation umgewandelte δ-Funktion des deterministischen Automaten weist bei
einem Alphabet S={ a-z, ä, ö, ü, ß, - } 744 Tupel auf, davon führen 132 zu Zuständen ungleich
0. Demgegenüber enthalten goto- und failure-Funktion des Beispielautomaten zusammen 72
Tupel, also ca. 1/10 davon. Die Ausgabefunktion ist in beiden Fällen gleich.
6 Diese Zahl setzt sich zusammen aus n goto–Übergängen und höchstens n Aufrufen der failure–
Funktion, da für jeden Zustand s der Zustand f(s) dem Startzustand „näher“ ist als s selbst.
98