Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

8. Implementierung von MT Analyser
8.1. Einbindung von TreeTagger
8.1.1. Satzerkennung und Reformatierung des Textes
TreeTagger verlangt, dass die zu taggenden Texte so formatiert sind, dass je ein Wort in
einer Zeile steht. Zu diesem Zweck werden alle an MT Analyser übergebenen Textdateien
zunächst mit Hilfe der Klasse Reformatter reformatiert und im neuen Format gespeichert.
Zwar umfasst TreeTagger auch einen Algorithmus, der einen Text in die einzelnen Wörter
und Satzzeichen zerlegt, jedoch zeigten sich hier bei der Erkennung gerade von Zahlen
und Abkürzungen einige leicht zu behebende Fehleinteilungen. Weil zudem einige Zeichen
in den Eingabedateien zwecks Vereinheitlichung der Zeichencodierung (es gibt u. a. verschiedene
Versionen von Gedankenstrichen) durch andere ersetzt werden müssen, wurde
ein eigener Algorithmus zur Reformatierung geschrieben, der jedes Wort bzw. Satzzeichen
in eine eigene Zeile schreibt.
Problematisch ist dabei vor allem der Umgang mit Punkten. Das Auftreten eines Punktes
alleine ist für ein Satzende kein hinreichendes Kriterium, weil ein Punkt auch zu einer
Abkürzung oder einer Ordinalzahl gehören kann. Über eine Liste mit über 300 gängigen
Abkürzungen werden Punkte herausgefiltert, die kein Satzende markieren. Wörter aus
nur einem Buchstaben, gefolgt von einem Punkt, werden ebenfalls als Abkürzungen betrachtet.
Überdies werden Zahlen kleiner als 100 sowie kleine lateinische Zahlen, denen
ein Punkt folgt, als Ordinalzahlen angesehen. Hier wäre sicherlich ein statistischer Ansatz
exakter als eine starre Grenzziehung, allerdings steht kein Material zur Verfügung, anhand
dessen sich ein Algorithmus mit höherer Genauigkeit schreiben ließe. In Tests traten
durch diese willkürliche Einteilung jedoch nur sehr selten Fehler auf.
8.1.2. Aufruf von TreeTagger
Die reformatierte Datei wird gespeichert und als Parameter zusammen mit der Zieldatei an
TreeTagger übergeben. TreeTagger verarbeitet dann die reformatierte Datei und speichert
den getaggten Text in der Zieldatei. Dazu musste unter Windows die auszuführende Batch-
Datei und in der Linux-/Solaris-Version von TreeTagger das auszuführende Shell-Skript
leicht abgeändert werden.
Der Aufruf aus MT Analyser erfolgt in der Methode execTreeTagger() in einem externen
Prozess über die in Java enthaltene Klasse ProcessBuilder. Zu unterscheiden ist an
dieser Stelle nach dem Betriebssystem, weil der Aufruf unter Windows anders funktioniert
als unter Linux-/Solaris-Systemen. Der folgende Codeausschnitt zeigt den Aufruf
von TreeTagger.
if(os.equals(OS_WINDOWS)) {
pb = new ProcessBuilder("cmd", "/c", path + "tag-german.bat",
85