Messung maschinellerÂ¨Ubersetzbarkeit von ... - Parallele Systeme

Weitere Magazine

Empfehlungen

Info

7. Modellierung von MT Analyser Klasse LexiconHandler Über die Klasse LexiconHandler wird der Zugriff auf das Mehrdeutigkeitslexikon realisiert. Der gesamte Inhalt des Lexikons ist über das Attribut lexicon als XML-Dokument gespeichert. Mehrere synchronisierte und statische Methoden sorgen für das Hinzufügen, Auslesen und Entfernen von Einträgen. • initialiseLexicon(): Liest das Lexikon neu aus der zugehörigen Datei lexicon.xml aus. • getAllLexiconEntries(): Liefert sämtliche Lexikoneinträge als Objekte vom Typ LexiconEntry zurück. • findLexiconEntry(): Sucht anhand einer Grundform einen bestimmten Begriff und liefert ihn als LexiconEntry-Instanz zurück, sofern er existiert. • addLexiconEntry(): Fügt einen neuen Lexikoneintrag hinzu und speichert ihn in der Lexikondatei. • removeLexiconEntry(): Entfernt einen Lexikoneintrag mit einer bestimmten Grundform, sofern die Grundform vorhanden ist, und aktualisiert die Lexikondatei. 84
8. Implementierung von MT Analyser 8.1. Einbindung von TreeTagger 8.1.1. Satzerkennung und Reformatierung des Textes TreeTagger verlangt, dass die zu taggenden Texte so formatiert sind, dass je ein Wort in einer Zeile steht. Zu diesem Zweck werden alle an MT Analyser übergebenen Textdateien zunächst mit Hilfe der Klasse Reformatter reformatiert und im neuen Format gespeichert. Zwar umfasst TreeTagger auch einen Algorithmus, der einen Text in die einzelnen Wörter und Satzzeichen zerlegt, jedoch zeigten sich hier bei der Erkennung gerade von Zahlen und Abkürzungen einige leicht zu behebende Fehleinteilungen. Weil zudem einige Zeichen in den Eingabedateien zwecks Vereinheitlichung der Zeichencodierung (es gibt u. a. verschiedene Versionen von Gedankenstrichen) durch andere ersetzt werden müssen, wurde ein eigener Algorithmus zur Reformatierung geschrieben, der jedes Wort bzw. Satzzeichen in eine eigene Zeile schreibt. Problematisch ist dabei vor allem der Umgang mit Punkten. Das Auftreten eines Punktes alleine ist für ein Satzende kein hinreichendes Kriterium, weil ein Punkt auch zu einer Abkürzung oder einer Ordinalzahl gehören kann. Über eine Liste mit über 300 gängigen Abkürzungen werden Punkte herausgefiltert, die kein Satzende markieren. Wörter aus nur einem Buchstaben, gefolgt von einem Punkt, werden ebenfalls als Abkürzungen betrachtet. Überdies werden Zahlen kleiner als 100 sowie kleine lateinische Zahlen, denen ein Punkt folgt, als Ordinalzahlen angesehen. Hier wäre sicherlich ein statistischer Ansatz exakter als eine starre Grenzziehung, allerdings steht kein Material zur Verfügung, anhand dessen sich ein Algorithmus mit höherer Genauigkeit schreiben ließe. In Tests traten durch diese willkürliche Einteilung jedoch nur sehr selten Fehler auf. 8.1.2. Aufruf von TreeTagger Die reformatierte Datei wird gespeichert und als Parameter zusammen mit der Zieldatei an TreeTagger übergeben. TreeTagger verarbeitet dann die reformatierte Datei und speichert den getaggten Text in der Zieldatei. Dazu musste unter Windows die auszuführende Batch- Datei und in der Linux-/Solaris-Version von TreeTagger das auszuführende Shell-Skript leicht abgeändert werden. Der Aufruf aus MT Analyser erfolgt in der Methode execTreeTagger() in einem externen Prozess über die in Java enthaltene Klasse ProcessBuilder. Zu unterscheiden ist an dieser Stelle nach dem Betriebssystem, weil der Aufruf unter Windows anders funktioniert als unter Linux-/Solaris-Systemen. Der folgende Codeausschnitt zeigt den Aufruf von TreeTagger. if(os.equals(OS_WINDOWS)) { pb = new ProcessBuilder("cmd", "/c", path + "tag-german.bat", 85
Seite 1:
Messung maschineller Übersetzbarke
Seite 4 und 5:
Inhaltsverzeichnis Tabellenverzeich
Seite 6 und 7:
Inhaltsverzeichnis 7.4.3. Modellier
Seite 8 und 9:
Abbildungsverzeichnis 2.1. Schema f
Seite 10 und 11:
Teil I. Einführung 10
Seite 12 und 13:
1. Grundlagen der Arbeit Motivation
Seite 14 und 15:
2. Stand der Technik In den folgend
Seite 16 und 17:
2. Stand der Technik Sprache optimi
Seite 18 und 19:
2. Stand der Technik 2.4.1. Mehrdeu
Seite 20 und 21:
2. Stand der Technik Abgesehen von
Seite 22 und 23:
3. Ansätze zur Lösung der Überse
Seite 24 und 25:
Seite 26 und 27:
Seite 28 und 29:
Teil II. Ein Modell zur Einschätzu
Seite 30 und 31:
4. Vorbereitende Maßnahmen auf fol
Seite 32 und 33:
4. Vorbereitende Maßnahmen der Unt
Seite 34 und 35: 4. Vorbereitende Maßnahmen überse
Seite 36 und 37: 4. Vorbereitende Maßnahmen Zusätz
Seite 38 und 39: 5. Untersuchung der Textmerkmale au
Seite 66 und 67: 6. Zusammenführung der Kriterien i
Seite 72 und 73: Teil III. MT Analyser: Automatische
Seite 74 und 75: 7. Modellierung von MT Analyser Ins
Seite 76 und 77: 7. Modellierung von MT Analyser auf
Seite 78 und 79: 7. Modellierung von MT Analyser Sat
Seite 80 und 81: 7. Modellierung von MT Analyser Dar
Seite 82 und 83: 7. Modellierung von MT Analyser fin
Seite 86 und 87: 8. Implementierung von MT Analyser
Seite 116 und 117: 9. Zusammenfassung der Ergebnisse D
Seite 118 und 119: 10. Ansätze zur Weiterentwicklung
Seite 120 und 121: GLOSSAR E EG-Kommission Vorläufer
Seite 122 und 123: GLOSSAR S Signifikanzniveau Grenzwe
Seite 124 und 125: Stichwortverzeichnis Lexikon, 13, 2
Seite 126 und 127: Stichwortverzeichnis Übersetzungsp
Seite 128 und 129: Literaturverzeichnis [Gda94] [Hoe04
Seite 130: Literaturverzeichnis [Wag03] [Wat03
Alle anzeigen

Messung maschinellerÂ¨Ubersetzbarkeit von ... - Parallele Systeme

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?