Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

5. Untersuchung der Textmerkmale auf Fehlerrelevanz
Untersuchungsergebnisse
Fehlerhäufigkeit Das Ergebnis war überaus unerwartet, wie Tabelle 5.9 zeigt: Zwar sank
die Fehlerhäufigkeit von der Übersetzung des originalen zu der des bearbeiteten Textkorpus
von 0, 2180 Fehlern pro Wort auf nur noch 0, 1913, allerdings bei stark erhöhter
Wortzahl (statt 1908 nun 2404). Absolut gesehen nahm die Fehlerzahl aber von 832 auf
920 zu, das heißt, durch das Umformulieren komplizierter Komposita sind 88 Fehler hinzugekommen.
Dies entspricht einer Zunahme von 10, 58 Prozent.
Trotz der Seltenheit und Komplexität (minimal 30 Zeichen) der ausgewählten Komposita
nützt es also nichts, auf sie zu verzichten. Eine derartige Überarbeitung eines Textes
erhöht den Nachbearbeitungsaufwand sogar noch und ist daher kontraproduktiv.
Satzart Wörter Fehler ∅ Fehler pro Wort 12
Original 1908 832 0,2180
Bearbeitet 2404 920 0,1913
Tabelle 5.9.: Nominalkomposita und Fehlerhäufigkeit
Veränderungen der Fehlerzahl Wie sich die Fehlerzahl verändert, wenn man Zahl und
Komplexität der Nominalkomposita reduziert, zeigt Abbildung 5.9. Die grüne Linie steht
dabei für die Ergebnisse mit Babel Fish, die blaue für Personal Translator 2006 und die
rote für das aggregierte Gesamtergebnis. Die durchschnittliche Änderung der Fehlerzahl
beträgt 0, 44 Fehler pro Satz, jeder bearbeitete Satz weist also im Durchschnitt 0, 44 Fehler
mehr auf als das Original.
Von den insgesamt 200 Übersetzungen des zweiten Korpus zeigten 71 keine Veränderung
der Fehlerzahl gegenüber dem Original. Bei 39 Übersetzungen kam es zu einer Abnahme
der Fehlerzahl, davon 27-mal um einen Fehler, fünfmal zum zwei Fehler, sechsmal um drei
Fehler und einmal um fünf Fehler. Die restlichen 90 Übersetzungen der bearbeiteten Sätze
lieferten schlechtere Ergebnisse als die Originale, wovon 55 um einen Fehler zulegten, 19
um zwei Fehler, elf um drei Fehler. Immerhin drei Sätze enthielten nach der Bearbeitung
sogar vier Fehler mehr und zwei sogar fünf Fehler.
Erklärungsversuche Die Zunahme der Fehlerzahl bei den Übersetzungen des bearbeiteten
Textkorpus war das überraschendste Ergebnis der gesamten Testreihen. Es scheint
in der Tat, als hätten beide Programme gelernt, mit derartigen Wörtern umzugehen.
Verweigerte Übersetzungen von Komposita kamen nur in den seltensten Fällen vor.
Vielfach war statt dessen zu beobachten, dass beide Programme unbekannte Wörter korrekt
in ihre Bestandteile zerlegten und diese dann einfach übersetzten, manchmal mit
weniger Erfolg, manchmal mit mehr Erfolg, wobei Personal Translator 2006 alles in allem
weniger Probleme zu haben schien als Babel Fish. Personal Translator 2006 etwa
übersetzte Stabhochsprungvizeweltmeisterin korrekt mit pole vault vice-world champion,
während Babel Fish mit staff high jump vice-world champion zwar eine äußerst wörtliche,
jedoch auch äußerst falsche Übersetzung präsentierte. Und ein Steuerberater bleibt auf
Englisch immer noch ein tax advisor, auch wenn beide MÜ-Systeme tax counsel oder tax
consultant vorschlugen.
12 Zur Berechnung der Fehlerzahlen siehe Abschnitt 4.4.1, letzten Absatz.
56