Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

5. Untersuchung der Textmerkmale auf Fehlerrelevanz
Vorgehensweise
Anders als bei den anderen Merkmalen wurden für die Untersuchung der Auswirkungen
der Satzlänge insgesamt drei Textkorpora mit jeweils 100 Sätzen erstellt:
• einer mit recht kurzen Sätzen (maximal 15 Wörter),
• ein zweiter mit mittellangen Sätzen (minimal 16, maximal 30 Wörter) und
• ein letzter mit sehr langen Sätzen (minimal 31 Wörter).
Textquelle war wie üblich die deutsprachige Version von Wikipedia.
Weil es sich um insgesamt 300 verschiedene Sätze in drei Korpora handelte und nicht
wie in den meisten anderen Fällen um 100 Originalsätze, die für das zweite Textkorpus
bearbeitet wurden, entfiel nach der Übersetzung der Vergleich bezüglich der Veränderung
der Fehlerzahl, weil die Sätze der verschiedenen Sammlungen nichts miteinander zu tun
hatten und die Fehlerzahlen daher nicht vergleichbar waren.
Untersuchungsergebnisse
Fehlerhäufigkeit Die Ergebnisse, die sich beim Ermitteln der Fehlerzahl pro Wort für
die einzelnen Korpora ergaben, entsprachen den Erwartungen und zeigten eine deutliche
Zunahme der Fehlerzahl bei steigender Satzlänge, wie Tabelle 5.1 verdeutlicht. Mit
den kurzen Sätzen kamen beide MÜ-Programme vergleichsweise gut zurecht. Hier wurden
insgesamt 251 Fehler in den übersetzten Texten ermittelt, was bei 1002 Worten einer
Quote von 0, 1252 Fehlern pro Wort entspricht. Die mittellangen Sätze mit maximal 30
Wörtern verursachten 755 Fehler in allen Sätzen, also 0, 1710 Fehler pro Wort bei 2208
Wörtern. Dies kommt einer Steigerung von 36, 6% gegenüber der Fehlerrate im ersten
Korpus gleich. Das dritte Korpus bereitete erwartungsgemäß die meisten Probleme. Hier
entstanden bei den Übersetzungen 1502 Fehler und somit bei 3865 Worten ein Durchschnitt
von 0, 1943 Fehlern pro Wort. Dies entspricht einer Steigerung von 13, 6 Prozent
gegenüber den mittellangen und von 55, 2 Prozent gegenüber den kurzen Sätzen.
Satzart Wörter Fehler ∅ Fehler pro Wort 1
Kurz (≤ 15 Wörter) 1002 251 0,1252
Mittel (16 - 30 Wörter) 2208 755 0,1710
Lang(> 30 Wörter) 3865 1502 0,1943
Tabelle 5.1.: Satzlänge und Fehlerhäufigkeit
Insbesondere zeigen diese Zahlen, dass sich die Fehlerquoten überproportional erhöhen,
wenn die Satzlänge steigt, wenngleich mit abnehmender Tendenz. Hätte die Satzlänge
keinerlei oder nur geringen Einfluss auf die Fehlerhäufigkeit, so müssten die Fehlerzahlen
pro Wort in allen drei Vergleichen annähernd identisch sein. Betrachtet man die absoluten
Fehlerzahlen, so ergibt sich folgendes, sehr ähnliches Bild:
• Vom ersten zum zweiten Textkorpus nimmt die Wortanzahl um 120% zu, während
die absolute Fehlerzahl infolge der Übersetzungen um 201% steigt.
1 Zur Berechnung der Fehlerzahlen siehe Abschnitt 4.4.1, letzten Absatz.
38