Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

5.3. Signifikanz der Ergebnisse
Nebensätze (Relativsätze)
In den übersetzten Textkorpora zu Nebensätzen im Allgemeinen und Relativsätzen im
Speziellen waren keine bzw. recht geringe Veränderungen der Fehlerzahl zu beobachten.
Die Beseitigung von Nebensätzen brachte bei einer Summe der Fehlerzahländerungen von
n = 82 keine Veränderung der Gesamtfehlerzahl oder k = 41 Fehlerzahlzunahmen bei
41 -abnahmen in den Übersetzungen, deren Fehlerzahl sich veränderte. Die Beseitigung
von Relativsätzen brachte dagegen 21 Fehler weniger, wobei es in der Summe insgesamt
n = 175 Fehlerzahländerungen gab, von denen k = 98 auf die Sätze mit verringerter
Fehlerzahl entfielen.
Für die Nebensätze ergibt sich daraus eine Wahrscheinlichkeit von P (X ≥ 41) ≈ 0, 54394,
dass in den Sätzen mit Fehlerabnahme mindestens k Fehler entfallen, wenn H 0 gilt. Die
Gefahr einer fälschlichen Zurückweisung von H 0 ist daher viel zu groß, so dass sie beibehalten
wird und Nebensätze aller Art nicht in den Übersetzbarkeitsindex aufgenommen
werden. Bei Relativsätzen im Speziellen ergibt sich diesbezüglich mit k = 98 ein Wert von
P (X ≥ 98) ≈ 0, 06500. Obwohl diese Wahrscheinlichkeit größer ist als das Signifikanzniveau
α = 0, 05 und Relativsätze die Übersetzbarkeit somit nicht signifikant verschlechtern,
werden sie in den Index aufgenommen. Der Grund ist, dass der Wert der Verteilungsfunktion
nur sehr knapp über dem Signifikanzniveau liegt (bereits bei k = 99 wäre das Ergebnis
signifikant) und gleichzeitig Relativsätze in anderen Übersetzbarkeitsmaßen berücksichtigt
werden (vgl. Abschnitt 3.3). Berücksichtigt man dies, so ist die Wahrscheinlichkeit,
die Gegenhypothese H 1 zu Unrecht nicht anzunehmen, trotz des nicht-signifikanten Testergebnisses
viel zu groß. Allerdings ist der Einfluss von Relativsätzen im Vergleich zu
anderen in den Index aufgenommenen Textmerkmalen eher gering, was sich auch bei der
Konstruktion des Indexes niederschlagen wird (vgl. Kapitel 6). Dementsprechend wird
selbst eine möglicherweise doch fälschliche Aufnahme in den Index nicht zu großen Verzerrungen
führen.
Mehrdeutigkeit
Insgesamt nahm die Fehlerzahl der Übersetzungen nach dem Entfernen von Mehrdeutigkeiten
um 103 Fehler ab. Dabei gab es 92 Sätze ohne Veränderung der Fehlerzahl, 23 mit
einer Erhöhung der Fehlerzahl und 85 mit einer Verringerung der Fehlerzahl. In diesen
108 Sätzen mit veränderter Fehlerzahl kamen in den verschlechterten Sätzen 32 Fehler
hinzu, k = 135 fielen in den verbesserten Sätzen weg, so dass sich als Stichprobenumfang
der Fehlerzahlveränderungen n = 167 ergibt.
Daraus folgt (auf fünf Stellen gerundet): P (X ≥ 135) ≈ 0, 00000. Die Fehlerzahlabnahme
ist also sogar höchst signifikant, die Wahrscheinlichkeit, dass die Nullhypothese zu Unrecht
verworfen wird, dementsprechend verschwindend gering. Daher werden Mehrdeutigkeiten
in den Übersetzbarkeitsindex aufgenommen.
Elliptischer Schreibstil
Auf beide Textkorpora bezogen, ergab sich beim Entfernen von Ellipsen eine Abnahme
um insgesamt fünf Fehler in den Übersetzungen. Insgesamt summierten sich die Fehlerzahlveränderungen
auf n = 187, wovon k = 96 Fehlerzahlverringerungen waren.
Somit ergab sich für das Komplement der Verteilungsfunktion ein Funktionswert von
P (X ≥ 96) ≈ 0, 38489. Die (sehr geringe) Fehlerzahlabnahme ist also bei weitem nicht
61