Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

4. Vorbereitende Maßnahmen
Zusätzlich zum jeweiligen Stichprobenumfang ist eine Grundgesamtheit der Summen der
Beträge der Fehlerzahländerungen in den zugrundeliegenden Sätzen beim Entfernen eines
einzelnen Textmerkmals vonnöten, die den Stichprobenumfang weit übertrifft, um daraus
eine Verteilungsdichtefunktion zu konstruieren. Da eine derartige Grundgesamtheit nicht
bekannt ist, wird sie jeweils willkürlich mit N = 100.000 ≫ n als Summe der Beträge der
Fehlerzahländerungen angenommen.
Zusätzlich gelte M = 50.000 als Summe aller in N enthaltenen Beträge von Fehlerzahlabnahmen,
weil dies der Grenzfall ist, in dem H 0 gerade noch gilt, weil sich die Übersetzungsqualität
nicht verändert. Diese Setzung erfolgt, weil die Gültigkeit von H 0 initial für
jedes Textmerkmal angenommen wird. Zeigt der Test, dass selbst mit dieser Aufteilung
H 0 verworfen werden sollte, weil die Wahrscheinlichkeit, bei Vorliegen von H 0 mindestens
die vorgefundene Anzahl an Erfolgen“ zu erzielen, geringer ist als das Signifikanzniveau,
”
so ist dies zwangsläufig auch für jede Verteilung mit M alt < M der Fall.
Auf Basis dieser Gesamtheit wird nun für jedes Textmerkmal mit einer Stichprobe des
Umfangs n untersucht, wie wahrscheinlich es ist, dass sich darin minimal X = k Fehlerzahlabnahmen
befinden, wenn H 0 zutrifft. Man kann dies als Ziehung ohne Zurücklegen
interpretieren, erhält also die Werte der Wahrscheinlichkeitsfunktion durch
( M
)( N−M
)
k n−k
P (X = k) = ( N
n)
(hypergeometrische Verteilung). Somit gilt für maximal k − 1 Fehlerzahlabnahmen
und entsprechend
∑k−1
P (X < k) = P (X = i)
i=0
P (X ≥ k) = 1 − P (X < k)
für minimal k Fehlerzahlabnahmen.
Liegt dieser Wert unter dem Signifikanzniveau 5 von α = 0, 05, ist der Anteil der Fehlerzahlabnahmen
an der Gesamtzahl der Fehlerzahländerungen in der Stichprobe signifikant 6
erhöht. Dann wird H 0 zurückgewiesen und statt dessen H 1 , dass also ein Entfernen des
betrachteten Textmerkmals aus dem Satz die Übersetzungsqualität verbessert, übernommen.
Die statistische Signifikanz der Stichproben zu den jeweiligen Textmerkmalen ist das
zentrale, aber nicht das alleinige Kriterium für die Aufnahme in den Übersetzbarkeitsindex.
5 Die Setzung des Signifikanzniveaus auf α = 0, 05 ist weit verbreitet und wird daher auch hier übernommen,
weil somit die Wahrscheinlichkeit, die Nullhypothese irrtümlich zurückzuweisen, akzeptabel
genug ist.
6 Entsprechend ab α = 0, 01 hochsignifikant und ab α = 0, 001 höchstsignifikant.
36