Messung maschineller¨Ubersetzbarkeit von ... - Parallele Systeme

6. Zusammenführung der Kriterien in einem Index
die Fehlerzahlen pro Satz. Die Fehlerzahl pro Wort ist hier als Variable nicht relevant, weil
ein kurzer Satz, dem genau dieselbe Übersetzbarkeit zugeordnet wird wie einem längeren,
bei gleicher Anzahl tatsächlicher Fehler eine viel höhere Fehlerzahl pro Wort aufweist. Die
Vergleichbarkeit ist somit nicht gegeben.
Die 135 Sätze wurden also auf eine Korrelation zwischen Fehlerzahl und Indexwert hin
untersucht. Zu diesem Zweck wurden die Indexwerte der Sätze in sieben Intervalle eingeteilt.
Fünf dieser Intervalle umfassten fünf Punkte, nämlich 20 bis 25, weiter bis 30, bis
35, bis 40 und bis 45 Punkte. Die Werte kleiner als 20 und größer gleich 45 bildeten jeweils
eigene Intervalle. Den Intervallen wurden nun die zugehörigen aggregierten Fehlerzahlen
zugeordnet und durch die Anzahl der Sätze im jeweiligen Bereich geteilt, so dass sich
durchschnittliche Fehlerzahlen pro Satz ergaben, die von 2, 35 Fehlern bei Indexwerten
unter 20 Punkten bis zu 6, 63 Fehlern pro Satz bei 45 und mehr Indexpunkten reichen.
Die exakten Ergebnisse sind in Tabelle 6.2 aufgeführt.
Wertebereich Indexwerte Anzahl Sätze Anzahl Fehler ∅ Fehler pro Satz
1 0-20 17 40,0 2,35
2 20-25 33 101,5 3,08
3 25-30 26 77,0 2,96
4 30-35 22 86,5 3,93
5 35-40 14 71,0 5,07
6 40-45 11 65,0 5,91
7 ≥45 12 79,5 6,63
Tabelle 6.2.: Zusammenhang zwischen Indexwert und Fehlerzahl pro Satz
Die Werteintervalle des Indexes in der zweiten Spalte inkludieren dabei jeweils den unteren
Grenzwert und schließen den oberen aus. Die Fehlerzahl in der vierten Spalte ist der
Mittelwert der Summe der Fehler, die Personal Translator 2006 und Babel Fish bei der
Übersetzung der Sätze, die in den jeweiligen Indexbereich fallen, verursacht haben.
Abbildung 6.2.: Zusammenhang zwischen Indexwert und Fehlerzahl pro Satz
70