Ausbalanciertheit - Arbeitsbereich Sprache und Kommunikation ...

Prof.Dr.-Ing.WolfgangHess
Sprache und Kommunikation
Institut für Kommunikationswissenschaften
Universität Bonn
Poppelsdorfer Allee 47, 53115 Bonn
wgh@ikp.uni-bonn.de
http://www.ifk.uni-bonn.de
05.02.2007
Allgemein zur Sprachwahrnehmung
O’Shaughnessy, Douglas (1987, 2 2000): Speech Communication - human and machine, Kap. 3 und 4 (2. Aufl. IEEE
Press, New York)
Terhardt, Ernst (1998): Akustische Kommunikation (Springer, Berlin)
Speziell zu Kapitel 4
Fellbaum, Klaus (1984): Sprachsignalübertragung und Sprachsignalverarbeitung (Springer, Berlin); Kap. 4
Fellbaum, Klaus / Klaus, Harald / Sotscheck, Jochem (1994): ”Hörversuche zur Beurteilung der Sprachqualität von
Sprachsynthesesystemen für die deutsche Sprache.” In Fortschritte der Akustik - DAGA 94 (DEGA, Oldenburg),
117-122
Hess, Wolfgang / Sendlmeier, Walter F. (Hrsg.) (1991): Beiträge zur angewandten und experimentellen Phonetik,Z.für
Dialektologie und Linguistik Beiheft 72 (Steiner, Stuttgart)
Jekosch, Ute (1993): ”Speech quality assessment and evaluation.” In Proc. EUROSPEECH-93 (catalyst consult, Berlin),
1387-1394
Jekosch, Ute (2005): Voice and speech quality perception - Assessment and evaluation (Springer, Berlin)
Sendlmeier, Walter F. (1991): “Wie testet man Hörverstehen? Eine kritische Analyse sprachaudiometrischer Testverfahren.”
In (Hess/Sendlmeier, 1991), 83-101
Sotscheck, Jochem (1982): “Ein Reimtest für Verständlichkeitsmessungen mit deutscher Sprache als ein verbessertes
Verfahren zur Bestimmung der Sprachübertragungsgüte.” Der Fenmeldeingenieur 36, 25-84
071
1. Gehör und Psychoakustik
2. Psychoakustische Funktionsmodelle
3. Theorien der Lautwahrnehmung
4.
01a
Präferenztest
Beurteilende
Methoden
Benotung
(Mean Opinion
Score, MOS)
Globale
Beurteilung
044 spw_4.1
Beurteilung von
Sprachqualität
Multifaktorielle
Beurteilung
nach Attributen
Verstehbarkeit
Quantitative
Methoden
Verständlichkeit
Laut-V. Wort-V.
Silben-V.
Lautfolgen-V.

071 spw_4.2
Drei Anwendungsgebiete
S Sprachübertragung: Evaluation von Übertragungsstrecken
und Übertragungsverfahren (Telefon, Mobiltelefon
etc., aber auch Akustik von Räumen)
S Sprachsynthese: Evaluation der Sprachqualität eines
Sprachsynthesesystems
S Sprachaudiometrie: Untersuchung der (verbleibenden)
Hörleistung eines (kranken) Gehörs hinsichtlich
Sprachverstehen und Evaluation von Hörhilfen
Die drei Anwendungsgebiete involvieren einen verschiedenen
Personenkreis, sind aber von der Methodik her vergleichbar.
071 spw_4.3
Verständlichkeit/Verstehbarkeit
Verständlich (intelligible) ist eine Äußerung dann, wenn es
gelingt, den Wortlaut zu erkennen und wiederzugeben.
S Die Verständlichkeit (intelligibility) gibt dementsprechend an,
wieviel Prozent der Äußerung korrekt identifiziert worden sind.
S Verständlichkeit kann sich auf viele Einheiten beziehen: Laut,
Silbe, Wort, Satz
Verstehbar (comprehensible) ist eine Äußerung dann, wenn
es gelingt, ihren Sinn und Inhalt zu erkennen.
S Die Verstehbarkeit (comprehensibility) gibt an, welcher Anteil
des Inhalts einer Äußerung vom Hörer (sinngemäß) verstanden
wurde.
Beide Größen lassen sich sowohl quantitativ bestimmen als
auch in Beurteilungstests schätzen.
4.1 Verständlichkeit
4.2 Beurteilende Verfahren
071
071 spw_4.4
Sprachwahrnehmung
Antwortformen
S Offene Antwortform: Der Hörer gibt das, was er gehört
hat, mündlich oder schriftlich im Wortlaut (bzw. in Transkription)
wieder. Eine Vorgabe erfolgt nicht.
S Geschlossene Antwortform (Zwangsauswahltest): Der
Hörer erhält zusammen mit dem Stimulus eine Auswahl
möglicher Lösungen, von denen eine und nur eine richtig ist.
Der Hörer kreuzt an, welche der Alternativen er wahrgenommen
hat.

071 spw_4.5
Phonetische (phonologische)
Ausbalanciertheit
Ein Evaluationskorpus ist dann phonetisch (phonologisch)
ausbalanciert, wenn die Häufigkeitsverteilung der in ihm
enthaltenen Phon(em)e der Häufigkeitsverteilung in
fließender Sprache entspricht bzw. nahe kommt.
S Bei einem kleinen Korpus ist dies nur annäherungsweise auf
Phonebene zu erreichen
S Ausbalanciertheit auf höheren Ebenen (Silbe, Wort) zu
erreichen ist so gut wie unmöglich.
Lerneffekte
Graduelle Adaptation ungeübter Versuchspersonen an die
Fragestellung generell bzw. an eine bestimmte
Übertragungsqualität
S MankannmitdemeigentlichenVersuchoftnichtsofort
beginnen.
Lerneffekt bezüglich des ausgewählten Testmaterials: Ist
unerwünscht und muss eliminiert werden.
S Insbesondere bei Messungen der Satzverständlichkeit
kann einmal gehörtes Material nicht wieder verwendet
werden.
071 spw_4.7
Phonemhäufigkeit
15
%
10
5
071 spw_4.6
Mittelwert
”Ranick”
Lauthäufigkeit im Deutschen
Jawohl, hören Sie!
Ich bin Rudolf Ranick hier vom FTZ.
Prüfen Sie bei Kurt Meier in der Burgstraße
den Leitungsanschluss und auch das Geräusch
aus den Kapseln!
[nach SOTSCHECK, 1982]
����������������������������������� ��
�� �� �� ��
071 spw_4.8
Laut- und Silbenverständlichkeit
Logatomtests
Ein Logatom ist ein sinnleeres einsilbiges Wort. Es folgt den
phonotaktischen Gesetzen der jeweiligen Sprache, für die
es eingesetzt wird.
S Form: Anfangskonsonant(enfolge) - Vokal - Endkonsonant(enfolge)
S Basismaterial nach SCHNEIDER (hier nach FELLBAUM, 1984): 50
AKF, Vokale ����������� gleichverteilt, 50 EKF; manche
Konsonantenfolgen mehr als einmal verwendet.
S Lerneffekte
erwarten.
sind wegen des Materialumfangs nicht zu
S Test verwendet offene Antwortform
Beispiele: bap -- blef -- glutsch -- kruz -- plol -- strim

CLID-Test
Der CLID-Test (Cluster Identification) (JEKOSCH, 1992)
gestattet die automatische Generierung von Logatomen in
Übereinstimmung mit der Phonotaktik des Deutschen.
S Hiermit verbunden ist auch eine automatische Auswertung der
Ergebnisse.
S Die Stimuli können phonologisch ausbalanciert werden; es besteht
aber auch die Möglichkeit, bestimmte Konsonantenfolgen
oder Vokale bevorzugt zu testen.
S Zur Ermittlung der Verständlichkeit medialer Konsonantenfolgen
können auch zweisilbige Cluster generiert werden.
071 spw_4.9
Wortverständlichkeit
mit sinnvollen Wörtern
Wortverständlichkeitstests mit sinnvollen Wörtern werden
meist in der Sprachaudiometrie verwendet.
S Logatomtests sind für Gehörgeschädigte zu hart; diese werden
bei sinnleeren Wörtern immer versuchen, ein sinnvolles Wort
aus dem Gehörten abzuleiten.
S Test macht nur Sinn, wenn die Gehörleistung bzw. die
Übertragungsstrecke schlecht und damit die Verständlichkeit
gering ist.
S Entwickelte Testmaterialien: Freiburger Wörtertest; (für
Englisch) Harvard Phonemically Balanced (PB) Word List
071 spw_4.11
071 spw_4.10
Laut- und Silbenverständlichkeit
Reimtest (SOTSCHECK, 1982)
Beim Reimtest wird ein Wort aus einer Zeile von 2-6
einsilbigen sinnvollen Wörtern dargeboten. Die Wörter der
Zeile unterscheiden sich nur in einer Position in der Silbe.
S Der Reimtest verwendet eine geschlossene Antwortform.
S Lerneffekte werden dadurch vermieden, dass alle Wörter der
gesamten Liste vorkommen können.
Beispiele:
Wacht sacht dacht’ Macht Nacht Jacht
West Fest best Test Nest Rest
Hieb heb’ hob hopp Hub hupp
Ball Buhl bell’ Böll Beil Beul’
weiß weich Weib weit Wein weil
Bach Bann bang Bank Ball bald
Mehrere Gruppen, jede Gruppe enthält 20 Wörter. Größere
Liste für Verständlichkeitstest mit offener Antwortform
Beispiel für Liste mit einsilbigen Wörtern
1 Ring / Spott / Farm / Hang / Geist / Zahl / Huind / Bach / Floh /
Lärm / Durst / Teig / Prinz / Aas / Schreck / Nuss / Wolf / Braut /
Kern / Stich
2 Holz / Ruß / Mark / Stein / Glied / Fleck / Busch / Schloss / Bart / Ei
/ Werk / Dach / Knie / Traum / Pass / Kunst / Mönch / Los / Schrift /
Fall
3 Blatt / Stift / Hohn / Zweck / Aal / Furcht / Leim / Dorf / Tat / Kerl /
Schutz / Wind / Maus / Reif / Bank / Klee / Stock / Wuchs / Mist /
Gras
071 spw_4.12

071 spw_4.13
100
Wortverständlichkeit
[%]
60
40
20
Ergebnisse für verrauschte Signale
--6 0 6 12 18
Störabstand [dB]
Logatom
Einzelwort
Reimtest [6]
Satztest nach BECKMANN-SCHILLING
2 Listen je 20 Sätze; für audiometrische Zwecke; gemessen
wird über insgesamt 100 Wörter
1a Der Schnellzug aus Kiel verspätet sich um eine Stunde.
2a Witwe sucht morgens Arbeit im Haushalt.
3a Der Anwalt fordert Freispruch wegen erwiesener Unschuld.
4a Reinecke Fuchs belog auch den König der Tiere.
5a Jener Kran trägt im Höchstfall fünfzig Tonnen.
6a Mit einer Spritze impfte der Schularzt die Kinder gegen Scharlach.
7a Ein hoher Gewinn fiel an einen Bremer Rentner.
8a Die Sendung wird am Mittwoch nächster Woche wiederholt.
9a Der Täter trug eine blaue Mütze mit Schirm.
...
071 spw_4.15
10 Gruppen zu je 10 Sätzen; jeder Satz enthält 5 Wörter.
Vornehmlich für audiometrische Zwecke
1 Geld allein macht nicht glücklich.
2 Böse Menschen verdienen ihre Strafe.
3 Mittwoch kommt uns Besuch passend.
4 Ich bin nicht nass gewiorden.
5 Unsere Eltern tanzen Wiener Walzer.
6 Lärmt nicht, Jungs, Vater schreibt!
7 Wer weiß dort genau Bescheid?
8 Er geht links, sie rechts.
9 Leider ist dies Haus teuer.
10 Dienstag wieder frisch gebrannte Mandeln.
071 spw_4.14
071 spw_4.16
“Berliner Sätze” [SOTSCHECK, 1982]
100 Sätze zur Beurteilung der Sprachqualität
1 Heute ist schönes Frühlingswetter.
2 Die Sonne lacht.
3 Am blauen Himmel ziehen die Wolken.
4 Über die Felder weht ein Wind.
5 Gestern stürmte es noch.
6 Montag war es uns zu regnerisch.
7 Riecht ihr nicht die frische Luft?
8 Die Nacht haben Meiers gut geschlafen.
9 Jetzt sitzen sie beim Frühstück.
10 Es ist acht Uhr morgens.

4.1 Verständlichkeit
4.2 Beurteilende Verfahren
071
071 spw_4.18
Sprachwahrnehmung
Beurteilungstest (MOS)
Der Beurteilungstest ( ,MOS) beurteilt
einen Stimulus qualitativ in Form einer Bewertung, die den
Charakter von Schulnoten besitzt.
International üblich ist eine 5-Punkte-Skala
S 5 excellent ausgezeichnet
S 4 good gut
S 3 fair ziemlich gut, ordentlich
S 2 poor dürftig
S 1 bad schlecht, unbrauchbar
Die Qualität eines Stimulus kann als Ganzes beurteilt werden.
Ebenso sind aber Beurteilungen einzelner/mehrerer Attribute
möglich. Auch Verständlichkeit und Verstehbarkeit werden
gelegentlich so beurteilt.
071 spw_4.17
Beurteilungstest (MOS)
Der Beurteilungstest ( ,MOS) beurteilt
einen Stimulus qualitativ in Form einer Bewertung, die den
Charakter von Schulnoten besitzt.
International üblich ist eine 5-Punkte-Skala
S 5 excellent ausgezeichnet
S 4 good gut
S 3 fair ziemlich gut, ordentlich
S 2 poor dürftig
S 1 bad schlecht, unbrauchbar
Die Qualität eines Stimulus kann als Ganzes beurteilt werden.
Ebenso sind aber Beurteilungen einzelner/mehrerer Attribute
möglich. Auch Verständlichkeit und Verstehbarkeit werden
gelegentlich so beurteilt.
071 spw_4.19
Präferenztest
Der Präferenztest vergleicht zwei Stimuli und stellt eine
Rangfolge hinsichtlich der Qualität (Präferenz) her.
S Die Stimuli haben meist Satzlänge und mehr. Die Testperson kann
sie in der Regel beliebig oft anhören. Die Versuchsperson gibt an,
welchen der beiden Stimuli sie präferiert.
S Hierbei kann auch ein mehrstufiges Ranking [A im Vergleich mit B:
viel besser -- besser -- gleich -- schlechter -- viel schlechter]
erfolgen.
S Die Ergebnisse sind oft vom ausgewählten Text abhängig. Dies gilt
insbesondere für synthetische Sprache.
Der Test ist sehr einfach. Er liefert keine absolute Beurteilung;
wohl aber wird ein Ranking hergestellt, das sich auf mehrere
Systeme erstrecken kann.