vl4_skalen,gütekriterien_aktualisiert - Universität Flensburg

Universität Flensburg
Zentrum für Methodenlehre
Tutorium Empirie I
Vorlesung 4 - Skalen, Gütekriterien
Item:
- einzelne Frage/Aufgabe in einem Fragebogen oder Test
Skalenwert:
- „[...] die Summe der positiven Reaktionen auf die vorgelegten Items.“ (Diekmann 2008, S. 273)
Reifizierung:
- die Annahme, dass es einen theoretischen Begriff wirklich gibt, weil man diesen mittels
konkreter Indikatoren gemessen hat
Index:
- aus mehreren Indikatoren errechneter Wert, der meist einen theoretischen Begriff repräsentieren soll
Item-Schwierigkeit:
- prozentualer Anteil der Nicht-Zustimmung zu einem Item
Likert-Skala:
- a) Instrument zur Einstellungsmessung, bestehend aus Items mit monoton ansteigenden Charakteristiken
- b) 5 stufiger Antwortvorgabe für ein Item von „stimme überhaupt nicht zu“ bis „stimme voll
und ganz zu“
Guttman-Skala:
- Skala, bei der die Items nur zwei Werte annehmen können (z. B. ja/nein)
- Items haben sinkende Zustimmungswahrscheinlichkeit bzw. steigende Item-Schwierigkeit
Trennschärfe-Index:
- für ein Item werden die Werte des Viertels der Befragten mit den niedrigsten
Gesamtergebnissen und dem Viertel mit den höchsten Gesamtergebnissen verglichen
Trennschärfe-Koeffizient/ Item- Gesamtscore- Korrelation:
- gibt an, inwieweit ein Item in Beziehung zum Gesamtscore steht
- Berechnung der Korrelation zwischen den jeweiligen Items und dem Summenscore
1

Beispiel für einen theoretischen Begriff: Umweltbewusstsein
Operationalisierung: Zuweisen geeigneter Indikatoren, Wahl der Erhebungsmethode/ des
Erhebungsinstruments
- um z.B. Umweltbewusstsein zu messen, könnte man sich z. B. für eine Befragung als Methode und die
Likert- Skala als Instrument entscheiden
- die einzelnen Items wären dann die manifesten Variablen
Umweltbewusstsein
→ Operationalisierung → (jeweils Antwortvorgaben von 1= „stimme
überhaupt nicht zu“ bis 5= „stimme voll zu“) z.B.:
→ „Wenn wir so weitermachen wie bisher, steuern wir auf eine Umweltkatastrophe zu.“
→ „Es ist noch immer so, dass die Politiker viel zu wenig für den Umweltschutz tun.“
→ „Nach meiner Einschätzung wird das Umweltproblem in seiner Bedeutung von vielen
Umweltschützern stark übertrieben.“
2

aus: Diekmann 2008, S. 243-248
4

Objektivität: Verschiedene Untersucher kommen mit demselben Messinstrument zu dem
gleichen Ergebnis; Differenzierungen: Durchführungsobjektivität (2 verschiedene Interviewer lösen mit der
gleichen Antwortbatterie gleiche Reaktionen bei Befragtem X aus) / Auswertungsobjektivität (2 Auswerter
kommen zu gleichen Schlüssen bei der Bewertung der Antworten von Befragtem X); Beispiel: man legt zwei
Lehrern eine bestimmte Anzahl von Klassenarbeiten vor und schaut sich die Benotung an- sie wird bei der
gleichen Arbeit durch die verschiedenen Lehrer wahrscheinlich unterschiedlich beurteilt werden.
(Korrelationskoeffizient zwischen „Benotung durch Lehrer A“ und „Benotung durch Lehrer B“ berechnen)
Reliabilität: Wiederholte Messungen unter denselben Rahmenbedingungen müssen zum gleichen
Ergebnis führen (Grad der Reproduzierbarkeit).
Differenzierungen: Split-Half-Reliabilität (ein Fragebogen wird in zwei Hälften mit gleich vielen Items
aufgeteilt und an Stichproben angewendet, die Korrelation der beiden Hälften wird ermittelt), Paralleltest-
Reliabilität (die Ergebnisse eines Messinstruments werden mit denen eines anderen Instruments
verglichen- z.B. zwei Intelligenztests bei einer Person), Test-Retest Reliabilität (das Messinstrument wird
wiederholt angewendet und die Ergebnisse miteinander verglichen, Probleme: Lerneffekte, Änderungen bei
den Ausprägungen der zu messenden Eigenschaft); Reliabilität setzt Objektivität voraus!
Beispiel für Vorliegen von Objektivität, aber nicht von Reliabilität: 2 unterschiedliche Personen lesen von
einem Thermometer das gleiche, aber leider falsche Ergebnis ab
Validität: Gültigkeit eines Messinstruments. Das Testverfahren muss auch tatsächlich das messen, was es
messen soll oder zu messen vorgibt.
Differenzierungen: Inhaltsvalidität (repräsentiert die Auswahl der Items die interessierende Eigenschaft
genügend?), Kriteriumsvalidität (sind die Ergebnisse mit einem unabhängig gemessenen relevanten
Außenkriterium korreliert?), Konstruktvalidität (ist das Messinstrument brauchbar zur Entwicklung von
Theorien?); Validität setzt Objektivität und Reliabilität voraus!
Cronbachs a: Maß der Reliabilität, sollte über 0,7 liegen
Halo-Effekt (auch: Fragereiheneffekt, Fragekontexteffekt, Positionseffekt) :
Ausstrahlungseffekt von Fragen auf andere Fragen, z. B. „Haben Sie Angst vor Überfällen?“;
„Gehen Sie gerne nachts spazieren?“
Arten von Fragen
1. Wissensfragen: subjektive Aussagen über Fakten, die überprüfbar sind
Beispiel: „Wie hoch schätzen Sie den Anteil an von Armut betroffenen Menschen in Ihrer Stadt?“
2. Meinungsfragen: Beispiel: „Sollte die NPD Ihrer Meinung nach verboten werden?“
3. Verhaltens-/Einstellungsfragen: sind in der Regel Retrospektivfragen, erfragt wird die Dauer,
Häufigkeit und Art von Handlungen in der Vergangenheit und Zukunft oder ob eine bestimmte Aktivität
in der Vergangenheit stattgefunden hat.
Beispiel: „Wie oft waren Sie im letzten Monat im Kino?“
Zukünftiges Verhalten: „Wie viel Geld planen Sie im nächsten Jahr für Ihren Urlaub
auszugeben?“
4. Fragen nach sozialstatistischen Merkmalen: Beispiel: „ Besitzen Sie ein Auto?“
5

weitere Unterscheidungen:
- Selbstauskunft
- Fremdauskunft
- direkt
- indirekt: Fragen, die Rückschlüsse auf Hintergründe einer Einstellung zulassen sollen, das Ziel der
Frage wird dem Befragten nicht deutlich; Beispiel: „Viele Menschen lesen die Bildzeitung. Was denken
Sie darüber?“
- projektive Fragen: es wird ein Szenario dargestellt, Beispiel: „Stellen sie sich vor, zum nächsten
Semester würden Studiengebühren eingeführt. Wie würden sie reagieren?“
- geschlossene Fragen: vorgegebene Antwortkategorien wie „Ja/ Nein“
- offene Fragen: keine vorgegebenen Antwortkategorien
- halboffene Fragen: Kompromiss zwischen offenen und geschlossenen Fragen
6

Zusätzliche Aufgaben
1. Um welche Skala handelt es sich? Begründen Sie Ihre Antwort.
1. Würden Sie es tolerieren, wenn Ausländer in Ihrem Land leben?
2. Würden Sie es tolerieren, wenn Ausländern in Ihrem Wohnort leben?
3. Würden Sie es tolerieren, wenn Ausländer in Ihrem Wohnviertel eben?
4. Würden Sie es tolerieren, wenn Ausländern direkt neben Ihnen leben?
5. Würden Sie es tolerieren, wenn Ihr Kind einen Ausländer heiratet?
Antwortvorgaben jeweils „Ja“/“Nein“
Antwort: Guttman-Skala, weil: aufsteigende Item-Schwierigkeit und dichotome Antwortmöglichkeiten
7

2. Im Folgenden steht eine Skala, auf der Schüler Aussagen über das Lesen von Büchern
beurteilen sollen. Die Antwortmöglichkeiten reichen von 1 = „stimme überhaupt nicht zu“ bis
5 = „stimme vollkommen zu“.
(1) Ich lese nur, wenn ich unbedingt muss.
(2) Ein Buch als Geschenk zum Geburtstag zu bekommen, fände ich schrecklich.
(3) Ich finde alle Kinder, die Bücher lesen, sind Streber.
(4) Lesen ist langweilig.
(5) Für meine Zukunft ist es besser, wenn ich gut lesen kann.
Um welche Art von Skala handelt es sich hierbei? Begründen Sie Ihre Antwort.
Lösung:
Likert-Skala, weil die Antwortvorgaben aus der Likert-Antwortskala bestehen
3. Welche der folgenden Aussagen in Bezug auf die Guttman- Skala trifft/treffen zu?
a) Es ist wichtig, die Antwortmuster an einer Testpopulation zu testen.
b) Die Skalenwerte haben rationales Skalenniveau.
c) Eine Guttman- Skala ist nicht geeignet, eine latente Variable zu messen.
d) Die Item-Schwierigkeit sollte bei allen verwendeten Items in etwa gleich sein.
Lösung: a)
4. Eine Likert-Skala unterscheidet sich von einer Guttman-Skala dadurch, dass…
a) sie ein höheres Skalenniveau hat.
b) sie sich zur Einstellungsmessung mit Hilfe von Items mit nicht-monotonen
Charakteristiken eignet.
c) sich kein Index berechnen lässt.
d) sie eine absinkende Item-Schwierigkeit besitzen muss.
Lösung: a)
5. Welche der folgenden Aussagen über die Beziehung zwischen theoretischen Begriffen und
ihrer Messung trifft zu?
a) Operationalisierung bedeutet die Auswahl zwischen verschiedenen theoretischen Begriffen.
b) Das Skalenniveau einer Variable kann nicht empirisch bestimmt werden, sondern wird
theoretisch oder durch die vorgegebenen Antwortmöglichkeiten festgelegt.
c) Manifeste Variablen sind nicht direkt messbar.
d) Reifikation bedeutet, theoretische Konstrukte für wahr zu halten, nur weil man sie
gemessen hat.
8

Lösung: d)
6. Füllen Sie bitte den folgenden Lückentext über die Gütekriterien eines Messinstrumentes mit den
Begriffen objektiv, nicht objektiv, reliabel, nicht reliabel, valide und nicht valide aus!
Wenn verschiedene Lehrer dieselbe Schülerleistung gleich beurteilen, dann ist das Urteil
(1) __________________.
Geben verschiedene Lehrer zu verschiedenen Zeitpunkten über dieselbe Schülerleistung das
gleiche Urteil ab, dann sind die Urteile sowohl (2) __________________ wie
auch (3)__________________.
Sind erhebliche Zweifel daran berechtigt und nachgewiesen, dass der Lehrer nicht das
beurteilt, was er zu beurteilen vorgibt, dann ist das Urteil (4) __________________, das
Urteil kann aber (5) __________________sein.
Ein Lehrer, der zu verschiedenen Zeitpunkten dieselbe Schülerleistung unterschiedlich
beurteilt, gibt ein Urteil ab, das (6) __________________ ist.
Wenn ein Urteil gültig ist, so bezeichnet man dieses Urteil auch als (7) __________________.
Zuverlässigkeit muss gegeben sein, damit ein Urteil überhaupt (8) __________________ sein
kann.
Lösung: (1) objektiv; (2) objektiv, (3) reliabel, (4) nicht valide, (5) reliabel oder objektiv, (6) nicht reliabel, (7)
valide, (8) valide
7. Welche der folgenden Aussagen zu den Gütekriterien trifft/treffen zu?
a) Ist ein Messinstrument reliabel, so müssten verschiedene Forscher zu gleichen Ergebnissen
kommen.
b) Ist ein Messinstrument reliabel, so bedeutet dies, dass der Test das misst, was er messen soll.
c) Ein Messinstrument kann valide sein ohne objektiv zu sein.
d) Ein Messinstrument, das objektiv ist, führt bei wiederholter Anwendung immer zu den gleichen
Ergebnissen.
e) Ein valides Messinstrument ist unabhängig vom jeweiligen Forscher.
Lösung: a; e
8. Welche Aussage(n) über das Verhältnis der drei Gütekriterien zueinander trifft/ treffen zu?
a) Kommt man bei Messungen zu unterschiedlichen Zeitpunkten zu ähnlichen Ergebnissen, kann man
neben der Reliabilität auch gleichzeitig die Validität annehmen.
b) Damit ein Messinstrument den Anforderungen genügt, müssen mindestens zwei Gütekriterien
erfüllt sein.
c) Es müssen immer alle drei Gütekriterien erfüllt sein, damit ein Messinstrument die Anforderungen
erfüllt.
d) Die Validität einer Messung ist immer größer als die Reliabilität.
e) Wenn bei einer Umfrage die Ergebnisse zwischen den Interviewern auch bei ähnlichen Befragten
stark schwanken, ist das Messinstrument automatisch auch nicht reliabel und valide.
Lösung: c,e
9

9. Füllen Sie bitte den folgenden Lückentext über die Gütekriterien eines Messinstrumentes mit den
folgenden Begriffen aus: objektiv, nicht objektiv, reliabel, nicht reliabel, valide, nicht valide.
Ein Evaluationsbogen, der zu verschiedenen Zeitpunkten für dieselbe Vorlesung ähnliche Beurteilungen
liefert, gibt ein Urteil ab, das (1) __________________ ist. Wenn ein Urteil nicht „gültig“ ist, so bezeichnet
man dieses Urteil auch als (2) __________________. Wenn vermutet werden kann, dass die Studierenden
bei der Beurteilung der Vorlesung doch auch das Verhalten der Dozentin in der Sprechstunde
mitberücksichtigen, dann ist das Urteil (3) __________________, das Urteil kann aber trotzdem (4)
__________________sein.
Lösung: 1) reliabel 2) nicht valide 3) nicht valide 4) reliabel oder objektiv
10. Bestimmen sie jeweils alle zutreffenden Fragearten:
a) „Wenn in Ihrer Universität Studiengebühren eingeführt würden, würde dies Ihren weiteren
Studienverlauf beeinträchtigen?“
□Ja □Nein □Weiß nicht
b) „Wie viel Zeit haben Sie in der letzten Woche damit zugebracht, sich auf Ihre Lehrveranstaltungen
vorzubereiten?“
.............................
c) „Menschen mit Migrationshintergrund werden auf dem Arbeitsmarkt bevorzugt behandelt.“
□ stimme stark zu □ stimme zu □ teils, teils □ stimme nicht zu □ stimme überhaupt
nicht zu
d) „Wie hoch schätzen Sie den Anteil an Arbeitslosen, die unter Depressionen leiden?“
e) „Wie viel Geld verdient Ihr Lebenspartner?
□ unter 1500 € □ 1500 - 3000 € □ über 3000 €
Lösung: a.): Verhaltensfrage, Selbstauskunft, projektiv, geschlossen
b.): Verhaltensfrage, Selbstauskunft, direkt, offen
c.): Meinungsfrage, Selbstauskunft, indirekt, geschlossen
d.): Wissensfrage, Fremdauskunft, direkt, offen
e): Frage nach sozialstatistischen Merkmalen, Fremdauskunft, direkt, geschlossen
11. Verbessern Sie die folgende Fragebogenfrage einschließlich der dazugehörigen
Antwortkategorien!
In einer allgemeinen Umfrage wurde gefragt:
Sollten die Tamil- Tigers ein autonomes Gebiet erhalten?
□ Ja □ Nein
Lösung: „weiß nicht“ Option fehlt; die Tamil-Tigers sind nicht bekannt genug, um sie erklärungslos in einer
10

Umfrage zu präsentieren.
12. Verbessern Sie folgende Fragen:
a) „Viele Politiker sind ja der Ansicht, dass Studiengebühren an allen Universitäten
eingeführt werden sollten - würden auch Sie Studiengebühren zustimmen?“
□ Ja □ Nein
b) „Für das Engagement der Schüler im Unterricht sind die Eltern mehr verantwortlich als die Lehrer.“
□ Ja □ Nein □ Weiß nicht
c) „Schätzen Sie bitte, wie viel Prozent der Einwohner Ihrer Stadt nicht weniger als das doppelte
Durchschnittseinkommen zur Verfügung haben.“
Lösung: a: Suggestivfrage! Sollte neutral formuliert werden. b: besser: „Wer ist Ihrer Meinung nach mehr
verantwortlich für das Engagement der Schüler?“, Antwortvorgaben „Eltern“, „Lehrer“, „weiß nicht“/ c:
Formulierung zu unklar! Doppelte Verneinung („nicht weniger“)! Einschätzen von Prozentangaben
problematisch! Besser: „Wie viele Einwohner Ihrer Stadt haben nach Ihrer Schätzung mindestens das doppelte
Durchschnittseinkommen zur Verfügung?“ Antwortvorgaben (z.B.): „Die Hälfte“, „ein Drittel“, „ein Zehntel“
13. Was ist an folgender Frageformulierung zu kritisieren?
„Sind Sie mit der Qualität und dem Preis unseres Produktes zufrieden?“
□ Ja □Nein
Lösung: Mehrdimensionale Frage, besser zwei getrennte Fragen: einmal nach der Zufriedenheit mit dem Preis
und dann nach der Zufriedenheit mit der Qualität.
14. Welche der folgenden Aussagen zu den verschiedenen Fragearten trifft/treffen zu?
a) Mit projektiven Fragen testet man die Aufrichtigkeit des Befragten.
b) Bei Wissensfragen sollte es eine „Weiß nicht“ –Kategorie geben.
c) Mit einer einzelnen Frage kann man mehrere Dimensionen abfragen.
d) Die Reihenfolge der Fragen spielt keine Rolle.
e) Kontrollfragen dienen dazu, die Konsistenz des Antwortverhaltens eines Befragten zu
prüfen.
Lösung: b;e
11

15. Sie sind mit der Entwicklung einer Mitarbeiterbefragung in einem Unternehmen beauftragt.
Welche der unten aufgeführten Fragebatterien würden Sie wählen, um die Zufriedenheit der
MitarbeiterInnen mit dem Aus- und Weiterbildungsangebot des Unternehmens festzustellen?
Begründen Sie Ihre Wahl!
Fragebatterie 1: (Antwortmöglichkeiten auf einer Skala von 1= völlig unzutreffend bis 5= völlig zutreffend)
a) Das Unternehmen bietet mir genug Möglichkeiten, mich weiter zu entwickeln.
b) Mit dem Aus- und Weiterbildungsangebot bin ich zufrieden.
c) Die Aus- und Weiterbildung hat einen zu geringen Stellenwert in unserem Unternehmen.
d) Das unternehmensinterne Angebot zur Aus- und Weiterbildung ist ausreichend.
e) Die angebotenen Aus- und Weiterbildungen decken sich meiner Meinung nach nicht mit dem
Bedarf der Mitarbeiter.
Fragebatterie 2: (Antwortmöglichkeiten auf einer Skala von 1= völlig unzutreffend bis 5= völlig zutreffend)
a) Mit dem Aus- und Weiterbildungsangebot bin ich zufrieden.
b) Mein Vorgesetzter bietet mir genug Möglichkeiten, mich weiter zu entwickeln.
c) Die Aus- und Weiterbildung hat einen hohen Stellenwert in unserem Unternehmen.
d) An meinem Arbeitsplatz kann ich mein Potenzial ausreichend entwickeln.
e) Die angebotenen Aus- und Weiterbildungen decken sich meiner Meinung nach mit dem Bedarf der
Mitarbeiter.
Lösung: Fragebatterie 1, da in Fragebatterie 2 zwei Items nicht die Zufriedenheit mit dem Weiterbildungsangebot messen (Item 2:
Zufriedenheit mit dem Vorgesetzten, Item 4: Zufriedenheit mit dem Arbeitsplatz) und keine der Fragen umgepolt wurde.
12