Lassen sich Signifikanztests auf Vollerhebungen ... - SpringerLink

Weitere Magazine

Empfehlungen

Info

O-8 Joachim Behnke sie durch stochastische Prozesse zu Stande gekommen wäre. 1 Die stochastische Varianz, auf die sich der Signifikanztest gründet, wird also überschätzt. Bevor wir einen Signifikanztest durchführen, müssen wir daher eine Varianzdekomposition in eine substanzielle und eine Messfehlervarianz vornehmen. Um die durch den Messfehler verursachte Varianz zu bestimmen, können wir dabei unter Umständen auf Messwiederholungen zurückgreifen (soweit dies ohne systematische Verzerrung der Messwerte möglich ist). Dann ist es möglich, einen Signifikanztest auch für eine Vollerhebung durchzuführen, wenn wir die ursprüngliche Varianz um den substanziellen Anteil bereinigt haben, so dass nur noch die Messfehlervarianz für die Streuung der Werte in den Gruppen verantwortlich ist. 3.2 Ein Anwendungsbeispiel aus der Politikwissenschaft: Wahlwerbung Ich will die erwähnten Aspekte an einem konkreten Problem aus der Politikwissenschaft illustrieren. Nehmen wir an, wir hätten eine Vollerhebung aller bisherigen Wahlanzeigen der Parteien unternommen. Der Einfachheit halber beschränken wir unser Beispiel auf zwei Parteien, die wir „SPD“ und „CDU“ nennen. Als Untersuchungsvariable nehmen wir lediglich das Thema der Anzeigen, wobei es insgesamt nur zwei Themen, nämlich „Wirtschaft“ und „Soziales“, gibt. Dieses sehr beschränkte und vereinfachte Beispiel genügt vollkommen, um die Problematik von Signifikanztests bei Vollerhebungen zu verdeutlichen. Die uns interessierende Fragestellung lautet, ob die Themenschwerpunkte der beiden Parteien sich voneinander unterscheiden. Dazu ermitteln wir die relative Häufigkeit der Themen und stellen fest, dass der Anteil von Anzeigen zu „Soziales“ bei der SPD 60 Prozent beträgt, bei der CDU hingegen nur 40 Prozent. Die entscheidende Frage lautet nun: Ist es sinnvoll, zur Untersuchung des Unterschieds der Anteile einen Signifikanztest einzusetzen? Die Antwort lautet wieder wie oben: Es kommt darauf an, was wir genau ermitteln wollen. Wir wollen zuerst davon ausgehen, dass keine Messfehler auftreten. Wenn wir dann einen Signifikanztest einsetzen, dann sagt uns das Ergebnis lediglich, wie wahrscheinlich die beobachtete Verteilung der Themen ist, wenn wir davon ausgehen, dass beide Parteien die jeweiligen Themen mit derselben a-priori-Wahrscheinlichkeit wählen, die z.B. bei einem Chi²-Test durch die Randverteilung des Merkmals in der Stichprobe geschätzt wird. Nehmen wir an, die Anzahl aller Anzeigen von SPD und CDU sei gleich groß, dann wäre in unserem speziellen Fall diese a-priori-Wahrscheinlichkeit gleich 0,5. Die Unterschiede können dann als Ergebnis eines stochastischen Prozesses bei der Generierung der Daten, d.h. der Themenwahl, interpretiert werden. Wenn der Unterschied statistisch signifikant ausfällt, dann heißt dies lediglich, dass wir auch hier einen „Designeffekt“ vorliegen haben, d.h. dass die Parteien ihre Themen nicht zufällig, sondern bewusst wählen. Dies scheint aber theoretisch keine besonders gehaltvolle Aussage zu sein, denn natürlich gehen wir davon aus, dass Parteien ihre Themen bewusst wäh- 1 Auch bei normalen Schlüssen von Stichproben auf die Grundgesamtheit gehen wir davon aus, dass die Varianz des untersuchten Merkmals in der Grundgesamtheit substanzieller Art ist. Nicht die Variable selbst ist zufällig verteilt, sondern der Stichprobenmittelwert, der durch die zufällige Auswahl einer Menge von Werten der Variable aus der Grundgesamtheit gebildet wurde.
Lassen sich Signifikanztests auf Vollerhebungen anwenden? O-9 len. Mit Hilfe des Signifikanztests können wir zwar feststellen, dass sich Parteien bei der Wahl ihrer Anzeigen nicht erratisch, sondern bewusst verhalten, aber die „substanzielle Signifikanz“ dieser Erkenntnis ist wohl ungefähr so hoch einzuschätzen wie die, dass die Schrittabfolge „Rechts-Links-Rechts-Links ...“ beim Gehen ebenfalls in einer statistisch höchst signifikanten Weise von einem durch Zufall generierten Muster abweicht. Die Zufallshypothese ist im Gegensatz zum Beispiel der Geschlechterratio bei der Wahl der Anzeigen wohl kaum eine theoretisch interessante Annahme, da sie nicht auf theoretisch gerechtfertigten Erwartungen basiert, die wir als ernsthaft zu erwägende Alternative betrachten. Es handelt sich hier um Wahlentscheidungen, die als Ausdruck von Präferenzen gedeutet werden können. Geschmacksurteile, soweit vorhanden, sind aber ein konstitutiver Bestandteil der Definition der Elemente. Man ist, wofür man sich entscheidet. Wir interessieren uns nicht dafür, ob sich bestimmte Personen oder Personengruppen per se voneinander statistisch signifikant unterscheiden. Dies wäre eine tautologische Angelegenheit, denn das Konzept der „Verschiedenheit“ im Sinne von Nicht-Identität verlangt nicht nur hohe Wahrscheinlichkeiten, sondern Gewissheit. Vielmehr interessieren wir uns dafür, ob gewisse Unterschiede der einen Art auffällig mit Unterschieden der anderen Art verknüpft sind. 2 Die Anwendung eines statistischen Signifikanztests im erwähnten Beispiel ist weniger unzulässig als vielmehr unnötig und daher nur verwirrend. Wenn die Nullhypothese, es handele sich bei den beobachteten Unterschieden um zufällig hervorgerufene, zurückgewiesen wird, dann erfahren wir nur, was wir ohnehin schon wissen: Die Daten sind nicht zufällig generiert worden. Ein Generierungsprozess im Rahmen des Selbstentwurfs eines Individuums kann schon per definitionem nicht als stochastischer Prozess verstanden werden. Demnach ist auch eine Analogie zu einem Auswahlprozess im Sinne einer Stichprobenziehung nicht gegeben. Im klassischen Fisher-Test ist die Nullhypothese immer ein „straw-man claim“ (Mohr 1990: 50), also eine Annahme, bei der man nicht an ihrer Bestätigung, sondern an ihrer Widerlegung interessiert ist, und bei der man, wenn man den Test durchführt, oft schon davon ausgeht, dass diese Widerlegung gelingen wird. Gerade die Metapher vom Strohmann macht aber deutlich, dass bei der Durchführung eines Signifikanztests nicht zuletzt so etwas wie der Sportsgeist des Statistikers gefragt ist. Nichts ist leichter, als sich einen Strohmann zu basteln, dessen Widerlegung von vornherein gewährleistet ist. Die auf diese Weise gefundenen „signifikanten“ Ergebnisse sind aber alles andere als inhaltlich interessant, sondern lediglich banal zu nennen. Wenn das Ergebnis des Tests wirklich interessant sein soll, dann muss der Strohmann unserer Nullhypothese eine ernstzunehmende Herausforderung darstellen, und es muss auf jeden Fall vorstellbar sein, dass wir bei der Widerlegung unserer Nullhypothese auch scheitern könnten. Beim normalen Schluss von der Stichprobe auf die Grundgesamtheit liegt die theoretische Rechtfertigung des Zufallscharakters der beobachteten Verteilung in der Zufallsnatur des Auswahlprozesses. Die Signifikanz einer Beobachtung liegt nicht in der a priori „Unwahrscheinlichkeit“ des beobachteten Ereignisses an sich (denn jedes tatsächlich auftretende Ereignis ist a priori „unwahrscheinlich“), sondern in der Voraussage eines Ereignisses, das äußerst „unwahr- 2 Genauer zum Problembereich „Identität und Signifikanztests bei Vollerhebungen“ vgl. Behnke (2003).
Seite 1 und 2: Lassen sich Signifikanztests auf Vo
Seite 7: Lassen sich Signifikanztests auf Vo
Seite 15: Lassen sich Signifikanztests auf Vo

Lassen sich Signifikanztests auf Vollerhebungen ... - SpringerLink

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?