Lassen sich Signifikanztests auf Vollerhebungen ... - SpringerLink

O-10 Joachim Behnke
scheinlich“ wäre, wenn die Theorie, auf die sich die Voraussage stützt, nicht zutreffen
würde. 3 Dazu muss es allerdings auch eine Theorie geben, und diese Theorie sollte
nicht nur zu wahren Implikationen über die Wirklichkeit, sondern auch zu relevanten
Aussagen führen. „Wir wollen mehr als die bloße Wahrheit: Wir suchen nach interessanter
Wahrheit – nach Wahrheit, an die schwer heranzukommen ist“ (Popper 1994:
335).
Die erfolgreiche Zurückweisung der Nullhypothese in unserem Beispiel wäre also
banal und würde uns zu keinem neuen Wissen verhelfen. Was aber, wenn die Zurückweisung
der Nullhypothese misslingen würde und wir aufgrund des Tests nicht ausschließen
könnten, dass die Unterschiede „zufällig“ zustande gekommen sind? Nach
dem Testergebnis bleibt die Frage unbeantwortet, ob der Prozess der Datengenerierung
zufällig abgelaufen sein könnte. In diesem Fall wissen wir aufgrund unserer Kenntnis
des Generierungsprozesses mehr als der Test, denn wir wissen ja trotzdem, dass der
Prozess der Datengenerierung nicht zufällig war, sondern bewusst vollzogen wurde.
Unsere Kenntnis des Wesens des Datengenerierungsprozesses liefert uns in unserem
Beispiel also auf jeden Fall mindestens so viel Wissen wie der Signifikanztest, nämlich
dann, wenn er zur Ablehnung der Nullhypothese führt, aber in gewissen Fällen auch
mehr, nämlich dann, wenn die Nullhypothese durch den Test nicht abgelehnt wird.
Wenn das Analyseziel der Vollerhebung dasselbe ist, das es wäre, wenn es sich statt
der Vollerhebung um eine Stichprobe handeln würde, nämlich die adäquate Beschreibung
der Struktur der Grundgesamtheit, dann ist ein Signifikanztest in diesem Zusammenhang
irrelevant. Nur wenn sich das Analyseziel ändert, nämlich wenn wir nicht
mehr an der Deskription allein interessiert sind, wobei wir bei Stichproben den Zufallscharakter
der Auswahl berücksichtigen müssen, sondern am Zufallscharakter der Generierung
von Daten, nur dann sollten wir einen Signifikanztest anwenden. Es ist dann
allerdings von großer Bedeutung, diesen Wechsel des Analyseziels explizit zu machen.
Wenn wir einen Signifikanztest bei einer Vollerhebung anwenden, dann sollten wir daher
mit guten theoretischen Argumenten erklären können, warum wir hier ein anderes
Ziel verfolgen als wir es verfolgen würden, wenn wir statt der Vollerhebung nur eine
Stichprobe zur Verfügung gehabt hätten. Die Untersuchung, ob Parteien die Thematik
ihrer Wahlanzeigen zufällig auswählen, scheint theoretisch wenig ergiebig zu sein. Die
3 Der Begriff „unwahrscheinlich“ ist in Anführungszeichen gesetzt, weil es sich hier um eine bedingte
Wahrscheinlichkeit handelt. Etwas, das unter der Bedingung, dass die Theorie nicht zutrifft,
als äußerst unwahrscheinlich angesehen werden muss, ist unter der Annahme der Geltung
der Theorie hingegen vermutlich sehr wahrscheinlich. Dies entspricht ungefähr dem Begriff der
„logischen Wahrscheinlichkeit“, wie ihn Popper (1989: 83) in der „Logik der Forschung“ verwendet.
Besser prüfbare Theorien sind „logisch unwahrscheinlicher“, das heißt, die Wahrscheinlichkeit,
dass sie den Prüfungen erfolgreich widerstehen, ist wesentlich geringer, wenn sie
falsch sind. Deutlicher (allerdings leicht abweichend) äußert sich Popper an anderer Stelle, wo er
bemerkt, dass Voraussagen einer neuen Theorie „im Lichte unseres früheren Wissens“ als
„höchst unwahrscheinlich“ angesehen werden müssen (Popper 1994: 320). Der Begriff der
Wahrscheinlichkeit bezieht sich bei Popper also auf die Überlebenswahrscheinlichkeit einer falschen
Theorie und nicht etwa auf probabilistische Aussagen. Ganz im Gegenteil geht Popper
praktisch ausschließlich von deterministischen Aussagen aus (zur Übertragbarkeit des falsifikationistischen
Prinzips auf statistische Tests vgl. Gillies (2000: 145ff.), wobei allerdings zu beachten
ist, dass bei statistischen Tests die Zielrichtung des Falsifikationsversuchs genau umgekehrt
verläuft (vgl. Behnke/Behnke 2003: Kap. 9, 2004: Kap. 13)).