Logik des Signifikanztests, Statistische Tests für Mittelwerte einer ...

Gegenargument zu a):Jedes Mal, die Nullhypothese abgelehnt wird, erhöht sich subjektive Wahrscheinlichkeit desForschers, dass die Alternativhypothese gilt. Die Anwendung der bayesschen Formel der a-posteriori-Wahrscheinlichkeit ist immer asymmetrisch, wenn a ¹ b ist. D.h., die subjektiveWahrscheinlichkeit bei Annahme der Nullhypothese steigt im Allgemeinen weniger stark alsder Anstieg der subjektiven Wahrscheinlichkeit bei Ablehnung der Nullhypothese. In diesemSinn sagt und der SNHT tatsächlich, was wir wissen wollen. (Hagen, 1997)3.6 Der SNHT ist schwer zu begreifen - auch Experten scheiternAlle in Abschnitt 1.1 genannten möglichen Antworten sind falsch (Bakan, 1966).Die Missverständnisse bezüglich des Wesens des SNHT gibt es seit 1925. Auch Expertenlassen sich zu fehlerhaften Interpretationen hinreißen. Den „inversen Wahrscheinlichkeitsfehler“(siehe Argument 3.5) identifiziert Cohen (1994) bei so distinguierten Autoren wieGuilford, Nunnally, Anastasi, Ferguson und Lindquist, selbst R.A. Fisher wurde schonüberführt. McMan fand substanzielle SNHT-Fehler in den meisten der 24 zwischen 1965und 1994 publizierten Einführungsbücher in die Psychologie (American Psychologist,1998).4. Was raten?Was sollte also den Forschern, die die in Abschnitt 1.2 aufgeworfenen Fragen und Problemetatsächlich hatten, geraten werden?Zu a) Die Unterschiede zwischen p = .048 und p = .052 sind nicht besonders groß. Wichtigist in dem vorliegenden Fall, dass bei einer Stichprobengröße von 300 ein Regressionsparametermit einem derartigen p-Wert nicht besonders groß sein kann, auch wenn er beiGültigkeit der Nullhypothese diese Größe nur in etwa 5 % der Studien erreicht. DieForscherin sollte also die Effektgröße selbst zu interpretieren versuchen und dazu das 95 %Konfidenzintervall angeben. Falls es sich im vorliegenden Problem um eine lineare OLS-Regression mit nur einer unabhängigen Variablen gehandelt hätte, wären die Beträge der zuden beiden p-Werten gehörenden standardisierten Regressionskoeffizienten etwa .114 (p =.048; 95 %-CI = .001 - .225) bzw. .112 (p = .052; 95 %-CI = –.001 - .223)) gewesen, indem Regressionsmodell wären also etwa 1.3 % (95 % CI = 0.0 - 5.0 %) bzw. 1.3 % (95 %-CI = 0.0 - 5.0 %) der Varianz durch den Einfluss der unabhängigen Variablen erklärtworden. D.h. die beiden Ergebnisse unterscheiden vermutlich sich in ihrer (geringen)praktischen Bedeutsamkeit überhaupt nicht.Zu b) Dem Forscher ist es höchst wahrscheinlich nicht gelungen, eine repräsentative(Zufalls-)Stichprobe aus der Population der Bewährungshelfer zu ziehen. Allein deshalb istes fraglich, ob seine Ergebnisse die Situation in der Population widerspiegeln können –Signifikanztests machen hier wenig Sinn. Dem Forscher ist also zu raten, sich darauf zubeschränken, die Ergebnisse der Stichprobe darzustellen und das Problem der Generalisierbarkeitzu diskutieren. Der Forscher glaubte jeoch, dass nur mittels eines Signifikanztest dieBedeutsamkeit von Effekten bestimmt werden könne, und erwartete, dass seine Auftraggebereine Studie ohne Signifikanztests nicht akzeptieren würden. Er unterlag also zunächstdem verbreiteten Irrtum, dass statistische Signifikanz praktische Bedeutsamkeit anzeigenkann und fühlte sich auch nicht in der Lage, seinen Auftraggebern eben dies als Irrtum zu22