Logik des Signifikanztests, Statistische Tests für Mittelwerte einer ...

weitere Forschung stoppt – für die Wissenschaft ist also die Gefahr des a-Fehlers vielernsthafter als die des b-Fehlers. (Bakan, 1966)3.4 Ohne Berücksichtigung der Stichprobengröße kann eine Signifikanztest in die IrreführenEin nicht-signifikantes Ergebnis bedeutet nicht, dass es keinen Effekt (z.B. keinen Mittelwertsunterschiedzwischen zwei Gruppen) gibt. Power-Analysen können zeigen, dass beieinem t-Test auf Mittelwertsunterschiede zweier unabhängiger Gruppen à 30 Versuchspersonenund einem zweiseitigen a-Niveau von 5 % die Wahrscheinlichkeit, dass einen Effektmittlerer Stärke signifikant wird, nur 47 %, also nur knapp 50:50 ist. Damit lässt sich eineTheorie kaum widerlegen. (Cohen, 1990)3.5 Die Logik des SNHT entspricht nicht unserer eigentlichen Forschungsfragea) Die Logik, auf der der SNHT basiert, ist mangelhaft. Der SNHT sagt uns nicht, was wireigentlich wissen wollen, nämlich P(H 0 |D) (lies: die Wahrscheinlichkeit von H 0 , gegeben dieDaten), sondern nur P(D| H 0 ) ((lies: die Wahrscheinlichkeit der Daten, gegeben H 0 ). Nurbayessche Statistik erlaubt eine Schätzung über P(H 0 |D). Ein häufiger Fehlschluss basiertauf der falschen Anwendung des modus tollens:Wenn H 0 wahr ist, dann würde dieses Ergebnis (statistische Signifikanz) wahrscheinlichnicht auftreten.Dieses Resultat ist aufgetreten.Dann ist H 0 wahrscheinlich nicht wahr und also formal ungültig.Es kann gezeigt werden, dass bei einer bekannten a-priori-Wahrscheinlichkeit von .02 fürSchizophrenie in einer Zufallsstichprobe bei einem Test mit a < .05 und einer Power = .95zwar P(D| H 0 ) < .05 (Wahrscheinlichkeit eines positiven Tests, gegeben der Fall ist normal)ist, dies aber nicht bedeutet, dass die Wahrscheinlichkeit, dass die Nullhypothese gilt (dassder Fall normal ist) < .05 beträgt. Das bayessche Manöver (das hier möglich ist, weil wir dieBasisrate in der Population kennen) zeigt, dass die Wahrscheinlichkeit, dass der Fall –gegeben ein positiver Test für Schizophrenie – normal ist, ungefähr .60 beträgt (vgl.Abschnitt 1.4). Veranschaulicht in einer 4-Felder-Tafel:Ergebnis normal schizophren totalnegativer Test (normal) 949 1 950positiver Test (schiz.) 30 20 50total 979 21 1000Die bedingte Wahrscheinlichkeit, dass ein Fall, der normal ist, als schizophren diagnostiziertwird, ist 60 % (30 von 50). Dies zeigt, wie verkehrt es sein kann, wenn man den p-Werteines typischen Signifikanztests als die Wahrscheinlichkeit interpretiert, dass dieNullhypothese für den entsprechenden Datensatz wahr ist. (Cohen, 1994)Eine schöne Illustration des „Fehlers der inversen Wahrscheinlichkeit“ findet sich bei Carver(1978, p. 384):“What is the probability of obtaining a dead person (label this part D) given the person washanged (label this part H); that is, in symbol form, what is p(D|H)? Obviously, it will be very20