Logik des Signifikanztests, Statistische Tests für Mittelwerte einer ...

Dabei ist p(H 0 |y) die subjektive Wahrscheinlichkeit für H 0 , gegeben die Evidenz y, undp(H 1 |y) ist die entsprechende subjektive Wahrscheinlichkeit für H 1 , gegeben die Evidenz y.Beides sind a-posteriori-Wahrscheinlichkeiten, abhängig von dem, was beobachtet wurde.p(H 0 ) und p(H 1 ) sind die subjektiven a-priori Wahrscheinlichkeiten für H 0 und H 1 . Diep(y|H 0 ) und p(y|H 1 ) sind die gewöhnlichen Wahrscheinlichkeiten des statistischenSchlusses: die bedingten Wahrscheinlichkeiten der Evidenz, gegeben, dass die jeweiligeHypothese gilt. Wird alles Übrige konstant gehalten, bedeutet das Theorem, dass diesubjektive a-posteriori-Wahrscheinlichkeit p(H 0 |y) (nämlich dass H 0 gilt, gegeben dieEvidenz y) um so größer ist, je wahrscheinlicher y unter der Bedingung ist, dass H 0 gilt undje unwahrscheinlicher y unter der Bedingung ist, dass H 1 gilt. Mit anderen Worten: Evidenz,die unter einer bestimmte Hypothese wahrscheinlich und unter einer anderen unwahrscheinlichist, stärkt immer das Vertrauen in die erste und schwächt das Vertrauen in die zweite.Die effektive Stärke der Evidenz hängt allerdings auch von der subjektiven a-prioriWahrscheinlichkeit ab: Der Betrag, um den Evidenz den Grad des Vertrauens in H 0 und H 1verändert, hängt von den Werten der subjektiven a-priori-Wahrscheinlichkeiten p(H 0 ) undp(H 1 ) ab.Zwei Beispiele (nach Hagen, 1997):a) Ein Forscher glaubt, das die Chance 50:50 ist, dass ein Treatment einen Effekt hat, diesubjektiven a-priori-Wahrscheinlichkeiten sind also p(H 0 ) = p(H 1 ) = .50. Das a-Niveausei .05 (= p(y|H 0 )) und die Power sei .40 (= p(y|H 1 )). Wenn sich ein signifikanter Effektgezeigt hat, ist die subjektive a-posteriori-Wahrscheinlichkeit p(H 0 |y*) =.05*.50/(.05*.50+.40*.50) = .11, die ursprüngliche subjektive Wahrscheinlichkeit desForschers ist also nach Erhalt eines signifikanten Ergebnisses von .50 auf .11 gesunken.Umgekehrt ist das Vertrauen, dass das Treatment wirkt von .50 auf .89 gestiegen. Wäredas a-Niveau .01 gewesen, hätte ein signifikantes Ergebnis das Vertrauen in die Wirkungdes Treatments von .50 auf .98 gesteigert.b) Ein Forscher glaubt, die Chance, dass ein Treatment wirkt, sei nur 2 % bzw. sie sei98 %, dass es nicht wirkt. In einem ersten Experiment zeigt sich mit a = .03 und einerPower von .95 ein signifikanter Effekt. Die subjektive Wahrscheinlichkeit, dass es keinenTreatmenteffekt gibt (p(H 0 |y*)) sinkt dann von .98 auf .607 = .98*.03/(.98*.03+.02*.95).Wird das Experiment wiederholt und zeigt sich erneut ein signifikanter Treatmenteffekt(ebenfalls mit a = .03 und einer Power von .95), sinkt der Glaube in die Unwirksamkeitdes Treatments weiter auf .047 = .03*.607/(.03*.607+.95*.393), d.h. der Forscher kannsagen: „Ausgehend von meiner ursprünglichen Schätzung der Wahrscheinlichkeit, dassdas Treatment funktioniert (die sehr niedrig war), schätze ich jetzt nach zweimaligemsignifikantem Ergebnis die Wahrscheinlichkeit, dass das Treatment wirksam ist, auf21:1“.Wenn die entsprechenden a-priori-Wahrscheinlichkeiten bekannt sind, kann das Bayes-Theorem statt auf subjektive Wahrscheinlichkeiten auch auf relative Häufigkeiten angewandtwerden. Interessant ist das Bayes-Theorem vor allem deshalb, weil mit ihm die (aposteriori)-Wahrscheinlichkeiteiner Hypothese, gegeben die Daten, berechnet werden kann( p(H 0 |Daten) ), während der Signifikanztest das Gegenteil leistet: Er erlaubt die Schätzungder Wahrscheinlichkeit der Daten unter der Bedingung der Gültigkeit einer Hypothese( p(Daten| H 0 ) ).18