Es war einmal.. .. eine Zelle und sie wurde nimmermehr gesehen?

Essay
schaft solche kognitionswissenschaftlichen
Studien wie oben erwähnt durch bildgebende
Verfahren wie etwa die funktionelle
Magnetresonanztomographie (fMRT) erweitert.
Grundsätzlich sind zwar ähnliche
Replikationsraten zu erwarten, insbesondere
zwei Faktoren können diese hier allerdings
noch weiter nach unten ziehen:
niedrigere Probengrößen und weitverbreitete
Missverständnisse über die multiple
Testkorrektur bei fMRT.
Zum Thema niedrigere Probengrößen
können wir uns kurz fassen: Die oben erwähnte
Studie über präklinisch-neurowissenschaftliche
Arbeiten untersuchte
überdies auch Neuroimaging-Projekte mit
menschlichen Probanden – und berichtet
eine mittlere statistische Power von lediglich
acht Prozent (4). Das ist absurd niedrig
und ist wahrscheinlich den hohen Investitionen
an Zeit und Kosten selbst bei kleinen
fMRT-Studien geschuldet. Schlimmer aber
ist, dass einige offenbar nicht verstehen,
dass man mit einer regulären fMRT-Analyse
leicht 200.000 Voxel testen kann. Und
man muss dabei nicht einmal 200.000 Testentscheidungen
korrigieren– zum Beispiel
indem man Alpha durch 200.000 dividiert
–, da diese Voxel ja miteinander korreliert
sind...
Abbildung 2:
Wenn Sie zufällig generierte Werte glätten und die Schwelle niedrig genug ansetzen,
werden Sie viele ‚Cluster’ und einzelne Spitzen finden, die ziemlich überzeugend erscheinen
– vor allem, wenn man sie auf einen Gehirnatlas projiziert und diese in ‚bedeutungsvollen’
Bereichen auftauchen (steigende Schwellen von Platten A bis D). Die Korrektur von
Ganzhirn-Analysen ist daher eine Notwendigkeit. Gut erklärt wird dies in Lehrbüchern zur
fMRT-Statistike (siehen zum Beispiel www.fil.ion.ucl.ac.uk/spm/doc/books/hbf2/pdfs/Ch14.
pdf). Die Abbildungen wurden erzeugt in MATLAB R2015a (Mathworks, Natick, USA).
fMRT-Datenpunkte sind meist geglättet,
um Ausreißer loszuwerden und „wahre“
Aktivität zu verstärken. Dazu werden die
Voxel-Werte jeweils durch den Mittelwert
aller Voxel ersetzt, die in einer Kugel mit
bestimmtem Radius um ihn herum liegen.
Aber auch nach dieser Glättung kann man
davon ausgehen, dass es unabhängige Elemente
in den Gehirndaten gibt, die man als
Resolution Elements (Resel) bezeichnet und
deren Anzahl von der durchschnittlichen
Glättung der Daten abhängt. Diese unabhängigen
Elemente kann man verwenden,
um multiple Testprobleme zu beheben –
wobei hierzu auch andere Verfahren vorgeschlagen
und geprüft wurden (8).
Allerdings wenden einer Schätzung zufolge
nur 60 Prozent aller fMRT-Arbeiten
überhaupt eine Form der multiplen Testkorrektur
(9) an, wovon wiederum ein Drittel
diese nicht weiter spezifiziert.
Und selbst wo eine multiple
Testkorrektur korrekt eingesetzt
wurde, landet man im
besten Fall wieder nur beim 0,05-Niveau
– was ja, wie gesagt, eigentlich eine sehr
milde Schwelle ist. Als Fazit heißt das, in
fMRT-Projekten werden bereits bestehende
statistische Fehler noch verstärkt – und
allzu oft nicht wirklich verstanden.
„Und dann kommt
noch Bias dazu.“
Wenn man nun noch dazu nimmt, dass
man Aktivität, funktionelle Konnektivität,
effektive Konnektivität sowie neuerdings
noch weitere Parameter analysieren kann,
und dass man zudem auf einen Test auf
Gruppenebene mehrere Post-hoc-Kontraste
anwenden kann (um am Ende den zu nehmen,
bei dem man etwas findet) – dann
wird das Problem unvermeidlich noch größer.
Dass unkorrigierte Schwellenwerte dabei
mehrere große Cluster hervorbringen
können, die völlig beliebig wie in einem
Gaußschen Zufallsfeld auftauchen, scheint
einigen nicht bewusst zu sein (Abb 2). Zudem
können p-Werte pro Voxel durchaus
beeindruckend aussehen, wenn man die
schiere Menge der Voxel vergisst.
Ein bis zwei Jahre grundlegende,
aufbauende und spezifische fMRT-Statistik
wären vielleicht ein guter Start für
Gruppen, die erstmals eine fMRT-Studie
durchführen wollen. Andererseits können
manchmal auch erfahrene Gruppen nicht
der Versuchung widerstehen, die Schwellen
zu senken, nur um ein schönes Bild für
eine großartige Geschichte zu haben. Die
fMRT hat deshalb zuletzt viel Kritik von
Neurowissenschaftlern und sogar von Journalisten
einstecken müssen, die nicht mit
der Technik vertraut sind. Dabei ist nichts
falsch mit der Technik an sich, und es existieren
zudem sehr ordentliche Verfahren
zur statistischen Korrektur – sie werden nur
einfach nicht angewendet. Das Hauptproblem
der fMRT sind folglich deren Nutzer,
die allzu oft nicht wahrhaben wollen, dass
sie auf statistische Karten schauen – und
nicht direkt auf Aktivitätskarten.
fMRT-Studien sind zwar nicht die einzigen,
in denen statistische Fehler lauern,
allerdings können hier kleine statistische
Missverständnisse unverhältnismäßig
große Effekte verursachen. Immerhin hat
inzwischen jedoch vor allem die multiple
Testkorrektur einige Aufmerksamkeit
bekommen und wird innerhalb der Neuroimaging-Gemeinde
offen diskutiert; in
anderen Disziplinen, in denen multiple
Tests durchgeführt werden – beispielsweise
präklinische Arbeiten, die mit mehreren
Verhaltensexperimenten auf Unterschiede
zwischen Testgruppen testen –, ist dieses
Problem jedoch womöglich noch nicht
sichtbar genug. Zudem begegnet
man häufig auch anderen
methodischen und statistischen
Fehlern in Studien,
die einfache oder „klassische“ Techniken
verwenden. Zum Beispiel offenbarte eine
aktuelle Analyse, dass die Hälfte aller in
High-Impact-Zeitschriften veröffentlichten
Interventionsstudien versäumt hatte, die
richtigen statistischen Tests durchzufüh-
34
7-8/2016 Laborjournal