Zukunft Forschung 02/2023

SOZIALWISSENSCHAFT
FELIX HOLZMEISTER ist Assistenzprofessor
für Experimentelle Verhaltensökonomik
am Institut für Wirtschaftstheorie,
-politik und -geschichte der Universität
Inns bruck. Nach seiner Promotion 2018
in Inns bruck war er für zwei Jahre als
Postdoc am Spezialforschungsbereich
Credence Goods, Incentives and Behavior
tätig. Im Zentrum seiner Forschung stehen
zum einen die Entscheidungsfindung
unter Risiko sowie Märkte für Vertrauensgüter
und zum anderen die Replizierbarkeit
wissenschaftlicher Ergebnisse in den
Verhaltenswissenschaften, Erkenntnistheorie
und Open Science.
ZUKUNFT: Woran liegt das?
HOLZMEISTER: Die Ursachen sind sehr
vielfältig. Einerseits liegt es an statistischen
Grundkonzepten, die verwendet
werden – die frequentistische Statistik
definiert Fehlerraten, die toleriert werden
müssen. Ein weiterer Aspekt ist
Heterogenität: Die Variation über Stichproben,
Studiendesigns und analytische
Methoden hinweg bringt Unsicherheit
mit sich, die häufig ignoriert wird. Diese
Faktoren wirken sich unmittelbar auf
Replikationsraten aus. Ein mindestens
ebenso großes Problem sind aber alle
Arten von fragwürdigen wissenschaftlichen
Praktiken bis hin zu Betrug. Erst
kürzlich war Francesca Gino, eine Professorin
der Harvard Business School,
breit in den Medien: Gino wird vorgeworfen,
systematisch Daten manipuliert
zu haben, um die Ergebnisse zu erzielen,
die man eben gerne hätte und die entsprechend
leichter zu publizieren sind.
Alldem zugrunde liegt das Anreizsystem
in der Wissenschaft: Wir haben es mit einem
sehr stark wettbewerbsgetriebenen
System zu tun, in dem sich alles um Impactfaktoren,
Journalrankings, Zitationszahlen
etc. dreht. Wissenschaftler:innen
arbeiten unter dem Druck, immer das
„Bestmögliche“ aus Studien herauszuholen,
um Forschungsgelder zu lukrieren,
auf eine Professur berufen zu werden
etc. Das Problem dabei ist: Es gibt viele,
viele Möglichkeiten, den Prozess vom
Studiendesign bis zum letztendlichen Ergebnis
zu schönen und zu beeinflussen.
Zum Beispiel, indem man 100 verschiedene
Tests durchführt, aber nur den Vorteilhaftesten
publiziert und die anderen
99 Ergebnisse unerwähnt lässt. Die Literatur
besteht zu rund 90 Prozent aus signifikanten
Ergebnissen. Nullergebnisse
werden kaum publiziert. Daraus ergibt
sich ein verzerrtes Bild in der Literatur
und das wirkt sich auch unmittelbar auf
die Replizierbarkeit aus. Das Bestmögliche
ist vor dem Hintergrund des Anreizsystems
leider nicht immer das richtige,
sondern viel mehr das überzeugendste,
überraschendste oder signifikanteste Ergebnis.
ZUKUNFT: Wie lässt sich das beheben? Das
klingt danach, als wäre ein Systemwandel
nötig.
HOLZMEISTER: Ja, und der ist zu einem
großen Teil schon angestoßen. In den
vergangenen Jahren hat sich eine große
Community im Bereich Open Science
etabliert, die stark für Transparenz und
Offenheit plädiert, um den gesamten Forschungsprozess
für andere nachvollziehbar
zu machen. Dabei werden alle Daten
und Materialien offen zur Verfügung
gestellt und damit auch nachnutzbar
gemacht. Ein weiterer zentraler Aspekt
des Systemwandels ist der Weg hin zu
Confirmatory Research Practices: Die Idee
dahinter ist, dass man den gesamten Forschungsprozess
– von Hypothesen und
dem Studiendesign bis hin zu Datenerhebung
und Analyse – festhält und vor
der Durchführung der Studie in einem
öffentlich zugänglichen Repositorium
ablegt. Diese Präregistrierung wird mit
einem Zeitstempel versehen und ist ab
dem Zeitpunkt der Ablage unveränderbar.
So ist nachvollziehbar, was im Vorfeld
geplant war und was im Nachgang
tatsächlich passiert ist. Einen Schritt
weiter gehen sogenannte Registered Reports:
Dabei wird eine Präregistrierung
bei einem Journal eingereicht und begutachtet.
Bei einem positiven Ergebnis des
Reviewprozesses erfolgt dann eine vorläufige
Publikationszusage. Erst im Anschluss
werden die Daten erhoben und
wie geplant analysiert. Abschließend
erfolgt eine Prüfung, ob die Präregistrierung
eingehalten wurde bzw. Abweichungen
transparent dargestellt werden.
Damit entfernt man auch den Anreiz, signifikante
Ergebnisse zu generieren, weil
man den Publikationserfolg schon in der
Tasche hat, unabhängig davon, was die
Daten dann tatsächlich aufzeigen. Die
Qualität von Forschung wird also anhand
der Methodik gemessen und nicht
an den Ergebnissen.
ZUKUNFT: Wird dieses Format schon breiter
angewandt?
HOLZMEISTER: Es wird immer mehr. Die
Präregistrierung hat sich mittlerweile in
weiten Teilen der Sozialwissenschaften
schon als Standard etabliert, da es kein
unmittelbares Mitwirken von Journalen
erfordert. Das ist ein beeindruckender
Wandel, weil es innerhalb von sehr kurzer
Zeit passiert ist – in weniger als zehn
Jahren hat es einen deutlichen Umbruch
in den Standards und in der Publikationskultur
gegeben. Das Format der Registered
Reports gibt es auch immer häufiger,
aber das Angebot ist noch sehr stark
von der Disziplin abhängig. Im Bereich
der Psychologie gibt es mittlerweile zum
Beispiel viele Journale, die Registered-Report-Tracks
anbieten, in den Wirtschaftswissenschaften
ist die Nachfrage klar gewachsen
– vieles ist im Entstehen.
ZUKUNFT: Sie tragen auch selbst zu diesem
Kulturwandel bei und schulen junge
Wissenschaftler:innen im Rahmen einer
Summer School.
HOLZMEISTER: Ich versuche meinen Teil
dazu beizutragen, weil ich der Überzeugung
bin, dass es ein Umdenken braucht.
Leider ist Open Science bislang noch in relativ
wenigen Studienplänen vertreten.
Eine Summer School, die sich mit diesem
Thema beschäftigt, erschien daher ein
wünschenswertes Format zu sein. In erster
Linie geht es darum, ein Bewusstsein
für die Problematik und eine Akzeptanz
von Lösungsansätzen zu schaffen. Das
Format richtet sich primär an Nachwuchswissenschaftler:innen
am Anfang ihrer
Karriere. Bei der jungen Generation anzusetzen,
ist der erfolgversprechendste Weg,
um systematisch und nachhaltig ein Umdenken
zu bewirken. Die Summer School
wurde im vergangenen Sommer erstmals
angeboten und war ausgebucht. Die
Nachfrage für das Format zeigt eine Bereitschaft
für einen Systemwandel – das
ist eine erfreuliche Grundlage. Im Sommer
2024 startet die zweite Auflage. sh
zukunft forschung 02/23 37