FWF info-Magazin #86 (3/2013)

FOKUS » Der FWF nimmt sich unter die Lupe
Interne und externe Analysen sowie externe Evaluierungen bilden
wichtige Instrumente, mit denen sich der FWF unter die Lupe nimmt.
Eine info-Serie berichtet über die Aktivitäten des FWF, die Ausdruck
seines Bemühens sind, seine Verfahren und seinen Service laufend
zu prüfen und zu verbessern. Text: Ralph Reimann
Der FWF nimmt sich unter die Lupe
Antragsbegutachtung
und -entscheidung
» Im Entscheidungsverfahren des
FWF sind internationale Gutachten
zu Anträgen von ausschlaggebender
Bedeutung. Grund genug, dieses
Element einmal genauer unter die Lupe zu
nehmen. Die Forschungsgruppe R. Mutz,
L. Bornmann und H.-D. Daniel (ETH Zürich
und Max-Planck-Gesell. Deutschland)
hat zwei Studien veröffentlicht, die untersuchen,
ob und wie sich verschiedene
Gutachten eines Antrages voneinander unterscheiden
(Studie I), sowie welchen Einfluss
das Geschlecht der Antragstellenden
und Gutachtenden auf die Begutachtung
und auch auf die letztliche Förderungsentscheidung
(Studie II) hat.
Die Studienautoren analysierten mehr als
23.000 internationale Gutachten zu über
8.000 Anträgen für FWF-Einzelprojekte im
Zeitraum 1999–2009. Gutachten bestehen
aus mehreren Teilen, nicht alle Teile eignen
sich für eine quantitative Auswertung
diesen Ausmaßes, insbesondere nicht die
oftmals sehr nuancenreichen Kommentare
der Gutachtenden. Aus diesem Grund stützen
die Autoren ihre Analysen auf die Gesamtbewertung
in jedem Gutachten, also
die für einen Antrag vergebene Gesamtpunkteanzahl
zwischen 0–100. «
Studie I: Inter-Rater Reliabilities
Die erste Studie (Mutz, Bornmann & Daniel,
2012a) untersucht die sogenannte „interrater
reliability“ – die Übereinstimmung
von Gutachten bei der Antragsbewertung.
Die Autoren interessieren sich im Kern für
folgende Forschungsfragen:
» Bewerten verschiedene Gutachten ein
und denselben Antrag sehr ähnlich oder
sehr unterschiedlich?
» Ist die Übereinstimmung zwischen Gutachten
in allen Fachgebieten gleich oder gibt
es Unterschiede zwischen den Disziplinen?
Zu diesen Fragen liefert die Empirie einige
höchst interessante Resultate:
Resultat 1: Lediglich 26 % der unterschiedlichen
Bewertungen in der Gesamtheit
aller Gutachten werden durch den
Faktor „Antrag“ erklärt. Würden 100 %
erklärt, würde das bedeuten, dass die Gutachten
zu verschiedenen Anträgen unterschiedlich
wären (richtigerweise, denn es
gibt ja exzellente und weniger gute Anträge,
was sich natürlich in unterschiedlichen
Bewertungen ausdrückt), dass aber die jeweiligen
Gutachten zu ein und demselben
Antrag in ihrer Bewertung ident wären.
Die ermittelte Gutachtenübereinstimmung
© Shutterstock
26 »FWFinfo75
»FWFinfo86