QiW - UniversitätsVerlagWebler

QiW
M. Olbrecht • Qualitätssicherung im Peer Review ...
Abbildung 3: „Wie hoch schätzen Sie in Ihrem Fachkollegium den Prozentsatz an Gutachten mit
einer angemessenen Qualität ein?“ (Angaben in Prozent)
pfehlung steht, die am
Ende des Gutachtens
gegeben wird. Auch
die Länge der Gutachten
erscheint dem
Großteil (89,6%) angemessen
(vgl. Abbildung
4).
ten, so ist doch für die überwiegende Mehrheit (88,6%) die
Argumentationslinie der meisten Gutachten stringent.
Neidhardt kam bei einer Inhaltsanalyse von DFG Gutachten
zu dem Schluss, dass – unabhängig von der Konsistenz der
Argumentation – „Gutachter relativ häufig kritisch argumentieren,
sich diese Kritik aber zum Teil nicht oder nur
unvollständig in den Voten ausdrückt, die sie über die Anträge
äußern“ (Neidhardt 1988, S. 114). Einzelne Befragte
bestätigen diesen
Eindruck in ihren
Kommentaren:
„Man erhält häufig
Gutachten, die
trotz starker Kritik
mit einer Förderempfehlung
enden“ (Mitglied
aus dem Fachgebiet
Biologie).
Die Mehrheit der
Befragten sieht
dieses Problem
allerdings nicht.
Lediglich rund
20% der Befragten
können sich –
zumindest teilweise
– dem Urteil
anschließen,
dass die Argumentation
des
Gutachtens oft im
Widerspruch zu
der Förderem-
2.4 Evaluation des
DFG-Gutachtersystems
Die Einschätzungen
der Fachkollegiaten
zum Begutachtungssystem
lassen vermuten,
wo eventuell Stärken
und Schwächen
des Systems liegen
könnten. Um mit Sicherheit
sagen zu können,
inwiefern es sich
um ein faires, reliables
und valides System
handelt, bedarf es allerdings
einer systematischen
Evaluation.
In Untersuchungen
zum Peer Review-Verfahren wurde vielfach danach gefragt,
inwiefern es zu zuverlässigen, gültigen und gerechten Urteilen
führt. Die Ergebnisse und die damit verbundene Kritik
am System sind vielfältig: sie reichen von dem Vorwurf, es
sei weder reliabel noch valide bis dahin, dass es zu teuer
und zu langsam sei, außerdem den Konservatismus und die
Vetternwirtschaft fördere, sowie Minderheiten benachteilige
(siehe Übersicht z.B. bei Bornmann 2004, S. 14-32; für
Abbildung 4: Aussagen über die Qualität von Gutachten
QiW 1+2/2009
41