Thema nr 2 2024 - Instondo

Thema Thema
middelen. Met behulp van een mathematisch model schatten
Gross & Bergstrom (2019) dat de kosten van onsuccesvolle
aanvragen vaak zelfs hoger zijn dan het totale budget
van de oproep. In dergelijke gevallen zou het efficiënter
zijn om helemaal geen oproep te hebben. Sterker zelfs, het
zou zelfs efficiënter zijn om enkele miljoenen aan onderzoeksgeld
te verbranden. Dat geldt met name als de kans op
succes zeer laag is.
Een bijkomend probleem is dat het systeem vooral onderzoekers
financiert die al genoeg geld hebben om goed
onderzoek te doen. Het systeem alloceert dus middelen
naar onderzoekers die het geld niet of minder nodig hebben
en laat onderzoekers in de steek die het wel nodig hebben.
Dat is deels het resultaat van een goed gedocumenteerd
mattheuseffect. Zo stelden Bol en collega’s (2018) vast dat
succes bij een eerdere aanvraag bij NWO ertoe leidde dat
je bij latere aanvragen ook meer succes had. Ze concluderen
dat er twee onderling gerelateerde processen spelen.
Ten eerste worden individuen die eerder prijzen hebben
gewonnen gunstiger beoordeeld dan degenen die dat niet
hebben gedaan. Ten tweede is de kans groter dat wetenschappers
die succes hebben behaald in eerdere competities
actief kiezen voor deelname aan volgende competities, terwijl
minder succesvolle wetenschappers minder vaak zullen
deelnemen.
Soms wordt het mattheuseffect zelfs uitdrukkelijk nagestreefd.
Niet zelden moeten beoordelaars eerder succes bij
projectaanvragen als een positief element meenemen bij de
beoordeling van nieuwe aanvragen. In Vlaanderen ging het
zelfs zo ver dat een aanvraag voor een interuniversitair project
bij het Bijzonder Onderzoeksfonds slechts ontvankelijk
was als een van de leden van het aanvragend consortium
promotor was van ‘hoogwaardige en competitief verworven
grants (zoals European Research Council (ERC), Methusalem
of Odysseus)’. Als je het zo leest, zou je haast gaan
denken dat onze academische bestuurders niet altijd even
bekommerd zijn om een efficiënte inzet van publieke middelen,
terwijl ze zelf toch steeds beklemtonen dat ‘er meer
geld nodig is voor academisch onderzoek’.
De conclusie lijkt zich
op te dringen dat
het huidige systeem
spectaculair faalt
Financiering
Thema Thema Them
IJdele hoop
Misschien komt het geld dan niet terecht bij wie de financiering
het meest nodig heeft, maar je kunt toch hopen dat
het terechtkomt bij de beste onderzoekers. Ook die hoop
lijkt ijdel. Allereerst hangt er heel veel af van wie het project
beoordeelt en lopen de oordelen van de reviewers over de
kwaliteit van onderzoeksvoorstellen sterk uiteen. Graves en
collega’s (2011) tonen bijvoorbeeld dat voor een Australische
oproep een heel groot deel van de gehonoreerde projecten
niet zou zijn toegekend mochten de aanvragen door andere,
beschikbare reviewers geëvalueerd zijn.
Het is dan ook niet verrassend dat de uiteindelijke rangschikking
van een project weinig lijkt te vertellen over de
kwaliteit of de uiteindelijke resultaten van het voorgestelde
onderzoek. Verschillende studies concluderen in elk geval
dat er slechts een zwakke correlatie bestaat tussen de rangschikking
van de projecten en hun (bibliometrische) impact
(zie bijvoorbeeld Johnson, 2008). Toegegeven: bibliometrische
impact is zelf geen heel betrouwbare maat voor wetenschappelijke
kwaliteit of maatschappelijke impact, maar het
is anderzijds wel de maat die heel wat voorstanders van het
huidige systeem verdedigen in andere contexten.
hema Thema Them
hema Thema Them
hema Thema Them
Het geld komt dus niet altijd terecht bij de beste onderzoekers.
Misschien nog problematischer is dat het systeem ook
niet de meest innovatieve projecten steunt. Hoewel heel veel
onderzoeksfinanciering bedoeld is voor ‘innovatief’, ‘disruptief’
en ‘interdisciplinair’ onderzoek, blijkt het die doelen in
de praktijk niet te realiseren (Alberts et al. 2014). Zo stelden
Veugelers en collega’s (2022) vast dat de ERC aanvragers
beloonde die in hun onderzoek risico-avers waren, ook al
beweert de Council vooral te mikken op ‘high risk, high
gain’ onderzoek.
De conclusie lijkt zich op te dringen dat het huidige systeem
spectaculair faalt. Toch denk ik dat die conclusie voorbarig
is. Maar ook al is de conclusie voorbarig, dan nog betekent
dit niet dat we helemaal niets moeten doen.
ema Thema Thema
ema Thema Thema
Vanuit ontevredenheid
Zoals ik al schreef is het onderzoek naar de optimale verdeling
van onderzoeksmiddelen redelijk jong. Dergelijk
onderzoek is ook nog steeds schaars. Veel onderzoekers
die bezig zijn met zogenoemde metascience doen dat als
een nevenproject, in belangrijke mate omdat – u raadt het
nooit – de financiering voor dit onderzoek nogal tegenvalt
(Barnett, 2016).
Niet alleen is er nog steeds weinig onderzoek, het wordt
ook vaak gevoerd vanuit ontevredenheid over het systeem.
Die ontevredenheid gaat mogelijk gepaard met enige vooringenomenheid
bij het bestuderen van het systeem, waardoor
de evaluatie van het systeem negatiever is dan de feiten
of observaties rechtvaardigen. Een dergelijke invloed van de
vooringenomenheid van onderzoekers op hun resultaten is
ma Thema Thema
ma Thema Thema T
43