Minder pretentie, meer ambitie - Oapen

112 minder pretentie, meer ambitiewel voor in aanmerking komt. Dat is misschien nog te rechtvaardigen als debeschikbare middelen sowieso te beperkt zijn om iedereen in aanmerking te latenkomen, of als de potentiële baten van het onderzoeksproject enorm groot zijn,maar het is op zijn minst twijfelachtig als de selectie van gegadigden vooralvanwege een donorbelang plaatsvindt. Bovendien lenen veel doelen en projectenzich niet voor random experimenten, en dat geldt al helemaal voor programma’s.Martin Ravallion, hoofd van de onderzoeksafdeling van de Wereldbank, noemt alsvoorbeeld het bepalen van de beste locatie voor infrastructurele projecten alswegen, bruggen en spoorlijnen. Dat is een kernactiviteit in de ontwikkelingsstrategievan elk arm land, maar hoe je dat met een random experiment zou kunnendoen, is moeilijk voorstelbaar (De Haan 2009; Ravallion 2009a). Een anderemajeure kwestie betreft de generaliseerbaarheid van uitkomsten van dit typeonderzoek: een goed ontworpen project dat in het ene (deel van een) land werkt,hoeft dan niet ook in een ander (deel van een) land te doen. Dat reduceert in hogemate de beleidsrelevantie van deze methode. Voorstanders die dat onderkennenpleiten voor het herhalen van experimenten op andere plaatsen, maar de incentivesom dat te doen zijn klein, en de literatuur over random experimenten biedtgeen antwoord op de onmogelijke maar relevante vraag hoeveel herhalingen dannodig zijn (Easterly 2009). Daar komt als praktisch probleem bij dat wetenschappersniet scoren met een herhaling van iets wat al eerder gedaan is, in ieder gevalniet in de relevante tijdschriften. Er zijn bovendien, en dat is weer een anderprobleem, aanwijzingen dat donoren vooral een random experiment toelaten bijprojecten waarvan ze succes verwachten. Er zijn inmiddels de nodige projectengestopt voordat de uitkomst van het random experiment verscheen, zonder datduidelijk is of dit door die evaluatie kwam. Ook zijn regeringen minder genegendan ngo’s om nieuwe projecten met random experimenten te laten evalueren. Datlaatste hoeft eigenlijk geen verbazing te wekken, aldus Ravallion, want beleidsmakerswillen ook antwoord op vragen waar deze methodologie niet in kan voorzien:of een interventie werkt zoals was verwacht, welk type mensen er voordeel vanheeft en welk type niet, wat er gebeurt als het project geïntensiveerd wordt, enhoe het project anders ontworpen kan worden om meer effect te hebben bijvoorbeeld(Banerjee 2007; Banerjee en He 2008; Deaton 2009; Easterly 2008a;Gunning 2006; Pritchett 2008; Ravallion 2009a; Rodrik 2008b).Sommige randomnistas overdrijven het potentieel van de ‘revolutionaire’ nieuweaanpak, maar toch zien ook veel sceptici random experimenten wel degelijk als eenwaardevolle aanvulling op de instrumenten die onderzoekers ter beschikkinghebben om projecten te evalueren: “The re methodology has had a positivedemonstration effect showing the scientific method can be applied with marginalinterventions, in an aid world that too often ignores any existing evidence (or anyneed to find such evidence)”, om Easterly nog maar eens aan te halen.