Minder pretentie, meer ambitie - Oapen

ontwikkeling meten113Een praktisch alternatief voor situaties waarin een random experiment nietmogelijk of niet verantwoord is, is het ‘quasi-experiment’ (of ‘non-randomexperiment’) waarbij vergelijkingen met comparatieve groepen of situatiesworden gemaakt nadat het project is uitgevoerd. Dat gebeurt vaak met geavanceerdestatistische technieken, al zijn die niet altijd geschikt. In dat geval wordtvoor een second best evaluatie van projecten ook wel van kwalitatieve endescriptieve beoordelingen gebruikgemaakt. Deze kwalitatieve en descriptievemethoden zijn ook aan de orde bij het monitoren en evalueren van programma’s,waar weer heel andere zaken bij komen kijken dan bij een projectevaluatie. Het isbijvoorbeeld erg moeilijk, zo niet onmogelijk, te meten wat voor bijdrage eendonorprogramma aan sociale verandering geleverd heeft, en het heeft meestal nietveel zin landen met elkaar te vergelijken omdat de omstandigheden te veelverschillen. Hoe hulpverstrekking te monitoren, of hoe de samenwerking vandonoren en overheden bij budgetsupport te beoordelen, is een ingewikkeldepuzzel. Het is nog wel mogelijk in een bottom-up-benadering het effect vanalgemene budgetsupport of sectorsteun op een representatieve steekproef vanbeoogde begunstigden te meten. Lastig is echter hoe je meet in hoeverre overhedenzich eigenaar voelen van beleid dat is afgesproken, of hoe je achterhaalt inwelke mate daadwerkelijk sprake is van participatie bij het formuleren van eenPoverty Reduction Strategy Paper (Gunning 2006; De Haan 2009). Blijft overde vraag wat de mensen voor wie hulp bedoeld is, er over denken. Om dat teachterhalen wordt meer recent geëxperimenteerd met een andere bottom-upbenadering,waarin lokale inwoners over langere termijn worden gevolgd.De vraag daarbij is hoe zij een aantal ontwikkelingsinitiatieven in hun regio en desociale veranderingen die daar het gevolg van zijn, waarderen (Dietz et al. 2009;Dietz en Van Zanen 2009).4.4 helpt hulp?De wereld is, gemeten op een aantal dimensies, een betere plaats geworden. Metname de scores op welzijnsindicatoren (onderwijs, voeding en gezondheid) zijnin de afgelopen zestig jaar verbeterd op een wijze die in de geschiedenis nieteerder vertoond is. Ook met het realiseren van groei en het bestrijden vanarmoede is vooruitgang geboekt, maar dat geldt zeker niet over de hele linie en hetging bovendien gepaard met meer ongelijkheid. De vraag is wat de bijdrage vanontwikkelingshulp aan deze veranderingen is geweest. Die vraag valt voorlopigminder eenduidig te beantwoorden. Publicaties waarin geprobeerd wordt metmacro-onderzoek vast te stellen dat specifieke typen hulp onder bepaaldeomstandigheden een positief effect hebben op groei of ontwikkeling zullenblijven verschijnen. Ook verschijnen er resultaten van random experimenten dielaten zien dat sommige concrete projecten werken en andere niet. Maar geen vandeze methoden is zaligmakend en het is verstandig de mogelijke beleidsimplicatieservan niet te overschatten. Het is mogelijk om op microniveau te laten zien