De Evidence Based Beleidsmaker en Toezichthouder - TIER

Modules voor professionals inEvidence Based Policy and EvaluationBeleidsinnovatieEvidence based policy – wetenschappelijk onderbouwdbeleid – houdt in dat beleidsmakers, toezichthoudersen andere medewerkers binnen de publieke sector zichniet laten leiden door veronderstellingen of vooroordelenmaar door feiten. Ondanks de vele ideeën voorbeleidsvernieuwing is er immers steeds de vraag:wat werkt en wat werkt niet? Hoe komt u daar achter?Welke vernieuwingen zijn echt effectief en leiden totmeer kwaliteit en beter beleid? Die vragen vormen hetuitgangspunt van deze modules en de bijhorendemaster.Wat is evidence based beleid?Evidence based beleid houdt in dat een beleidsmakerof andere medewerker binnen de publieke sector zichsteeds laat inspireren door de best mogelijke evidencedie aanwezig is. De deelnemers leren verschillendesoorten van evidence onderscheiden, beoordelen eninterpreteren. Door kritisch het werk van onderzoekerste bespreken en de achterliggende theorie te verkennen,worden een specifieke aanpak en attitude eigengemaakt.AanpakStel, u vraagt zich af: kan Nederland beter presteren opde PISA-indicatoren dankzij de invoering van teambeloningvoor leraren? Of: kan de onderwijskwaliteitverbeteren als gevolg van geïntensiveerd inspectietoezicht?In de modules Evidence Based Policy andEvaluation kunnen we de beantwoording vandergelijke vragen op twee manieren aanpakken.Eén manier is: een systematische analyse maken van debeschikbare publicaties over het onderwerp. Daarbijkomen vaardigheden kijken als: hoe selecteer ikbruikbare onderzoeksresultaten uit het grote aanbod?Hoe beoordeel ik de methodologische kwaliteit van degevonden publicaties? Welke zijn geschikt voor mijneigen (beleids)praktijk? Deze wijze komt in module A(Werken met evidence – Introductie) aan bod.Een tweede manier om de gestelde vraag te beantwoordenbestaat uit zelf onderzoek doen en gegevensanalyseren. U kunt bijvoorbeeld een onderzoek doenwaarin geëxperimenteerd wordt met teambeloning; uanalyseert in de PISA-data de prestaties van leerlingenin scholen met een dergelijke beloningsstructuur; of ubestudeert de onderwijskwaliteit van scholen die ondergeïntensiveerd toezicht vallen. In module B en C(De eigen praktijk door een evidence based bril) bestaathiervoor de mogelijkheid.Opbouw modules en masterDe modules A en B kunnen afzonderlijk en onafhankelijkvan elkaar gevolgd worden. Module A geeft eenintroductie op verkennend en intuïtief niveau. Dezemodule is geschikt voor beleidsmakers, toezichthoudersen andere medewerkers binnen de publieke sectordie zich het begrippenkader van evidence based werkenwillen eigen maken, zelfstandig evidence willendistilleren uit wetenschappelijke literatuur en deresultaten op een systematische manier willen overbrengennaar collega’s. Module A beslaat 6 maandenvan 2 contactdagen per maand. Aan het eind van demodule heeft u, onder begeleiding van een ervarenonderzoeker, een systematisch literatuuronderzoekgeschreven over uw specifieke vraag.Modules B en C gaan meer de diepte in. Module C kanslechts worden aangevat na succesvolle afronding vanmodule B. In modules B en C leert de deelnemer zelfgegevens verwerken en interpreteren. Deze moduleszijn geschikt voor beleidsmakers, toezichthouders enandere medewerkers binnen de publieke sector die zelfgraag onderzoek willen initiëren, onderzoek nauwgezetwillen opvolgen, statistische modellen willen interpreterenen/of zelf een verkennende analyse willen maken.U leert er een brede waaier van onderzoeksmethodeskennen en gebruiken. Denk aan effectstudies, procesevaluatiesen natuurlijke experimenten. Ook relevantebeleidskaders zoals organisatietheorieën, theorieën overoverheidsbeleid en ambtelijk gedragsmanagement(waaronder human resources management), kostenbatenanalyseen welvaartsfuncties komen er aan bod.Module B en C beslaan 6 maanden van 2 contactdagenper maand. Aan het eind van de modules hebt u eenartikel geschreven dat zowel inzicht brengt in deEen master voor professionals in Evidence Based Policy and Evaluation 2

wetenschappelijke literatuur als analyses beschrijft overeen beleidsonderwerp naar keuze.aangevangen indien de deelnemer succesvol modules A,B en C heeft afgerond.Beleidsmakers en toezichthouders die zich volledigwillen onderscheiden kunnen na afloop van module A,B en C, en onder begeleiding van een ervaren onderzoeker,een thesis rond ‘evidence based werken’schrijven. Na een succesvolle afronding van de thesisontvangt de beleids maker/toezichthouder de mastergraadin Evidence Based Policy and Evaluation.Systematische voorstellingSemester 1 Module A - Werken met evidenceIntroductieSemester 2 Module B - De eigen praktijk dooreen evidence based bril (deel 1)Semester 3 Module C - De eigen praktijk dooreen evidence based bril (deel 2)Semester 4 Module D - Thesis rond evidencebased werkenMaster in Evidence Based Policy and EvaluationVoor wie zijn deze modules bedoeld?De modules Evidence Based Policy and Evaluationmaken deel uit van een academisch programma,bedoeld voor beleidsmakers, mensen die werkzaamzijn op het terrein van toezicht, naleving en inspectiesen andere medewerkers binnen de publieke sector enmet relevante werk ervaring. Daarnaast zijn de modulesbedoeld voor hen die aan ‘kennis en strategie’ doen inde publieke sector. Met de modules willen we mensenen organisaties bereiken die de wisselwerking tussenwetenschappelijke kennis en de beleidspraktijk willenverbeteren door evidence based te werken. De modulesrichten zich op professionals die willen investeren inhun loopbaan en graag een bijdrage leveren aan deontwikkeling van hun vakgebied.Module A kan aangevangen worden door deelnemersmet een beperkte achtergrond (maar wel interesse) instatistiek. Voor module B is er enige voorkennis vanbeschrijvende statistiek nodig. Module C kan slechtsworden aangevangen indien de deelnemer succesvolmodule B heeft afgerond. Module D kan wordenDoelstellingen module A – Werken met evidence –Introductie:De deelnemers kunnen:• Op een systematische manier zelfstandig de beschikbarewetenschappelijke informatie verzamelen dieaansluit op praktische vraagstukken (‘wat werkt?’).• Deze informatie beoordelen op de kwaliteit ende toepasbaarheid in hun eigen werksituatie.• De beleidstheorie of interventietheorie formulerenen als kader voor een wetenschappelijke evaluatiegebruiken.• Een bijdrage leveren aan wetenschappelijkonderzoek, gericht op de ontwikkeling vannieuwe praktijkrelevante kennis.• Collega’s informeren over nieuwe en bruikbarewetenschappelijke kennis en ontwikkelingen dienuttig zijn voor de innovatie van beleid.• De verschillende elementen in de kennispiramide(zoals kwalitatief onderzoek, natuurlijkeexperiment en en gerandomiseerde experimenten)kritisch bespreken.Doelstellingen modules B en C – De eigen praktijk dooreen evidence based bril (deel 1 en 2):De deelnemers kunnen:• Een probleem of vraag uit de werksituatievertalen in een onderzoekbare vraag.• Beoordelen of de onderzoeksvraag met debeschikbare data beantwoord kan worden.• Een korte onderzoeksopzet schrijven waarin deonderzoeksvraag wordt geïntroduceerd en de aanpakvan het onderzoek wordt omschreven.• Met hulp van een begeleider data analyseren eninterpreteren (via beschrijvende statistieken envia multivariate regressies).• De voor data-analyse gebruikelijke commando’s instatistische software (Stata) hanteren, en zelfstandignieuwe functies opzoeken en gebruiken.• De kwaliteit van de gevonden resultaten beoordelen.• De kwaliteit van kwalitatief en kwantitatief onderzoekbeoordelen.• De kenmerken en theorie van de methodologischegrondslagen van evidence based theorie onderscheiden.• De belangrijkste theoretische modellen in verbandmet Human Resource Management duiden.3Een master voor professionals in Evidence Based Policy and Evaluation

• De politieke cultuur onderzoeken via haar vormcomponenten:de informatie, de publieke opinie,het strijdpunt en de strijdpuntbesluitvorming,de ideologie.• Verschillende theorieën m.b.t. het overheidsmanagementweergeven.Doelstellingen module D – Thesis rond evidence basedwerkenDe deelnemers kunnen:• Onder begeleiding en op wetenschappelijke maniereen literatuuroverzicht schrijven.• Empirisch onderzoek uitvoeren en rapporteren.• Beleidsconclusies maken op basis van een wetenschappelijkonderzoek.• Resultaten uit evaluatieonderzoek benutten voorde eigen praktijk.Een master voor professionals in Evidence Based Policy and Evaluation 4

Structuur van het programmaCollegedagenMaandelijks komen alle deelnemers twee aaneengeslotencontactdagen bijeen. Op deze dagen zijnonder andere de volgende activiteiten gepland:Methodologie en StatistiekTheoretisch en praktisch wordt in het MethodologieenStatistiekprogramma de basis gelegd voor hetkunnen interpreteren en op waarde schatten van eerdergepubliceerd onderzoek of eerder gedane evaluaties. Inde tweede module wordt dit uitgebreid naar hetuitvoeren van onderzoek en evaluaties. In deze modulewordt het M&S-onderwijs ook individueel afgestemdop specifieke technieken die aansluiten op individueleonderzoeks vragen.Workshops: Onderzoek in en voor de praktijkErvaren onderzoekers binnen het Top Institute forEvidence Based Education Research (TIER) gevenworkshops over het opzetten en uitvoeren vanprojecten die zijn gericht op innovaties en ondersteuningvan beleid.Actualiteitencolleges Beleidsinnovatie en EvaluatieIn actualiteitencolleges en workshops wordt de standvan zaken op het gebied van onderwijs- en inspectiebeleiden beleidsinnovatie toegelicht. Experts uitverschillende wetenschapsgebieden zullen ingaan opbeleidskundige, maatschappelijke en politieke ontwikkelingenop relevante terreinen en speciaal aandachtbesteden aan de rol van de wetenschap hierin.Capita selectaBeleidsmakers en toezichthouders zijn in wisselwerkingmet de bredere samenleving. De capita selectabieden een theoretische achtergrond bij evolutiesbinnen de samenleving. Via verschillende onderwerpen(van human resources management, via de sociologievan de politieke cultuur tot aan kosten-baten analyse)maken de deelnemers kennis met een breed palet aanmaatschappelijk relevante theorieën.Vaardigheidstrainingen: Organisatie van innovatieDeelnemers aan de modules worden getraind in hettoepassen van evidence based principes bij beleidsinnovatiesen -evaluaties. Maar van hen wordt ookverwacht dat zij bij dit onderwerp een voortrekkersrolgaan spelen binnen de eigen organisatie waarin zijwerkzaam zijn. Daartoe worden ze getraind invaardigheden die deze rol ondersteunen, zoals leiderschapskwaliteitenen sociale vaardigheden.5Een master voor professionals in Evidence Based Policy and Evaluation

ContactdagenDe contactdagen voor Module A vinden plaats opwoensdag en donderdag, voor Module B vinden dezeplaats op donderdag en vrijdag. Alle contactdagenworden georganiseerd in Amsterdam. Onderstaand decontactdagen voor het eerste semester van 2012:MODULE A:Werken met Evidence - Introductiewoensdag en donderdagMODULE B:De eigen praktijk door een evidence based brildonderdag en vrijdagBlok 1 18 en 19 januari 2012Blok 2 8 en 9 februari 2012Blok 3 7 en 8 maart 2012Blok 4 18 en 19 april 2012Blok 5 2 en 3 mei 2012Blok 6 20 en 21 juni 2012Blok 1 19 en 20 januari 2012Blok 2 9 en 10 februari 2012Blok 3 8 en 9 maart 2012Blok 4 19 en 20 april 2012Blok 5 3 en 4 mei 2012Blok 6 21 en 22 juni 2012Een master voor professionals in Evidence Based Policy and Evaluation 6

Inhoud Module ADeze module is bedoeld voor professionals die op zoekzijn naar een algemene inleiding op het gebied vanempirisch onderzoek en de toepassing daarvan binnenbeleid en evaluatie gebaseerd op evidence. Onderstaandegeeft een kernachtige beschrijving van deleerinhouden per blok.het derde blok. We gaan dieper in op het detecterenvan good practices and benchmarks en gevenvoorbeelden van wetenschappelijk geanalyseerdebeleidsinterventies. Tot slot staan we stil bij hetbelang van procesevaluatie: wat maakt dat overheidsinterventiesniet altijd werken zoals beoogd?Blok 1: Evidence based beleid en evaluatieIn dit blok gaan we in op de kern van Evidence Basedbeleid: wat is dit nu? Verder bekijken we de maatschappelijkeeffecten en vormen van toezicht en hoewe effectief beleidsimplementaties kunnen monitoren.Blok 4: Kosten-baten analyseDit blok gaat in op sociale welvaartsfuncties, hetmaken van een kosten-batenanalyse, alsook op devraag rond de mogelijkheden van beleidsevaluatieindien strikte effectstudies niet mogelijk zijn.Blok 2: BeleidstheorieënIn dit tweede blok bespreken we diverse beleidstheorieënals basis voor leren rond effecten van beleid.Hierbij wordt stilgestaan bij de manieren waarop debeleids theorie ge(re)construeerd kan worden, inclusiefde mechanismen die met beleid of beleidsinterventiesin gang gezet zouden moeten worden. Ook behandelenwe de wijze waarop een beleidstheorie als kaderkan dienen voor plan-, proces- en effectevaluaties.Blok 3: Internationale vergelijkingenInternationale samenwerkingsverbanden en het nutvan internationale vergelijkingen komen aan bod inBlok 5: Voorbeelden van vertalingen van kennis naarbeleidWat is de invloed van management en managementinstrumentenop effectiviteit en doelmatigheid vanoverheidsbeleid? We bespreken verder de consequentiesvan onderzoeksdesigns voor beleidsontwerpen.Met andere woorden: hoe moet u beleid ontwerpenzodat het nadien goed geëvalueerd kan worden.Blok 6: Presentatie van reviewstudiesElke deelnemer van de module stelt kort zijn eigenonderzoek voor.Inhoud Module BDeze module is bedoeld voor professionals die devaardigheden uit module A al beheersen en op zoekzijn naar een verdieping van hun begrip en vaardighedenop het gebied van empirisch onderzoek en detoepassing daarvan binnen evidence based beleid enevaluatie. Let wel: mits er voldoende voorkennisaanwezig is, kan een deelnemer module B ookstarten zonder aan module A te hebben deelgenomen.Onderstaande geeft een kernachtige beschrijvingvan de methodologie en de bredere vorming inelk blok.Blok 1: Het CMO model & Formuleren vanonderzoeksvraagWat kunnen we wel en niet leren uit beschrijvendestatistiek? Het reconstrueren, testen en verfijnen vanbeleidstheorieën: hoe werkt een interventie (M),onder welke omstandigheden (C), en met welke resultaten(O)?Blok 2: Multivariate regressie & Economische theorievan politiekHoe kunnen verbanden tussen gegevens geanalyseerden geïnterpreteerd worden? Wat kunnen we leren uitcorrelaties? Hoe kunnen indicatoren (vb. uit deEurope 2020 Agenda) geaggregeerd worden? Hoekunnen ‘ex ante’ evaluaties vormgegeven worden enwat zijn ‘mechanism experiments’?7Een master voor professionals in Evidence Based Policy and Evaluation

Blok 3: Gerandomiseerde experimenten & KostenbatenanalyseDe causale relatie tussen een interventie en deuitkomstvariabele kan hetduidelijkst geanalyseerd worden via een experiment.Waar moet op gelet worden bij het opzetten van eenexperiment, en hoe kunnen de gegevens geanalyseerdworden? Wegen de kosten van een interventie optegen de opbrengsten?Blok 4: Kwalitatief onderzoek & Politieke economievan conflictenWat is het belang en de complementariteit vankwalitatief onderzoek? Hoe kan een kwalitatiefonderzoek het best opgezet worden? Hoe pasteffectonderzoek binnen de beleidscyclus?Blok 5: Difference-in-Differences & Contextanalysein de beleidsketenAls een groep van observaties een interventie krijgt eneen andere groep niet, kan, mits aan enkele voorwaardenis voldaan, het beleid geëvalueerd worden.Bijvoorbeeld evaluatie via verschillen tussen regio’s.Welke digitale methoden bestaan er om de assumptiesover mechanismen en contexten die aan beleid tengrondslag liggen op te sporen?Blok 6: Presentatie van eigen onderzoekInhoud Module CDeze module is bedoeld voor professionals die devaardigheden uit module A en B beheersen en opzoek zijn naar een verdieping van hun begrip envaardigheden op het gebied van empirisch onderzoeken de toepassing daarvan binnen evidence basedbeleid en evaluatie.Blok 3: Panel-data modellen & Politieke cultuurvia haar vormcomponentenObservaties die door de tijd heen gevolgd kunnenworden. Wat kunnen we daaruit leren en hoe moetendeze geanalyseerd worden?Blok 1: Natuurlijke experimenten & OrganisatiepsychologieSoms creëert een beleidsmaker/toezichthouder(ongewild) exogene variatie die nodig is om causaleinterpretaties te kunnen maken. Dit blok geeft aanhoe dit kan en welke gevolgen dit heeft voor deevaluatie.Blok 2: Matching analyses & Human resourcesmanagementHoe kunnen vergelijkbare observaties gezocht engeanalyseerd worden? Kritische bespreking vanvoorgaande literatuur.Blok 4: Regressie-discontinuïteit & OverheidsmanagementEen interventie die op basis van strikte criteria vooreen groep wordt aangeboden. Evaluatie vindtbijvoorbeeld plaats via overinschrijving.Blok 5: Instrumentele variabelen & Ketenmanagementbinnen de overheidHoe kunnen de diverse schakels in de publiekemanagementketen geoptimaliseerd worden?Blok 6: Presentatie van eigen onderzoekEen master voor professionals in Evidence Based Policy and Evaluation 8

Waarom kiezen voor evidence based policyand evaluation?• Door de modules verwerft u een bredere kijk opde beleidspraktijk. Bovendien kunt u efficiënter eneffectiever onderzoek aansturen, controleren,opvolgen en begrijpen.• De inhoudelijke en organisatorische band met TIER,het Top Institute for Evidence Based EducationResearch, zorgt voor een directe link met wetenschappelijktoponderzoek.• De modules verscherpen uw inzicht in (wetenschappelijke)evidentie. U verwerft een attitude voor hetzoeken naar en beoordelen van de best mogelijkeevidence. Daardoor onderscheidt u zich alsbeleidsmedewerker of toezichthouder.• De modules Evidence Based Policy and Evaluationnemen de praktijk als uitgangspunt: het programmawordt gestuurd door de leervragen van de deelnemers.De modules besteden ook expliciet aandachtaan de verspreiding van de verworven kennis binnende eigen organisatie.• De modules worden gegeven in een flexibeleleeromgeving. Door een efficiënte inzet vane-learning kan de opleiding eenvoudiger ingepastworden in een drukke agenda. U kunt uw studietempoin overleg versnellen of vertragen. De flexibeleopzet maakt het bovendien gemakkelijk om vanuitelke locatie in Nederland deel te nemen aan deopleiding.Omvang en studiebelastingDe vier modules omvatten elk een periode van zesmaanden. In de modules wordt elke maand aandachtgeschonken aan een afzonderlijk thema tijdens tweeaaneengesloten contactdagen. Naast de contactdagen iszelfstudie gepland waarin gebruik kan worden gemaaktvan een elektronische leeromgeving. De studiebelastingbedraagt 15 ECTS per module, ofwel 420 studie-uren.De studieleiding adviseert deelnemers rekening tehouden met circa 8-10 uur zelfstudie per week.Certificaat en masterdiplomaBij succesvolle afronding van een module ontvangende deelnemers een certificaat. Dit certificaat levertstudiepunten op die eventueel later kunnen wordeningezet als de deelnemer de ‘Mastergraad Evidence-Based Policy and Evaluation’ wenst te behalen.De gehele master, waarvoor een NVAO accreditatie invoorbereiding is, omvat 60 ECTS.• De modules worden gegeven in een learningcommunity. Individuele begeleiding wordtgecombineerd met intensieve samenwerking inkleine groepen, en al het materiaal dat gemaaktwordt, is na toetsing vrij beschikbaar voor iedereen.Door maandelijkse contactdagen neemt u deel aande academische cultuur. In actualiteitscolleges enworkshops zullen hoogleraren en (top)praktijkdocentenuit de wereld van beleid, toezicht en inspectieparticiperen.9Een master voor professionals in Evidence Based Policy and Evaluation

Dutch Teachers AcademyDe modules Evidence Based Policy and Evaluation zijneen programma van de Dutch Teachers Academy.De Dutch Teachers Academy verzorgt opleidingen encursussen vanuit de gedachte dat problemen inwetenschap, onderwijs, gezondheid, veiligheid,ontwikkelingssamenwerking en andere velden alleendoor een creatieve en slimme wetenschappelijke aanpakopgelost kunnen worden. Evidence based werken isdaarbij het uitgangspunt. Daarmee wordt bedoeld dathet vaststellen van de effecten van de interventiesplaatsvindt via evaluatie. De Dutch Teachers Academyis nauw verbonden met TIER, het Top Institute forEvidence Based Education Research van de universiteitenvan Maastricht, Amsterdam en Groningen.www.dutchteachersacademy.nlwww.tierweb.nlAanmeldingToelatingseisenToelaatbaar tot de opleiding is iedereen die een diplomabezit van een erkende universiteit, en/of werkzaam isin een beleidsfunctie en over relevante werkervaringbeschikt.KostenKosten voor elke module bedragen e 3750,- euro p.p.Meer informatie?Voor meer informatie en aanmelding voor de modulesEvidence Based Policy and Evaluation kunt u zichwenden tot:Top Institute for Evidence Based Education Research /Dutch Teachers AcademyTelefoon: (020) 525 44 32Email: info@dutchteachersacademy.nlwww.dutchteacheracademy.nlwww.tierweb.nlEen master voor professionals in Evidence Based Policy and Evaluation 10

ContactinformatieTop Institute for Evidence Based Education Research /Dutch Teachers Academyp/a Universiteit van Amsterdam/Faculteit Economieen BedrijfskundeRoetersstraat 11, 1018 WB AmsterdamTelefoon: (020) 525 44 32Email: info@dutchteachersacademy.nlwww.dutchteachersacademy.nlwww.tierweb.nlEen master voor professionals in Evidence Based Policy and Evaluation