Handleiding voor het evalueren van verkeersveiligheidsmaatregelen

steunpuntverkeersveiligheid.be

Handleiding voor het evalueren van verkeersveiligheidsmaatregelen

Handleiding voor het evalueren van

verkeersveiligheidsmaatregelen

Een eerste aanzet

RA-MOW-2009-003

F. Van Malderen, C. Macharis

Onderzoekslijn Evaluatietechnieken

DIEPENBEEK, 2009.

STEUNPUNT MOBILITEIT & OPENBARE WERKEN

SPOOR VERKEERSVEILIGHEID


Documentbeschrijving

Rapportnummer: RA-MOW-2009-003

Titel: Handleiding voor het evalueren van

verkeersveiligheidsmaatregelen

Ondertitel: Een eerste aanzet

Auteur(s): F. Van Malderen, C. Macharis

Promotor: Prof. dr. Cathy Macharis

Onderzoekslijn: Evaluatietechnieken

Partner: Vrije Universiteit Brussel – MOSI T

Aantal pagina’s: 62

Projectnummer Steunpunt: 5.2

Projectinhoud: Ontwikkeling van een leidraad omtrent

evaluatiemethodieken

Uitgave: Steunpunt Mobiliteit & Openbare Werken – Spoor Verkeersveiligheid, mei 2009.

Steunpunt Mobiliteit & Openbare Werken

Spoor Verkeersveiligheid

Wetenschapspark 5

B 3590 Diepenbeek

T 011 26 91 12

F 011 26 91 99

E info@steunpuntmowverkeersveiligheid.be

I www.steunpuntmowverkeersveiligheid.be


Samenvatting

Het evalueren van beleidsmaatregelen is een belangrijke opdracht om de gewenste en

beoogde doelstellingen te bereiken op een efficiënte en effectieve manier. Er zijn

verschillende evaluatiemethoden voor handen om de maatregelen te evalueren. Zo is er

de veel gebruikte sociale kosten-baten analyse, de (multi-actor) multi-criteria analyse,

de kosten effectiviteitsanalyse, de impactanalyse en de economische effecten analyse. Er

wordt in deze paper kort ingegaan op deze verschillende evaluatiemethoden om

verkeersveiligheidsmaatregelen te evalueren. De keuze van de evaluatiemethode is

echter afhankelijk van de situatie. Een foutieve keuze met betrekking tot de

evaluatiemethode in een bepaalde situatie kan verkeerde resultaten impliceren. Uit deze

resultaten worden dan verkeerde conclusies getrokken met als gevolg dat er foutieve

keuzes worden gemaakt inzake beleid. Om tot de meest geschikte evaluatiemethode te

komen stellen we in deze handleiding een beslissingsboom op die gebaseerd is op

concrete vragen.

Een eerste vraag is of men de maatregel ex-ante of ex-post wil evalueren. Bij de ex-ante

of prospectieve evaluatie gaat men vooraf de effecten schatten van de maatregel. Hierbij

worden de toekomstige positieve en negatieve effecten nagegaan. De ex-ante

beoordeling geeft de beleidsmaker meer inzicht in het probleem. De neveneffecten,

effectiviteit –en/of efficiëntieproblemen van de maatregel worden bij deze evaluatie

geanalyseerd. Het tegengestelde van ex-ante onderzoek is ex-post evaluatie. Dit

onderzoek is gebaseerd op historisch-descriptief onderzoek. Het aantal beschikbare

alternatieven heeft ook een invloed op de keuze van de evaluatiemethodologie. Indien

men over slechts één alternatief beschikt, is er geen nood om de alternatieven te

rangschikken zoals de (Multi-Actor) Multi-Criteria Analyse (MA)MCA doet. In dat geval

kan men beter voor een sociale kosten-baten analyse kiezen of een

kosteneffectiviteitsanalyse. Het monetaire karakter van de effecten heeft ook een invloed

op de te verkiezen methodologie. Als de effecten van de te evalueren maatregel

voornamelijk niet-monetair zijn of als de non-monetaire moeilijk te monetariseren zijn,

kan men beter opteren voor een multi-criteria analyse (MCA) waarbij de effecten niet

moeten gemonetariseerd worden. Indien men de voordelen en nadelen van de maatregel

per stakeholder wil bepalen, dan kan men gebruik maken van de MAMCA-methodologie.

De kosteneffectiviteitanalyse kan gehanteerd worden indien men slechts één doelstelling

wil meten en indien de kosten inzichtelijk zijn. Bij de ex-post evaluatie zijn er vier

benaderingen. De nameting, voor –en nameting, waarbij er voor en na implementatie

van de maatregel de effecten worden gemeten, de met-zonder benadering, waarbij

gebruik wordt gemaakt van een testgroep en een controlegroep en ten slotte de

combinatie van voor –en nameting en met-zonder benadering. De manier waarop de

controlegroep wordt samengesteld, willekeurig of onwillekeurig, bepaald de

experimentele opzet: niet-experimenteel, quasi-experimenteel en experimenteel.

Er wordt ook een stappenplan opgesteld in deze handleiding ter evaluatie van een

verkeersveiligheidsmaatregel op basis van het beleidsproces. Op deze manier willen we

meer uniformiteit krijgen in het evaluatieproces. Er wordt gestart met een

probleemanalyse. Daarna probeert men een oplossing te vinden voor het probleem. Men

gaat dan over tot de ontwikkeling en voorselectie van de alternatieven. Vervolgens

worden de criteria geselecteerd, de effecten van de alternatieven bepaald en worden de

effecten gewaardeerd. Als voorlaatste stap in de ex-ante evaluatie volgt de rangschikking

en beoordeling van de beleidsalternatieven, gevolgd door de terugkoppeling. Ten slotte

wordt alles samengevat in een rapport. Na het ex-ante onderzoek volgt de

beleidsbepaling waarin de aanbevolen maatregel wordt gekozen uit het ex-ante

onderzoek. Vervolgens wordt de maatregel uitgevoerd. Na de uitvoering moet de

maatregel ook ex-post geëvalueerd worden. Men moet namelijk nagaan of de maatregel

wel de gewenste en beoogde effecten bereikt met de in de beleidsbepaling gekozen

evaluatiemethode.

Steunpunt Mobiliteit & Openbare Werken 3 RA-MOW-2009-003

Spoor Verkeersveiligheid


English summary

Title: Manual for evaluating road safety measures

Subtitle: A First step

Abstract

The evaluation of road safety measures is an important task to achieve the desired and

intended goals in an efficient and effective manner. There are various methods to

evaluate these measures. There is the popular social cost-benefit analysis, the (multiactor)

multi-criteria analysis, the cost effectiveness analysis, the impact analysis and the

economic impact analysis. The choice of the evaluation method depends on the situation.

A wrong evaluation method in a given situation can lead to wrong results, causing wrong

conclusions which result to incorrect choices in the policy. To select the most appropriate

evaluation method, we are developing a decision tree based on concrete questions.

A first question is whether the measure should be evaluated ex-ante or ex-post. In the

ex-ante or prospective evaluation, the effects of the measure are pre-estimated. Hereby,

future positive and negative impacts are identified. The ex-ante assessment gives the

policymaker more understanding. The side effects, effectiveness and/or efficiency

problems of the measure are coming to the surface in this evaluation. The opposite of

ex-ante research is ex-post evaluation. This research is based on historical and

descriptive data. The number of available alternatives has an influence on the choice of

the evaluation methodology. If only one alternative is available, there is no need for

ranking the alternatives as the (Multi-Actor) Multi-Criteria Analysis (MA) MCA does. In

this case, it is better to use a social cost-benefit analysis or a cost effectiveness analysis.

The monetary nature has also an impact on the preferred methodology. If the effects of

the measure are mainly non-monetary based or if it is difficult to monetize the nonmonetary

effects, it is better to use a multi-criteria analysis (MCA) where the effects

should not be monetized. If we want to examine the individual interests in the measure

per stakeholder, a MAMCA method should be used. The cost-effectiveness analysis can

be applied when only one goal has to be measured and if the costs are clear. There are

four approaches in the ex-post evaluation. The after period, the before-after period,

whereby the effects are determined before and after the implementation of the measure,

the control group and test group approach and finally the combination of before-after

approach and the control and test group approach. The way the control group is

compiled, arbitrary or involuntary, determines the design of the research: nonexperimental,

quasi-experimental or experimental.

There is also a step-by-step plan in this manual. In this way, we want to add more

uniformity in the evaluation process. It starts with a problem analysis. Afterwards we try

to resolve the problem. We then proceed to the development and pre-selection of the

alternatives. In the next step the criteria are selected, the impact of the alternatives are

determined and the effects are valued. In the second last step of the ex-ante evaluation,

the ranking and evaluation of the policy alternatives are conducted. Afterwards there is a

feedback. Finally, a summarizing report is made. After implementing the measure, an expost

evaluation is performed. We must examine whether the measure has achieved the

desired and intended effects.

Steunpunt Mobiliteit & Openbare Werken 4 RA-MOW-2009-003

Spoor Verkeersveiligheid


Inhoudsopgave

1. INLEIDING ................................................................................ 7

1.1 Evaluatiescenario’s 8

1.2 Doelstelling en methodologie 8

1.3 Future Research 9

2. SOORTEN VERKEERSVEILIGHEIDSMAATREGELEN: DE 3 E’S ....................... 10

2.1 Engineering 10

2.2 Education 10

2.3 Enforcement 12

3. SOCIO-ECONOMISCHE EVALUATIEMETHODEN ...................................... 15

3.1 De Kosten Effectiviteitanalyse (KEA) en de Kosten Utiliteitsanalyse (KUA) 15

3.1.1 Methodologie ...............................................................................15

3.1.2 Toepassing ..................................................................................16

3.2 De Economische Effecten Analyse (EEA) 17

3.2.1 Methodologie ...............................................................................17

3.2.2 Toepassing ..................................................................................18

3.3 De Sociale Kosten Baten analyse (SKBA) 18

3.3.1 Methodologie ...............................................................................18

3.3.2 Toepassingen ..............................................................................19

3.4 Impactanalyse 19

3.4.1 Methodologie ...............................................................................19

3.4.2 Toepassing ..................................................................................19

3.5 De Multi-Criteria Analysis (MCA) en de Multi-Actor Multi-Criteria Analysis

(MAMCA) 21

3.5.1 Methodologie ...............................................................................21

3.5.2 Toepassing ..................................................................................22

4. EX-ANTE VS. EX-POST ............................................................... 23

4.1 Ex-ante 24

4.1.1 Probleemanalyse ..........................................................................27

4.1.2 Doel definiëren van de evaluatie ....................................................29

4.1.3 Gegevensbronnen en verzamelingstechnieken .................................32

4.1.4 Ontwikkeling en voorselectie alternatieven ......................................32

4.1.5 Effecten van de alternatieven en waardering van de effecten .............33

4.1.6 De evaluatiemethode bepalen ........................................................34

4.1.7 Het eigenlijke evaluatieonderzoek: Rangschikking en beoordeling van

de beleidsalternatieven..............................................................................34

4.1.8 Terugkoppeling ............................................................................35

Steunpunt Mobiliteit & Openbare Werken 5 RA-MOW-2009-003

Spoor Verkeersveiligheid


4.1.9 Rapport ......................................................................................35

4.1.10 Beleidsbepaling en uitvoering ........................................................35

4.2 Ex-post 36

4.2.1 Globale ex-post evaluatie ..............................................................37

4.2.2 Uitgebreide ex-post evaluatie ........................................................38

5. VERDERE OPBOUW BESLISSINGSBOOM .............................................. 46

5.1 Sterktes en zwaktes evaluatiemethoden 46

5.1.1 De Kosteneffectiviteitsanalyse .......................................................46

5.1.2 De Sociale Kosten-Baten Analyse ...................................................46

5.1.3 De Multi-Criteria Analyse ...............................................................47

5.1.4 De Multi-Actor Multi-Criteria Analyse ..............................................48

5.2 Criteria bij ex-ante 49

5.2.1 Aantal beschikbare alternatieven ....................................................49

5.2.2 Non-monetaire effecten vs. monetaire effecten ................................50

5.2.3 Maatschappelijke belangen vs. stakeholder belangen ........................50

5.2.4 Integrale evaluatie vs. enkelvoudige evaluatie .................................51

5.3 Criteria bij ex-post 51

5.3.1 Controlegroep of niet ....................................................................52

5.3.2 Willekeurige steekproef of niet .......................................................52

6. BESLISSINGSBOOM .................................................................... 54

7. CONCLUSIES ........................................................................... 56

8. BIBLIOGRAFIE .......................................................................... 58

Steunpunt Mobiliteit & Openbare Werken 6 RA-MOW-2009-003

Spoor Verkeersveiligheid


1 . I N L E I D I N G

Het belang van beleidsevaluatie wordt steeds groter in Vlaanderen, België, maar ook in

andere landen wordt er meer en meer belang gehecht aan een onderbouwd en

geïnformeerd beleid (“evidence-based policy”). De primaire doelstelling van

beleidsevaluatie is inzicht geven in de doeltreffendheid en doelmatigheid van het

gevoerde en te voeren beleid. Bij doeltreffendheid gaat men de effectiviteit van de

maatregel na. Daarnaast dient de evaluatie ook ter ondersteuning van beleidsplanning,

voor het opvolgen van de beleidsvoering, het aantonen en verklaren van beleidseffecten,

ter verantwoording van het beleid en het leren uit bestaand beleid. Inzake

verkeersveiligheid wordt er een kwantitatieve taakstelling vooropgesteld. De maatregelen

die worden doorgevoerd moeten als resultaat deze taakstelling hebben. In België worden

er 4 kwantitatieve doelstellingen geformuleerd in het Mobiliteitsplan Vlaanderen (Vlaamse

Regering, 2001):

� Maximaal nog 378 doden en dodelijk gewonden in 2010 of een reductie met meer

dan 50% t.o.v. 1999

� Maximaal nog 3250 zwaar gewonden in 2010 of een reductie met meer dan 50%

t.o.v. 1999

� Maximaal nog 55 doden en dodelijk gewonden per 1.000.000 jongeren onder de

26 jaar i.p.v. 143,5 in 1999

� Maximaal nog 57 licht gewonden per 100 miljoen voertuigkilometer i.p.v. 78,4 in

1999.

Deze doelstellingen zijn gebaseerd op een white paper betreffende verkeersveiligheid die

werd opgesteld door de Europese Commissie. In de paper verbinden alle EU-lidstaten

zich ertoe om het aantal verkeersdoden tegen 2010 te halveren ten opzichte van het jaar

2000 (Europese Commissie, 2001). In het Verkeersveiligheidsplan Vlaanderen wordt er

een nieuwe doelstelling geformuleerd. Tegen 2015 wil men namelijk maximum 500

doden in het verkeer op Belgisch niveau (Vlaamse Regering, 2008). Indien de

vooropgestelde doelstellingen worden behaald, dan spreekt men dat het beleid effectief

was. Effectiviteit is een nodige, maar onvoldoende voorwaarde voor succesvol beleid. Het

moet ook nog doelmatig of efficiënt zijn. De overheid heeft beperkte middelen voor

handen die het optimaal dient te alloceren over diverse politieke objectieven die men wil

realiseren. Verkeersveiligheid en meer bepaald het terugdringen van (dodelijke)

ongevallen is daar slechts één van. Er zal dan een afweging moeten gemaakt worden

tussen de verschillende objectieven en de beschikbare alternatieven. Samenvattend

kunnen we stellen dat er bij een goede evaluatie een koppeling moet zijn tussen het

beleid, de prestaties ervan en de kosten en opbrengsten die daaraan verbonden zijn. Het

is dus onvoldoende om een maatregel uit te voeren zonder deze te evalueren. Het is

noodzakelijk dat het beleid tijdens, achteraf en indien mogelijk ook vooraf kritisch

geëvalueerd wordt. Door deze evaluatie die meer inzicht geeft in het beleid kan men het

beleid optimaliseren. Enkel indien de overheid weloverwogen keuzes maakt die effectief

en efficiënt zijn, dan kan men het beleid verantwoorden bij de burger die een

toenemende inspraak krijgt.

Steunpunt Mobiliteit & Openbare Werken 7 RA-MOW-2009-003

Spoor Verkeersveiligheid


1.1 Evaluatiescenario’s

Algemeen gezien zijn er 4 mogelijke situaties bij het verantwoorden van het beleid (van

der Vlist et al, 2007):

� Het beleid is succesvol en wordt gehandhaafd;

� Het beleid is succesvol en is niet langer noodzakelijk;

� Het beleid schiet tekort en wordt aangescherpt of gewijzigd;

� Het beleid schiet tekort en wordt afgebouwd.

In het eerste puntje worden de vooropgestelde doelstellingen behaald en wordt het

beleid verder gezet. Een voorbeeld hiervan is het verplicht maken van de gordeldracht.

Sinds juni 1975 is het in België verplicht om vooraan de gordel te dragen (Daniels, et al,

2004). Aangezien de gordel opmerkelijk veel mensenlevens heeft gered sindsdien, is de

gordeldracht momenteel nog steeds verplicht. Het wil niet zeggen omdat beleid succesvol

is dat men het niet verder kan optimaliseren. Zo werd er naar aanleiding van het

succesvolle beleid dat de gordeldracht vooraan verplichte, de gordeldracht ook achteraan

verplicht in 1991 (Daniels, et al, 2004). De onderzoeksevaluatie kan dus ook voor extra

informatie zorgen die de beleidsnemer kan helpen bij het optimaliseren van het beleid.

Voor het tweede puntje is het beleid geslaagd en hoeft men het niet meer verder te

zetten. Indien het beleid niet de vooropgestelde doelstellingen behaald, dan kan men het

beleid aanpassen of verscherpen zoals in puntje 3. Stel dat er een streefdoel wordt

opgesteld voor het aantal slachtoffers in bussen (dode en gewonde inzittenden, reizigers)

als gevolg van een verkeersongeval. Indien dit aantal wordt overschreden, dan kan de

overheid bijvoorbeeld de verplichting van de gordeldracht in autobussen doortrekken

naar het openbaar vervoer, waarop de verplichting momenteel niet geldt, om zo het

streefdoel toch te bereiken.

1.2 Doelstelling en methodologie

In deze paper wordt er een praktische handleiding opgesteld die de beleidsmaker moet

helpen om tot een correct evaluatieonderzoek te komen. Deze handleiding zal specifiek

handelen over de keuze van de socio-economische evaluatiemethoden. Andere nietsocio-economische

evaluatiemethoden zullen dus niet opgenomen worden. Er wordt

gebruik gemaakt van concrete vraagstellingen om tot de meest toepasselijke

evaluatiemethode te komen afhankelijk van de situatie (ex-ante evaluatie of ex-post,

aantal alternatieven, het al dan niet monetaire karakter van de effecten, etc.). Er

bestaan namelijk verschillende evaluatiemethoden om verkeersveiligheidsmaatregelen te

beoordelen. De socio-economische evaluatiemethoden zijn afwegingsmethoden die zowel

de effectiviteit als de efficiëntie van een maatregel evalueren. De sociale Kosten-Baten

Analyse (SKBA), de (Multi-Actor) Multi-Criteria Analyse (MAMCA, ontwikkeld door

Macharis, 2004) en de Kosten Effectiviteitanalyse zijn enkele socio-economische

evaluatiemethoden. Op de socio-economische methoden werd reeds dieper ingegaan in

het rapport “Socio-economische evaluatiemethoden voor verkeersveiligheid” (Ampe,

Geudens & Macharis, 2008) van werkpakket 5.1.1.

Men mag echter deze verschillende evaluatiemethoden niet te pas en te onpas

gebruiken. Het hangt af van de situatie welke evaluatiemethode het meest geschikt is.

Het gebruik van een minder geschikte methode kan leiden tot vertekende resultaten,

waaruit men dan verkeerde conclusies zal trekken. Bovendien hangt er een aanzienlijk

prijskaartje aan beleidsevaluatie. In het Verenigd Koninkrijk wordt er aanbevolen om zo

een 10% van het totale budget voor verkeersveiligheid voor de evaluatie van

verkeersveiligheidsmaatregelen te gebruiken (; Sentinella, 2004). De handleiding heeft

als doel om de meest geschikte methode aan te reiken in een bepaalde situatie.

Steunpunt Mobiliteit & Openbare Werken 8 RA-MOW-2009-003

Spoor Verkeersveiligheid


Er zal dus met behulp van concrete vraagstellingen (ja-neen vragen) een

beslissingsschema worden opgebouwd die zal leiden tot een (set van) aangewezen

evaluatiemethode(n) voor een welbepaalde probleemstelling. In deze aanzet tot

handleiding wordt er reeds een algemene handleiding gegeven waarbij de verschillende

niveaus worden besproken. Er wordt een korte bespreking gegeven van de

evaluatiemethoden die worden gebruikt in verkeersveiligheid. Nadat we de verschillende

evaluatiemethoden hebben besproken, wordt het verschil en het belang tussen ex-ante

(voor implementatie van een maatregel) en ex-post (erna) evaluatieonderzoek

verduidelijkt. Het feit of men ex-ante of ex-post evalueert heeft een invloed op de te

verkiezen evaluatiemethode, maar er zijn nog andere factoren die meespelen. Ex-ante

speelt het monetaire of non-monetaire karakter van de effecten een rol in de keuze van

de evaluatiemethoden, net als de moeilijkheidsgraad om de non-monetaire effecten te

monetariseren, het aantal beschikbare alternatieven, het al dan niet in rekening brengen

van de belangen van de verschillende stakeholders en het aantal doelstellingen die men

met de evaluatiemethode wil meten. Ex-post spelen er andere factoren mee: het al dan

niet aanwezig zijn van een controlegroep, het feit of de samenstelling van de groep

willekeurig is gebeurd (indien er een controlegroep aanwezig is) en of er een voormeting

heeft plaatsgevonden. In deze handleiding vindt men ook nog een stappenplan terug die

best kan doorlopen worden indien men een maatregel wil evalueren. Op deze manier

trachten we aan de hand van deze handleiding ook meer uniformiteit te krijgen in de

evaluatie van verkeersveiligheidsmaatregelen.

1.3 Future Research

Deze eerste aanzet tot handleiding leidt tot een algemene handleiding met

beslissingsboom die tot de meest geschikte evaluatiemethode moet komen. Daarnaast

geven we reeds een algemeen stappenplan om een evaluatieonderzoek uit te voeren. In

een volgend rapport zal een handleiding opgebouwd worden om de in dit rapport

besproken evaluatiemethoden uit te voeren. In de volgende paper zal er ook meer

ingezoomd worden op de praktische toepassingen van de evaluatiemethoden. Daarna

zullen er case-studies volgen in verband met het evalueren van

verkeersveiligheidsmaatregelen die gebaseerd zijn op deze handleidingen. Dit moet de

opgestelde beslissingsboom toetsen aan de praktijk. Op deze manier willen we de

beslissingsboom ook van onderuit ondersteunen.

Steunpunt Mobiliteit & Openbare Werken 9 RA-MOW-2009-003

Spoor Verkeersveiligheid


2 . S O O R T E N V E R K E E R S V E I L I G H E I D S M A A T R E G E L E N : D E

3 E ’ S

Het doel van deze paper is om specifieke verkeersveiligheidsmaatregelen of

maatregelpakketten te evalueren aan de hand van een algemene handleiding. Er bestaan

3 algemene types van verkeersveiligheidsmaatregelen. Deze staan beter gekend als de 3

E’s: Engineering, Enforcement en Education. De 3 E’s worden hieronder kort besproken.

2.1 Engineering

Onder Engineering of Infrastructuur verstaan we alle maatregelen die betrekking hebben

op enerzijds het “voertuig” en anderzijds de “weginfrastructuur”. Indien er maatregelen

worden opgesteld die de verkeersveiligheid positief trachten te beïnvloeden aan de hand

van infrastructuuraanpassingen of voertuigaanpassingen, dan spreekt men over

engineering-maatregelen. Ondanks het toenemende verkeer wordt het verkeer de laatste

decennia steeds veiliger doordat de voertuigen veiliger worden al dan niet door toedoen

van overheidsinterventies. De maatregel die autogordels verplicht maakt in wagens is

een typisch voorbeeld van een maatregel dat onder het begrip “voertuig” hoort (Daniels

et al, 2004). Daarnaast behoren bijvoorbeeld ook de voertuigtechnologieën ABS 1 ,

Intelligente Transport Systemen en gezichtsveldverbredende infrastructuur (FCVV,

2007). De weginfrastructuur speelt ook een rol (zie figuur 1) in het reduceren van het

aantal ongevallen en het aantal slachtoffers. De zone 30 in schoolomgevingen, de aanleg

van veilige fietspaden, het harmoniseren van verkeersignalisatie etc. staan onder de

noemer “weginfrastructuur”.

2.2 Education

In een ongeval spelen 3 verschillende hoofdfactoren mogelijk een rol: de fysieke

omgeving, het voertuig en de mens. Andere factoren zoals het tijdstip van de dag, de

weersomstandigheden, de lichtgesteldheid, gemoedstoestand van de bestuurder, etc.

kunnen ook een rol spelen. Bij dieptestudies van ongevallen worden deze factoren ook in

detail bestudeerd. Over de eerste twee hoofdfactoren, voertuig en weginfrastructuur,

hebben we reeds onder “engineering” besproken. Bij education of verkeers –en

mobiliteitseducatie wordt er dieper ingegaan op de mens en meer bepaald het gedrag

van de mens. In onderstaande figuur worden de ongevalsoorzaken op het gebied van

mens, voertuig en weg grafisch weergegeven.

1 Anti-lock braking system

Steunpunt Mobiliteit & Openbare Werken 10 RA-MOW-2009-003

Spoor Verkeersveiligheid


Figuur 1: Ongevalsoorzaken op het gebied van mens, voertuig en weg

Bron: Hillier, 2002

Uit deze figuur blijkt dat maar liefst 94% van de ongevallen zijn oorzaak vindt bij de

mens. Dit wil zeggen dat in slechts 6% van de verkeersongelukken de aanleiding van het

ongeval uitsluitend te wijten is aan de infrastructuur. In twee derde van de ongevallen is

de mens de enige factor dat het ongeval heeft veroorzaakt. De infrastructuur speelt een

rol in ongeveer een derde van het aantal ongevallen. Hiervan heeft 28% betrekking tot

de fysieke omgeving en 8% tot het voertuig. Bij één ongeval op honderd is de oorzaak te

vinden bij een combinatie van de 3 factoren.

Aan de hand van education tracht men de kennis, vaardigheiden, inzicht en/of houding

van de verschillende weggebruikers te verbeteren. Men hanteert 2 manieren om het

gedrag van de weggebruikers te verbeteren, namelijk door middel van sensibilisatie en

opleiding. Bij sensibilisatie worden er onder andere sensibilisatiecampagnes gelanceerd in

de verschillende media (BOB-campagne) en verkeersveiligheidprogramma’s op televisie

(Kijk uit! & Veilig Thuis) uitgezonden. Bij opleiding worden voornamelijk de scholen

betrokken, zo behoort verkeerskunde tot het jaarprogramma van zowel lagere scholen

als middelbare scholen. Met opleiding tracht men niet alleen kinderen te bereiken, maar

ook volwassenen. Naast de rijscholen heeft men bijvoorbeeld ook de Vlaamse Stichting

Verkeerskunde. Deze stichting geeft naast workshops in scholen ook workshops aan

volwassenen. Er zijn verschillende thema’s die aan bod kunnen komen bij education:

� Snelheid: overdreven en onaangepaste snelheid

� Toxicologie: alcohol, drugs en medicijnen

� Vermoeidheid

� Milieu

� Beschermingsinstrumenten: valhelm, gordel, beschermingskledij, …

� Hoffelijkheid

Sensibilisatie of ook wel sociale marketing genoemd kan heel goed vergeleken worden

met de reclamecampagnes van een commercieel bedrijf. Het verschil ligt hem in het feit

dat de sociale marketing in de context van verkeersveiligheid het aantal ongevallen en

slachtoffers tracht te verminderen. De commerciële marketing daarentegen wil aan de

hand van de campagnes meer kunnen verkopen. Beide methoden trachten echter het

gedrag van respectievelijk de weggebruikers en de consumenten te beïnvloeden.

Herhaling van de boodschap is ook noodzakelijk opdat het zou doordringen tot de

doelgroep. Voor de evaluatie van maatregelen die betrekking hebben op sensibilisatie zal

Steunpunt Mobiliteit & Openbare Werken 11 RA-MOW-2009-003

Spoor Verkeersveiligheid


men dus eerder evaluatiemethoden moeten hanteren uit de gedragswetenschappen

(psychologie, marketing, …) (Delhomme et al, 2009). De effectiviteit van deze educatiemaatregelen

worden dan niet gemeten op basis van het vermeden aantal

verkeersslachtoffers, maar op basis van risicoherinnering, -herkenning en –bewustzijn.

Het effect van een opleidingsmaatregel of sensibilisatie op het aantal verkeersslachtoffers

is namelijk moeilijk na te gaan 2 . Vandaar wordt vaak het gedrag gemeten door middel

van observatie of zelfrapportering (SWOV, 2007). Risicoherinnering, -herkenning en -

bewustzijn kunnen zo gemeten worden.

2.3 Enforcement

Naast engineering en education is het ook van belang om verkeersregels op te stellen

waaraan de verkeersdeelnemers zich moeten houden. De wetgeving en regelgeving

vormen ook een belangrijk proces in de verkeersveiligheid. Er moet ook op toegezien

worden dat de verkeersdeelnemers de verkeersregels naleven zodat de veiligheid en

leefbaarheid van onze maatschappij gewaarborgd wordt. Niet alle burgers zijn echter

bereid het gevraagde gedrag spontaan te leveren, vandaar de noodzaak van controle en

handhaving. Op deze manier tracht men naast repressief voornamelijk preventief in te

spelen op het ongewenste en gevaarlijke gedrag van de weggebruikers. Het uiteindelijke

doel is dan het voorkomen van verkeersovertredingen en het verminderen van

verkeersongevallen. Enforcement, het opstellen en doen naleven van de wetgeving,

speelt dus net als education in op het gedrag van de mens.

Vaak hangen education en enforcement nauw aan elkaar. Zo controleert men dezelfde

thema’s als die bij education: snelheid, toxicologie, beschermingsinstrumenten,

hoffelijkheid, vermoeidheid en milieu. De mobiele en onbemande flitscamera’s en de

nieuwe vorm van trajectcontrole zijn één van de vele controles die er gebeuren. Zo

worden er bijvoorbeeld ook door de bevoegde instanties ademtesten afgenomen en

wordt er gecontroleerd op de gordeldracht (Vlaamse Regering, 2004). Uit een rapport

van het vorige steunpunt (Vesentini & Cuyvers, 2003) merken we dat enforcement niet

altijd hoeft samen te gaan met straffen (boete betalen). Dit kan ook aan de hand van

een beloningsprogramma. Hierbij kan veilig rijden worden beloond 3 .

Verkeershandhaving heeft 5 taakstellingen (Ruessink & Berkhout, 2007):

1. Bevordering van de vlotte doorstroming van het verkeer en van de bereikbaarheid

van belangrijke locaties

2. Zorg voor de veiligheid van de verkeersdeelnemers

3. Afhandeling van verkeersongevallen

4. Beperking van de verkeersoverlast

5. Zorg voor de naleving van verkeersregels en voor een rechtvaardige handhaving

van de regels.

Onderzoek van Rossi et al (2004) geeft aan dat de gemeten verandering op een gegeven

tijdstip na implementatie van een programma niet volledig toe te schrijven is aan dat

programma. Behalve het programma-effect spelen er dus nog andere factoren mee die

invloed hebben op de outcome variabele. Het effect dat een programma heeft kan

grafisch voorgesteld worden door figuur 2. Op de verticale as staat de outcome variable

2 Naast de grootte van de steekproef en de moeilijkheden om een controlegroep te definiëren, is er het

probleem dat verkeersongevallen doorgaans het gevolg zijn van een samenloop van omstandigheden, waarbij

mogelijk de infrastructuur ook een rol speelt.

3 Bij de BOB-campagne wordt er een BOB-sleutelhanger gegeven aan de bestuurders die geen alcohol hebben

gedronken

Steunpunt Mobiliteit & Openbare Werken 12 RA-MOW-2009-003

Spoor Verkeersveiligheid


of afhankelijke (de variabele die men tracht te beïnvloeden). De horizontale as is een

tijdlijn. In de grafiek is duidelijk dat zonder invoering van het programma de outcome

variabele ook verandert. Dit als gevolg van de programmavreemde effecten. Goed

verkeersveiligheidsbeleid is gebaseerd op een combinatie van de 3 E’s. Indien men

bijvoorbeeld het effect van een sensibilisatieprogramma (education) wil meten met

betrekking tot de gordeldracht, dan zal het gemeten effect ook betrekking hebben op de

2 andere E’s, namelijk enforcement en engineering. Mensen die de campagne niet gezien

hebben zullen bijvoorbeeld hun gordel aan doen, omdat men schrik heeft voor een boete

(handhaving) of omdat men een gordelverklikker heeft in de wagen (infrastructuur).

Deze factoren hebben dan ook invloed op de variable outcome (hier de gordeldracht),

maar behoren niet tot het programma-effect van de campagne. We kunnen stellen dat er

invloed zal zijn op de outcome variable door de leercurve, ook al is er geen specifiek

programma. Men krijgt meer kennis over verkeersveiligheid naar gelang men verder gaat

in de tijd, wordt meer ervaren in het verkeer, … Daarnaast zorgt de leercurve ook voor

veiligere voertuigen, verbeterde infrastructuur, betere opleidingen en strengere

wetgeving (Van den Bossche et al, 2005). Hierdoor verandert de outcome variable ook.

Het is dus belangrijk de effecten van andere programma’s te neutraliseren indien men de

effectiviteit wenst te bepalen van een welbepaalde maatregel. De evaluatiemethode moet

dus de education-effecten kunnen isoleren van de andere effecten.

Figuur 2: Outcome level, outcome change en program effect

Outcome Variable

Bron: Rossi et al, 2004

Post-program outcome level

Outcome Change

Pre-program outcome level

Before Program During Program After Program

Outcome status

with program

Program effect

Outcome status

without

program

Indien men de geïsoleerde effecten van de verschillende maatregelen heeft berekend,

mag men niet zomaar de verschillende effecten bij elkaar optellen. Indien er 2

maatregelen die geïsoleerd even effectief zijn, dan mag men niet beweren dat de

verkeersveiligheid dubbel zo hoog is dan wanneer er maar 1 maatregel toegepast werd.

Een mooi voorbeeldje werd gegeven door Staes & De Brabander (2002): Stel dat de

eerste maatregel de snelheidslimiet verlaagt (enforcement). In dat geval zal de tweede

maatregel (engineering), namelijk de veiligheidsvoorzieningen in de wagen minder effect

hebben. Anderzijds kan er ook synergie bestaan tussen maatregelen zoals tussen

education en enforcement. In dat geval zal de som van de individuele effecten lager zijn

dan de geaccumuleerde effecten (Snyder, 2001).

Steunpunt Mobiliteit & Openbare Werken 13 RA-MOW-2009-003

Spoor Verkeersveiligheid


Fokkema (2002) onderzocht de effectiviteit van de verschillende E’s op verkeersveiligheid

in Nederland voor de periode 1986-2000. Uit dit onderzoek bleek dat de bijdrage van

education met betrekking tot slachtofferreductie het laagst was (5% 4 ). Handhaving

(20%) en infrastructuur (75%) hebben aanzienlijk meer effect. Infrastructuur bestaat uit

30% voertuigaanpassingen en 45% weginfrastructuur. De reden van de lage score voor

education ligt bij het feit dat gedragsverandering zeer moeilijk is, zeker bij

verkeersveiligheidscampagnes 5 . Toch kunnen alle maatregelen helpen bij het

verminderen van het aantal slachtoffers, tenminste indien deze kosteneffectief zijn

(SWOV, 2007). Een ander onderzoek (Snyder, 2001) toonde aan dat

gezondheidscampagnes die ondersteund zijn door handhaving (enforcement) zoals de

BOB-campagne bij 17% van de mensen leidt tot gedragsverandering. Indien er geen

ondersteuning is van handhaving, veranderen slechts 5% van de mensen hun gedrag. Dit

onderzoek bevestigt nogmaals het belang van het combineren van de verschillende E’s.

4 Geschatte percentages

5 Bij productreclame kan er van merk veranderd worden zonder dat men zijn gewoonte aanpast.

Steunpunt Mobiliteit & Openbare Werken 14 RA-MOW-2009-003

Spoor Verkeersveiligheid


3 . S O C I O - E C O N O M I S C H E E V A L U A T I E M E T H O D E N

Beleidsmaatregelen kunnen geëvalueerd worden aan de hand van socio-economische

evaluatiemethoden. Aangezien verkeersveiligheid de gehele maatschappij aangaat, zijn

private evaluatiemethoden zoals de private investeringsanalyse (PIA) minder geschikt. In

de context van verkeersveiligheid is het interessant om een integraal evaluatieonderzoek

door te voeren, waarbij rekening wordt gehouden met alle mogelijke effecten en

neveneffecten. Zo zullen de beleidsmaatregelen beoordeeld worden op hun

verkeersveiligheidseffecten, milieueffecten, economische effecten en kosten die deze

teweeg brengen. Veelal wordt er een sociale kosten-baten analyse uitgevoerd als

evaluatiemethode. Deze geeft de maatschappelijke rentabiliteit weer van de maatregel.

Er zijn echter nog andere instrumenten. Op deze verschillende instrumenten gaan we in

de volgende paragrafen dieper in. Voor een gedetailleerde bespreking van deze

methodieken kan er verwezen worden naar het rapport “Socio-Economische

Evaluatiemethoden voor Verkeersveiligheid” (Ampe, Geudens & Macharis, 2008). Na elke

bespreking van een socio-economische evaluatiemethode zullen we een toepassing

geven van die evaluatiemethode in het kader van verkeersveiligheid.

3.1 De Kosten Effectiviteitanalyse (KEA) en de Kosten

Utiliteitsanalyse (KUA)

3.1.1 Methodologie

De kosten effectiviteitanalyse onderzoekt welke verkeersveiligheidsmaatregelen tegen de

laagste kost kunnen geïmplementeerd worden, gegeven de sociale effecten. Omgekeerd

kan deze methode ook, gegeven de middelen, onderzoeken welke maatregelen de

verkeersveiligheid het best verbeteren (Hellendoorn, 2001). Het is een methode die dus

vaak gebruikt wordt voor het bepalen van de effectiviteit van

verkeersveiligheidsmaatregelen en wordt bepaald door 2 parameters: het aantal

bespaarde mensenlevens die voortvloeit uit (een groep van) maatregel(en) en de kost

die daaraan verbonden is. Het kan echter wel zijn dat het aantal bespaarde

mensenlevens wordt vervangen door bijvoorbeeld het aantal ongevallen of het aantal

slachtoffers (doden + gewonden), maar meer dan 2 parameters kan de KEA niet in

rekening brengen. Het voordeel van deze methode is dat men de slachtoffers niet hoeft

te waarderen. Zo kan men toch een analyse uitvoren indien er geen raming van de baten

zijn, of onvoldoende betrouwbare schattingen van de baten beschikbaar zijn. Om een

KEA uit te voeren zijn er volgens Erke et al. (2007) over het algemeen 4 soorten

informatie nodig:

� Inschatting van de effectiviteit van een maatregel in aantal ongevallen of

slachtoffers die de maatregel kan voorkomen

� Definitie van maatregeleenheden voor de maatregel (bvb. op nieuwe secundaire

wegen in Vlaanderen, …)

� Inschatting van de kosten om één eenheid te implementeren

� Methode om alle kosten om te zetten naar jaarbasis

Indien men deze informatie voor handen heeft, zijn er echter nog enkele tekortkomingen

bij deze analyse (Hellendoorn, 2001; Elvik et al., 2004):

Steunpunt Mobiliteit & Openbare Werken 15 RA-MOW-2009-003

Spoor Verkeersveiligheid


� De KEA maakt geen verschil tussen de graad van ernst van de ongevallen. Dit

maakt het moeilijk om de verschillende maatregelen te vergelijken op hun

verkeersveiligheidseffecten.

� Aangezien de KEA slechts 2 parameters heeft, kan deze methode geen trade-off

maken tussen verkeersveiligheid en andere politieke doelstellingen.

� Het evalueert verschillende maatregelen op slechts 1 criterium. Bij de evaluatie

van een verkeersveiligheidsmaatregel zal men dus enkel rekening houden met

verkeersveiligheid, maar niet met de mobiliteit en het milieu.

� Het geeft niet weer wanneer een maatregel te duur wordt.

� De KEA geeft geen informatie over de opbrengsten van de alternatieven.

De KUA is een alternatieve vorm van de KEA en biedt een oplossing voor de eerste

tekortkoming (de Neeling, 2003). De methode is gebaseerd op de Quality Adjusted Life

Years, kortweg QALY genoemd (Wijnen, 2008). Deze methode werkt gelijkaardig aan de

KEA, maar gebruikt als basis de kwaliteit van het leven van de slachtoffers. Zo wordt de

ernst en de duur van een letselongeval in rekening gebracht. Door het gebruik van de

QALY’s wordt dus de gewonnen levenskwaliteit in acht genomen en niet enkel het aantal

gereduceerde slachtoffers (of gewonnen levensjaren). Er moet wel opgemerkt worden

dat indien men wil werken met QALY er gedetailleerde gegevens voor handen moeten

zijn over de letsels. Deze data zijn echter moeilijk of niet beschikbaar.

3.1.2 Toepassing

Schoon et al (2000) hebben verschillende kosteneffectiviteitanalyses gedaan en dit voor

infrastructuur- (voertuigaanpassingen en weginfrastructuur), opleiding- en

handhavingmaatregelen in Nederland. De ratio die men uiteindelijk uitkwam, was het

bedrag (in euro) dat men diende te besteden om één slachtoffer te vermijden. In

onderstaande tabel wordt een overzicht gegeven van de ratio’s voor de verschillende

maatregelen. Voor de uitgewerkte berekeningen verwijzen we naar Deel 2 van

Wesemann (2000).

Steunpunt Mobiliteit & Openbare Werken 16 RA-MOW-2009-003

Spoor Verkeersveiligheid


Tabel 1: Kosteneffectiviteit van voertuigaanpassingen en weginfrastructuur.

Weginfrastructuur K/E ratio

Buiten bebouwde kern: erftoegangswegen (-60 km-gebieden) 18.151,21

Binnen bebouwde kern: erftoegangswegen (30 km-gebieden) 86.218,24

Bin. Beb. kern: gebiedsontsluitingswegen (verkeersaders) 86.218,24

Buiten bebouwde kom: gebiedsontsluitingswegen 136.134,06

Voertuigaanpassingen

Open zijafscherming vrachtauto’s 49.915,82

Voorreflector fiets 54.453,63

Elektronische tachograaf/boordcomputer vrachtauto’s 72.604,83

Elektronische tachograaf/boordcomputer bestelauto’s 167.898,68

Gesloten zijafscherming vrachtauto’s 222.352,31

Dodehoekspiegel bestelauto’s 1.234.282,19

Opleiding en handhaving

Praktijkexamen brom- en snorfietsen 54.453,63

Rijbewijs beginnende bestuurders 72.604,83

Handhaving en voorlichting 81.680,44

Bron: Staes & De Brabander, 2002

Zoals bovenstaande tabel laat zien, geef de KEA een idee over de doelmatigheid van

verschillende maatregelen. Het houdt echter enkel rekening met één effect, namelijk de

verkeersveiligheid. Externe effecten zoals milieu en congestie worden hiermee dus niet

geëvalueerd.

3.2 De Economische Effecten Analyse (EEA)

3.2.1 Methodologie

In de EEA wordt welvaart gedefinieerd als een effect of doelstelling die door de

beleidsvoerders als essentieel wordt gezien (bvb. werkgelegenheid, duurzame

toegevoegde waarde, etc.). Er wordt gekeken naar de blijvende economische impact van

de maatregel op vlak van toegevoegde waarde en werkgelegenheid voor de economie

(Ampe, Geudens & Macharis, 2008). Dit wordt getoetst aan de hand van directe en

indirecte effecten die verband houden met het project (Verbeke & Debisschop, 1996). In

de EEA wordt het verschil tussen de investeringskost en het terugvloeien van geld op

lange termijn naar de overheid bekeken en hoeveel banen er worden gecreëerd door de

bepaalde maatregel. De toegevoegde waarde in de EEA is een kost in de SKBA. Lonen

bijvoorbeeld vormen voor de overheid een kost, maar voor de maatschappij betekent dit

een meerwaarde. De EEA is minder geschikt als instrument om een evaluatie te maken

van verschillende maatregelen met een bepaald algemeen objectief.

Steunpunt Mobiliteit & Openbare Werken 17 RA-MOW-2009-003

Spoor Verkeersveiligheid


3.2.2 Toepassing

Momenteel zijn er in het kader van verkeersveiligheid nog geen Economische Effecten

Analyses uitgevoerd.

3.3 De Sociale Kosten Baten analyse (SKBA)

3.3.1 Methodologie

Een SKBA is een veelgebruikte techniek in het kader van verkeersveiligheid om

prioriteiten vast te leggen. Bij een sociale kosten-baten analyse worden alternatieve

beleidsscenario’s nagegaan die een mogelijke oplossing bieden voor een bepaald

probleem. Aangezien de SKBA gebaseerd is op de neoklassieke welvaartseconomie,

selecteert men een bepaald scenario aan de hand van een welvaartsmaximaliserende

keuze. Zo wordt een alternatief / worden de alternatieven met de hoogste Netto Actuele

Waarde groter dan 0 gekozen. Naast de NAW bestaan er nog andere beslissingscriteria

zoals de Kosten-Baten Ratio (>1), de terugverdientijd, … (Ampe, Geudens & Macharis,

2008). De kosten en effecten worden bij een SKBA steeds in geld uitgedrukt dat wordt

verdisconteerd naar de actuele waarde om te anticiperen op het toekomstige

waardeverlies van geld (Dasgupta & Pearce, 1972). In tegenstelling tot de KEA kunnen

bij deze methode de verschillende criteria in acht genomen worden van de relevante

actoren. Bij een SKBA wordt in contrast met de KBA ook rekening gehouden met externe

effecten en kosten. Een moeilijkheid bij SKBA is dat het niet altijd evident is om nietverhandelbare

goederen (bvb. het waarderen van een mensenleven) te waarderen.

Tussen de verschillende empirische onderzoeken die reeds werden uitgevoerd om de

waarde van een mensenleven te bepalen, bestaan er aanzienlijke schommelingen. De

schattingen van deze goederen hangen namelijk af van de methodologie die hiervoor

wordt gebruikt. De gebruikte schatting heeft een belangrijke invloed op de schatting,

want hoe hoger een effect wordt gewaardeerd, hoe hoger de kosten mogen zijn van de

maatregel. Bovendien bestaan er een reeks barrières waarmee de SKBA en de KEA mee

te maken hebben (Elvik & Veisten, 2004). Hieronder lijsten we enkele belangrijke

barrières op:

� Gebrek aan consensus over beleidskeuzes. Voor een SKBA wordt een zekere

heterogeniteit verondersteld, waarbij er consensus is over de na te streven

doelen. Onder andere vanuit de bevolking zullen er grote verschillen zijn in de

bereidheid tot betalen voor verkeersveiligheid. Die bereidheid tot betalen kan

als een gemiddelde worden berekend, maar dan zullen enkele hoge waarden

gemakkelijk het resultaat positief beïnvloeden. Voor velen zal dan de

gemiddelde bereidheid tot betalen te hoog liggen. Dit gebruik aan

heterogeniteit kan een probleem vormen voor SKBA. Ook bij een KEA stelt zich

dat probleem, hoewel dit voor een KEA minder speelt dan voor de SKBA daar

een KEA met minder effecten dient rekening te houden dan een SKBA.

� Prioriteit voor beleidsopties die inconsistent zijn met efficiëntie meting. Er zijn

een aantal objectieven zoals wegstandaarden, of de doelstelling om zwakke

weggebruikers extra te beschermen die distributioneel zijn. In wezen kunnen

wegstandaarden op zich inconsistent zijn met een SKBA omdat uit een SKBA

kan voortvloeien dat het niet interessant is om bepaalde weinig bereden

wegen toch te laten voldoen aan een bepaalde standaard. Vanuit een

maatschappelijk kosten-baten perspectief is het niet efficiënt om die wegen

aan dezelfde standaarden te laten voldoen. Deze inconsistentie toont zich ook

met de KEA. Het is wellicht ook niet erg effectief om weinig bereden wegen

aan diezelfde standaarden te onderwerpen.

� Delegatie van taken naar een lager bestuursniveau zonder bijhorende fondsen.

� Door een gebrek aan gedetailleerde kennis over de impact van een maatregel

is er een bias van evaluatiemiddelen naar gekende en geteste maatregelen.

Steunpunt Mobiliteit & Openbare Werken 18 RA-MOW-2009-003

Spoor Verkeersveiligheid


� Het gebrek aan monetaire waardering van effecten, of het feit dat sommige

effecten niet of moeilijk in monetaire termen om te zetten zijn. Bijvoorbeeld

het imago van een bepaalde vervoersmodus.

3.3.2 Toepassingen

De meeste SKBA’s richten zich op infrastructuur. Er zijn in Vlaanderen reeds talrijke

SKBA’s gedaan in verband met engineering. Hierbij worden steeds de verwachte kosten

en baten van de maatregel tegen elkaar afgewogen. Deze evaluatiemethode is in

Vlaanderen gehanteerd om onder andere de effectiviteit en efficiëntie van

weginfrastructuur te beoordelen. Een voorbeeld van zo een sociale kosten-baten analyse

is terug te vinden in het onderzoek van Delhaye (2003). In dit onderzoek werd een

afweging gemaakt tussen investeringen in een rotonde en een geregeld kruispunt. De

Brabander & Vereeck (2003) deden een SKBA met betrekking tot de component

“voertuig”. Men analyseerde in dit onderzoek de maatschappelijke kosten en baten van 3

verschillende gordelverkliksystemen. In het buitenland en op Europees vlak werden er

ook al talrijke SKBA’s uitgevoerd in het kader van infrastructuur (ROSEBUD 6 , 2005; TRL,

2001; Elvik, 2004). Er worden niet enkel sociale kosten-batenanalyses gedaan op

Infrastructuur. Soms worden er ook evaluaties gedaan voor enforcement en education.

Zo werd er onder meer een kosten-baten analyse uitgevoerd voor de evaluatie van een

handhavingsprogramma met betrekking tot gordeldracht in Zuid-Afrika (Harris &

Olukoga, 2005).

3.4 Impactanalyse

3.4.1 Methodologie

Indien er onvoldoende informatie over kosten en baten beschikbaar is, dan kan er noch

een SKBA, noch een KEA uitgevoerd worden. De impact van de maatregel kan in dat

geval nog becijferd worden in een impactanalyse. Hiervoor moeten de effecten niet

noodzakelijk in monetaire termen worden uitgedrukt. Een milieueffecten rapport (MER) is

waarschijnlijk het meest bekende voorbeeld van een impactanalyse. In het kader van

verkeersveiligheid wordt vaak de Beleidseffecten Rapportage (BER) of een

Mobiliteitseffecten Rapportage (MOBER) gehanteerd. Specifiek voor verkeersveiligheid

bestaat er namelijk geen impactanalyse, maar de topic verkeersveiligheid kan wel

opgenomen worden in een MER, BER of MOBER (Lammar, 2004). In een BER of MOBER

wordt de ontwikkeling beschreven van het verkeer en het vervoer over een bepaalde

periode als gevolg van een beleidsmaatregel en wordt er een verklaring gegeven voor die

ontwikkelingen. Er kunnen in een BER ook aanbevelingen worden gegeven. Een BER of

MOBER is een ex-post evaluatiemethode (Bos, 2003).

3.4.2 Toepassing

Voornamelijk in Nederland worden er veel effect rapportages uitgevoerd. Hazevoet &

Bijlsma (2002) stelden een effect rapportage op voor Zuid-Holland. Hierbij werd de

ontwikkeling in kaart gebracht van de belangrijkste tussen -en einddoelen die werden

vooropgesteld om de verkeersveiligheid te berekenen. De effecten dat men in deze

rapportage opnam waren onder meer het aantal doden, zwaar en licht gewonden,

verkeersslachtoffers per wegbeheerder, conflictkans en inrichting wegen, percentage van

automobilisten die te snel rijden, onder invloed rijden, etc. Een andere Nederlandse

Effectrapportage in verband met verkeersveiligheid werd uitgevoerd door Fokkema

(2002). Deze stelde een beleidseffect rapportage die het verkeersveiligheidsbeleid in

6 Road Safety and Environmental Benefit-Cost and Cost-Effectiveness Analysis for Use in Decision-Making.

Steunpunt Mobiliteit & Openbare Werken 19 RA-MOW-2009-003

Spoor Verkeersveiligheid


Nederland moest analyseren tussen het jaar 1986 en 2000. In Lammar (2004) worden er

verschillende Vlaamse projecten opgenoemd waarbij een MER werd uitgevoerd:

� Toegangsweg voor het Fenix-project te Waterschei (1996)

� Eurostadion (1997)

� Hogesnelheidslijn – deelproject Antwerpen-Nederlandse grens (1998)

� N19 – realisatie van de Kempense Noord-Zuidverbinding, sectie Kasterlee-Geel

(1999)

� Center Parks Erperheide (1999)

� Recreatiedomein Rekem-Neerhaven (1999)

� Decascoop Gent (1999)

� Luchthaven Oostende – Installatie van een ILS op landingsbaan 08 (1999)

� Aanleg van de Noord-Zuidverbinding N74, Hechtel-Helchteren (1999)

� Industriële zandwinning Zuienkerke (2000)

� Ontwikkeling van een industrieterrein afwaarts de spoorbrug van Ruisbroek

(Puurs) op rechteroever (2000)

� R4 – Grote Ring om Gent (2000)

� Bouw tweede sluis te Evergem (2000)

� Golfterrein domein Puyenbroeck (2000)

� Herinrichting en doortrekking van de R6 – Ring om Mechelen (2001)

� Ford-autotestbanen Lommel (2001)

MOBER werd toegepast in volgende evaluatieonderzoeken:

� Mobiliteitsonderzoek Fenix-project (1994)

� Mober site Reep/Seminariestraat (2001)

� Toegankelijkheidsanalyse Lange Velden (2001)

� Toegankelijkheidsconcept Makrovestiging-Machelen (2001)

� Mober startnota Waasland Shopping Center Sint-Niklaas (2002)

� Mober Arbed (2002)

� Mober Acec site Gent (2003)

Steunpunt Mobiliteit & Openbare Werken 20 RA-MOW-2009-003

Spoor Verkeersveiligheid


3.5 De Multi-Criteria Analysis (MCA) en de Multi-Actor Multi-

Criteria Analysis (MAMCA)

3.5.1 Methodologie

De (MA)MCA is ontstaan uit het operationeel onderzoek. Net als de SKBA en de EEA

wordt er bij de (MA)MCA rekening gehouden met de maatschappelijke effecten van een

maatregel. In tegenstelling tot de KEA gebruikt de (MA)MCA meerdere en soms

conflicterende criteria 7 om een alternatief/maatregel te beoordelen. Hierbij kan dus wel

rekening gehouden worden met zowel verkeersveiligheid als met het milieu en de

mobiliteit. Deze analyse wordt gebruikt indien er verschillende alternatieven tegenover

elkaar moeten worden afgewogen. Voor elk alternatief wordt er een score gegeven aan

de vooropgestelde criteria op basis van bepaalde indicatoren. De verschillende scores

worden dan samengenomen. Hiervoor zijn verschillende technieken ontwikkeld zoals

AHP, ELECTRE, PROMETHEE etc. Aan de verschillende criteria worden ook gewichten

gegeven worden. De sensitiviteitsanalyse kan echter een oplossing bieden voor dit

probleem. Een belangrijk voordeel van de (MA)MCA is dat men de effecten niet hoeft te

monetariseren. Recentelijk evolueren de MCDA methoden naar methoden waarbij

groepsbeslissingen genomen worden en meerdere beslissingsmakers en actoren, die elk

hun eigen criteria hebben, aan bod kunnen komen (Ampe, Geudens & Macharis, 2008).

De MAMCA, ontwikkeld door Macharis (2004), houdt dus expliciet rekening met de

betrokken stakeholders.

Het voordeel aan een SKBA en een (MA)MCA is dat deze technieken zowel descriptief als

prescriptief zijn. De descriptieve of structurerende aard van deze technieken zorgt er

enerzijds voor dat het de alternatieven inzichtelijker maakt. Anderzijds voorziet het

prescriptieve of sturende karakter dat het optimale alternatief naar voren wordt

gebracht. Daarenboven kunnen de SKBA en de (MA)MCA meerdere effecten met elkaar

afwegen. Deze 2 analyses brengen namelijk verschillende effecten in kaart, dit in

tegenstelling tot de EEA, de KBA en de KEA die slechts 1 effect behandelen,

respectievelijk het economische effect en de reductie van het aantal slachtoffers. Het

concentreren op 1 effect hoeft niet altijd negatief te zijn. Voor een ex-post evaluatie kan

het focussen op slechts 1 cruciaal effect (bvb. Aantal verkeersdoden) wel interessant zijn.

In dat geval is de KEA een geschikte evaluatiemethode. Ten slotte stelt Oosterhaven

(1999) dat de MCA en de SKBA de enige 2 evaluatiemethoden zijn die een rangschikking

mogelijk maken tussen de alternatieven.

Tussen de SKBA en de MCA bestaat er al een jarenlange discussie, ook buiten de context

van verkeersveiligheid, over welke van de 2 de beste is. Deze discussie zal waarschijnlijk

nog lang aanslepen, aangezien er algemeen gezien geen klaar en duidelijk antwoord op

kan gegeven worden. Het hangt namelijk af van de situatie waarin de evaluatiemethode

gebruikt wordt. Hiermee kunnen we het belang van deze handleiding nogmaals

benadrukken. Wat ook mogelijk is, is dat de multi-criteria analyse en de sociale kosten

baten analyse, ondanks de verschillen tussen beide methodes, gecombineerd worden (De

Brucker & Nistal, 2006). Het idee hierachter is dat de KBA gebruikt kan worden om de

monetaire effecten te evalueren in de analysefase indien een groot aantal effecten vrij

eenvoudig te monetariseren zijn. De MCA wordt dan gebruikt voor de beslissingsfase

waarbij significante effecten moeilijk te monetariseren zijn (bvb. milieueffecten, politieke

haalbaarheid, …). De MCA kan ook in de analysefase gehanteerd worden indien daar

moeilijk te monetariseren componenten een belangrijke rol spelen (stakeholderbelangen,

strategische effecten, innovatieve projecten waarbij er veel onzekerheid heerst over de

effecten).

7 Middel of standaard om een oordeel te vellen

Steunpunt Mobiliteit & Openbare Werken 21 RA-MOW-2009-003

Spoor Verkeersveiligheid


3.5.2 Toepassing

Chowdhury, Garber & Li (2000) maakten gebruik van een MCA om de beste

verkeersveiligheidsmaatregelen met betrekking tot autosnelwegen te selecteren. De

doelstelling is het reduceren van het aantal ongevallen en de ernst van het ongeval. Aan

de hand van de MCA kon men ook nagaan hoe de financiële middelen optimaal verdeeld

konden worden over de verschillende snelwegen. Augeri, Colombrita, Lo Certo, Greco &

Matarazzo (2005) deden een soortgelijke analyse aan de hand van een multi-objectieve

beslissingsanalyse. Taber (1998) gebruikte een MCA om de alternatieven te rangschikken

voor het veiliger maken van kruispunten, waaronder de opritten op autosnelwegen. De

trade-offs die in dit onderzoek gebruikt werden waren veiligheid, vertraging en de

kostprijs van de alternatieven.

In het Europese project IN-SAFETY, Infrastructure and Safety, werd er reeds succesvol

gebruik gemaakt van de Multi-Actor Multi-Criteria Analyse of MAMCA (De Brucker,

Macharis, Wiethoff & Marchau, 2008). Het doel van het project bestond erin om de

verschillende alternatieven in verband met ‘self-explaining road’ (SER) en ‘forgiving road’

(FOR) omgevingen te evalueren en te rangschikken zonder de niet-monetaire elementen

te monetariseren. Deze rangschikking werd opgesteld door verschillende ‘stakeholders’

(namelijk de weggebruikers, de fabrikanten en de gemeenschap in haar geheel, die

vertegenwoordigd wordt door de beleidsmakers) die de alternatieven aan de hand van

verschillende criteria moesten beoordeelden. In een ander onderzoek in het kader van

het ADVISORS-project 8 werd er ook gebruik gemaakt van de MAMCA methodologie om

nieuwe voertuigtechnologieën te beoordelen en te rangschikken die de verkeersveiligheid

ten goede moeten komen (Macharis et al, 2004). Er werden verschillende alternatieven

beoordeeld zoals adaptieve cruise controle, intelligente snelheidsadadaptie,

bestuurdersmonitoring systemen, navigatiesystemen en systemen die waarschuwen voor

het verlaten van een rijvak.

8 Action for advanced Driver assistance and Vehicle control systems Implementation, Standardisation, Optimum

use of Road network and Safety

Steunpunt Mobiliteit & Openbare Werken 22 RA-MOW-2009-003

Spoor Verkeersveiligheid


4 . E X - A N T E V S . E X - P O S T

Beleidsmaatregelen worden voornamelijk ex-ante (vooraf) en ex-post (achteraf)

geëvalueerd. Er bestaat nog een derde tijdstip waarop een maatregel kan geëvalueerd

worden, namelijk ex-durante (tijdens). Hierbij wordt de maatregel tijdens het lopende

project geëvalueerd zodat de eerste prestaties reeds gemeten kunnen worden en kennis

kan geput worden uit de eerste ervaringen met de effecten van deze maatregel.

Aangezien de ex-durante evaluatie sterk samenhangt met de ex-post evaluatie 9 gaan we

ons in deze paper beperken tot de meest voorkomende evaluatiemethoden: ex-ante en

ex-post evaluatie. Vooreerst zal het beleidsproces besproken worden. Op deze manier

kan men de ex-ante en ex-post evaluatiemethoden situeren in het beleidsproces. In de

paragrafen 4.1 en 4.2 zal er worden ingegaan op het belang van beide methoden en

worden de evaluatiemethodieken opgesomd ex-post en ex-ante.

Het beleidsproces is een cyclus die bestaat uit 5 elementen (Figuur 3). Men moet

namelijk het beleid voorbereiden, bepalen, uitvoeren, evalueren en bijsturen. Er wordt

dus gestart bij de beleidsvoorbereiding waar de probleemstelling, doelstellingen en

alternatieven worden geformuleerd, waar informatie wordt vergaard en geanalyseerd en

waarbij er reeds advies wordt gegeven over het te voeren beleid aan de hand van exante

evaluatie. Soms wordt er in het beleidsproces een extra stap opgenomen die nog

voor de beleidsvoorbereiding plaatsvindt. Men heeft het dan over de agendavorming. Dit

is het proces waarbij maatschappelijke problemen de aandacht van het publiek en van de

beleidsbepalers krijgt. In een volgende stap, de beleidsbepaling, worden beslissingen

genomen over de inhoud van het te voeren beleid. Hier wordt men ook geconfronteerd

met de randvoorwaarden zoals personeel -en budgetbeperkingen. In de

beleidsuitvoering, de derde stap in de beleidscyclus, worden de in de beleidsbepaling

gekozen maatregelen uitgevoerd. De geïmplementeerde maatregelen zouden dan

moeten resulteren in beleidsprestaties die leiden tot de in de beleidsvoorbereiding

opgestelde beoogde en gewenste effecten. In deze fase worden ook de neveneffecten

zichtbaar. Bovendien moet bij de uitvoering het beleid ook gehandhaafd worden. Men

moet ervoor zorgen dat de maatregelen worden nageleefd. Bij de beleidsuitvoering

kunnen de ingevoerde maatregelen ex-durante of tussentijds geëvalueerd worden. In de

vierde fase worden de geïmplementeerde maatregelen (ex-post) geëvalueerd. De

prestaties en effecten van het beleid worden in kaart gebracht nadat de maatregelen al

een geruime tijd van kracht zijn. Er moet ook steeds bijgestuurd kunnen worden,

vandaar dat er ook in het schema een terugkoppeling werd ingevoerd. Indien er

bijvoorbeeld in een tussentijdse evaluatie ongewenste ontwikkelingen worden

vastgesteld, dan kan men het beleid bijstellen. De verschillende fasen lopen in de

praktijk veelal in elkaar over. De beleidsbepaling bijvoorbeeld vindt vaak plaats tijdens

de beleidsuitvoering (Hoogerwerf en Herweijer, 2003; van der Vlist et al, 2007; De

Peuter et al, 2007a; Mindef, 2008).

9 De werkwijze tussen ex-ante en ex-durante is analoog. Er zijn echter enkele verschillen. Bij ex-durante kan

men in tegenstelling tot ex-post geen algemene conclusies trekken, aangezien de periode nog niet afgelopen is.

Bijgevolg beschikt men nog niet over alle data en hoe minder data, hoe lager het significantieniveau. Er moet

wel bijgezegd worden dat het effectniveau ook invloed heeft. Bovendien is het mogelijk dat men door het

gebrek van data nog niet over een representatieve steekproef beschikt.

Steunpunt Mobiliteit & Openbare Werken 23 RA-MOW-2009-003

Spoor Verkeersveiligheid


Figuur 3: Beleidsproces

Bron: De Peuter et al, 2007a; Mindef, 2008

Algemeen kunnen we stellen dat in 3 verschillende fasen in de beleidscyclus –

beleidsvoorbereiding, beleidsuitvoering en beleidsevaluatie - er 3 verschillende

evaluatietypes zijn (De Peuter, 2007):

Tabel 2: Types van evaluatie gebaseerd op fase in de beleidscyclus en het

evaluatiemotief

Fase in beleidscyclus Type evaluatie Evaluatiemotief

Beleidsvoorbereiding Ex ante evaluatie Ondersteuning beleidsplanning

Beleidsuitvoering

Beleidsvoorbereiding

(o.a. ex-ante)

Ex durante evaluatie

Verbeteren beleidsuitvoering &

bijdragen aan institutionele

ontwikkeling

Beleidsbeoordeling Ex post evaluatie Verantwoording & beleidsleren

Bron: De Peuter et al, 2007a

4.1 Ex-ante

Terugkoppeling

In een ex-ante evaluatie, ook wel prospectieve evaluatie genoemd, wordt

toekomstgericht nagegaan welke positieve of negatieven effecten er kunnen resulteren

uit een bepaalde nieuwe maatregel. Hierbij wordt voornamelijk de beleidsinhoud

geëvalueerd. Ex-ante onderzoek moet een oordeel vellen over (De Peuter et al, 2007a):

� de relevantie;

� de interne logica;

Beleidsbepaling

� de afweging van alternatieven;

� de coherentie en consistentie;

� verwachte effecten en impact;

Beleidsuitvoering

(ex-durante)

� en de implementatie van het voorgestelde beleid.

Beleidsevaluatie(expost)

Op deze manier wordt er een draagvlak gecreëerd voor het beleidsinitiatief. Deze manier

van evalueren, die de beleidsmaker voor implementatie van een maatregel meer inzicht

dient te geven, wordt in tegenstelling tot ex-post evaluatie minder gehanteerd (Owen et

al, 2007; Todd et al, 2006). Het onderzoeksinstrumentarium in het ex-ante onderzoek

steunt voornamelijk op prognoses, schattingen en simulaties wat deze evaluatie complex

Steunpunt Mobiliteit & Openbare Werken 24 RA-MOW-2009-003

Spoor Verkeersveiligheid


en zelfs subjectief maakt (Shumway, 1981). De complexiteit is moeilijk verzoenbaar met

de toenemende tijdsdruk die op beleidsvoerders rust en met de beperkte budgetten van

de overheid. Bij ex-post evaluatie daarentegen, dat voornamelijk focust op de

beleidsimpact, kan men steeds terugvallen op historisch-descriptief onderzoek (Klok,

1993). Het is echter verkeerd te stellen dat ex-ante onderzoek geen nut heeft. Men kan

het zien als een investering om de best mogelijke maatregel te kiezen. Zo komen

sommige significante neveneffecten, effectiviteit -en/of efficiëntieproblemen voor

implementatie van de maatregel aan de oppervlakte. Op deze manier kan een resolutie,

ontwerp of voorstel bijgestuurd worden, voordat deze in een wet omgezet wordt (van

Aeken, 2001). Ex-ante evaluatie heeft dus als doel om voorafgaand de inwerkingstelling

van een maatregel meer inzicht te krijgen in de effecten van de maatregel, te leveren

prestaties en in te zetten middelen. Ex-ante onderzoek kan zo de beleidsvoorbereiding en

de beleidsbepaling ondersteunen met als gevolg dat een maatregel optimaal

geïmplementeerd en achteraf verantwoord kan worden (Todd et al, 2006).

Aangezien ex-ante evaluatie vrij duur en tijdrovend is, moet er nagegaan worden of exante

evaluatie wel zinvol is. Het is zinvol voor nieuw beleid 10 waarbij de beleidsopties nog

open zijn. In de beleidsvoorbereiding, de eerste fase in het beleidsproces, worden de

maatregelen ex-ante geëvalueerd. De beleidsvoorbereiding kan men onderverdelen in

een aantal onderzoeksfasen die we hieronder zullen bespreken. In figuur 4 wordt de

beleidsvoorbereiding schematisch weergegeven. Dit schema zal ook de rode draad

vormen in het hieronder besproken ex-ante evaluatieproces.

10 Nieuwe of gewijzigde beleidsdoelstellingen en/of beleidsinstrumenten

Steunpunt Mobiliteit & Openbare Werken 25 RA-MOW-2009-003

Spoor Verkeersveiligheid


Figuur 4: Schematische voorstelling beleidsvoorbereiding

Iteratief

Probleemanalyse

Doel evaluatie definiëren

Gegevensbronnen en

verzamelingstechnieken

Ontwikkeling en

voorselectie van

alternatieven

Voorspelling en

waardering van effecten

Evaluatiemethode

bepalen ex-ante

Beoordeling effecten/

rangschikking

alternatieven

Het rapport

Beleidsbepaling en

implementatie

Bron: Eigen opzet op basis van Mindef, 2008

Eind ex-ante evaluatie

Steunpunt Mobiliteit & Openbare Werken 26 RA-MOW-2009-003

Spoor Verkeersveiligheid


4.1.1 Probleemanalyse

De eerste stap in de beleidsvoorbereiding en de beleidscyclus is de probleemanalyse. Dit

is een cruciale stap in de beleidsevaluatie, aangezien deze de volgende stappen zal

bepalen. Een bepaalde situatie wordt als probleem ervaren indien de huidige situatie

afwijkt van de gewenste situatie (van der Vlist et al, 2007). Het is belangrijk dat de

definiëring van het probleem gebaseerd is op objectieve data zoals pv’s,

ziekenhuisgewonden, verzekeringsmaatschappijen … die opgeslagen zijn in lokale,

regionale, nationale en/of internationale databanken. Hoe beter de kwaliteit van deze

data, hoe beter de probleemanalyse en hoe beter het onderzoek zal gevoerd kunnen

worden. Er moet echter ook rekening gehouden worden met de onderrapporteringsgraad

van ongevallen en gewonden. Het aantal dodelijke slachtoffers worden veelal correct

gerapporteerd, ongevallen met zwakke weggebruikers worden veel minder gerapporteerd

(Lammar, 2006).

Het probleem wordt vastgesteld bij het analyseren van de verkeersongevallendata die in

databanken worden verzameld. Daarbij kunnen bijvoorbeeld zwarte punten

geïdentificeerd worden, trends, … Op die manier kan men bepalen welke verkeerssites

men moet behandelen (Augeri et al, 2005). In deze fase wordt het probleemgebied

geografische en/of tijdsgebonden afgebakend. Daarnaast wordt de mate bepaald

waarmee er met indirecte en ongewenste effecten rekening gehouden moet worden.

Bovendien kunnen er in deze fase de criteria bepaald worden die gebruikt zullen worden

bij de preselectie van de alternatieven (Staes & De Brabander, 2002). Ten slotte wordt

het beleidsprobleem geconcretiseerd. De beleidsdoelstellingen worden in deze fase met

andere woorden geformuleerd. Deze doelstellingen dienen SMART te zijn (Doran, 1981).

SMART staat voor:

� Specifiek: er moet een eenduidige doelstelling zijn

� Meetbaar: de doelstellingen moeten meetbaar of observeerbaar zijn

� Acceptabel en Aanwijsbaar: de doelstelling moet aanvaardbaar zijn. Het moet

ook duidelijk zijn wie het doel moet realiseren

� Realistisch en Relevant: de doelstelling moet haalbaar en waardevol zijn

� Tijdgebonden: de doelstelling moet worden bereikt in een bepaalde tijdspanne.

Er wordt dan een vergelijking gemaakt tussen de ontwikkeling van de bestaande situatie

en het beleidsdoel, namelijk de gewenste situatie. Hiertoe dient de huidige situatie

(historische achtergrond, bestaand onderzoek, reikwijdte, stakeholderanalyse,

beperkingen); de verwachte ontwikkelingen 11 en de gewenste situatie gedefinieerd te

worden. Daarnaast moet men het beleidsprobleem concretiseren door

beleidsdoelstellingen op te stellen. In het kader van verkeersveiligheid hanteert men

kwantitatieve beleidsdoelstellingen (Mindef, 2008). In figuur 5 wordt het beleidsprobleem

grafisch weergegeven.

11 De verwachte ontwikkelingen zijn deze bij ongewijzigd beleid (=nul-situatie of nul-alternatief). De te kiezen

methodiek is afhankelijk van de beschikbare tijd, middelen en informatie.

Steunpunt Mobiliteit & Openbare Werken 27 RA-MOW-2009-003

Spoor Verkeersveiligheid


Figuur 5: De kloof in beeld

Aantal

slachtoffers

Bron: Minfin, 2003

Gewenst effect

Tijd

Verwacht effect

Steunpunt Mobiliteit & Openbare Werken 28 RA-MOW-2009-003

Spoor Verkeersveiligheid


Om de probleemanalyse uit te voeren kan men zich baseren op 4 fasen die in

onderstaande tabel worden gespecificeerd aan de hand van vraagstellingen. Hierbij tracht

men onder meer het institutionele kader van het beleid te schetsen 12 , de beleidsinhoud

en context 13 , de tijdsdimensie en geografische dimensie (De Peuter et al, 2007a).

Tabel 3: Uitvoeren probleemanalyse

Fasen 1. Oriëntatie op

het probleem

Vragen a. Wat is het

probleem?

Bron: Minfin, 2003

b. Wiens probleem

is het?

c. Hoe is het op de

(politieke) agenda

gekomen?

d. Wie zijn de

relevante actoren?

e. Wat zijn de

belangen en

posities?

f. Wat of hoe wordt

het probleem

veroorzaakt?

g. Welke

oplossingen zijn

aangedragen?

h. Wat is de

reikwijdte (in

ruimte en tijd) van

het probleem?

2. Inventarisatie

randvoorwaarden

a. Zijn eerder

doelstellingen

vastgesteld?

b. Is er beleid van

hogere instantie (EU,

…)?

c. Is er beleid en

activiteiten van

nevengestelde

organisaties

(provincies en lagere

overheden?)

d. wat is de politiek

en sociaaleconomische

omgeving?

e. Wat zijn de

beschikbare

middelen?

4.1.2 Doel definiëren van de evaluatie

3. Situatie bij

ongewijzigd

beleid (nulsituatie)

Wat is de huidige

situatie plus de

ontwikkeling

daarvan in de tijd

bij ongewijzigd

beleid?

4. Gewenste

situatie (1situatie)

Wat is de gewenste

situatie?

De beschrijving van de kloof tussen de 0

en 1 situatie vormt de concretisering van

een beleidsprobleem in SMARTgeformuleerde

beleidsdoelstellingen.

Het is mogelijk dat de in de probleemstelling bepaalde beleidsdoelstellingen aan de hand

van verschillende evaluatiemethoden worden geëvalueerd of dat de beleidsdoelstellingen

één voor één worden geëvalueerd. Er kunnen namelijk verschillende aandachtspunten

zijn bij het evalueren van een maatregel of maatregelenpakket. Indien men bijvoorbeeld

de BOB-campagne wil evalueren zal men de alcoholcontroles kunnen evalueren en

daarnaast de mediacampagne. Daarom is het noodzakelijk dat men het doel definieert

van de evaluatie. Meet men wel wat men wenst te meten? Hiervoor moeten er concrete

evaluatievragen worden opgesteld (vb. “Hoeveel alcoholcontroles werden er

12 Bestuurlaag (lokaal, provinciaal, regionaal, federaal, supranationaal), verantwoordelijke overheidsorganisatie,

etc.

13 Beleidsdoelstellingen, betrokken actoren, omgeving (sociaal, politiek en/of economisch).

Steunpunt Mobiliteit & Openbare Werken 29 RA-MOW-2009-003

Spoor Verkeersveiligheid


uitgevoerd?”, “Hoeveel bestuurders testten positief”?, ... “Hoeveel mensen zijn er bereikt

met de BOB-(media)campagne?”, “Hoeveel mensen herkennen de reclamespots?”, ...).

Om het doel te definiëren kan men twee tussenstappen hanteren. Enerzijds moeten de

stakeholders geïdentificeerd worden. Dit zijn de actoren die collectieve of individuele

belangen hebben bij de maatregel. Zij zullen dan ook kunnen bepalen waarop de

evaluatie zal moeten focussen. Bij het schrijven van deze paper werd er in werkpakket

5.1 een steunpuntrapport geschreven over de stakeholders en hun criteria in een

verkeersveiligheidscontext. Hierbij worden de beleidsmakers, beleidsuitvoerders,

doelgroep van het beleid en derden besproken (Novikova, Van Malderen & Macharis,

2009). Anderzijds moeten er evaluatievragen en -criteria worden opgesteld. Deze

vormen de kern van het evaluatieproces, aangezien men de inhoud bepaalt van het

evaluatieonderzoek. Dit is geen eenvoudige opdracht. Een andere verwoording kan

aanleiding geven tot een andere focus en bijgevolg de inzet van andere instrumenten of

technieken in het verdere verloop van het evaluatieonderzoek. Men kan de

evaluatievragen best opstellen en uitkiezen door de geselecteerde stakeholders te

consulteren. Evaluatievragen kunnen in 4 groepen ingedeeld worden. Men kan ze in grote

mate ook terugvinden in tabel 2 (De Peuter et al, 2007a):

� Beschrijvende vragen die meer informatie moeten verschaffen rond het beleid of

ingevoerde maatregel, de werking ervan, de resultaten, etc.

� Causale vragen die de evalueerders meer moeten vertellen over het bestaan,

sterkte, richting en randvoorwaarden van de oorzaak-gevolg relaties van de

maatregel. Deze worden voornamelijk bij ex-post evaluaties opgesteld.

� Normatieve of prescriptieve vragen moeten verwijzen naar de gewenste/optimale

situatie of verandering. Deze vragen komen zowel ex-ante als ex-post voor.

� Voorspellende vragen die informatie moeten geven over de mogelijkheid, kans en

risico waarmee situaties of veranderingen in de toekomst kunnen optreden. Het

voorspellende karakter van deze vragen kan ons hoofdzakelijk helpen bij het

voeren van ex-ante onderzoek.

In onderstaande figuur geven we de basiscriteria weer om beleid te evalueren. Deze

kunnen nog aangevuld worden met andere specifieke criteria of kenmerken om een

maatregel te beoordelen en/of te vergelijken met zijn alternatieven. Deze zijn eenvoudig

af te leiden uit de beleidsdoelstellingen. Voorbeelden hiervan zijn reistijdwinst,

lawaaihinder, gepercipieerde risico, etc. Bij de koppeling van de evaluatievragen –en

criteria moeten we nog melden dat men meestal eerst de mogelijke evaluatiecriteria

bepaalt en in functie hiervan de vragen opstelt.

Steunpunt Mobiliteit & Openbare Werken 30 RA-MOW-2009-003

Spoor Verkeersveiligheid


Figuur 6: Basisevaluatiecriteria voor ex-ante, ex-durante en ex-post

Bron: De Peuter et al, 2007a

De selectie van de indicatoren spelen bij het definiëren van het doel een voorname rol

(Hermans et al, 2008). De indicatoren moeten namelijk de beoogde effecten kunnen

meten. De indicatoren moeten daarom relevant zijn. Ze moeten namelijk aansluiten bij

de informatiebehoefte van de beleidsmaker die de maatregel wil evalueren. Naast de

eigenschap relevantie moeten de indicatoren ook valide zijn. Hiermee wordt bedoeld dat

ze moeten weten wat ze beweren te meten. Bovendien moeten ze eenvoudig te meten

zijn. Daarnaast moeten indicatoren ook gevoelig zijn. Indien er veranderingen zijn,

moeten deze terug te vinden zijn in de indicator. Tot slot moeten de indicatoren

aanvaardbaar zijn voor degenen die ze moeten gebruiken. Eens de indicatoren zijn

geselecteerd moeten er afspraken gemaakt worden over de wijze van meten, de

meetfrequentie, de vorm van rapportage en vormgeving, de startdatum, etc. Er kunnen

vijf verschillende soorten indicatoren worden onderscheiden. Inputindicatoren die

informatie leveren over de ingezette en geplande middelen (personeel, financieel,

materieel, etc. Daarnaast zijn er de procesindicatoren die gegevens aanbrengen over

de activiteiten die worden uitgevoerd. Vervolgens zijn er de outputindicatoren die de

prestaties van de maatregel weergeven (bestuurders informeren, sensibiliseren, snelheid

laten aanpassen, etc.). De effectindicatoren moeten de effectiviteit van de maatregel

omschrijven (vermindering aantal verkeersslachtoffers, stijgend bewustzijn van de

gevolgen van rijden onder invloed, etc.). Ten slotte zijn er de omgevingsindicatoren

die meer informatie geven over de omgevings- of externe factoren van de

beleidsmaatregel. Men zal echter steeds moeten toekijken of deze indicatoren relevant

blijven en zo nodig aanpassen, vervangen, schrappen of toevoegen (Swanborn, 1999;

Ministerie van de Vlaamse Gemeenschap, 2002; Hoogerwerf en Herweijer, 2003; Mindef,

2008). Er bestaan reeds steunpuntrapporten met betrekking tot indicatoren bij de

Steunpunt Mobiliteit & Openbare Werken 31 RA-MOW-2009-003

Spoor Verkeersveiligheid


eoordeling van verkeersveiligheidsmaatregelen. Voor meer informatie over

verkeersveiligheidsindicatoren verwijzen we graag naar de steunpuntrapporten van

Lammar (2006), Hermans et al (2008) en van Lier et al (2008).

4.1.3 Gegevensbronnen en verzamelingstechnieken

Nadat het doel van de evaluatie is gedefinieerd, moet men nagaan welke

gegevensbronnen noodzakelijk zijn, welke bronnen er beschikbaar zijn en welke

verzamelingstechnieken men kan hanteren om de evaluatie uit te voeren rekening

houdend met de middelen en tijdsbeperkingen. De probleemstelling en evaluatievragen

en –criteria kunnen reeds (gedeeltelijk) antwoord bieden op deze vragen. Afhankelijk van

de kwaliteit en beschikbaarheid van de bestaande gegevensbronnen kan men beroep

doen op bestaande (secundaire) gegevens of zal men nieuwe (primaire) gegevens

moeten gaan verzamelen. Onderstaand schema geeft de verschillende gegevensbronnen

weer die gebruikt kunnen worden bij het evaluatieproces. Men kan gebruik maken van

allerhande beleidsvoorbereidende modellen: Scenario-analyses, regressieanalyses, een

analyseschema, oorzaak-gevolganalyse of aan de hand van extrapolatie,

trendextrapolatie, systeemanalyse, scenariomethode, delphi-methode en status-quo (De

Pelsmacker & Van Kenhoven, 2006; De Peuter et al, 2007a)

Figuur 7: Primaire en secundaire bronnen in het evaluatieproces

Monitoringsysteem

Management

documenten

Bron: De Peuter et al, 2007a

Secundaire

data

Evaluatie

Satistieken Literatuur &

experts

Statistische

instellingen

Onderzoek,

eerdere

evaluaties

4.1.4 Ontwikkeling en voorselectie alternatieven

Primaire

data

Interview,

survey, etc.

Een alternatief is een maatregel die de kloof tussen een gewenste situatie en een

verwachte situatie kan reduceren of wegwerken. Men wil bijvoorbeeld tegen 2010

maximum 378 doden en zwaargewonden hebben op de wegen. Alle verkeersdoden en

gewonden meer dan 378 vormden in 2000, het jaar waar het beleid werd bepaald (=nul-

Steunpunt Mobiliteit & Openbare Werken 32 RA-MOW-2009-003

Spoor Verkeersveiligheid


situatie), het beleidsprobleem. Intussen is de kloof tussen de oorspronkelijke nul-situatie

en de gewenste situatie flink gereduceerd, doch niet weggewerkt, door invoering van tal

van maatregelen. De ontwikkeling van de alternatieven is afhankelijk van de inzichten

die men heeft in de kwestie. Men kan op zoek gaan naar alternatieven binnen

verkeersveiligheid (bvb. verkeersveiligheidsmaatregelen uit andere landen of het

verleden), maar ook buiten het beleidsveld van verkeersveiligheid (bvb. gebruik maken

van zonwerend glas in auto’s afkomstig van de serreteelt). Andere beleidsvelden kunnen

vaak inspirerend werken. Er kan door middel van brainstorming en workshops tot

alternatieven gekomen worden, door ontwikkeling van varianten van alternatieven, door

de stakeholders en/of experts te ondervragen en door gebruik te maken van

simulatiemodellen en/of scenariomethoden. In deze fase kunnen reeds alternatieven

geschrapt worden aangezien ze niet haalbaar zijn. Zo spelen de onder andere de kosten 14

van de maatregel, de tijd, de technische knowhow en het beschikbare personeel een rol

in het al dan niet haalbaar zijn van de maatregel. Daarom worden er vaak ook

beperkingen of criteria opgesteld zoals budgetbeperkingen. Deze criteria kunnen reeds in

de probleemanalyse aanbod gekomen zijn. Door een voorselectie uit te voeren, worden

het aantal alternatieven gereduceerd. De in de preselectie afgevallen alternatieven zullen

dan niet verder meer moeten geanalyseerd worden, wat middelen uitspaart. Men mag

echter niet in de verleiding komen om teveel alternatieven te willen elimineren bij de

preselectie. Zo kunnen mogelijk interessante alternatieven vroegtijdig buiten

beschouwing gelaten worden (Staes & De Brabander, 2002; Minfin, 2003).

4.1.5 Effecten van de alternatieven en waardering van de effecten

Nadat de voorselectie is uitgevoerd bekomen we de meest belovende alternatieven. Deze

zullen dan ook in detail worden geanalyseerd. De selectiecriteria van de stakeholders (zie

4.1.2) bepalen op welke relevante effecten de alternatieven moeten onderzocht worden.

Op basis van deze effecten worden dan ook de verschillende alternatieven tegenover

elkaar afgewogen. Er wordt vaak onderscheid gemaakt tussen primaire –en secundaire

criteria. De eerste soort kan meestal gehaald worden uit de doelstelling en de

probleemconcretisering. Overlappingen van de criteria dienen wel vermeden te worden,

aangezien op die manier teveel gewicht wordt gegeven aan een bepaald aspect. Door het

implementeren van een maatregel tracht men een effect te bekomen (bvb. een daling

van het aantal verkeersslachtoffers, verbetering van verkeerskennis, etc.). Er bestaan

echter verschillende effecten. Eerst en vooral zijn er de beoogde effecten die men

doelbewust heeft gecreëerd. Daartegenover staan de niet-beoogde effecten. Dit zijn

effecten die men niet voor ogen had bij het doorvoeren van de maatregel. Deze kunnen

wenselijk zijn (bvb. snelheidsbeperking � minder geluidshinder) of onwenselijk (bvb.

snelheidsbeperking � daling doorstroom). Een ander onderscheid van effecten is deze

tussen directe effecten en indirecte effecten. Een snelheidsbeperking zorgt voor een

daling van het aantal ongevallen (direct), maar ook voor een toename van de subjectieve

veiligheid (indirect). Het is goed mogelijk dat de indirecte effecten groter zijn dan de

directe effecten. Een laatste onderscheid is die tussen voorziene en onvoorziene effecten.

De onvoorziene effecten kunnen in ex-post evaluatie boven drijven. Er moet in een exante

evaluatie waar de effecten voorspeld worden rekening gehouden worden met de

verschillende soorten effecten. Deze zullen namelijk invloed hebben op de rangschikking

van de alternatieven. Bij het voorspellen van de effecten moet er eerst een inventaris

gemaakt worden van de directe effecten van een alternatief, vervolgens moeten de

indirecte effecten worden opgespoord. Ten slotte worden de relevante effecten

gekwantificeerd. De inventarisatie gebeurt aan de hand van effectscorekaarten. De

14 Meestal worden de werkelijke kosten in rekening gebracht, dus niet opportuniteitskosten. Ook de sunk costs

worden niet verrekend aangezien deze geen verschil geven in de afweging tussen de verschillende

alternatieven. De kosten worden over de gehele levensduur van het project berekend, waardoor men de kosten

dient te verdisconteren. Naast de investeringskosten moeten ook de exploitatie –en onderhoudskosten

opgenomen worden.

Steunpunt Mobiliteit & Openbare Werken 33 RA-MOW-2009-003

Spoor Verkeersveiligheid


effectscore is de waarde van het effect (Staes & De Brabander, 2002; Minfin, 2003;

Mindef, 2008).

Om een effectoverzicht te maken dienen de beoordelingscriteria (c) en de alternatieven

(a) samen in een tabel (c x a) te staan. Elk alternatief krijgt dan een effectscore op elke

criterium. Dit wordt ook gedaan bij de Multi-Criteria Analyse, aangezien men daar aan de

hand van criteria elk alternatief een score geeft. Tabel 4 is een voorbeeld van een

algemeen effectenoverzicht (4 x 3).

Tabel 4: Effectenoverzicht

Beoordelingscriteria

Bron: Minfin, 2003

4.1.6 De evaluatiemethode bepalen

Alternatieven

A1 A2 A3

C1 Effectscore Effectscore Effectscore

C2 Effectscore Effectscore Effectscore

C3 Effectscore Effectscore Effectscore

C4 Effectscore Effectscore Effectscore

Het is van cruciaal belang om de meest geschikte evaluatiemethode te kiezen afhankelijk

van de situatie. Een foutief gebruik kan aanleiding geven tot verkeerde

beleidsbeslissingen wat we logischerwijs moeten vermijden. De verschillende socioeconomische

evaluatiemethoden werden reeds besproken in hoofdstuk 3. Deze hebben

elk hun sterkten en zwaktes in bepaalde omstandigheden. Om de meest geschikte

evaluatiemethode te bekomen wordt er in hoofdstuk 5 een beslissingsboom gecreëerd.

Deze boom moet de beleidsmaker gidsen tot de situatieafhankelijk meest geschikte

evaluatiemethode. Het resultaat hiervan is terug te vinden in hoofdstuk 6. Er zal onder

meer rekening gehouden worden met het tijdstip waarop de evaluatie wordt uitgevoerd

(ex-ante of ex-post), het monetaire karakter van de effecten en het aantal alternatieven.

4.1.7 Het eigenlijke evaluatieonderzoek: Rangschikking en beoordeling van de

beleidsalternatieven

Deze stap in de beleidsvoorbereiding is de laatste in het ex-ante evaluatieonderzoek. Alle

voorgaande stappen hebben we gezet om te komen tot een rangschikking van de

alternatieven. Deze rangschikking moet de beleidsbeslisser adviseren over het

geprefereerde alternatief. In het geval dat er uit het effectenoverzicht 1 alternatief als

beste naar buiten komt, omdat het op alle criteria het beste scoort, dan is er geen

behoefte aan een verder gedetailleerd onderzoek. Het overzicht spreekt dan van zelf.

Indien 2 of meer alternatieven goed scoren in het effectenoverzicht dan dringt zich een

gedetailleerde analyse van de alternatieven op. Om de verschillende effecten met elkaar

te kunnen vergelijken moeten deze effecten gestandaardiseerd worden. De kosten,

voordelen en nadelen worden hierbij tegen elkaar afgewogen. Er kan dan bij ex-ante

onderzoek gebruik gemaakt worden van monetaire methoden (SKBA, KEA, KUA & EEA)

en Multi-actor Multi-criteria methoden ((MA)MCA) die we reeds in hoofdstuk 3 besproken

hebben om de alternatieven te rangschikken. Bij evaluatiemethoden zoals de KEA, SKBA

en (MA)MCA worden alle effecten zoveel mogelijk onder één noemer gebracht. In tabel 5

geven we de algemene noemer voor respectievelijk de KEA, SKBA en MCA (Minfin, 2003;

Mindef, 2008).

Steunpunt Mobiliteit & Openbare Werken 34 RA-MOW-2009-003

Spoor Verkeersveiligheid


Tabel 5: Standaardisatie van de effecten

Methode Vertaling effecten Standaardisatie

KBA Alle effecten Monetaire kosten en baten

KEA Alleen de kosten Kosten

MCA Merendeel van de effecten niet in

geld uit te drukken

Bron: Minfin, 2003

4.1.8 Terugkoppeling

Wegingsfactoren

De verschillende stappen die we tot nu toe doorlopen hebben in de ex-ante evaluatie

staan niet los van elkaar. Stel bijvoorbeeld dat er veel ongevallen gebeuren met auto’s

en zwakke weggebruikers in stadscentra. Men zal dan alternatieven trachten te

ontwikkelen die het autogebruik in stadscentra ontmoedigen. Indien dan verder in het

onderzoek blijkt dat de bereikbaarheid in stadcentra een probleem is, dan dient het

volledige proces zich weer te herhalen van probleemanalyse tot terugkoppeling, maar

dan met betrekking tot de mobiliteit in stadscentra. De terugkoppeling speelt dus een

belangrijke rol om het gevoerde beleid indien nodig bij te sturen. Vandaar dat er na elke

fase een terugkoppeling is.

4.1.9 Rapport

De beleidsvoorbereiding sluit af met een overzichtelijk document. Aan de hand van dit

rapport moeten anderen in staat zijn om tot dezelfde resultaten te komen. Er wordt

aandacht geschonken aan (Mindef, 2008):

� de probleemstelling;

� probleemanalyse;

� alternatieven;

� effecten(tabel) en beoordeling;

� toepassing evaluatiemethoden;

� resultaten en conclusies;

� aanbevelingen en adviezen voor implementatie

� samenvatting

4.1.10 Beleidsbepaling en uitvoering

Beleidsbepaling en beleidsuitvoering zijn respectievelijk fase 2 en 3 in het beleidsproces.

De beleidsvoorbereiding en het bijhorende ex-ante onderzoek dienen als belangrijke

input voor de beleidsbepaling en de beleidsuitvoering. Dit werd ook weergegeven in

figuur 3: het beleidsproces. Nadat de verschillende alternatieven werden gerangschikt

volgt er een onderbouwde beleidsbeslissing. Het beslissen over de inhoud van het beleid

is de beleidsbepaling. Men zal een keuze moeten maken over welk alternatief er zal

uitgevoerd worden, welke evaluatie instrumenten gehanteerd zullen worden, welke

middelen er voor handen zijn, in welk tijdsbestek, etc (Mindef, 2008).

Steunpunt Mobiliteit & Openbare Werken 35 RA-MOW-2009-003

Spoor Verkeersveiligheid


Bij de beleidsuitvoering zit naast het werkelijk uitvoeren van de maatregel ook het

monitoren van de maatregel zodat deze na een periode kunnen geëvalueerd worden (expost

evaluatie). Opdat er een evaluatie kan doorgevoerd worden, moet er in de

beleidsbepaling ook prestatienormen vastgesteld worden. De verwachte effecten kunnen

dan vergeleken worden met de gerealiseerde effecten.

4.2 Ex-post

Ex-post evaluatie, de laatste stap in het beleidsproces, kan gedefinieerd worden als het

“systematisch onderzoek naar de effecten van bestaand beleid, de wijze waarop beleid

wordt uitgevoerd en/of de kosten en kwaliteit van geleverde producten en diensten”

(Minfin, 2003). In tegenstelling tot ex-ante onderzoek dat voornamelijk de beleidsinhoud

evalueert, beoordeelt de ex-post evaluatie hoofdzakelijk de beleidsimpact. Er mag hierin

echter geen strikte lijn getrokken worden, want ex-ante onderzoek kan ook reeds de

(voorspelde) beleidsimpact schatten en vice versa. Ex-post onderzoek is noodzakelijk

voor beleidsmakers om het gevoerde beleid te verantwoorden tegenover de betrokkenen

en om te leren van het beleid. Men dient de geïmplementeerde maatregelen kritisch te

evalueren. De inhoud, uitvoering, prestaties en effecten van het gevoerde beleid worden

in de ex-post evaluatie beoordeeld. De effecten van het gevoerde beleid moeten daarbij

vergeleken worden met de oorspronkelijke en theoretische doelstellingen van het beleid

(van Aeken, 2001). Men moet zich dus afvragen of het beleid zijn (tussentijdse) doelen

heeft bereikt. Een belangrijke eigenschap van (ex-post) evaluatie is dat men inzicht krijgt

in het gevoerde beleid. Dit inzicht kan leiden tot het bijstellen van het beleid zodat de

effectiviteit en efficiëntie verhoogd wordt en de ongewenste neveneffecten

geminimaliseerd worden. De doeltreffendheid van de maatregel is niet altijd even

eenvoudig na te gaan, doordat er verschillende factoren zijn die invloed uitoefenen op de

beleidsdoelstelling. In tegenstelling tot ex-ante evaluatie kan men zich bij de ex-post

evaluatie richten op reeds bestaande informatie die voor en tijdens de periode van de

maatregel werden verzameld. Als er informatie ontbreekt dan moet dit opgenomen

worden in het onderzoek. De ex-post evaluatie kan algemeen of uitgebreid uitgevoerd

worden. Indien men enkel de kosteneffectiviteit of efficiëntie en de mate van

doelbereiking nagaat, dan spreken we over een “globale ex-post evaluatie”. Bij een

uitgebreide ex-post evaluatie wordt er ook gekeken in hoeverre de waargenomen

effecten toe te rekenen zijn aan het gevoerde beleid. Indien er bijvoorbeeld subsidies zijn

voor Intelligente Transport Systemen (ITS), dan mag men bij een stijgend gebruik van

ITS niet zomaar veronderstellen dat deze stijging volledig te danken is aan de subsidie.

Goed ex-post onderzoek maakt een koppeling tussen het beleid, de prestaties en de

kosten en opbrengsten die daaruit vloeien. Ex-post onderzoek is breder dan enkel de

maatregel evalueren. Men moet het beleid evalueren. Dit behelst meer dan de

effectiviteit van de maatregel nagaan. Bij de doelmatigheid van het beleid kan bekeken

worden of de juiste prestaties werden geleverd. Er kan ook nagegaan worden of een

andere maatregel niet meer effect zou gehad hebben (Mindef, 2008).

Evaluatieonderzoek ex-post moet pas uitgevoerd worden indien de baten van het

onderzoek groter zijn dan de kosten ervan. Stel dat men één extra verkeersbord wil

plaatsen om een gevaarlijk kruispunt aan te kondigen, dan is de kost van het ex-post

onderzoek groter dan de baat ervan. De timing van het ex-post onderzoek speelt ook een

belangrijke rol. In het Verenigd Koninkrijk wordt het beleid driejaarlijks geëvalueerd in de

“three year reviews” waarvan er reeds 2 zijn uitgevoerd in 2004 en 2007 (Sentinella,

2004). Het spreekt ook voor zich dat er een moment moet uitgekozen worden om de

evaluatie door te voeren waarbij de effecten reeds zichtbaar (moeten) zijn (Minfin,

2003). Net zoals bij de ex-ante evaluatie, gaan we de verschillende stappen overlopen in

de ex-post evaluatie.

Steunpunt Mobiliteit & Openbare Werken 36 RA-MOW-2009-003

Spoor Verkeersveiligheid


4.2.1 Globale ex-post evaluatie

Bij een globale ex-post evaluatie tracht men een voorlopige beoordeling van de

effectiviteit en efficiëntie van de beleidsuitvoering te bekomen. Zo kan er reeds

aangegeven worden of verder onderzoek zich opdringt. Het kan ook een indicatie geven

over welke onderzoeksvragen er verder dienen te worden uitgediept. Om de globale

beoordeling te bekomen dienen volgende stappen doorlopen te worden:

a. Probleemstelling en doel van de evaluatie

Het opstellen van een probleemstelling is de basis van het (ex-post) onderzoek en

verloopt analoog met de probleemstelling in het ex-ante onderzoek. In eerste

instantie moeten er enkele aspecten nagegaan worden opdat het probleem in kaart

kan gebracht worden. Zo dient men te weten welk beleidsplan er moet geëvalueerd

worden, welke beleidsdoelen er zijn 15 , welke doelgroep men wilt bereiken met de

maatregel, op welke wijze de uitvoering is opgezet, welke instrumenten er worden

gebruikt, hoe deze instrumenten eruit zien, wat ze beogen te bereiken en voor wie ze

zijn bedoeld 16 . Hiervoor kan men de stakeholders weer consulteren. Daarnaast is het

ook interessant om na te gaan of de beleidsstandpunten bij het opstellen van het

beleid nog steeds dezelfde zijn als bij het ex-post onderzoek. Het is bovendien

belangrijk te weten wat er van de ex-post evaluatie verwacht wordt 17 . Eens we over

al deze informatie beschikken is het mogelijk om de doelstelling en probleemstelling

van het onderzoek te vertalen in concrete SMART onderzoeksdoelstellingen en

onderzoeksvragen (Minfin, 2003; van der Vlist et al, 2007; Mindef, 2008).

b. Verzamelen en beoordelen gegevens

In deze stap dient men de gegevens te verzamelen van de beoogde en gerealiseerde

doelgroep, effectendoelen, middelen, beleidstheorie. De betrouwbaarheid en validiteit

van de gegevens spelen een belangrijke rol in het verdere verloop van het

evaluatieproces. Weinig betrouwbare data zal leiden tot weinig betrouwbare

conclusies. Bovendien kan men in deze fase de externe ontwikkelingen bemerken. Er

moet ook stilgestaan worden bij de realisatie in de tijd. Om de bestaande gegevens

te beoordelen moet men de beoogde doelgroep vergelijken met de gerealiseerde

doelgroep. Deze vergelijking tussen het beoogde en het gerealiseerde moet ook

gemaakt worden tussen de effectendoelen, middelen en beleidstheorie. Tot slot moet

er gekeken worden naar de rol van de externe factoren en in hoeverre de

ontwikkelingen in de tijd van invloed zijn geweest (De Peuter et al, 2007a, Mindef,

2008).

c. Conclusies en (tussen)rapport

In deze fase worden de verzamelde gegevens geïnterpreteerd. Hierbij kunnen

verscheiden bases gehanteerd worden om de reële situatie (R) met te vergelijken: de

initiële situatie voor de beleidsuitvoering (I), de verwachte situatie na

beleidsuitvoering (V) en de meest optimale situatie (O). De doelbereiking kan zo

uitgedrukt worden in absolute of relatieve termen (De Peuter et al, 2007a):

� De bereikte verbetering: R – I

15 Een goede beleidsdoelstelling bevat informatie over de nagestreefde effecten en de manier waarop die

worden gerealiseerd.

16 De meeste informatie die we hier moeten verzamelen, is ook nodig in een ex-ante onderzoek.

17 Ter verantwoording van het beleid, om inzicht te krijgen in de effecten, …

Steunpunt Mobiliteit & Openbare Werken 37 RA-MOW-2009-003

Spoor Verkeersveiligheid


� De bereikte procentuele verbetering:

100( R � I)

I

� Het verschil tussen de verwachte en bereikte situatie: V – R

� Het procentuele gedeelte van de verwachte verbetering die bereikt is:

100(

R � I)

V � I

� Het verschil tussen de bereikte en optimale situatie: O – R

� Het procentuele verschil tussen de verwachte en bereikte situatie:

100( V � R)

V

� Het procentuele verschil tussen de bereikte en de verwachte verbetering:

100(

V � R)

V � I

Elk van deze maatstaven heeft zijn voordelen en nadelen. Zo zijn de eerste 2 maten

ongevoelig voor de vooropgestelde doelen (V) noch van de oorspronkelijke afwijking

tussen de initiële situatie en de gewenste situatie (V-I). Bij de overige maatstaven zit

er een normering ingewerkt aan de hand van de verwachte/optimale situatie. De

waarde van deze maten hangt hier dus af van de ambitie van de vooropgestelde

doelen. De te gebruiken formule hangt af van de beschikbare data.

Ter afsluiting van de initiële beoordeling wordt vaak aanbevolen om de gegevens,

bevindingen, conclusies en aanbevelingen uit deze fase op te nemen in een rapport.

Dit is noodzakelijk om de evaluatiebevindingen te communiceren met de

stakeholders. Hier kunnen de volgende elementen aangegeven worden:

� Geconcretiseerde onderzoeksvragen

� Beleidsdoelen en beleidsstrategie in hoofdlijnen

� Hoofdlijnen van de realisatie van doelen en strategie door instrumenten en

uitvoeringsorganisatie

� Uitgangspunten onderzoek

� Aard en opzet onderzoek

� Gebruikte gegevens

� Conclusies

� Aanbevelingen voor vervolgonderzoek

� Aard en richting vervolgonderzoek

4.2.2 Uitgebreide ex-post evaluatie

De globale ex-post evaluatie geeft een algemene indicatie van hoe de maatregel heeft

gepresteerd. Het is echter ook interessant om weten welke effecten er zijn voortgevloeid

uit de maatregel zelf. Om een correcte ex-post evaluatie uit te voeren, moet men de

effecten die niets te maken hebben met het te evalueren programma neutraliseren.

Indien men bijvoorbeeld een engineering-maatregel wil evalueren, dan mag men de

effecten van andere invloeden (andere engineering-, educatie -en enforcementmaatregelen)

niet in rekening brengen. Indien men bijvoorbeeld in het kader van de

gordeldracht het effect van gordelverklikkers wil nagaan, dan moeten de effecten van

een eventuele sensibilisatie-campagne die tijdens het onderzoek naar de effectiviteit van

de gordelverklikker heeft plaatsgevonden weggewerkt worden. Enkel door het afbakenen

Steunpunt Mobiliteit & Openbare Werken 38 RA-MOW-2009-003

Spoor Verkeersveiligheid


van de invloeden kan men de effectiviteit van de gordelverklikker testen. Het is dus goed

mogelijk dat een vooropgesteld doel wordt nagestreefd zonder dat de te evalueren

maatregel zelf effect heeft gehad op het doel. Om een uitgebreide ex-post evaluatie door

te voeren moeten volgende stappen doorlopen worden nadat men de doel -en

probleemstelling heeft geformuleerd, de evaluatievragen van het onderzoek heeft

opgesteld en de nodige gegevens heeft verzameld (zie 4.2.1):

a. Bepaling van de onderzoeksopzetten

Om de causale relaties te identificeren bestaan er verschillende methoden afhankelijk

van het feit of men met een testgroep en controlegroep werkt en van hoe deze

groepen tot stand zijn gekomen. De groepen hebben (theoretisch gezien) een

identieke samenstelling, instelling en ervaring. Het enige wat verschilt is de

blootstelling aan de beleidsmaatregel. In de praktijk is het onmogelijk om 2 identieke

groepen samen te stellen. Dit is geen probleem zolang de verschilpunten geen

significante invloed hebben op de bestudeerde effecten. Men spreekt dan van

experimentele en quasi-experimentele onderzoeksdesigns. In het eerste geval wordt

de steekproef random samengesteld. Dit wil zeggen dat de kans even groot moet zijn

om geselecteerd te worden. Bovendien is de kans gelijk om bij de testgroep of

controlegroep toegewezen te worden. Bij quasi-experimentele designs is de

steekproeftrekking niet op toeval gebaseerd (bijvoorbeeld voorselectie op leeftijd,

geslacht, ervaring...). Dit wordt vaak gedaan uit praktische overwegingen. Indien er

zonder controlegroep gewerkt wordt, moet men een non-experimenteel onderzoek

uitvoeren (Heckman en Smith, 1993). Er kunnen namelijk ethische bezwaren zijn om

een bepaalde groep te onttrekken van een bepaalde maatregel waardoor er geen

controlegroep samengesteld kan worden. Aan de hand van deze methodes tracht

men de causale en significante effecten van de beleidsmaatregelen te identificeren.

De testgroep wordt vergeleken met de controlegroep en de voormeting wordt

vergeleken met de nameting (Rubin, 1974; De Pelsmacker & Van Kenhoven, 2006).

Laten we de nameting, met-zonder, voor-na en de combinatie van met-zonder en

voor-na benaderingen die het effect van beleid kunnen weergeven eens van naderbij

bekijken. Deze onderzoeksmethoden geven aan welke gegevens er verzameld

moeten worden en maken het mogelijk om op een meer dan subjectieve wijze

projecten en maatregelen tegen elkaar af te wegen. Afhankelijk van de beschikbare

gegevens moet uit een van de 4 typen gekozen worden. De beschikbare tijd, het

onderzoeksbudget en het beschikbare personeel zullen ook een invloed spelen op de

keuze van de onderzoeksopzetten. Door deze evaluatie uit te voeren kan men

nagaan of een bepaald programma moet worden verder gezet, uitgebreid, verbeterd

of net gereduceerd. Op deze manier toont men het nut en effectiviteit aan van de

maatregel wat uitermate interessant is voor de sponsors van de maatregel, namelijk

de overheid (Minfin, 2003; Rossi, et al, 2004; De Pelsmacker & Van Kenhoven, 2006;

van der Vlist et al, 2007; Delhomme, 2009). Voor praktische toepassingen zoals

Hauer et al en het steunpuntrapport van De Brabander et al (2005) verwijzen we

naar het tweede deel van deze handleiding.

� Voor–na meting

Bij deze non-experimentele methode gaat er een voormeting en een nameting

worden uitgevoerd. De situatie voor implementatie van de maatregel wordt

vergeleken met de situatie na implementatie van het beleidsinstrument. De

feitelijke verandering, het verschil tussen de voor –en nameting, is het

uitgangspunt voor een nadere analyse die de effecten van de te evalueren

maatregel moet blootleggen. Er kunnen namelijk andere invloeden zijn dan de

bewuste maatregel die een invloed hebben op de nameting. Men dient dus de

effecten van het beleid te isoleren en net zoals bij de nameting de alternatieve

Steunpunt Mobiliteit & Openbare Werken 39 RA-MOW-2009-003

Spoor Verkeersveiligheid


verklaringen weergeven. Deze methode stelt het mogelijk om te bepalen of er een

beleidseffect heeft plaatsgevonden. Over de causaliteit van beleid kan dit ontwerp

geen uitspraak doen, omdat andere verklaringen niet kunnen uitgesloten worden.

De voor-na benadering wordt in figuur 8 grafisch weergegeven.

Figuur 8: Ontwikkeling doelvariabele voor-na meting

Aantal

slachtoffers

� Nameting

Voormeting

Inzet

instrument

nameting

Het is echter niet mogelijk om steeds een voor-na meting uit te voeren. Vaak

wordt er pas een eerste meting gedaan nadat de maatregel in werking is gesteld

en bovendien kan men de testgroep niet vergelijken met de controlegroep. In dat

geval kunnen we gebruik maken van de non-experimentele nameting. Op

geregelde tijstippen worden er metingen gedaan zodat er toch een indicatie is van

het effect van de maatregel. Indien men deze methode wil toepassen moet men

om de plausibiliteit te verhogen best ook de alternatieve verklaringen beschrijven.

Zo zal men de factoren moeten inventariseren die naast het beleidsinstrument

invloed hebben op het beleidsdoel. Bovendien moet men dan uitmaken of deze

factoren een positieve of negatieve invloed hebben. De veronderstelde relaties

kunnen dan nagegaan worden aan de hand van verder onderzoek

(literatuurstudie, interviews, …). Samenvattend kunnen we dus stellen dat de

nameting methode reeds een plausibele indruk geeft van de effecten van de

geïntroduceerde maatregel doordat het reeds een bepaalde frequentie weergeeft.

Deze methode is echter niet volledig betrouwbaar. Het principe van de nameting

wordt in figuur 9 gevisualiseerd.

Steunpunt Mobiliteit & Openbare Werken 40 RA-MOW-2009-003

Spoor Verkeersveiligheid

Tijd


Figuur 9: Ontwikkeling doelvariabele nameting

Aantal

slachtoffers

Inzet

instrument

Zowel bij de benadering nameting als bij voor-na meting moet het tijdstip van de

metingen na implementatie van de maatregel goed gekozen worden. Sommige

beleidseffecten zijn namelijk onmiddellijk waarneembaar, andere hebben meer

tijd nodig. Er worden 4 verschillende effecttypes onderscheiden. Onmiddellijk

effect (A), uitgesteld effect (B), onmiddellijk effect met snelle vermindering van

intensiteit (C) en een onmiddellijk effect met trage vermindering van intensiteit

(D). Deze effecttypes zijn grafisch weergegeven in onderstaande grafiek. Het

tijdstip van de meting zal invloed hebben op de intensiteit van de effecten. Indien

men bijvoorbeeld een meting doet maanden na afloop van een

sensibilisatiecampagne, dan zullen de gemeten effecten minder sterk zijn dan

wanneer men een week na afloop de evaluatie uitvoert.

Figuur 10: Effecttypes op basis van tijdstip, duur en intensiteit:

Inzet

instrument

� Met-zonder benadering

Moment

evaluatie

In de voorgaande benaderingen werd er gebruik gemaakt van 1 groep. Het is

echter mogelijk om de effectiviteit expliciet te meten aan de hand van 2 groepen;

de controle groep en de testgroep. Men tracht dan op een experimentele of quasiexperimentele

wijze de effecten te isoleren door 2 vergelijkbare groepen te

vergelijken met elkaar en zo een beleidseffect vast te stellen. Idealiter zou het

enige verschil tussen de groepen de blootstelling aan de te evalueren maatregel

zijn. De testgroep wordt dan onderworpen aan de betreffende maatregel en de

Steunpunt Mobiliteit & Openbare Werken 41 RA-MOW-2009-003

Spoor Verkeersveiligheid

Tijd

A

D

B

C

Tijd


controlegroep wordt er niet aan blootgesteld. Het verschil tussen beide groepen is

een potentieel effect van het beleid. De nadruk ligt op potentieel, want in de

praktijk vindt men nooit 2 identieke groepen waarbij het enige verschil de

blootstelling is aan de maatregel. Zoals we reeds verteld hebben, kan deze

benadering ethisch onaanvaardbaar zijn. Het zou ethisch niet correct zijn om

bijvoorbeeld een bepaalde groep kinderen uit te sluiten van verkeerseducatie

opdat het effect van verkeerseducatie kan gemeten worden. Bovendien is het in

een klein land zoals België bijzonder moeilijk om 2 groepen volledig van elkaar af

te scheiden. Net zoals we het bij de vorige benaderingen hebben gedaan, stellen

we de met-zonder benadering grafisch voor in figuur 11.

Figuur 11: Ontwikkeling doelvariabele met-zonder benadering

Aantal

slachtoffers

� Combinatie voor-nameting en met-zonder benadering

Bij alle vorige benaderingen kon men geen sluitend antwoord geven over de

doeltreffendheid van het beleid, omdat er alternatieve verklaringen zijn of omdat

er geen 2 identieke groepen gevormd kunnen worden. Om de effectiviteit van een

maatregel accuraat te meten dient men een combinatie te maken van de voor-na

benadering en de met-zonder benadering. Het beleidseffect is dan het verschil in

gedrag na introductie van het beleid minus het verschil in gedrag voor de

implementatie. Er moet naast de ethische bezwaren echter ook opgemerkt

worden dat deze benadering kostelijk is en veel tijd en expertise vergt. Enkel

wanneer de evaluatie van de beleidsmaatregel een hoge prioriteit heeft, zal men

deze opzet hanteren.

Figuur 12: Ontwikkeling doelvariabele combinatie voor-nameting en met-zonder

benadering

Aantal

slachtoffers

Inzet

instrument

Voormeting Inzet

instrument

nameting

Controlegroep

Testgroep

Controlegroep

Steunpunt Mobiliteit & Openbare Werken 42 RA-MOW-2009-003

Spoor Verkeersveiligheid

Tijd

Tijd

Testgroep


Een gevaar bij niet-willekeurige steekproeven (quasi experimentele opzet) is dat

er een selectie bias of vertekening kan ontstaan dat een significant effect heeft op

de beleidsmaatregel. Dit komt omdat de evaluator geen of te weinig inzicht heeft

in de verschillen tussen test –en controle groep die niet te maken hebben met de

geïmplementeerde maatregel. Deze vertekeningen hebben dan invloed op de

validiteit en betrouwbaarheid van de evaluatiemethode. Om de selectiebias tegen

te gaan kan de evaluator ervoor kiezen om de steekproef te matchen. Hierbij gaat

men aan de hand van een set kenmerken de steekproef samenstellen, zodat deze

het beste “matcht” met de populatie. Indien men uit secundaire en/of primaire

gegevens te weten komt dat 60% van de bestuurders mannelijk is en 40%

vrouwelijk, dan kan men deze verdeling ook hanteren bij het samenstellen van de

steekproef om geen gendereffecten te bekomen. Anderzijds kan men ook

statistische technieken gebruiken om te checken of bepaalde kenmerken tussen

de testgroep en controlegroep verschillend zijn. Men kan bijvoorbeeld aan de

hand van univariate of multivariate analyses testen of bepaalde kenmerken zoals

geslacht, leeftijd... significant verschillend zijn tussen controle –en testgroep (De

Pelsmacker & Van Kenhoven, 2006).

b. Opstellen onderzoeksopdracht

In deze fase van het uitgebreide ex-post evaluatie-onderzoek moet men aandacht

besteden aan wat de opdrachtgever exact wil en waarom, welk vragen deze

beantwoord wil zien en waarover hij een oordeel wil vellen. Het beschikbare

onderzoeksbudget en de verwachte kosten en baten van het onderzoek moeten,

naast het feit of de wensen onderzoekbaar zijn, ook nagegaan worden. Bij de

uitgebreide ex-post evaluatie stelt men volgende algemene onderzoeksvragen over:

� De actualiteit van het beleid: voorziet het bestaande beleid nog in een

werkelijke behoefte?

� De inspanning voor het beleid: wat is de input van het programma (financiële

middelen, personeel, …)?

� De effectiviteit van het beleid: in welke mate worden de doelstellingen van het

programma bereikt, is in de huidige situatie de gekozen beleidsmaatregel ook

de meest effectieve van alle alternatieven?

� De efficiëntie van het beleid: kan er met dezelfde middelen meer doelen

bereikt worden? Kunnen dezelfde doelen bereikt worden met minder

middelen?

� Uitvoering van het beleid

� De neveneffecten van het beleid: wat zijn de onbeoogde effecten?

� De beleidstheorie: werken de causale relaties in de praktijk zoals verwacht?

c. Gegevensverzameling

Het verzamelen van gegevens kan op diverse manieren gebeuren. Afhankelijk van de

situatie zal de gegevensverzameling kwantitatief of kwalitatief gebeuren. Kwantitatief

onderzoek geeft cijfermatig inzicht in de problematiek. Er worden bij deze methodiek

vele respondenten ondervraagd om statistisch betrouwbare en representatieve

uitspraken te kunnen doen. Kwantitatief onderzoek geeft voornamelijk antwoord op

vragen in termen van hoeveelheden. Er wordt dan gebruik gemaakt van statistische

procedures. Kwalitatief onderzoek geeft diepgaandere informatie. Motivaties,

meningen, wensen en behoeften van een bepaalde doelgroep kunnen hiermee

blootgelegd worden. Het spreekt voor zich dat de gegevens juist moeten zijn, maar

ze moeten ook actueel en volledig zijn. Deze laatste eigenschappen zijn vaak een

probleem in de data betreffende verkeersveiligheid. Het gebrek aan juiste, actuele en

Steunpunt Mobiliteit & Openbare Werken 43 RA-MOW-2009-003

Spoor Verkeersveiligheid


volledige gegevens is nog een reden om gebruik te maken van kwalitatieve data.

Kwalitatief onderzoek en kwantitatief onderzoek zijn complementair. Kwantitatief

onderzoek kan zo het effect in kaart brengen van de maatregel: Tussen het jaar x en

jaar y zijn er z minder slachtoffers als gevolg van de installatie van flitspalen op

autosnelwegen. Het kwalitatieve onderzoek kan dan nagaan waarom deze

vermindering heeft plaatsgevonden. Kwantitatieve data worden meestal verzameld

aan de hand van enquêtes (online, telefonisch, schriftelijk, face-to-face). Methoden

om kwalitatieve informatie te verzamelen zijn onder meer:

� Diepte interviews & focusgroepen

� Observatie in realiteit, in een labo of in een virtuele wereld

� Delphi-methode

� Projectieve methoden

� Documentenanalyse

� Steekproefonderzoek

� Case-study

De keuze van de te gebruiken bronnen hangt af van de aanwezigheid en

beschikbaarheid van bestaand materiaal, de medewerking van de respondenten en

de middelen (tijd, budget & personeel) van de onderzoeker.

d. Gegevensverwerking

Bij de gegevensverwerking moet er een antwoord gegeven worden op de

onderzoeksvragen. Zo moet men de sterkte van het causale verband tussen

maatregel en de gerealiseerde doelstellingen trachten weer te geven waarbij de

invloeden van andere factoren worden geneutraliseerd. Vaak wordt er gebruik

gemaakt van tabellen en tijdreeksen om de gegevens te ordenen. Men kan zo het

percentage ongevallen berekenen voor implementatie van de maatregel en het

percentage na implementatie. Er moet bij de gegevensverwerking ook rekening

gehouden worden met de invloed van concurrerende variabelen. Men hanteert best

een voor-na meting gecombineerd met een met-zonder benadering. Men kan dan de

testgroep vergelijken met de controlegroep 18 en van beide groepen een trendlijn

opstellen die de (gemiddelde) effecten voor implementatie van de maatregel

weergeven en de (gemiddelde) effecten achteraf. Indien er dan een significant

verschil zit in de trendlijnen, dan kan gesteld worden dat dit verschil te danken is aan

de ingevoerde maatregel. De significantie kan nagegaan worden aan de hand van

statistische technieken zoals de t-test, variantieanalyse en covariantieanalyses (De

Pelsmacker & Van Kenhoven, 2006). De effectmetingen in een experimenteel design

kunnen we in volgende tabel duiden.

Tabel 6: Effectmeting in een (quasi) experimenteel design

Voor Na Verschil

Beleidsgroep B1 B2 B=B2-B1

Controlegroep C1 C2 C=C2-C1

B1, C1 = metingen van de effectvariabele(n) voordat het beleidsinitiatief werd toegepast,

respectievelijk bij de beleids en controlegroep;

18 Beide groepen zijn blootgesteld aan dezelfde rivaliserende factoren

Steunpunt Mobiliteit & Openbare Werken 44 RA-MOW-2009-003

Spoor Verkeersveiligheid


B2, C2 = metingen van de effectvariabele(n) nadat het beleidsinitiatief werd toegepast, respectievelijk

bij de beleids –en controlegroep

B, C = de effectverandering voor respectievelijk de beleids –en controlegroep

Bron: De Peuter et al, 2007a

Er kan bij de ex-post evaluatie ook gebruik worden gemaakt van socio-economische

evaluatiemethoden. We hebben de effecten van de maatregel reeds kunnen

vaststellen aan de hand van nameting, voor-nameting, met-zonder meting of een

combinatie van deze 2 laatste benaderingen op een experimentele, quasiexperimentele

of niet-experimentele wijze. Indien we deze gerealiseerde effecten dan

waarderen kunnen we 2 socio-economische evaluatiemethoden gebruiken om de

maatregel te beoordelen, namelijk de SKBA en de KEA. Deze evaluatiemethoden

kunnen ook gebruikt geweest zijn om de maatregel ex-ante te evalueren. Daarvoor

worden deze evaluatiemethoden in de praktijk het meeste gebruikt. Bij ex-ante

waren de gebruikte data gebaseerd op schattingen en veronderstellingen, bij ex-post

kan men gebruik maken van historische gegevens. De principes zijn analoog met de

ex-ante benadering. Bij een SKBA moeten de baten de kosten overtreffen opdat men

kan spreken over een zinvolle maatregel. Men zou ook nog kunnen nagaan of er geen

voordeligere maatregel (alternatief) zou kunnen zijn geïmplementeerd. Indien men

de kosteneffectiviteit wil meten, kan men de KEA berekenen op de bestaande

gegevens. Het nadeel van de KEA is wel dat er slechts 1 effect tegelijk kan gemeten

worden. De keuze van de evaluatiemethode zal dan afhankelijk zijn van de

beschikbare gegevens en de doelstelling van de evaluatie.

e. Rapportage: conclusies en aanbevelingen

De rapportage is logischerwijs analoog met de rapportage bij de globale ex-post

evaluatie. Nadat de maatregel is geëvalueerd, kunnen er hier ook conclusies

getrokken worden en aanbevelingen worden gedaan. Men kan aanbevelen om het

beleid ongewijzigd voort te zetten, gewijzigd voort te zetten of zelfs aanbevelen om

het beleid te beëindigen. Indien het beleid veranderd wordt, speelt het ex-post

onderzoek een belangrijke rol in het formuleren van de beleidswijziging. Hiervoor zal

men zich ook baseren op de reële situatie na beleidsuitvoering, de initiële situatie

voor beleidsuitvoering, de beoogde situatie na beleidsuitvoering en de meest optimale

situatie. Het ex-post evaluatieonderzoek wordt afgesloten met een eindrapport waar

de onderzoeksopdracht in wordt beschreven, de resultaten van het onderzoek en de

conclusies en aanbevelingen worden er ook in opgenomen. De beleidscyclus wordt

gesloten door de terugkoppeling tot ex-ante evaluatie dat gericht is op het vooraf

evalueren van het gewijzigde beleid.

Steunpunt Mobiliteit & Openbare Werken 45 RA-MOW-2009-003

Spoor Verkeersveiligheid


5 . V E R D E R E O P B O U W B E S L I S S I N G S B O O M

Het feit of de evaluatie ex-ante of ex-post gebeurt, is belangrijk om te weten welke

evaluatiemethode men kan gebruiken. Er zijn echter nog andere factoren die een rol

spelen in het bepalen van de evaluatiemethode. In de volgende paragrafen gaan we in op

de verdere opsplitsing van de beslissingsboom om tot de meest correcte

evaluatiemethode te komen startende van het feit of men ex-post of ex-ante wil

evalueren. Er wordt gestart vanuit de sterktes en zwaktes van de verschillende socioeconomische

evaluatiemethoden. We beperken ons tot de 3 meest gebruikte socioeconomische

evaluatiemethoden, namelijk de kosteneffectiviteitsanalyse (KEA), de

Sociale Kosten-Baten analyse (SKBA), de Mult-Criteria Analyse (MCA) en de Multi-Actor

Multi-Criteria Analyse (MAMCA).

5.1 Sterktes en zwaktes evaluatiemethoden

In hoofdstuk 3 werd er reeds een korte bespreking gegeven van de socio-economische

evaluatiemethoden. In dit deel zullen we het specifiek hebben over de sterktes en

zwaktes van deze evaluatiemethoden.

5.1.1 De Kosteneffectiviteitsanalyse

Een belangrijke sterkte van een KEA is het feit dat de maatschappelijke effecten niet

moeten gemonetariseerd te worden. Men kan namelijk bij een KEA het effect (bv.: aantal

gespaarde mensenlevens) in verhouding zetten met de kostprijs (Ampe et al, 2008). Het

geeft ook expliciet een evaluatie van de basisdoelstelling van de beleidsmaatregel. Dit is

echter ook een zwakte, aangezien de KEA slechts 1 effect per KEA kan evalueren. Men

kan het in een enkele KEA dus niet zowel de mobiliteits- als de

verkeersveiligheidseffecten van de alternatieven vergelijken. Bovendien houdt het geen

rekening met de verschillende stakeholders. Het is als het ware een “uni-criterium en

uni-stakeholder” evaluatiemethode (Macharis, 2007). Wanneer men gelijkaardige

alternatieven heeft waarbij men de basisdoelstelling (verkeersveiligheid) wil testen is een

KEA wel een goede evaluatiemethode (Ampe et al, 2008). Het gevaar schuilt echter in

het feit dat er minder aandacht wordt geschonken aan de ongewenste effecten zoals

rebound effecten. Daarenboven is deze evaluatie voornamelijk gericht op de korte en

middellange termijn. De KEA geeft ook geen indicatie over de economische rentabiliteit

van de maatregel (De Peuter et al, 2007b).

5.1.2 De Sociale Kosten-Baten Analyse

Een sterkte van een SKBA is dat men de toekomstige effecten kan verdisconteren in de

tijd. Dit is zeer handig indien de maatregel kosten en baten genereert die verspreid zijn

over een lange periode. De bepaling van de discontovoet(en) heeft een belangrijke

invloed op de evaluatiemethode. Het principe van verdisconteren in een SKBA werd reeds

uitvoerig besproken in het rapport van Ampe et al (2008). Bovendien is de SKBA een vrij

eenvoudige evaluatiemethode indien er voldoende inzicht is in de effecten en

voornamelijk in de kosten en baten van de evaluatiemethode (indien de kosten en baten

gemakkelijk te monetariseren zijn). Daarnaast houdt een SKBA rekening met de

integrale effecten van de beleidsmaatregel. Er wordt bij een SKBA namelijk rekening

gehouden met zowel verkeersveiligheid als mobiliteit als milieu ongeacht de

vooropgestelde beleidsdoelstellingen (Hellendoorn, 2001; Minfin, 2003; De Peuter et al,

2007b).

Steunpunt Mobiliteit & Openbare Werken 46 RA-MOW-2009-003

Spoor Verkeersveiligheid


Bij de uitvoering van een SKBA heeft men enkele beperkingen waarmee men kampt zoals

we ze reeds besproken hebben bij 3.3.1 Methodologie van de SKBA (pagina 21 e.v.)

(Elvik et al, 2004). Vooreerst is er het probleem van het monetariseren van de effecten.

Voor sommige niet-verhandelbare effecten, zoals de waarde van een mensenleven, is het

zeer moeilijk om de effecten te monetariseren (Elvik, 2004; Kreutzberger et al, 2006).

Hiervoor kan men namelijk het marktprijsmechanisme niet hanteren. Bovendien bestaan

er verschillende waarderingsmethoden om non-monetaire effecten te waarderen,

waardoor er grote verschillen kunnen ontstaan in deze effecten afhankelijk van de

gehanteerde waarderingsmethode (De Brabander, 2006). Toch ontstaat er steeds meer

consensus wat betreft de te gebruiken waarderingsmethoden. De bereidheid tot betalen

is een veel gebruikte techniek om de niet-verhandelbare effecten te monetariseren. In

het willingness-to-pay principe waarbij zogenaamde “schaduwprijzen” worden berekend,

kunnen als gevolg van de opgelegde randvoorwaarden ook verschillen optreden (De

Peuter et al, 2007b). De SKBA werkt bovendien aan de hand van het Kaldor-Hicks

principe dat Pareto-efficiëntie nastreeft: de verliezers van de maatregel moeten

(theoretisch gezien) gecompenseerd worden door de winnaars van de maatregel (van

Lier et al, 2008). De SKBA gebruikt echter hetzelfde gewicht voor een euro voor elke

stakeholder, nochtans is 1 euro meer waard voor een “arme” stakeholder dan dat dit

waard is voor een “rijke” stakeholder. Dit staat in de literatuur beter gekend als de

“utilitaristische benadering” (Hellendoorn, 2001; Rubbrecht et al, 2005; Elvik, 2004;

Ampe et al, 2008). In het verlengde van de “utilitaristische benadering” bevindt zich een

ander probleem: het herverdelingseffect van een maatregel. Doordat de SKBA gebaseerd

is op het compensatie criterium is het niet duidelijk wie de verliezers en de winnaars

exact zijn. De kosten en baten worden namelijk samengenomen en zo worden de

maatschappelijke kosten en baten berekend. Bijgevolg heeft de beslissingsnemer geen

inzicht op het feit welke stakeholder de voordelen en nadelen ondervinden wat het

succes van de maatregel sterk kan beïnvloeden; indien bijvoorbeeld een belangrijke

stakeholder sterke nadelen ondervindt van de maatregel, zal deze druk trachten uit te

voeren tegen de maatregel. Een oplossing voor dit probleem is een tabel opstellen die de

voordelen en nadelen van de verschillende stakeholders weergeeft. Men voert dan als het

ware een SKBA per stakeholder uit (Macharis, 2007). Elvik et al (2004) hebben naast het

probleem van het monetariseren van niet-verhandelbare effecten en de

herverdelingsdoelstellingen nog 3 beperkingen bepaald zoals we reeds hebben besproken

in 3.3.1. Daar hadden we het namelijk over het gebrek aan consensus over

beleidsdoelstellingen, het gebrek aan kennis van relevante effecten en de delegatie van

taken naar een lager bestuursniveau zonder bijhorende fondsen. Deze opgesomde

beperkingen door Elvik et al (2004) gelden ook voor de KEA. Ten slotte rest er het

probleem van het determineren van de discontovoeten. Hierin bestaat er namelijk nog

steeds onduidelijkheid over en dus veel discussie van hoe hoog deze feitelijk mag zijn

voor de effecten van de maatregel. Sommigen stellen 1 discontovoet voor voor alle

effecten, anderen stellen voor om meerdere discontovoeten op te nemen in de SKBA die

afhankelijk zijn van het effect (van Lier et al, 2008).

5.1.3 De Multi-Criteria Analyse

Bij een MCA moet er niet noodzakelijk beroep gedaan worden op welvaartseconomische

begrippen zoals consumentensurplus en toegevoegde waarde. De projectalternatieven

worden hierbij vergeleken aan de hand van de vooropgestelde criteria die de

(sub)doelstellingen vertegenwoordigen van de stakeholders (De Brucker, 2000). Een

belangrijke sterkte is dat alle effecten gekwantificeerd dienen te worden. Hierbij is het

niet nodig om alle effecten te monetariseren. Er kan zo heterogene informatie worden

opgenomen in het evaluatieproces en meer bepaald de evaluatiematrix (De Brucker,

2000; Ampe et al, 2008). In tegenstelling tot de KEA kan men bij de MCA meerdere

effecten opnemen in het evaluatieproces.

Steunpunt Mobiliteit & Openbare Werken 47 RA-MOW-2009-003

Spoor Verkeersveiligheid


Een kritiek op de MCA is de “rank reversal”. Bij rank reversal verandert de rangschikking

van de eerder geformuleerde of resterende alternatieven door toevoeging of weglating

van een alternatief (Bana e Costa et al, 2008). Dit zou echter niet mogen veranderen.

Een andere kritiek bij MCA uit zich bij de onafhankelijkheid van de criteria. Dit is namelijk

een basisveronderstelling van de MCA die door velen als onrealistisch wordt beschouwd.

Het gevaar van afhankelijke criteria kan leiden tot dubbeltellingen; het belang van het

afhankelijke criterium wordt zo groter (Fenton et al, 2001). Een andere fundamentele

kritiek is het feit dat de MCA-methoden zich niet uitspreken over de fundamentele

wenselijkheid van projectalternatieven. De effecten worden tegenover elkaar afgewogen

en het is dan aan de beleidsnemers om knopen door te hakken, zodat hun

beleidsdoelstellingen worden gehaald. Bij een SKBA is het alternatief dat de meeste

waarde levert aan de maatschappij het meest wenselijke. Deze “tekortkoming” wordt

door sommigen echter aanzien als een sterkte, omdat de beleidsmakers nog een

weloverwogen keuze moeten maken en zich niet volledig kunnen vertrouwen op de

evaluatiemethode (De Brucker, 2000). Om een MCA uit te voeren moet de evaluator

voldoende kennis beschikken over de verschillende aggregatiemethoden (volledig,

partieel, of iteratieve aggregatie). De iteratieve aggregatie is voornamelijk geschikt voor

de evaluatie van een groot aantal projectalternatieven of alternatieven die voortdurend

kunnen variëren. De eerste twee methoden zijn te prefereren bij discrete

projectalternatieven (De Brucker, 2000). Daarnaast neemt een (MA)MCA enige tijd in

beslag die in bepaalde situaties niet voor handen is, maar deze kritiek gaat ook op bij de

SKBA (Hellendoorn, 2001; De Peuter et al, 2007b).

5.1.4 De Multi-Actor Multi-Criteria Analyse

De MAMCA is een Multi-Criteria Analyse en geniet dus ook van de voordelen van de MCA

(Macharis, 2007). Zo moeten alle effecten van de maatregel niet worden

gemonetariseerd. Het verschil ligt hem in het feit dat de socio-economische

evaluatiemethode MAMCA in het evaluatieproces rekening houdt met de verschillende

stakeholders die soms tegenstrijdige belangen behartigen. Hierdoor worden de

stakeholders betrokken in het evaluatieproces en stijgt de kans op slagen van de

maatregel (Ampe et al, 2008). Daarnaast kan MAMCA enkele zwaktes van de MCA

oplossen. De kritiek over de afhankelijkheid van de criteria bij MCA is niet van toepassing

op de MAMCA aangezien men hierbij enkel de wensen en noden van de verschillende

stakeholders weergeeft in de criteria. Indien er afhankelijkheid bestaat tussen de criteria

wilt dit zeggen dat dit criterium zwaar(der) doorweegt ten opzichte van de andere

criteria. Dit mag men dan niet aanzien als dubbeltellingen. We kunnen de sterktes en

zwaktes van de verschillende socio-economische evaluatiemethoden samenvatten in

onderstaande tabel 7.

Steunpunt Mobiliteit & Openbare Werken 48 RA-MOW-2009-003

Spoor Verkeersveiligheid


Tabel 7: Sterktes en zwaktes van KEA, SKBA, MCA en MAMCA.

KEA � Opname van niet-monetaire factoren

Sterktes Zwaktes

� Expliciete evaluatie van de

basisdoelstelling

SKBA � Kosten en baten over langere periode

worden meegenomen

� Integrale evaluatiemethode

MCA � Effecten dienen niet gemonetariseerd te

worden

� Integrale evaluatiemethode

MAMCA � Stakeholders worden betrokken

Bron: Eigen opzet

� Effecten dienen niet gemonetariseerd te

worden

� Integrale evaluatiemethode

5.2 Criteria bij ex-ante

� Slechts 1 effect per KEA

� Tijdshorizon: korte en middellange

termijn.

� Geen indicatie econ. Rentabiliteit

� Houdt geen rekening met stakeholders

� Monetarisering non-monetaire effecten

� Utilitaristische benadering &

herverdelingseffect

� Geen consensus over beleidskeuzes

� Delegatie van taken naar lager niveau

� Gebrek aan kennis van relevante effecten

� Rank reversal

� Onafhankelijkheid van de criteria

� Spreekt zich niet uit over fundamentele

wenselijkheid van projectalternatieven

� Rank reversal

� Spreekt zich niet uit over fundamentele

wenselijkheid van projectalternatieven

De keuze van de evaluatiemethode ex-ante is naast het aantal beschikbare alternatieven

afhankelijk van het feit of de verwachte effecten voornamelijk monetair van aard zijn en

of deze gemakkelijk te monetariseren zijn. Daarnaast speelt het ook een rol of men de

maatschappelijke belangen wil nagaan en/of dat men de specifieke stakeholderbelangen

wil meten. Tot slot speelt de doelstelling van de evaluatie een rol: wil men een

enkelvoudig doel evalueren of wil men meerdere doelen te gelijkertijd evalueren. Deze

elementen worden nader besproken in de volgende paragrafen.

5.2.1 Aantal beschikbare alternatieven

Het aantal alternatieven speelt een belangrijke rol in het kiezen van de

evaluatiemethoden. Indien er verschillende alternatieven voor handen zijn moet er een

rangschikking gemaakt worden tussen de verschillende alternatieven. In dat geval zijn de

Kosten Effectiviteitsanalyse (KEA), Sociale Kosten Baten Analyse (SKBA), Multi Criteria

Analyse (MCA) en Multi Actor Multi Criteria Analyse (MAMCA) mogelijke

evaluatiemethoden. Indien er slechts 1 alternatief is, dan zijn de KEA en SKBA te

verkiezen. De MCA en de MAMCA-methodologieën geven een rangschikking tussen de

alternatieven, afhankelijk van de gegeven criteria. Indien er slechts 1 alternatief is, dan

kan er geen rangschikking opgesteld worden 19 . Dan moet er nagegaan worden of de

maatregel wel voldoende baten oplevert tegenover de kosten van de maatregel. Daarom

valt een SKBA te verkiezen indien men een integrale evaluatie wil uitvoeren. Indien men

slechts 1 doel of effect wil evalueren kan er geopteerd worden voor een KEA.

19 Optioneel zou een benchmark alternatief kunnen opgesteld worden om op deze manier het alternatief mee te

vergelijken

Steunpunt Mobiliteit & Openbare Werken 49 RA-MOW-2009-003

Spoor Verkeersveiligheid


5.2.2 Non-monetaire effecten vs. monetaire effecten

Momenteel kan men aan de hand van verschillende waarderingsmethoden 20 alle effecten

die nut hebben voor een of meerdere individuen omzetten in geldwaarde (van Lier, Van

Malderen & Macharis, 2008). De basis van deze waarderingsmethoden is de willingnessto-pay.

De economische waarde van een goed (of dienst of maatregel) is de bereidheid

tot betalen voor dat bepaalde goed, vermindert met de (consumptie)kosten van dat

goed. Zo is het mogelijk om een geldwaarde te geven aan bijvoorbeeld een (statistisch)

mensenleven (o.a. De Brabander, 2005) en milieueffecten (o.a. Bos, 2003). Ondanks het

feit dat men tegenwoordig reeds vele non-monetaire effecten kan waarderen, is de SKBA

niet altijd prefereerbaar.

De toepassingsmogelijkheden van de waarderingsmethoden zijn vrij divers met als

gevolg dat er soms grote verschillen worden opgetekend in de resultaten tussen

verschillende SKBA’s die hetzelfde project of maatregel meten. Dit komt door de grote

afwijkingen in het omzetten van moeilijk te monetariseren elementen. Zo wordt er soms

in een SKBA de klassieke waarde voor een statistisch mensenleven gebruikt van 1

miljoen euro, zoals is voorgesteld in de COST-313 studie (Alfaro, Chapuis & Fabre,

1994). Andere keren gebruikt men het 13-voudige van deze klassieke benadering,

namelijk 13 miljoen euro (De Brabander, 2005). Deze verschillen hebben dan ook vaak

een significante invloed op het beleid. Indien er hoge waarden worden gehanteerd voor

statistische mensenlevens, zoals wordt gedaan in de SUN-landen, dan zijn de baten ook

hoger indien men door een bepaalde maatregel in te voeren een mensenleven kan

uitsparen. Bijgevolg mogen de kosten van een maatregel dan ook hoger liggen om nog

een positief resultaat te realiseren. Het mogelijke gevaar is dan dat niet elke SKBA even

objectief zal uitgevoerd worden. Daarnaast is het ook zo dat vele non-monetaire effecten

moeilijk zijn te monetariseren. Zo kan er veel tijd en geld besteed aan het monetariseren

van non-monetaire effecten. De transparantere methode (MA)MCA biedt hiervoor een

oplossing. Bij de (MA)MCA werkt men met gewichten en hoeft men de effecten van de

maatregel dus niet te monetariseren (van Lier et al, 2008).

Zoals we hierboven hebben aangetoond speelt het al dan niet monetaire karakter van de

effecten van een verkeersveiligheidsmaatregel een rol in de keuze van de

evaluatiemethode. Indien de effecten van de maatregel (eenvoudig) te monetariseren

zijn, dan opteert men over het algemeen voor Sociale Kosten-Baten Analyse boven een

Multi-Criteria Analyse. Dit omdat een SKBA zowel de kosten als de effecten van een

maatregel in geld uitdrukt. Er moet bijgevolg voldoende inzicht zijn in de kosten en de

baten van de verkeersveiligheidsmaatregel. Als de effecten echter niet of moeilijk te

monetariseren zijn, zoals bij moeilijk tastbare elementen (bvb. Waarde van een

Statistisch mensenLeven), dan zal men algemeen gezien een Multi-Criteria Analyse

verkiezen boven een Sociale Kosten-Baten Analyse, omdat men bij een MCA de effecten

niet hoeft te monetariseren. Indien er overwegend non-monetaire effecten zijn, dan kan

men ook opteren voor een MCA of MAMCA.

5.2.3 Maatschappelijke belangen vs. stakeholder belangen

De stakeholderbelangen krijgen een steeds belangrijkere rol in het evaluatieproces. Er

zijn namelijk verschillende stakeholders die betrekking hebben op een

verkeersveiligheidsmaatregel. Patton (1997) maakt in zijn “Utilization-focused

evaluation” een onderscheid tussen primaire en secundaire gebruikers. Onder de primaire

gebruikers verstaat Paton stakeholders die meer willen weten over het ‘evaluandum’ en

gebruik kunnen maken van de evaluatiebevindingen. Hierbij komen voornamelijk de

maatschappelijke effecten in beeld (beleidsmakers en uitvoerders van het beleid). De

20 Gedragsvoorkeumethodes (Hedonische loon-en prijsmethode, ontwijkingsgedrag), Beweerde

voorkeurmethodes (Directe en indirecte methodes).

Steunpunt Mobiliteit & Openbare Werken 50 RA-MOW-2009-003

Spoor Verkeersveiligheid


secundaire stakeholders (doelgroep e.d.) kunnen nuttige informatie verschaffen in een

verdere fase in het evaluatieproces, namelijk bij de uitwerking van de evaluatie. De

Peuter et al (2007) sommen 5 factoren op die invloed hebben op de selectie, de mate

waarin en de wijze waarop stakeholders worden betrokken in het evaluatieproces:

� Het evaluatiemotief

� De kenmerken van het evaluandum of te evalueren onderwerp

� De concrete evaluatievragen

� De politieke gevoeligheid van de informatie

� Het belang dat aan inspraak en participatie van stakeholders wordt gehecht

voor de opdrachtgever van de evaluatie

De multi-actor multi-criteria analyse is de enige socio-economische evaluatiemethode die

expliciet rekening houdt met de verschillende en soms conflicterende belangen van de

verschillende stakeholders. De belangen en gewichten worden namelijk mee opgenomen

in de evaluatie zelf. Er zijn in verkeersveiligheid verschillende stakeholdergroepen

betrokken: private en professionele weggebruikers, overheid, politie, rechtbanken en

autofabrikanten (World Highways, 2008). Elke stakeholder heeft zijn eigen belangen en

voorkeuren die al dan niet worden beïnvloed door de maatregel in positieve of negatieve

manier. Afhankelijk van het gewicht dat wordt gegeven aan een bepaald criterium door

een bepaalde stakeholder wordt er per stakeholder geopteerd voor een bepaald

alternatief. De verschillende verkozen alternatieven worden dan geaggregeerd in de

MAMCA procedure. Door gebruik te maken van de MAMCA is er een grotere aanvaarding

en betrokkenheid van de stakeholders met de maatregel. Dit verhoogt de kans op slagen

van de in te voeren maatregel. De Sociale Kosten-Baten Analyse houdt ook rekening met

alle effecten voor de maatschappij, maar het maakt niet kenbaar welke stakeholder

welke baat en/of kost ondervindt. Dit vereenvoudigt wel de berekening van de effecten,

maar kan potentiële conflicten niet voorzien waardoor er mogelijk een verkeerd

alternatief wordt geïmplementeerd.

5.2.4 Integrale evaluatie vs. enkelvoudige evaluatie

De SKBA en de MAMCA trachten zoveel mogelijk effecten op te nemen in de evaluatie die

de maatregel beïnvloed. In dat geval spreken we van een integrale evaluatie. Deze

manier van evalueren zorgt ervoor dat alle bedoelde en niet-bedoelde, directe en

indirecte effecten in rekening worden gebracht. Vaak houdt men rekening met de

volgende 3 thema’s in een integrale evaluatie: mobiliteit, milieu en verkeersveiligheid.

Onder het laatste verstaan we ook de subjectieve veiligheid: hoe mensen het verkeer

ervaren. Toch kan het ook nuttig zijn om slechts 1 objectief na te gaan in plaats van een

integrale evaluatie. Zeker wanneer er wordt gewerkt met een kwantitatieve taakstelling,

zoals we ook terugvinden in België. Op die manier kan men bijvoorbeeld aan de hand van

een KEA louter de vermindering van het aantal verkeersslachtoffers in acht nemen in

functie van het budget. Met andere elementen zoals de mobiliteit, geluidshinder,

milieueffecten en dergelijke wordt er in deze kosteneffectiviteitsanalyse geen rekening

gehouden.

5.3 Criteria bij ex-post

Op deze criteria zijn we al eerder ingegaan (zie 4.2.2 Uitgebreid ex-post onderzoek; a.

Onderzoeksopzetten). We geven hier nog een kort overzicht

Steunpunt Mobiliteit & Openbare Werken 51 RA-MOW-2009-003

Spoor Verkeersveiligheid


5.3.1 Controlegroep of niet

Het al dan niet aanwezig zijn van een controlegroep heeft invloed op de wijze van

onderzoeksopzet. Indien we de testgroep (blootgesteld aan de maatregel) niet kunnen

vergelijken met een controlegroep (niet blootgesteld aan de maatregel) aangezien er

geen voor handen is, dan kunnen we niet gebruik maken van een experimenteel design.

Dan moet het onderzoek niet-experimenteel uitgevoerd worden. In dit geval kan enkel

gebruik gemaakt worden van een nameting of een voor-na meting.

5.3.2 Willekeurige steekproef of niet

Indien er wel een controlegroep aanwezig is, moeten we kijken of de groepen al dan niet

willekeurig zijn toegewezen. Bij willekeurige toewijzing van controlegroep en testgroep,

zal men een experimenteel design kunnen opstellen. In het andere geval zal men een

quasi-experimenteel onderzoek uitvoeren. Er kan in beide gevallen een met-zonder

onderzoek worden uitgevoerd al dan niet gecombineerd met een voor-na benadering.

In de probleemanalyse, de eerste stap in de beleidsvoorbereiding, kan reeds informatie

gehaald worden die nodig is bij het selecteren van de juiste evaluatiemethode. We

hernemen tabel 2. In de eerste fase “Oriëntatie op het probleem” wordt er gevraagd naar

“Wie zijn de relevante actoren?” en “Wat zijn de belangen en posities?”. Indien men

hierop een concreet antwoord wil hebben, zal men gebruik moeten maken van de MCA of

MAMCA-methodologie. De vraag naar welke oplossingen er zijn aangedragen kunnen ook

al bepalen of de (MA)MCA-methodologie kan overwogen worden. Indien er slechts 1

alternatief is, dan is het zinloos om een (MA)MCA uit te voeren aangezien deze een

rangschikking van alternatieven geeft. Indien men de reikwijdte in tijd wil bepalen kan

men best opteren voor een SKBA. Deze maakt namelijk gebruik van een discontovoet

waardoor de toekomstige waarden/effecten worden omgezet in huidige

waarden/effecten. Op deze manier kan het totale nut over een bepaalde periode, de

looptijd van de maatregel, berekend worden. Aangezien kosten en opbrengsten zich niet

op hetzelfde tijdstip voordoen, kan door gebruik te maken van de discontovoet toch

uitspraak gedaan worden over de efficiëntie van de alternatieven die mogelijk een andere

looptijd hebben. Over het verdisconteren van geld is er reeds consensus, maar over het

disconteren van effecten (slachtofferreductie) is er nog geen eensgezindheid. Indien de

effecten verdisconteerd worden, rijst de vraag welke discontovoet er moet toegepast

worden (Staes & De Brabander, 2002).

Steunpunt Mobiliteit & Openbare Werken 52 RA-MOW-2009-003

Spoor Verkeersveiligheid


Tabel 3: Uitvoeren probleemanalyse

Fasen 1. Oriëntatie op het

probleem

2. Inventarisatie

randvoorwaarden

Vragen a. Wat is het probleem? a. Zijn eerder

doelstellingen

vastgesteld?

Bron: Minfin, 2003

b. Wiens probleem is

het?

c. Hoe is het op de

(politieke) agenda

gekomen?

d. Wie zijn de relevante

actoren?

e. Wat zijn de belangen

en posities?

f. Wat of hoe wordt het

probleem veroorzaakt?

g. Welke oplossingen

zijn aangedragen?

h. Wat is de reikwijdte

(in ruimte en tijd) van

het probleem?

b. Is er beleid van

hogere instantie (EU,

…)?

c. Is er beleid en

activiteiten van

nevengestelde

organisaties (provincies

en lagere overheden?)

d. wat is de politiek en

sociaal-economische

omgeving?

e. Wat zijn de

beschikbare middelen?

3. Situatie bij

ongewijzigd beleid

(nul-situatie)

Wat is de huidige

situatie plus de

ontwikkeling daarvan in

de tijd bij ongewijzigd

beleid?

4. Gewenste situatie

(1-situatie)

Wat is de gewenste

situatie?

De beschrijving van de kloof tussen de 0 en 1

situatie vormt de concretisering van een

beleidsprobleem in SMART-geformuleerde

beleidsdoelstellingen.

Steunpunt Mobiliteit & Openbare Werken 53 RA-MOW-2009-003

Spoor Verkeersveiligheid


6 . B E S L I S S I N G S B O O M

Nadat we de verschillende evaluatiemethoden hebben besproken en de verschillende

niveaus tot het bekomen van deze evaluatiemethoden, kan een beslissingsboom

opgesteld worden met concrete vragen die de beleidsmaker moet helpen om

maatregelen van de verschillende E’s ex-ante of ex-post te evalueren. In deze

beslissingsboom baseren we ons op de 3 basis socio-economische evaluatiemethoden,

namelijk de Kosten Effectiviteitsanalyse (KEA), de Sociale Kosten Baten-Analyse (SKBA)

en de (Multi-Actor) Multi-Criteria Analyse of (MA)MCA.

Steunpunt Mobiliteit & Openbare Werken 54 RA-MOW-2009-003

Spoor Verkeersveiligheid


KEA

Ja

Kosten

inzichtelijk &

enkelvoudige

evaluatie?

Neen

MCA

Wil men de

effecten nagaan

voor elke

stakeholder?

Ja

MAMCA

SKBA

Ja

Neen

Non-monetaire

elementen?

Ja

Overwegend

non-monetaire

effecten of

effecten

moeilijk te

monetariseren

?

Neen

Kosten

inzichtelijk &

enkelvoudige

evaluatie?

Neen

Wil men de

effecten nagaan

voor elke

stakeholder?

Ja

Ja

Neen

Wil men de

effecten nagaan

voor elke

stakeholder?

Neen

Kosten

inzichtelijk &

enkelvoudgie

evaluatie?

Neen

SKBA of

MAMCA

KEA

MAMCA

Ja

Ja

Ja

MAMCA

KEA

# beschikbare

alternatieven

> 1?

Neen

Kosten

inzichtelijk &

enkelvoudige

evaluatie?

Neen

SKBA

Ja Ex-ante

evaluatie?

Neen

Experimentele

methode

Met-zonder +

eventueel

voor-na meting

Willekeurige

steekproef?

Controlegroep?

Ja Neen

Nonexperimentele

methode

Voormeting?

Steunpunt Mobiliteit & Openbare Werken 55 RA-MOW-2009-003

Spoor Verkeersveiligheid

Ja

KEA

MAATREGEL

Ja

Neen

Quasi

experimentele

methode

Met-zonder +

eventueel

voor-na meting

Kosten

inzichtelijk &

Enkelvoudige

evaluatie?

Neen

SKBA

Neen

Nameting

Ja

KEA

Ja Voor-na

meting


7 . C O N C L U S I E S

Het evalueren van maatregelen zorgt voor meer inzicht in de desbetreffende maatregel

over de mate van efficiëntie en/of effectiviteit ervan. Bovendien kan er door de evaluatie

nagegaan worden of de meest effectieve en efficiënte maatregelen worden ingevoerd.

Met deze handleiding trachten we een algemene leidraad te geven aan de beleidsmaker

om beleidsmaatregelen te evalueren. De leidraad helpt de meest geschikte

evaluatiemethode te kiezen in een welbepaalde omstandigheid. Een foutieve keuze van

evaluatiemethode kan leiden tot verkeerde resultaten en dus verkeerde conclusies die

het beleid mogelijk negatief zullen beïnvloeden. Het beleid kan dan zo gehandhaafd,

gewijzigd of afgebouwd worden. Zo trachten we de kwantitatieve taakstellingen van het

Verkeersveiligheidsplan Vlaanderen tegen 2010 te halen. Nadien kan deze handleiding

verder gebruikt worden om tot nieuwe doelstellingen te komen.

De handleiding hebben we opgesteld op basis van een beslissingsboom met bijhorende

concrete vragen. Zo is de keuze van de evaluatiemethode afhankelijk van:

� Het feit of men ex-ante of ex-post wil evalueren;

� Het aantal beschikbare alternatieven;

� De effecten voornamelijk monetair of non-monetair zijn;

� De moeilijkheidsgraad om niet-monetaire effecten te monetariseren;

� Individuele of maatschappelijke belangen

� Inzichtelijkheid van de kosten en het aantal doelstellingen men met de

evaluatiemethode wil meten;

� De aanwezigheid van de controlegroep;

� De samenstelling van de steekproef.

Indien de evaluatie voor het invoeren van de maatregel gebeurt, spreken we van ex-ante

evaluatie. De gegevens waarop dit onderzoek gebaseerd zijn, zijn schattingen en

prognoses. Ex-post evaluatie wordt na het instellen van de maatregel uitgevoerd. Bij exante

evaluatie bestaan er 4 evaluatiemethoden: kosteneffectiviteitanalyse, sociale

kosten-baten analyse, multi-criteria analyse en de multi-actor multi-criteria analyse. Bij

ex-post zijn de KEA en de SKBA de mogelijke socio-economische evaluatiemethoden,

waarbij de effecten gemeten worden met nameting, voor-na meting, met-zonder meting

en combinatie van met-zonder en voor-na meting.

Het aantal beschikbare alternatieven is een tweede bepalende factor om tot de meest

geschikte evaluatiemethode te komen. Bij verscheidene alternatieven moet er een

rangschikking opgemaakt worden wat de MCA doet, maar ook aan de hand van de KEA

en de SKBA kan er een rangschikking gemaakt worden. Indien er slechts 1 alternatief

voor handen is, dan zijn de SKBA en de KEA te verkiezen. De maatregel zal dan positief

geëvalueerd worden indien de sociale baten de kosten overtreffen.

De monetaire aard van de effecten is een andere bepalende factor. Wanneer de effecten

voornamelijk monetair zijn dan is de SKBA aangewezen. Indien het merendeel van de

effecten niet-monetair zijn wordt de MCA of MAMCA aangewezen. De moeilijkheidsgraad

om de effecten te monetariseren heeft ook invloed op de keuze van de

evaluatiemethode. De SKBA zal gekozen worden, indien de effecten vrij eenvoudig te

monetariseren zijn. Zoniet wordt de (MA)MCA geprefereerd.

Steunpunt Mobiliteit & Openbare Werken 56 RA-MOW-2009-003

Spoor Verkeersveiligheid


De SKBA en de MAMCA methoden zijn 2 integrale evaluatieonderzoeken. Ze houden

rekening met de verschillende doelstellingen van een maatregel: onder meer mobiliteit,

milieu en veiligheid. Om de primaire doelstellingen na te gaan van de maatregel kan de

KEA gehanteerd worden, die slechts 1 doelstelling beoordeelt. In het kader van

verkeersveiligheid is dat dus de veiligheid (aantal gemeden doden, zwaar gewonden, …).

De KEA kan slechts uitgevoerd worden indien men voldoende inzicht heeft in de kosten

van de maatregel, aangezien de KEA het effect in functie van het budget berekent. De

MAMCA methodologie houdt ook rekening met de belangen van de individuele

stakeholders. Dit in tegenstelling tot de SKBA die de maatschappelijke opbrengsten over

alle stakeholders optelt en vergelijkt met de maatschappelijke kosten over alle

stakeholders. Indien men dus de individuele belangen van de verschillende stakeholders

in beeld wil brengen, kan men beter de MAMCA-methodologie gebruiken.

De aanwezigheid van een controlegroep is vereist om gebruik te maken van een

experimenteel design. Indien men niet beschikt over een controlegroep kan enkel

gebruik worden gemaakt van een nameting of een voor-na meting.

De samenstelling van de steekproef is een laatste bepalende factor voor de keuze van de

evaluatiemethode. Zowel de controlegroep als de steekproef groep moeten ad random

toegewezen worden opdat een experimenteel design kan worden toegepast. Wanneer dit

niet willekeurig gebeurt, zal men een quasi-experimenteel onderzoek uitvoeren. Er kan in

beide gevallen een met-zonder onderzoek worden uitgevoerd al dan niet gecombineerd

met een voor-na meting.

Onafhankelijk van het feit of men met education, enforcement of engineering te maken

heeft, kan men nu op een uniforme wijze de evaluatiemethode selecteren. De evaluatie

van het beleid is noodzakelijk om het beleid te verantwoorden, de beperkte middelen op

een efficiënte en effectieve manier te alloceren en om het beleid op te volgen en waar

nodig aan te passen conform de maatschappelijke veranderingen. Op deze manier tracht

men de gewenste effecten te bereiken. In dit rapport werd ook een stappenplan

uitgewerkt om de evaluatie uit te voeren. Daarmee willen we meer uniformiteit krijgen in

het evaluatieproces. De evaluatie gebeurt dus in verschillende stappen. Definiëren van de

probleemstelling al dan niet met behulp van een analyseschema, bepalen van de correcte

indicatoren, de ontwikkeling van de alternatieven en de voorselectie ervan, de keuze van

de onderzoeksmethodologie, de wijze van gegevensverzameling -en verwerking en de

rapportage. De rode draad bij evaluatie moet steeds “de doelstelling van het

evaluatieonderzoek” zijn. Het gebruik van deze handleiding moet dan ook steeds

aandachtig gebeuren. Er is namelijk een grote diversiteit van regelgeving, doelstellingen

van de evaluatie en dergelijke. Evaluatie is eigenlijk maatwerk dat afhankelijk van

particuliere gevallen moet uitgevoerd worden (Van Aeken, 2001). Deze handleiding geeft

slechts een algemene indicatie van hoe er moet geëvalueerd worden en kan dus mogelijk

afwijken van de situatie waarin de beslissingnemer zich bevindt.

Steunpunt Mobiliteit & Openbare Werken 57 RA-MOW-2009-003

Spoor Verkeersveiligheid


8 . B I B L I O G R A F I E

Alfaro, J.L., Chapuis, M. & Fabre, F. 1994. “Socio-economic cost of road accidents”, COST

313, European Commission: Directorate-General ‘Transport’, Directorate-General

‘Science, Research and Development’.

Ampe J., Geudens T. & Macharis, C. 2008. “Socio-economische evaluatiemethoden voor

verkeersveiligheid. Tussentijds vergelijkend rapport, Literatuurstudie”. Steunpunt

Verkeersveiligheid Diepenbeek

Augeri, M.G., Colombrita, R. Lo Certo, A., Greco, S. Matarazzo, B. 2005. “Multi-criteria

Analysis to evaluatie road safety measures and allocate available budget”. Working

paper. University of Catania

Bana e Costa, C.A. & Vansnick J.C. 2008. “A critical analysis of the eigenvalue method

used to derive priorities in AHP” European Journal of Operational Research 187:1422-

1428

Bos, E.J. 2003. “De economische waardering van natuur en milieu in projectevaluaties.

Naar een natuurinclusieve MKBA”. Working Paper 4.03.07

Brauers, W.K.M., Zavadskas, E.K., Peldschus, F. & Turskis, Z. 2008. “Multi-objective

decision-making for road design” Research Journal of Vilnius Gediminas Technical

University and Lithuanian Academy of Sciences: Transport 23(3): 183-193.

Charnes A. & Cooper W.W. 1961. Management models and industrial applications of

linear programming. Wiley: New York

Chowdhury, M.A., Garber, N.J. & Li, D. 2000. “Multi-objective methodology for highway

safety resource allocation” Journal of infrastructure Systems 6(4).

Churchill, G.A. Jr. 1979. “A paradigm for developing better measures of marketing

construct” Journal of marketing research, 16: 64-73

Daniels, S., Deben, L., De Brabander, B., Verlaak, J. & Vesentini, L. 2004. “De

veiligheidsgordel: een eenvoudig, goedkoop en doeltreffend middel voor méér

verkeersveiligheid. Steunpuntnota 1” Steunpunt Verkeersveiligheid Diepenbeek

Dasgupta A.K. & Pearce D.W. 1972. “Cost-benefit analysis: theory and practice”.

Macmillan, London

De Brabander, B. & Vereeck, L. 2003. “Cost-Benefit Analysis for Road Safety Investments

in Belgium – Case study for a Seat Belt Reminder System”. Steunpunt

Verkeersveiligheid, Diepenbeek.

De Brabander, B., Nuyts, E. & Vereeck, L. 2005. “Road safety effects of roundabouts in

Flanders”. Journal of Safety Research 36(3): 289-296.

De Brabander, B. 2006. “Valuing the reduced risk of road accidents. Empirical estimates

for Flanders based on stated preference methods” Doctoraatsproefschrift, Universiteit

Hasselt.

De Brucker, K., Macharis, C., Wiethoff, M., en Marchau, V. 2008. “A strategic analysis of

stakeholder preferences regarding the design of innovative road safety measures. Results

form the pan-European IN-SAFETY project regarding forgiving and self-explaining road

environments”. HUB Research Paper 2008/42, 25

Delhomme, P., De Dobbeleer, W. Forward, S. & Simões, A. 2009. CAST manual for

Designing, Implementing and Evaluating Road Safety Communication Campaigns.

Belgian Road Safety Institute: Brussel. 324.

De Brucker, K. Nistal, R.S. “Naar een geïntegreerde methodiek voor de beoordeling van

investeringsprojecten op vlak van grootstedenbeleid en mobiliteit. Een poging om de

Steunpunt Mobiliteit & Openbare Werken 58 RA-MOW-2009-003

Spoor Verkeersveiligheid


kloof tussen analysefase en beslissingsfase te dichten”. In: Despontin, M. & Macharis, C.

(ed.) Mobiliteit en (groot)stedenbeleid. VWEC. VUBPress: Brussel.

De Brucker, K. 2000. “Ontwikkeling van een eclectisch evaluatie-instrument voor de

sociaal-economische evaluatie van complexe investeringsprojecten, met een toepassing

op het project Seine-Scheldeverbinding”. Doctoraatsproefschrift, Universiteit Antwerpen.

Delhaye, E. 2002. “Kosten-baten analyse van het vervangen van een geregeld kruispunt

door een rotonde”. Tijdschrift voor economie en management. 47(4): 577-612

De Pelsmacker, P & Van Kenhove, P. 2006. Marktonderzoek: methoden en toepassingen.

Pearson Education: Amsterdam. 515.

De Peuter, B., De Smedt, J. & Bouckaert, G. 2007a. “Handleiding beleidsevaluatie. Deel

3: Evaluatietechnieken”. Steunpunt Bestuurlijke Organisatie Vlaanderen – spoor Beleid

en monitoring, Leuven.

De Peuter, B., De Smedt, J. & Bouckaert, G. 2007b. “Handleiding beleidsevaluatie. Deel

1: Evaluatiedesign en –management”. Steunpunt Bestuurlijke Organisatie Vlaanderen –

spoor Beleid en monitoring, Leuven.

de Neeling, J.N.D. 2003. “Kostenutiliteitsanalyse”. Gezondheidsraad: Den Haag

Doran, G.T. 1981. “There is a S.M.A.R.T. way to write management goals and

objectives”. AMA Forum: 35-36.

Elvik, R. & Vaa, T. 2004. The handbook of road safety measures. Elsevier Science:

Oxford.

Elvik R. & Veisten K. 2004. “Barriers to the use of efficiency assessment tools in road

safety policy. Roads safety and environmental benefit-cost and cost-effectiveness

analysis for use in decision-making.” ROSEBUD thematic network, report D4, European

Commission, DGET, 5 th framework programme

Elvik, R. Veisten, K. & Wesemann, P. 2004. “A state of the art of the efficiency

methodology”, Rosebud Work Package 3: The Use of Efficiency Assessment Tools:

Solutions to Barriers.

Erke A., Veisten K., Elvik R., Lotz, C., Kleine, J., Macharis, C., Verbeke, A., De Brucker,

K., Wiethoff, M., Bekiaris, A., Anund, A. & Winkelbauer, M. 2007. “IN-SAFETY D5.2 Costbenefit

analysis and cost-effectiveness analysis”

Europese Commissie. 2001. “Het Europese vervoersbeleid tot het jaar 2010: tijd om te

kiezen” White Paper. Brussel

FCVV (Federale Commissie Verkeersveiligheid), 2007. http://www.fcvv.be/

Fenton, N. & Neil, M. 2001. “Making decisions: using Bayesian nets and MCDA”.

Knowledge Based Systems, 14:307-325

Fokkema, J. 2002. “Beleids Effect Rapportage Verkeersveiligheid (BER-V). Analyse van

het verkeersveiligheidsbeleid tussen 1986 en 2000”. TT 02-028, Traffic Test, Veenendaal.

Gijbels, K. 2006. “Sociale marketing van verkeersveiligheid. Econometrische

effectiviteitanalyse van de BOB-campagne” Thesisproef UHasselt

Harris, G.T. & Olukoga, I.A. 2005. “A cost-benefit analysis of an enhanced seat belt

enforcement program in South Africa” Inj Prev 11(2): 102-105.

Hauer, E. 1997. Observational Before-after Studies in Road Safety. Estimating the

Effect of Highway and Traffic Engineering Measures on Road Safety. Oxford: Pergamon,

Elsevier Science.

Hazevoet, A. & Bijlsma, M. 2002. “Zuid-Hollandse Effect Rapportage Verkeersveiligheid”,

TT 02-11, Traffic Test, Veenendaal.

Steunpunt Mobiliteit & Openbare Werken 59 RA-MOW-2009-003

Spoor Verkeersveiligheid


Heckman, J.J. & Smith, J. 1993. “Assessing the Case for randomized evaluation of social

programs” in: Jensen K. & Madsen P. Measuring labour market measures: evaluating the

effects of active labour market policy initiatives, Ministry of Labour, Copenhagen.

Hellendoorn, J.C. 2001. Evaluatiemethoden ex ante, Ministerie van Financiën. Den Haag:

SDU Uitgeverij

Hermans, E., Brijs, T. & Wets, G. 2008. Developing a theoretical framework for road

safety performance indicators and a methodology for creating a performance index.

Steunpunt Verkeersveiligheid, Diepenbeek.

Hillier, P. 2002. “Highways liability and the investigation of road traffic accidents. Paper

op: IPWEA NSW Division Annual Conference 2002. TRL.

Hoogerwerf, A. & Herweijer, M. 2003. Overheidsbeleid. Een inleiding in de

beleidswetenschap. Kluwer: Alphen aan den Rijn: 424.

Kotler, P., Roberto, N. & Lee, N. 2002. Social marketing. Improving the quality of life.

Sage publications, Thousand Oaks: 438

Lammar, P. & Hens, L. 2004. “Richtlijnen en aanbevelingen voor de behandeling van

verkeersveiligheid binnen effectrapportage. Studie verkeersonveiligheid in MER/MOBER

en rol van andere relevante beleidsinstrumenten”. Steunpunt Verkeersveiligheid,

Diepenbeek.

Lammar, P. 2006. “Verkeersveiligheidsindicatoren: overzicht en omschrijving van

bestaande en bruikbare indicatoren”. Steunpunt Verkeersveiligheid Diepenbeek

Lammar, P. 2006. “Haalbaarheidsstudie voor de correctie van de ongevallengegevens.

Eindrapport”. Steunpunt Verkeersveiligheid, Diepenbeek.

Macharis, C. 2004. “The importance of stakeholder analysis in freight transport: The

MAMCA methodology”. European Transport/rransport Europei 25/26: 114-120.

Macharis, C., Verkbeke, A., De Brucker, K. 2004. “The strategic evaluation of new

Technologies through multicriteria analysis: the advisors case”. Research in

Transportation Economics 8: 443-462.

Macharis, C. 2007. “Multi-Criteria Analysis as a Tool to Include Stakehoders in Project

Evaluation: The MAMCA method” in Haezendonck, E (eds.) 2007. Transport Project

Evaluation. Extending the Social Cost-Benefit Approach. Edward Elgar, Cheltenham.

Nakanishi Y.J. (ed.) Economic impacts of intelligent transportation systems: innovations

and case studies. Research in transportation economics, volume 8. Elsevier Ltd:

Amsterdam.

Mindef, 2008. Website: http://mpbundels.Mindef.nl/ (geraadpleegd 02/2009)

Minfin, 2003. “Handreiking evaluatieonderzoek ex-post. Een praktisch handvat voor de

opzet en uitvoering van evaluatieonderzoek ex-post”. Ministerie van financiëen, Afdeling

beleidsevaluatie en –instrumetnatie, Nederland.

Minfin, 2003. “Handreiking evaluatieonderzoek ex-ante. Een praktisch handvat voor de

opzet en uitvoering van evaluatieonderzoek ex-ante”. Ministerie van financiëen, Afdeling

beleidsevaluatie en –instrumetnatie, Nederland.

Ministerie van de Vlaamse Gemeenschap. 2002. “Handleiding: Opvolgen en evalueren

van het beleid”

Oosterhaven, J. 1999. “De evaluatie van grote infrastructuur: over MER’s, EER’s en

MKBA’s”. Openbare uitgaven 31: 60-70

Owen, J.M. & Alkin, M.C. 2007. Program evaluation: forms and approaches (edition 3).

Guilford Press: New York. 298.

Patton, M.Q. 1997. Utilization-focused Evaluation. The New Century Text. Sage

Publications, Thousand Oaks

Steunpunt Mobiliteit & Openbare Werken 60 RA-MOW-2009-003

Spoor Verkeersveiligheid


ROSEBUD. 2005. “Testing the efficiency assessment tools on selected road safety

measures”. Work packet 4. Federal Highway Research Institute – BASt, Germany.

Rossi, P.H., Lipsey, M.W. & Freeman, H.E. 2004. Evaluation: a systematic approach.

Sage Publications, Thousand Oaks: 470

Rubin, D.B. 1974. “Estimating Causal Effects of Treatment in Randomized and Nonrandomized

Studies” Journal of educational Psychology 66: 688-701

Rubbrect, I., Matheus, N., D’Addio, A., Nicaise, I. 2005. Sociale tewerkstelling in

Vlaanderen: effecten en maatschappelijk rendement op lange termijn. Leuven: HIVA.

Ruessink, H. & Berkhout, R. 2007. “Van verkeershandhaving naar handhaving in het

verkeer. Helpt dat de verkeersveiligheid…?” Politieacademie, lecotoraat Verkeer & Milieu.

Schoon, C.C., Wesemann, P. & Roszbach, R. 2000. “Verkeersveiligheidsanalyse van het

concept-NVVP: Samenvattend rapport: de vaststelling van effecten , kosten en

kosteneffectiviteit van maatregelen met het oog op de taakstelling 2010”. Leidschendam,

SWOV.

Sentinella, J. .2004. Guidelines for Evaluating Road Safety Education Interventions. TRL

Limited for the Department for Transport: London.

Shumway, C.R. 1981. “Subjectivity in Ex Ante Research Evaluation” American Journal of

Agricultural Economics 63(1): p,169-173

Snyder, L.B. 2001. “How effective are mediated health campaigns in: Rice, R.E. & Atkin,

C.K. (ed.) Public communication campaigns, Sage Publications, Thousand Oaks, p, 181-

190

Staes, H. & De Brabander, B. 2002. “Inleiding tot economische afwegingsmethoden op

verkeersveiligheidsmaatregelen”. Steunpunt verkeersveiligheid. Diepenbeek.

Swanborn, P.G. 1999. Evalueren: het ontwerpen, begeleiden en evalueren van

interventies: een methodische basis voor evaluatie-onderzoek. Uitgeverij Boom: 346

SWOV. 2006. Comparative European Study: Positive judgement about road safety in the

Netherlands” Pres release 24/04/2006 website

http://www.swov.nl/uk/Actueel/Persberichten/SUNflower_6_24_april_2006_UK.html

SWOV. 2007. Twisk, D.A.M., Vlakveld, W.P. & Commandeur, J.J.F. “Wanneer is educatie

effectief? Systematische evaluatie van educatieprojecten” (Effecten van verkeerseducatie

onderzoek (EVEO)) R-2006-28 Leidschendam

Todd, P. & Wolpkin, K.I. 2006. “Ex ante evaluation of Social Programs”. Pier Working

Paper No. 06-022

Transport Research Laboratory (TRL). 2001. “PROMISING: Cost-benefit analysis of

measures for vulnerable road users”. TRL, Londen.

Treat, J.R., Tumbas, N.S., McDonald, S.T., Shinar, D., Hume, R.D., Mayer, R.E.,

Stansifer, R.L. & Castellan, N.J. 1977. Tri-level study of the causes of traffic accidentes:

Final report. DOT-HS-034-3-535. National Highway Traffic Safety Adminsitration,

Washington

Van Aeken, K. “Evaluatie van regelgeving”. Website

http://www.ond.vlaanderen.be/vereenvoudiging/pdf/UFSIAEvaluatieregelgeving.pdf

Van den Bossche, F., Wets, G. & Brijs, T. 2005. “Ontwikkeling van verkeersveiligheid in

Vlaanderen”. Steunpunt Verkeersveiligheid Diepenbeek.

Van der Vlist, A.J., Bunte, F.H.J., van Galen, M.A. 2007. “Beleidsevaluatie ex-post.

Methodiek en illustratie”. Rapport 6.07.13 Den Haag

van Lier, Van Malderen & Macharis, 2008. “Indicatoren bij de beoordeling van

verkeersveiligheidsmaatregelen. Knelpunten en mogelijke oplossingen”. Steunpunt

Verkeersveiligheid Diepenbeek

Steunpunt Mobiliteit & Openbare Werken 61 RA-MOW-2009-003

Spoor Verkeersveiligheid


Verbeke, A. & Debisschop, K. 1996. “A note on the use of economic impact studies for

the evaluation of large scale port projects”. International Journal of Transport Economics

23(3):247-266.

Vesentini, L. & Cuyvers, R. 2003. “Snelheid en beloning. Een eerste inzicht in

snelheidsgedrag, de werking van belonen en de mogelijkheden om snelheidsgedrag te

sturen door beloning” Steunpunt Verkeersveiligheid Diepenbeek, RA-2003-09.

Vlaamse Regering. 2004. Beleidsnota Mobiliteit 2004-2009, Ministerie van Mobiliteit,

Brussel.

Vlaamse Regering. 2001. Ontwerp Mombiliteitsplan Vlaanderen. Naar een duurzame

mobiliteit in Vlaanderen. Ministerie van de Vlaamse Gemeenschap. Departement

Leefmilieu en Infrastructuur. Brussel: Digitale Drukkerij Facilitair Management Vlaamse

overheid

Vlaamse Regering. 2008. Verkeersveiligheidsplan Vlaanderen, Ministerie van Mobiliteit,

Brussel: Digitale Drukkerij Facilitair Management Vlaamse overheid

Wijnen, W. 2008. “Bruikbaarheid van QALY’s en DALY’s voor de verkeersveiligheid”.

SWOV R-2007-13, Stichting Wetenschappelijk Onderzoek Verkeersveiligheid:

Leidschendam

Wesemann, P. 2000. “Verkeersveiligheidsanalyse van het concept-NVVP. Deel 2: Kosten

en kosteneffectiviteit”. Leidschendam, SWOV.

Worldwide Highways, 2008. Safety Seminar Eurofile. Paris Seminary October 2008.

Steunpunt Mobiliteit & Openbare Werken 62 RA-MOW-2009-003

Spoor Verkeersveiligheid

More magazines by this user
Similar magazines