L'analyse des politiques publiques

4L'analyse des politiquespubliquesSteve Jacob et ChristineRothmayrl'evaluation de politiques ou de programmes publics est traditionnellementpresentee comme une pratique an cree theoriquement et methodologiquementdans de nombreuses disciplines, dont 1'economie, lapsychologie et la sociologie. Son lieu de naissance precis reste toutefoisplus difficile a determiner, meme si certains auteurs n'hesitent pas aaffi rmer que «la science politique est probablement Ie lieu de naissancede l' evaluation» (Schneider, 1986, p. 222; notre traduction). Dans ce chapitre,nous n'avons pas la pretention de trancher definitivement ce debat.N ous nous attarderons davantage a decrire la parente entre l' evaluationet 1'analyse des politiques publiques, un champ de la science politiqueactuellement en pleine expansion.Plusieurs elements rapprochent en effet revaluation et 1'analyse despolitiques publiques. Primo, il s'agit de processus centres sur 1'examen de!'intervention de 1'Etat, et plus particulierement des ministeres et desorganismes qui Ie composent, par ses actions concretes et ses realisationsobservables. Ces etudes apprehendent leur sujet par 1'angle d'un objetpolitique commun qui, bien souvent, est Ie secteur de 1'activite gouvernementaIe (par exemple, emploi, economie, environnement ... ). Secunda,l' evaluation et 1'analyse des politiques alimentent Ie repertoire des

70 THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEconnaissances et des savoirs mobilisables par les decideurs et les gestionnaires.II s'agit donc ici de la constitution d'un savoir davantage orientevers la resolution de problemes que vers la production de savoirs fondamentaux.Les chercheurs et les evaluateurs developpent un langagecommun en vue de «dire la verite aux decideurs'», ce qui les place parfoisen position de conseiller du prince (Duran, 1997). Tertia, les travauxd'evaluation et d'analyse des politiques accordent une place importanteau jeu des acteurs dans l' etude des processus, afin de prendre en considerationles enjeux de pouvoir comme nous allons Ie faire dans ce chapitre.En regIe generale, tous les acteurs qui se trouvent dans Ie perimetre de lapolitique ou du programme considere font 1'objet d'une attention particuliere,qu'ils relevent du secteur public (parlementaires, ministres, gestionnaires,etc.) ou du secteur prive (groupes d'interets, ONG, societecivile, etc.).Mais il existe egalement des elements de dissemblance entre 1'evaluationet 1'analyse des politiques, comme 1'atteste Ie scepticisme de Breweret deLeon (1983) a l' egard des travaux evaluatifs, dont les standards theoriquessont eleves mais qui, selon ces auteurs, se concretisent difficilement.La principale difference reside dans le jugement de valeur porte par l' evaluateursur la politique ou Ie programme qu'il etudie. A ce sujet, VincentLemieux (2006a) considere que «1'analyse des politiques sert a decrire oua expliquer comment se realisent les politiques dans leurs differentesphases, alors que l' evaluation de programmes vise plutot a juger si lesprogrammes sont conformes a des valeurs prescrites ou preSUmeeS». Etce jugement n'est pas sans consequences sur les programmes, les decideursou les gestionnaires au sein des ministeres et organismes. C'est a ce titreque «1'evaluation peut etre consideree comme un processus politique,c'est-a.-dire comme un ensemble de relations de pouvoir entre les acteursconCerneS» (Lemieux, 2006e). En eifet, l' evaluation, comme les autresetapes des politiques publiques que nous decrirons ici, ne peut etre apprehendeesans prendre en consideration Ie fait qu'elle est une activite politiquequi s'appuie sur une demarche methodologique rigoureuse. Pourparvenir a.ses conclusions et a ses recommandations, et lorsque celles-cisont retenues, l' evaluateur initie un processus d'apprentissage et de changementplus ou moins important du programme evalue. Nous reviendrons1. Notre traduction du celebre «speaking truth to power» de Wildavsky (1979).

L'ANALYSE DES POLITlQUES PUBLIQUES ,. 71un peu plus tard sur les differentes formes d'utilisation de la demarcheevaluative, qui ne se cantonnent pas a la description de constats, mais quiont par la suite aupres des decideurs et des gestionnairesdes repercussionsqui, dans certains cas, peuvent entrainer l'abolition du programme.Afin d' etablir des liens entre I'evaluation et l'analyse des politiquespubliques, nous allons structurer notre explication autour du cycle de lapolitique. Les grilles d'analyse sequentielles qui decoulent des travaux deLasswell (1956) et de Jones (1970) permettent de comparer une politiqueou un programme public a un organisme vivant dont la croissance estrythmee par des etapes successives allant de sa naissance jusqu' a sa mortou sa renaissance. Une grille sequentielle regroupe donc, de fa

72 ¢ THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEde ses conclusions et recommandations quant a l'apprentissage, a lacontinuite ou a 1'abolition du programme, et Ie suivi qui en est donne(deLeon, 1987),FICURE 4.1les etapes du cycle de la politique publique~~FormulationEmergence Evaluation~~ et adoptionceuvretTerminaison Mise I'agenda Mise ade la politique ISource: Inspire de Muller, 2003, p. 24Cette schematisation du cycle d'une politique publique est une fiction,tant pour les analystes des politiques publiques que pour les evaluateurs.Les analystes savent que, bien souvent, ces sequences s'intercalent, sechevauchent, voire se superposent (Sabatier, 1997). De leur cote, les evaluateurssavent que l' evaluation n'intervient pas uniquement a la fin ducycle des politiques en vue de Ie boucler. l'evaluation vise a produire unsavoir sur Ie fonctionnement et les effets d'une politique en1'appreciant a1'aune de plusieurs criteres comme 1'opportunite, la pertinence, l'efficaciteet l'efficience, Ces connaissances servent a piloter la conduite de l'actionpublique.De ce point de vue, et contrairementa la vision suggeree par 1'analysesequentielle des politiques, il est illusoire et artificiel de considerer quel' evaluation n'a lieu qu'apres l' etape de la mise en ceuvre. En tant qu'instrumentde pilotage, il est possible de mobiliser l' evaluation au cours dechacune des phases d'une politique ou d'un programme. Dne evaluationex ante peut en effet aLimenter les etapes de l'emergence d'un probleme,de la mise a l'agenda ou de la formulation d'une politique, puisque, s'ils'agit par exemple de grands projets environnementaux ou d'infrastructure,ses resultats ec1airent les decideurs sur leur faisabilite et les impactsqui en sont attendus. Au moment de la mise en ceuvre d'une politique, lesdecideurs ou les gestionnaires publics peuvent commander une evaluationconcomitante afin de documenter Ie processus de la mise en ceuvre et d'yapporter des adaptations. Enfin, apres quelques annees de mise en ceuvred'une politique, certains souhaitent identifier, mesurer et analyser leseffets de 1'action publique au moyen d'une evaluation ex post (il s'agit du

L'ANALYSE DES POLITIQUES PUBLIQUES " 73type d' evaluation dont il est Ie plus souvent fait mention dans lalitterature).La litterature en administration publique nous enseigne que l' evaluationn'est qu'un instrument de pilotage parmi d'autres (par exemple,verification, suivi, audit...) et qu'il n'est pas toujours evident de les distingueravec precision. Ainsi, avec la montee en puissance du paradigmemanagerial, centre sur la performance, l' evaluation apparait davantagecomme un instrument de gestion qu'un outil de contr6le (Segsworth,2004). Neanmoins, Ie principal element qui permet de distinguer l' evaluationdes autres instruments de pilotage de 1'action publique reside dans1'attention qu'elle porte aux effets d'une politique ou d'un programme,c'est-a-dire aux changements (positifs ou negatifs, souhaites ou inattendus... ) engendres aupres des acteurs. De ce point de vue, les autresinstruments de pilotage ne disposent pas des outils methodologiques leurpermettant d'identifier et d'isoler avec precision les effets imputables a1'intervention publique. Enfin, 1'evaluation peut entrainer un questionnementet donc une remise en cause de la pertinence ou de 1'opportunitedes decisions prealables.Cependant, malgre les limites traditionnellement enoncees a 1'encontrede cette approche sequentielle, il nous apparait tout de meme utile derattacher cette schematisation au processus d' evaluation. En effet, il no ussemble opportun d'utiliser ce cycle pour analyser et comprendre lademarche evaluative. Cette deconstruction analytique permet d'isoler lesmoments des du processus et de se concentrer sur les interactions entreles differents acteurs de l' evaluation (commanditaires, evaluateur, evalues).Au-dela de cette schematisation, nous nous attarderons egalementsur les principales theories d'analyse des politiques publiques qui nousaident a mieux comprendre Ie deroulement du processus evaluatif. A ceteffet, la litterature sur 1'analyse des politiques enrich it la comprehensionde la pratique evaluative. Dans ce chapitre, no us allons nous appuyer surI'analyse des politiques publiques pour mieux definir la pratique de l' evaluationet presenter les principaux enseignements theoriques relatifs achacune des phases definies ci-dessus. Cela no us permettra de mettre enevidence les facteurs cles que les evaluateurs doivent avoir a 1'esprit poursurmonter les ecueils qui jalonnent Ie processus evaluatif.

74 ¢ THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMELajustification de I'evaluation: emergence et identification du problemeDans une dimension centree sur la resolution des problemes, l' emergenced'une politique ou d'un programme resulte d'une volonte de changementen vue d'ameliorer une situation vecue par certains membres de la collectivite(par exemple, ehOmage, delinquanee, pollution ... ). Pour eela, ilest indispensable que la situation problematique a laquelle sont confrontesles benetieiaires pressentis d'une intervention publique soit erigee enprobleme eolleetif ou public, c'est-a-dire que celle-ci soit sortie de la sphereconfidentielle ou privee dans laquelle elle se trouve a 1'origine (Garraud,1990). L'evaluation est parfois presente dans tette vision «traditionnelle»de l' emergence d'une politique, puisqu'illui arrive d'alimenter cette premiereetape du cycle de la politique. Dans certains cas, l' evaluation attire1'attention du public sur un probleme specifique et s'avere done etre unedes sources potentielles d'information qui permettent d'identifier unprobleme autour duquel une demande, voire une revendication sociale,pourra eventuellement se structurer. En 1'absenee de eette mobilisationet de cette reconnaissance soeiale de la situation privee problematique,celle-ci ne sera pas thematisee politiquement et ne donnera pas lieu a uneintervention publique (Knoepfel et al., 2001). L'intervention publiqueresulterait donc d'un processus structure en dilferentes etapes: 1'identificationd'un probleme (naming), la designation des causes et des responsabilites(blaming) et la revendication d'un changement (claiming) (Cobbet Ross, 1997). En prenant en consideration tous ces elements, il est entenduque la fa

L'ANALYSE DES POLITIQUES PUBLIQUES 75con frontes a une crise insistent sur la necessite de faire toute la lumiereavec transparence sur ce phenomene (Jacob, 2006); l'evaluation externeconstitue alors une voie commode, puisqu'elle permet de s'appuyer surl'analyse d'une tierce partie (l'evaluateur) presentee comme neutre,experte et impartiale.Dans d'autres cas, la realisation d'une evaluation est prevue par Iedecideur lui-meme, qui peut adopter une clause evaluative. Les clausesd' evaluation sont des dispositions que Ie legislateur insere dans une loi etqui rendent obligatoire la realisation d'une evaluation dans un delai plusou moins impose. Une telle clause peut etre plus ou moins detaillee, allantde la simple intention d' evaluation a la mention des conditions pratiquesde la demarche evaluative. Ces clauses permettent aux evaluateurs d'anticiperles attentes du commanditaire et favorisent un travail preparatoireen matiere de collecte des donnees, d' elaboration d' instruments de mesureetde suivi, ainsi que de planification de l'exercice.Le type de raisonnement a des consequences sur les objectifs de l' evaluation(notamment sur !'implication, la collaboration, voire la conflictualite)a to utes les etapes ulterieures: au cours de la definition du mandat, aumoment de !'implication des acteurs pendant la realisation de l' evaluationet, bien sur, lors de I'utilisation, au moment du suivi, des conclusions etdes recommandations. Si l' evaluation est «imposee », elle apparait commeun instrument de contr61e aux yeux de ceux qui sont presentes com meetant les responsables de la situation denoncee initialement. Ils auront peur,se mefieront de I'exercice et tenteront d'en freiner la progression. On peutaussi denoncer la partialite ou l'instrumentalisation politique des resultatsproduits. En conclusion, a l'issue de cette premiere etape, il est indispensableque l' evaluateur s'interroge sur I'origine de son mandat (d'Ollvient-il?qui I'a defini ?) afin d'anticiper la suite du processus.La commande de "evaluation:mise a "agendaDe nombreux auteurs considerent que la phase de la mise a l'agenda estcruciale pour la formulation et la mise en O;?uvreulterieures des politiqueset des programmes publics (Kingdon, 1984; Baumgartner et Jones, 1993).Leurs explications s'appuient sur deux raisons principales. En premierlieu, la phase de mise a l'agenda apparait comme un filtre qui permet dedeterminer quels sont les enjeux qui figureront, ou non, sur l'agenda

76 .• THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEpolitique. Les analystes de politiques ont demontre qu'il ne suffit pas dese demander quels sont les acteurs qui parviennent a faire emerger unenjeu sur 1'agenda politique pour comprendre ce processus. En eifet, lesanalyses s'enrichissent lorsque l'on prend en consideration1es acteurs quiont Ie pouvoir d'entraver l'inscription d'un probleme a 1'agenda (Bachrachet Baratz, 1963). En second lieu, 1es ana1ystes qui se concentrent sur cetteetape insistent sur l'importance d' etudier la maniere dont un problemeou un enjeu est (re)configure au cours de cette etape du cycle de la politique.A ce stade, la definition et la traduction d'un probleme dependentdes interets et des va leurs des acteurs impliques et se repercutent sur ladefinition des objectifs de la politique a venir et sur Ie type de solutionsqui seront finalement retenues (Stone, 1989; Cobb et Rochefort, 1993).Ces travaux peuvent alimenter les reflexions sur la decision d'entreprendre,ou non, une demarche evaluative. Dans cette perspective, lacommande d'une evaluation ne se limite pas a ses aspects «technocratiques», mais revet une dimension politique importante.Tout d'abord, la decision d' evaluer un programme ou de se concentrersur une de ses dimensions precises est determinee par la fonction occupeepar Ie commanditaire potentiel et par ses interets, mais aussi par sesconnaissances sur Ie programme concerne. C'est a cette etape qu'ondetermine si cette evaluation repond a un besoin general et qu'on endefinit les objectifs specifiques. Les n~ponses aux questions «Pourquoientreprendre une evaluation?» et «Quels sont Ies objectifs poursuivis parIe commanditaire? » dependent fortement des acteurs qui initient l'exerciceet de leur capacite d'inscrire la necessite d'une evaluation a 1'agendaadministratif. Dans une perspective pluraliste, nous pouvons imaginerque Ie «jeu evaluatif» est ouvert a tout Ie monde (Dahl, 1961). Ce point devue est d'ailleurs renforce par les theoriciens de l' evaluation qui plaidentpour la prise en compte d'un eventail d'interets elargi (Patton, 2000;Fetterman, 2001) et qui encouragent la democratisation de Ia demarcheevaluative (House et Howe, 2000). Cependant, les responsabilites et lesprerogatives ne sont pas les memes pour toutes les parties prenantes enpresence. La capacite pour un acteur d'entreprendre ou non une evaluationest inf1uencee par la maniere dont Ia pratique est institutionnaliseeaupres des organes parlementaires, gouvernementaux ou administratifs(Jacob, 2005), ou par l'existence plus ou moins systematisee de clausesevaluatives.

L'ANALYSE DES POLlTIQUES PUBLIQUES •. 77Dans la pratique, la decision d'entreprendre une evaluation provientbien souvent des fonctionnaires responsables de la mise en ceuvre de lapolitique ou du programme, des gestionnaires publics ou des institutionsgouvernementales de verification et de controle (Segsworth, 2002). Lesfonctionnaires de premiere ligne peuvent egalement concourir ala prisede conscience du besoin d'evaluer une politique ou un programme, memesi leur influence reste limitee, puisque leurs capacites decisionnelles sontpeu developpees. Lorsqu'un programme ou une politique est l'objet d'unecontroverse, il arrive que les decideurs (parlementaires, ministres, hautsfonctionnaires ... ), les groupes d'interets ou meme les citoyens fassentpression pour conduire une evaluation (Jacob, 2007, p. 185-190). Toutefois,cela represente plut6t 1'exception que la regIe.Par ailleurs, les motivations qui amenent les acteurs a entamer uneevaluation ne sont pas toujours transparentes. Bien souvent, les raisonslegitimes cotoient des motivations plus strategiques, voire carrementinteressees. C'est egalement Ie cas dans Ie processus decisionnel classique,puisque, com me Ie demontre la litterature sur 1'analyse des politiques, Iefait de resoudre un probleme n'est pas la seule explication a prendre enconsideration pour comprendre les justifications qui conduisent a l' elaborationd'une nouvelle politique. Dans Ie meme ordre d'idees, en observantla pratique evaluative, nous constatons que 1'amelioration d'unprogramme ou d'une politique, la mise en place d'un processus d'apprentissageorganisationnel, la transmission d'informations aux decideurs ouIe respect d'obligations evaluatives ne sont pas les seules motivations quipoussent les acteurs a entreprendre une telle demarche. Les interets cachesamplifient les risques d'instrumentalisation de l' evaluation. 11s'agit, parexemple, de 1'ajournement d'une decision, de la legitimation d'une decisiondeja prise, des tentatives d'apaiser les resistances au sein d'une administration,de l'amelioration de l'image d'une unite ou d'une organisation,et, par extension, du renforcement de sa position au sein de l'appareiladministratif (Weiss, 1998).Ii est evidemment important qu'un evaluateur externe connaisse Iecontexte dans lequel a ete prise la decision d'entamer une evaluation. Enrepondant aux questions «Comment est-on parvenu a cette decision?»et« Y a+il eu des resistances, voire des oppositions, ala volonte de realiserune evaluation?» l' evaluateur disposera d'une information utile a larealisation de son mandat. 11pourra adopter un comportement adequat,

78 •. THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEpuisqu'il sera a meme d'operer des choix eclaires en matiere de consultation,d'implication ou de collaboration entre les difterentes parties prenantes.Les chercheurs qui s'interessent davantage a la mise en ceuvre desprogrammes ou des politiques ont d'ailleurs mis en evidence la necessitede se referer aces facteurs contextuels pour comprendre les positionnementsulterieurs des acteurs.En repondant aux questions «Quels sont les acteurs qui ant defini IeprobU:me et propose des solutions?» et «Quels sont les acteurs qui antete impliques ou exclus du processus? », il est possible d'anticiper lamaniere dont se deroulera la mise en ceuvre de la politique et Ie comportementdes acteurs associes ou non a cette etape. II en va bien sur de memeen evaluation. C'est la raison pour laquelle l' evaluateur pourrait identifieret recenser systematiquement toutes les parties prenantes (stakeholders)directement ou indirectement concernees par la politique ou Ie programmea evaluer. A ce stade, il convient de depasser les apparences et desonder meticuleusement 1'ensemble des interets qui seront en jeu au coursde l' evaluation. En etfet, en identifiant les parties prenantes, leurs aspirationset leurs besoins, l' evaluateur peut pressentir les relations de pouvoirauxquelles il sera potentiellement confronte. Cela lui permettra d'anticiperles points de tension eventuels ou les moments ou il aura possiblement areformuler les attentes relatives a son travail. Ceux-ci peuvent d'ailleurssurgir des les premisses de l' evaluation, c'est-a-dire lors de la definitiondu mandat, comme nous allons Ie voir des maintenant.la definition du mandat evaluatif: formulationet adoption de la politiqueLe processus decisionnel a depuis longtemps attire 1'attention de nombreuxchercheurs en analyse des politiques. Plusieurs theories expliquantla maniere dont les decideurs elaborent et fondent leurs choix ont eteproposees. II y a plus d'un demi-siecle, Herbert Simon, considerant queIe modele de l'acteur rationnel, 1'Homo economicus dont les choix se fondentsur la maximisation de ses propres interets, ne permettait pas decomprendre Ie processus politique, a enrichi Ie cadre d'analyse en y integrantIe concept de rationalite limitee (Simon, 1945). Dans cette perspective,la rationalite parfaite n'existe pas, puisque les connaissances sontin completes et fragmentees, les acteurs n'anticipant pas toujours precisementles consequences de leurs actions et n' etant pas capables d'analyser

L'ANALYSE DES POLlTIQUES PUBLIQUES '" 79completement tous les aspects d'un probleme. Dans ces conditions, leurscapacites de retlexion sont limitees; ils font donc face aux problemes etprennent leurs decisions de maniere fragmentee plutot que simultanee.De plus, les routines et les autres solutions auxqueIles ils ont deja eurecours influencent leurs choix. En consequence, les decisions qui sontadoptees permettent de satisfaire les objectifs poursuivis plutot que derriaximiser les gains. Par la suite, Lindblom a rompu encore plus radicalementavec la figure du decideur rationnel. De son point de vue, la decisionpolitique se caracterise par l'incrementalisme (Lindblom, 1979). Lesdecisions ne sont pas Ie resultat d'analyses planifiees ou de reflexionsglobales. Au contra ire, les acteurs analysent les problemes qu'ils rencontrentpar rapport aux solutions disponibles ; ils fondent leurs choix sur cequi existe reeIlement et procedent a de rapides comparaisons en vue dedeterminer la pertinence de leur adoption. Ainsi, les politiques evoluentd'une maniere progressive, comme Ie demontrent en eifet plusieurs etudesaccreditant Ie fait que les decisions politiques se fondent bien plus surl' eventail des politiques existantes que sur !'innovation (Rose et Davies,1993; Pierson, 2000).Les concepts de culture ou de pratique evaluative attirent I'attentionsur Ie fait que les valeurs, les routines et les procedures d'une unite, d'undepartement ou d'une organisation (ministere, agence ... ) peuvent eIlesaussi aifecter serieusement l' elaboration d'un mandat d' evaluation, biensouvent materialise sous la forme d'un cahier des charges.En fait, en redigeant un mandat d' evaluation, les decideurs publicsreproduisent tres sou vent les habitudes et procedures politico-administrativesancrees dans leur environnement. Comme nous I'avons dejamentionne, les caracteristiques des dispositifs d'institutionnalisation dela pratique evaluative influencent ce processus et sont cruciaux pourcomprendre les elements qui aifectent la preparation d'un mandat et,ulterieurement, les resultats de I'exercice d' evaluation. Dans Ie memeordre d' idees, Ie profil de l' evaluateur aura egalement des repercussionssur I'ensemble de 1'exercice. En eifet, une evaluation realisee par un organismeen charge d'une verification (comptable et financiere) et d'uneevaluation n'aboutira pas necessairement aux memes demarches, conclusionset recommandations qu'une evaluation confiee a une unite interned' evaluation ou a un evaluateur externe (Segsworth, 2002, 2005; Saint­Martin, 2004).

80 v THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEAu cours de cette etape, il est necessaire que Ie commanditairedetinisseles objectifs de l' evaluation. La litterature nous enseigne que ces dernierssont nombreux, et qu'ils vont de la transmission d'informations aux decideursjusqu' a la suppression d'un programmeou d'une politique, en passantpar la mise en oeuvre d'un processus d'apprentissage organisationnel ausein de l'administration en charge de la politique ou du programme evalue(Weiss, 1998). Les finalites de l' evaluation sont donc bien souvent etroitementliees aux ambitions poursuivies par celui qui va ultimement disposerde 1'information produite par cet exercice. De plus, la realisation d'uneevaluation, en termes pratiques et concrets, requiert des decisions au sujetde 1'approche privilegiee (par exemple, guidee par les theories participative,realiste, emancipatrice ... ), du choix de 1'evaluateur (en cas d'evaluationexterne), mais aussi du devis evaluatif a appliquer, c'est-a-dire des methodesretenues, de l'agenda et de la planification, du budget octroye et de la valorisationsouhaitee des resultats. Contrairement aux apparences, ces choixsont loin d' etre neutres ou anodins, puisqu'ils auront une incidence nonnegligeable sur Ie deroulement de I'evaluation ainsi que sur les conclusionset les recommandations auxquelles parviendra l' evaluateur.L'analyse des politiques nous ens eigne que tous les acteurs ne peuventpas s'organiser de la meme maniere en vue de defendre leurs interets etqu'ils ne disposent pas tous du meme poids lorsqu'il s'agit de faire pression,voire d'influencer Ie processus decisionnel (Bachrach et Baratz, 1970).II en va de me me en ce qui concerne la definition d'un mandat d'evaluation.Les analystes de politiques considerent qu'en observant les acteursimpliques dans Ie processus de formulation d'un programme ou d'unepolitique, y compris Ie jeu de la distribution des ressources qui 1'accompagne,il est possible d'en comprendre les resultats. II s'agit la d'un elementinteressant a prendre en consideration lorsqu'on compare les debats relatifsa la participation de la societe civile aux processus decisionnels etd' elaboration de politiques en general (democratie deliberative, panel decitoyens ... ) (Dryzek, 1990) avec les debats entourant Ie role de l'evaluateuret !'implication des parties prenantes, en particulier dans la litteraturesur]' evaluation. Dans les deux cas, il ya une tendance qui pia ide en faveurd'un renforcement de la participation et qui encourage un elargissementde l'inclusion des acteurs dans Ie processus decisionnel.Les promoteurs de ce mouvement utilisent differents arguments pourappuyer leur point de vue. Selon eux, la participation au processus deci-

L'ANALYSE DES POLlTIQUES PUBLIQUES * 81sionnel accroit la legitimitepublique,des choix effectues, et donc de 1'interventionet facilite la reussite de la mise en a?uvre quant a la cooperation,mais aussi au contenu, c'est-a-dire a la realisation des objectifs definisprecedemment. II en va de meme pour l' evaluation, ou les promoteursd \ll1e demarche participative mettent I'accent sur Ie fait que la realisationd'une evaluation peut etre guidee par des considerations sociales, que laparticipation favorise l'utilisation des resultats produits et que l'inclusiond'un eventail plus large ou differencie de parties prenantes renforce laqualite, la validite et l'interpretation des donnees recueillies. Ce qui sereflete ultimement sur les conclusions et Ies recommandations formuleespar I' evaluateur.En resume, meme s'il existe des differences entre la definition d'unmandat evaluatif et l' elaboration d'une politique ou d'un programme dupoint de vue de la legitimite democratique et de la reddition ulterieure decomptes, il est indeniable que leur contenu sera affecte par la nature desacteurs (impliques, exclus ou qui ne souhaitent pas participer a cette etape,sur une base volontaire et parfois strategique), et par les ressources dontils disposent et qui affectent la repartition des sources d'influence et depouvoir. De plus, Ia definition d'un mandat evaluatif peut etre fortementconditionnee par les pratiques existantes, les routines bureaucratiques etles formes d'institutionnalisation de la pratique, com me nous l'avons dejavu. II ne faut cependant pas conclure prematurement a un determinismedans la demarche evaluative. Ce serait negHger les dimensions partenarialesde cette pratique. En effet, tout au long du processus, il y aura desmoments de discussion, et parfois meme de negociation, entre l' evaluateuret le commanditaire, en vue de condHer les dimensions scientifique etpolitique de l'exerdce. L'evaluation etant davantageun metier (methodologiquementexigeant) qu'une science, elle permet donc des amenagements.Ceux-ci ne sont pas exclusivement d'ordre politique. Ainsi,parallelement a la diplomatie, l' evaluateur doit faire preuve de pragmatismepour tenir compte des contraintes qui ne manquent jamais de surgirsur le plan des ressources (temporelles, budgetaires ... ). Comme nousallons Ie voir maintenant, la reaHsation d'llne evaluation est une aIchimieentre Ie scientifiquement desirable et le materiellement realisable.

82 + THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMELa realisation de I'evaluation: mise en ceuvreLes analystes de politiques considerent que l' etape de la mise en ceuvreconsiste a agir en vue de concretiser les objectifs d'une politique. Cetteoperationnalisation des intentions en realisations n'est pas un processusdenue d'enjeux. II ne s'agit pas d'une simple transposition neutre et indifferentede la volonte des decideurs, puisque c'est au cours de cette etapeque sont interpretees les directives gouvernementales (Muller, 2003). Ace sujet, les administrations se sont progressivement eloignees de laconception weberienne selon laquelle la discretion administrative est unobstacle a 1'efficacite de la bureaucratie, ala neutralite et a 1'anticipationde l'adion administrative pour rencontrer les exigences de la nouvellegestion publique. Pour les tenants de ce courant, la discretion permet demaximiser l'efficacite des administrations en evitant la rigidite excessivequi caracterise bien souvent les organisations bureaucratiques.Cette traduction des decisions politiques en effets concrets est biensouvent tributaire de ses createurs et des alltres acteurs concernes ulterieurement(Lemieux, 1995; Bardach, 1977). S'il peut y avoir plusieurscomprehensions et formulations d'un probleme, il peut aussi y avoir desreinterpretations a l' etape de la mise en ceuvre. Dans ce cas, les agentspublics disposent d'une marge de manceuvre, voire d'une certaine latitudepour agir (Goggin et aI., 1990). Cette forme de discretion administrativese retrouve en evaluation, ou les acteurs impliques dans 1'exercice interpretentIe mandat qui leur est confie en vue de s'adapter a des circonstancesparticulieres (accessibilite des donnees, emergence d'une nouvellequestion evaluative ... ).Comme Ie demontre Bardach (1977), il est important de considerer Iejeu entre les acteurs. Tous ne s'engagent pas (ou ne sont pas impliques) dela meme maniere. 1'enthousiasme a collaborer ou non a une evaluationest revelateur de la perception que les acteurs ont de cet exercice et, parfois,de leur anticipation des resultats. Certains tenteront donc d'orienter Ieprocessus a leur avantage, tandis que d'autres chercheront a 1'entraverpour en compliquer la realisation. A cote de cette attitude strategiquementorientee, il est important de preciser que la litterature sur l' evaluationaccorde une grande attention a !'implication de tiers. l' evaluation impliquantles parties prenantes (Cousins et Whitmore, 1998; Guba et Lincoln,1989; Fetterman, 2001) permet de prendre en consideration une variete

L'ANALYSE DES POLITIQVES PVBLIQVES " 83de points de vue et d'otfrir it d'autres acteurs que Ie traditionnel duocommanditaire-evaluateur une possibilite d'influer sur la demarcheevaluative. Comme nous 1'avons deja mentionne, l' identification prealablede toutes les parties prenantes en presence permet d'anticiper les situationsauxquelles l' evaluateur risque d'avoir a faire face dans son travail.En comparant la realisation du mandat evaluatif a la mise en ceuvred'une politique ou d'un programme public, il n'est pas possible de faireabstraction des problemes qui peuvent survenir au cours de cette etapeet que la litterature sur 1'analyse des politiques qualifie de «deficits demise en ceuvre» (Pressman et Wildavsky, 1973). II s'agit des decalages,parfois considerables, qui se produisent entre les intentions des decideurset les etfets observes sur Ie terrain. Cela peut egalement se produire aucours d'une evaluation qui peut engendrer des consequences inattendues.Dans les etudes d'analyse de politiques (Hogwood et Gunn, 1984; Sabatier,1997), nous avons trouve quelques elements dont il faut tenir compte si1'on souhaite reduire ce risque et eviter que l' evaluation s'enlise, n'aboutissepas ou produise des effets pervers. II s'agit d' etre attentif au faitqu'aucune contrainte n'est insurmontable, de favoriser 1'implication d'uneautorite reconnue, d 'ancrer l' evaluation sur une theorie d'interventionvalide, de detlnir des objectifs clairs, d'obtenir des informations pertinenteset de faire en sorte qu'une coordination parfaite soit etablie entreles acteurs concernes.Enfin, durant cette etape, il est necessaire de veiller it la coherence desactions entreprises. Par exemple, dans Ie cadre d'une evaluation d'envergure,il faut s'assurer que les dilferentes evaluations realisees simultanementsur plusieurs sites (evaluation de multiples projets, de plusieurssites ... ) sont coherentes. Plus simplement, l' evaluateur peut, a chacunedes etapes, s'interroger sur Ie sens des actions qu'il entreprend pour s'assurerqu'elles Ie menent dans la direction souhaitee. Ces reflexions peuvents'appuyer sur des standards de qualite, qui sont des guides utiles pourencadrer la demarche d' evaluation (par exemple, The Joint Committee onStandard for Educational Evaluation, Standards d' evaluation de la Societesuisse d' evaluation - SEVAL). A ce sujet, nous considerons les standardscomme des outils qui permettent a l' evaluateur de situer sa pratique a1'aune de normes ou de conceptions habituelles et usuelles en la matiere,et non com me un catechisme prescriptif a suivre ala lettre. En etfet, biensouvent, l' evaluateur est amene a s'ecarter de ces normes pour faire face

J/ANALYSE DES POLlTlQUES PUBLIQUES • 85dation d\me evaluation ne se resume pas uniquement aux questions derigueur scientifique et mdhodologique, mais qu'il depend aussi fortementde l'utilisation des connaissances produites et de leurs repercussions surIe terrain. II convient cependant de constater qu'il est rare, a 1'exceptionde certains projets pilotes, qu\me evaluation entraine la suppression d'unepolitiqueou d'un programme.Les chercheurs qui s'interessent a l' evolution des politiques sur de plusou moins longues periodes s'appuient sur plusieurs corpus theoriques quipeuvent etre mobilises par les evaluateurs en vue d' elargir Ie debat sur1'utilisation des conclusions et des recommandations d'une evaluation.Sur un axe partant de 1'inutilisation des resultats jusqu'a leur utilisation,il est possible de mobiliser deux grandes approches: la dependance auchemin emprunte (path dependency) et l'incrementalisme. Selon la premiereapproche, les ornieres de la voie dans laquelle s'est engagee 1'actionpublique sont si profondes qu'il est difficile de changer de direction(notamment quant aux couts politiques ou financiers). Dans ce contexte,les evaluations seront peu utilisees. Dans une perspective axee davantagesur Ie changement, l'incrementalisme nous enseigne que les amenagementsde programmes publics sont les resultats d'un lent processusd'adaptation et de changements marginaux qui peuvent progressivemententrainer une reconfiguration import ante des programmes. Dans ce casde figure, les conclusions et recommandations d'une evaluation peuventfaciliter 1'adoption de mesures de changements portant sur la mise enoeuvre d'un programme (par exemple, moyens mis a disposition, processus),ce qui peut ensuite entrainer un reamenagement plus importantde ce dernier.On a pu voir que les debats et les enseignements theoriques de 1'analysedes politiques peuvent enrichir la comprehension du contexte politique del' evaluation. Cela implique qu'il ne faut pas reduire la pratique evaluativea un exercice" technocratique», mais plut6t qu'on peut la percevoir commeun element du processus decisionnel. Toutefois, la litterature presenteedans ce chapitre nous rappelle que l' evaluation n'est pas la prise de decision.La grande variete des theories nous permettant de comprendre Ie cycle dela politique en general et les moments de la prise de decision en particulierno us rappelle sans cesse qu'une multitude de t~lCteurs interviennent dansces processus. Le savoir produit par l' evaluation n'est qu'une pierre (peutetreune cle de vOlUe)dans l'edifice du processus politique.

86 " THEORIES ET PRATIQUES EN EVALUATION DE PROGRAMMEPour aller plus loin:MASSARDIER,Gilles (2003), Politiques et action publique, Paris, Armand Colin.Vne synthese de la litterature relative a l'analyse de l'action des pouvoirspublics qui s'adresse en priorite aux etudiants souhaitant se familiariser avecles concepts de base de l'analyse des politiques. En se concentrant sur les rolesdes principaux acteurs impliques dans la gestion publique, l'auteur contribueala reflexion sur les mutations de 1'Etat contemporain.ALKIN, Marvin C. (dir.) (2004), Evaluation Roots. Tracing Theorists' Views andInfluences, Ihousand Oaks, Sage Publications.En donnant la parole aux theoriciens qui font evoluer la discipline de l' evaluation,Marvin AIkin offre une compilation de temoignages qui reflete ladiversite des pratiques et dote Ie lecteur des principales des de comprehensionqui lui permettront de s'orienter et d'operer des choix raisonnes au momentd'initier une demarche evaluative.KUSEK,Jody Z. et Ray C. Rist (2006), Dix etapes pour mettre en place un systemede suivi et d'evaluation, Montreal, Saint-Martin.En s'appuyant sur une solide experience de terrain acquise a la Banque mondiale,les auteurs presentent les differentes etapes du processus de suivi etd'evaluation. Les exemples proviennent de programmes de cooperation audeveloppement.InternetWWW Virtual Library: TI1e World Wide Evaluation Gateway, < www.policyevaluation.org>.International Development Evaluation Association, < www.ideas-int.org >.European Evaluation Society, < http://europeanevaluation.org >.

5La construction du modelelogique d'un programmeNancy L. PorteousLe modele d'analyse logique est un outil visuel visant a decrire un programmedans sa logique (ou sa theorie) fondamentale. Malgre leur diversite,les programmes ont en partage certains elements, et Ie modele logiqueest un diagram me de ces elements communs qui illustre Ie contenu(quoi ?), les destinataires (qui ?) et la raison d'etre (pourquoi ?) du programme(voir la figure 5-1). Il est essentiel d'avoir une vision commune dela logique d'un programme avant d' elaborer des mesures de surveillanceet d'evaluation.Un modele logique peut s'appliquer a des programmes de tout genreet dont la portee peut etre large ou restreinte. On peut egalement elaborerce type de modele pour un organisme entier. Dans Ie present chapitre, Ieterme «programme» aura done un sens assez large pour inclure les projets,les politiques ou d'autres types d'initiative tels que les interventions,les projets pilotes, les evenements, les processus, les campagnes et lesservices. Un programme peut etre tres vaste ou tres restreint, ou encorese situer quelque part entre ees deux extremes. Fondamentalement, unprogramme consiste en une serie d'activites appuyees par un ensemblede ressources et visant a atteindre des resultats specifiques au sein degroupes cibles definis.