L'évaluation de programme - Secrétariat du conseil du trésor ...

tresor.gouv.qc.ca
  • No tags were found...

L'évaluation de programme - Secrétariat du conseil du trésor ...

4La publication de ce document sur l’évaluation de programme a été rendue possible grâceà la participation des personnes suivantes qui ont formé le comité de travail * :Mishèle Bérubé,Marlen Carter,Paul-É. Arsenault,Jean-Yves Baril,Jean-René Bibeau,Alain Chassé,Serge Giguère,Patrick Moran,Georges-Octave Roy,André Villeneuve,présidente du Groupe des responsables de l’analyseet de l’évaluation de programme (GRAEP)représentante du Groupe d’action en gestion financière (GAGF)directeur des politiques et des opérations budgétairesau Secrétariat du Conseil du trésor (SCT)secrétaire du Conseil des directrices et des directeurs généraux del’administration du gouvernement du Québec (CDGA)président de la Société canadienne d’évaluation (SCE)président du Comité des responsables de la vérification interne(CRVI)observateur représentant le Vérificateur général du Québecprésident de la Société québécoise d’évaluation de programme(SQEP)représentant du CDGAsecrétaire du comité de travail (SCT)Nous remercions sincèrement pour leur participation les représentants et représentantesdes organismes ainsi que toutes les personnes qui ont été consultées ou qui ont, de près oude loin, contribué à la préparation de ce document.RéalisationSous-secrétariat aux politiques budgétaires et aux programmesRévision linguistique et éditionDirection des communicationsLe présent document est disponible dans le site Internet du Secrétariat du Conseil du trésor[www.tresor.gouv.qc.ca] ainsi que dans l'intranet gouvernemental [www.modernisation.qc].Pour de plus amples renseignements concernant ce document, vous pouvez vous adresserau Sous-secrétariat à la modernisation de la gestion publique, par téléphone, au numéro(418) 528-7655, ou par courriel : modernisation@sct.gouv.qc.ca.Dépôt légal 2002Bibliothèque nationale du QuébecBibliothèque nationale du CanadaISBN : 2-550-39080-6*Les fonctions sont celles qu'occupaient les personnes au moment des travaux du comité de travail.


TABLE DES MATIÈRESPRÉSENTATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5L’ÉVALUATION DE PROGRAMME : QU’EST-CE QUE C’EST ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6Les définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6Les champs d’appréciation et la portée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6Des liens et des distinctions à faire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7POURQUOI FAIT-ON DE L’ÉVALUATION DE PROGRAMME ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10QUI EST RESPONSABLE DE L’ÉVALUATION DE PROGRAMME ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11COMMENT ÉVALUER ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .131. La clarification ou la formulation du mandat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .132. La planification de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133. La réalisation de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .134. L’utilisation des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .145. Le bilan de l’utilité de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14LES CONDITIONS DE RÉUSSITE DE L’ÉVALUATION DE PROGRAMME . . . . . . . . . . . . . . . . . . . . . . . . .16ANNEXERésistances parfois manifestées devant une démarche d’évaluation et pistes de solutions . . . .17RÉFÉRENCES THÉMATIQUES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20BIBLIOGRAPHIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22


P RÉSENTATIONCe document sur l’évaluation de programmea été conçu pour sensibiliser les dirigeantset dirigeantes des ministères et des organismesà la démarche d’évaluation de programmeet au rôle qu’ils et elles auront àassumer.En effet, il incombe aux ministères et auxorganismes de s’assurer que leurs programmesou leurs politiques sont évalués.Les programmes et les politiques doiventêtre évalués en vue de déterminer leur pertinenceactuelle, la mesure dans laquelleles activités et les résultats sont conformesà la mission, la mesure dans laquelle lesobjectifs ont été atteints, les effets positifset négatifs et, s’il y a lieu, les moyens d’atteindreles objectifs d’une manière plusefficace soit par des améliorations opérationnellesau programme existant, soit parl’introduction d’un nouveau programme.L’évaluation de programme constitue unefonction à valeur ajoutée pour la gestionaxée sur les résultats.Ce document comprend deux parties. Lapremière partie présente un aperçu del’évaluation de programme, de sesconcepts fondamentaux, et les raisonsd'entreprendre une telle démarche, sansoublier le rôle des principaux participantset participantes (sous-ministres, dirigeants,coordonnateurs, évaluateurs et gestionnaires)au processus. Dans la deuxième partie,sont présentées les principales composantesd’une démarche d’évaluation réussie.En annexe, les lecteurs et les lectricestrouveront des références thématiques surdifférents aspects de l’évaluation, ainsiqu’une bibliographie.Nous espérons que, en tant que dirigeantou dirigeante de ministère ou d’organisme,vous pourrez vous inspirer, en tout ouen partie, de cet outil de gestion.Bien que la méthodologie et l’utilisationde l’évaluation soient étroitement liées, cedocument n’a pas la prétention de présenteraux dirigeants et dirigeantes de ministèresou d’organismes une approcheméthodologique particulière. Il met davantagel’accent sur les concepts fondamentauxet les pratiques recommandables enmatière d’évaluation de programme. Ilexiste plusieurs façons de mener une évaluationet il incombera aux ministères etaux organismes d’adapter le contenu de cedocument à leur environnement.4 L ’ é v a l u a t i o n d e p r o g r a m m e


4I NTRODUCTIONL’ÉVALUATION DE PROGRAMME, UNE FONCTIONESSENTIELLE DANS UN CADRE DE GESTION AXÉE SURLES RÉSULTATSDe nouvelles règles du jeu s’imposent pourque la gestion axée sur les résultats prenneson envol au sein de l’administrationpublique. Le nouveau cadre de gestiongouvernementale établi par la Loi sur l’administrationpublique met dorénavant l’accentsur l’atteinte des résultats plutôt quesur la conformité aux règles et aux procédures.Cela implique notamment que, lorsquec'est possible, des contrôles a posterioriremplaceront des contrôles a priori. Le sensdes responsabilités des gestionnaires detous les niveaux est mis à profit. Le choixdes moyens d’exécution des mandats estdavantage laissé aux dirigeants et dirigeantesdes ministères et des organismes.Le plan stratégique, les objectifs, les indicateurs,les cibles et les résultats obtenussont rendus publics. La reddition decomptes est renforcée à tous les paliers del’administration publique.Pour les ministères et les organismes, ilimporte plus que jamais « d’être en contrôle», car c'est là une condition fondamentalepour exercer une véritable gestionaxée sur les résultats. Pour l’atteintedes objectifs, toutes les composantes del’organisation, tant les ressources, les systèmes,les processus, la structure et lestâches, doivent être maîtrisées.Dans cette perspective, l'évaluation deprogramme est une fonction de gestionimportante à l'intérieur de l'organisationpour « être en contrôle ».L ’ é v a l u a t i o n d e p r o g r a m m e5


L’ÉVALUATION DE PROGRAMME :QU’ EST- CE QUE C’ EST ?LES DÉFINITIONSL’évaluation de programme est unedémarche rigoureuse de collecte et d’analysed’information qui vise à porter un jugementsur un programme, une politique, unprocessus ou un projet pour aider à la prisede décision. Elle permet d’apprécier à la foisla pertinence du programme, l’efficacitéavec laquelle ses objectifs sont poursuivis,l’efficience des moyens mis en place ou sarentabilité, ainsi que son impact. 1Il est important de noter qu’il n’existe pasde consensus général sur ce qu’est l’évaluationde programme et même, parmi sesnombreuses définitions, quelques-unessemblent parfois contradictoires. Malgrécette diversité, l’Organisation de coopérationet de développement économiques 2reconnaît qu’on y trouve des caractéristiquescommunes : « ce sont des appréciationsanalytiques systématiques concernantles principaux aspects d’un programme etde sa valeur, et qui s’attachent à fournirdes conclusions fiables et utilisables » 3 .La notion de programme va au-dedecelle qui est rattachée au processusbudgétaire :Le programme désigne ici unensemble cohérent et structuré d’objectifs,d’activités et de ressourceshumaines, financières, matérielles etinformationnelles, regroupés pouroffrir des produits et des services particuliersqui satisfassent les besoins ciblésd’une population prédéterminée.L’évaluation de programme produit desrenseignements opportuns, utiles et crédiblessur la pertinence des politiques et desprogrammes gouvernementaux, et surleurs répercussions. Ces renseignementsoffrent la possibilité de mettre en place desmoyens d’intervention ou des mécanismesde prestation de services plus rentables.L'évaluation de programme met l’accentsur ce qui fonctionne réellement, sur ce quine fonctionne pas et sur les moyens detrouver de nouvelles façons d’atteindre lesobjectifs du gouvernement à moindrecoût, avec la préoccupation constante duservice à la clientèle, et de parvenir auxrésultats attendus.L’évaluation de programme doit présenterdes qualités fondamentales, soit :- la validité (qui permet la correspondanceentre les données recueillies etl’information recherchée) ;- la fidélité (qui est conforme à lasituation) ;- la crédibilité (qui est digne deconfiance) ;- l’utilité (qui permet de répondre aubesoin et de passer à l’action).LES CHAMPS D’APPRÉCIATION ET LA PORTÉEL'évaluation de programme peut traiter leschamps suivants :• la pertinence ou l’évaluation desbesoins ou de la raison d’être du programme;• l’efficacité ou l’atteinte des objectifs ;• l’efficience ou l’évaluation du rendementqui vise à mettre en relation lesrésultats observés avec les coûts engendrésou les ressources utilisées ;1Cette définition s’inspire de celle que retient le Groupe de travail sur l’exercice des fonctions decontrôle et de vérification dans l’administration publique québécoise, dans son rapport dejuillet 1998 à la Commission de l’administration publique.2Mieux connue sous le sigle OCDE.3Cet énoncé est extrait du document de l’OCDE, intitulé Promouvoir l’utilisation de l’évaluation deprogramme, publié en novembre 1997.6 L ’ é v a l u a t i o n d e p r o g r a m m e


4• l’impact ou l’évaluation des effets surles plans social et économique ou surcelui de la protection des ressources, etqui porte sur l’importance des retombéesd’un programme.Il incombe à chaque gestionnaire de déterminerles champs d’appréciation appropriéspour l'évaluation des programmesqui sont sous sa responsabilité. Ainsi, l’évaluationde programme pourra porter,notamment, sur un ou plusieurs desaspects suivants :• Les besoins : l’évaluation porte sur laraison d’être du programme, sur saconformité avec le besoin exprimé ousur les problèmes reconnus à l'origine ;• Les possibilités d’action : l’évaluationest centrée sur les objectifs initiauxet la nature du programme à offrir ;• L’implantation : l’évaluation s’intéresseau fonctionnement d’un programme,à sa dynamique et aux facteurs,tant internes qu’externes, quiinfluent sur sa mise en œuvre ;• Les résultats et les effets : l’évaluationporte sur l’atteinte des objectifs,les effets et l’impact intentionnel ounon sur la population ;• Le rendement : l’évaluation déterminesi le coût des ressources investiesjustifie les bénéfices résultant duprogramme.DES LIENS ET DES DISTINCTIONS À FAIRELa gestion axée sur les résultats etl’évaluation de programmeLa démarche de gestion axée sur les résultats,dans l’administration publique québécoise,repose sur la prise en compte desattentes des citoyens, l’atteinte de résultatsen fonction d’objectifs, d’indicateurs et decibles préétablis (notamment par unedéclaration de services aux citoyens, unplan stratégique pluriannuel ainsi qu'unplan annuel de gestion des dépenses), laresponsabilisation des intervenants, lamesure des résultats permettant le suivivers l’atteinte des objectifs et, finalement,la reddition de comptes. De ce fait, la redditionde comptes, effectuée au moyen durapport annuel de gestion, porte essentiellementsur les résultats obtenus et expliqueles écarts par rapport aux cibles fixées.L'illustration qui suit présente la démarche 4de la gestion axée sur les résultats.L'évaluation de programme permet d'appuyerl'ensemble de la démarche de gestionaxée sur les résultats. Le ou la gestionnairepeut obtenir l’évaluation de la pertinencedes objectifs, des indicateurs et descibles, ainsi que de l'efficacité et de l'efficiencedes processus, des produits et services,des mécanismes de suivi et de mesureou des retombées du programme. En finde compte, l'évaluation renseigne les gestionnairessur les résultats de cettedémarche et sur les procédés.4Source : Secrétariat du Conseil du trésorL ’ é v a l u a t i o n d e p r o g r a m m e7


Deux composantes de la démarche de gestionaxée sur les résultats présentent desliens plus étroits avec l’évaluation de programme.Il s’agit de la planification stratégiquepluriannuelle et de la reddition decomptes.La planification stratégique et l'évaluationde programmeBien que distinctes, l’évaluation de programmeet la planification stratégiquesont intimement liées.La planification stratégique définit notammentles orientations qu’une organisationsouhaite prendre, compte tenu des enjeuxauxquels elle doit faire face. Les orientationspeuvent se traduire par la modification,le maintien ou la mise en œuvre d’unnouveau programme.L’évaluation de programme permet d'apprécierla pertinence et de mesurer l’impactréel d’un programme par rapport à cequi était souhaité. Les résultats de l'évaluationde programme peuvent mêmeentraîner la modification des orientationsstratégiques ou, à tout le moins, des axesd’intervention.La reddition de comptes et l’évaluation deprogrammeDans la démarche de gestion axée sur lesrésultats, la reddition de comptes porte surla performance dans l'atteinte des résultatset s'effectue au moyen du rapport annuelde gestion 5 . Son contenu est déterminé parla Loi sur l'administration publique etconsiste essentiellement à présenter lesrésultats obtenus par rapport aux engagementspris.La reddition de comptes est soutenue parun suivi continu de la progression desrésultats. Certains des éléments de ce suivialimenteront le contenu du rapport annuelde gestion, alors que d'autres soutiendrontla gestion des activités conduisant auxrésultats.Le suivi de la performance et l’évaluationde programme sont des fonctions complémentairesqui renforcent la crédibilité de lareddition de comptes auprès des parlementaireset des citoyens. L'évaluation de programmeconcourt à la présentation d'informationopportune, fiable et crédible.Cependant, la fonction d’évaluation deprogramme est plus ponctuelle et plusciblée que le suivi de la performance. Ellepermet d'apprécier le rendement d’un programmeou de sa gestion par un examenapprofondi. Elle analyse les liens entre lesressources, les processus, les produits et lesrésultats afin d’expliquer la performanceobtenue. L’évaluation de programme permetde prendre le recul nécessaire pourproposer des ajustements adéquats auxactions mises de l’avant afin d’atteindre lesobjectifs des plans stratégiques des ministèreset des organismes.La vérification interne et l'évaluation deprogrammeCompte tenu que leurs champs d’interventionrespectifs sont très proches, il peutêtre difficile de tracer une ligne de démarcationnette entre les fonctions de gestionque sont l’évaluation de programme et lavérification interne.C’est ainsi que l’évaluateur ou l’évaluatricede programme cherchera avant tout àposer un jugement sur la pertinence etl’impact des programmes mis en place,ainsi que sur l’atteinte des objectifs établis.Pour sa part, le vérificateur ou la vérificatriceinterne procédera à l’évaluation desrisques de l’organisation et à l’analyse descontrôles nécessaires pour les gérer, demême qu’à l’examen de la pertinence et dela fiabilité de l’information de gestion disponible,ou encore, de l’économie, de l’efficienceet de l’efficacité des opérations.Il n’y a pas de barrière étanche entre l’évaluationet la vérification interne. Il peutêtre opportun pour l’évaluateur ou l’évaluatricede programme, de remettre en5Le Secrétariat du Conseil du trésor a également publié le Guide sur le rapport annuel de gestion.8 L ’ é v a l u a t i o n d e p r o g r a m m e


4question l’efficience des programmes ou lafiabilité des données. Cependant, en général,ces aspects ne seront pas à l’origine deleurs travaux.Le rapport du Groupe de travail sur l’exercicedes fonctions de contrôle et de vérification,cité précédemment, apporte la précisionsuivante : « L’utilisation des fonctionsde vérification interne et d’évaluation deprogramme augmente la crédibilité de lareddition de comptes. La première fonctionrenforce l’exercice du contrôle et la secondeappuie les choix de gestion à l’égard desprogrammes réalisés et des activités. Lesdirigeants et dirigeantes des ministères etdes organismes ont tout avantage à utiliserces fonctions comme outils de gestion ». Onmet donc en évidence le caractère complémentairede ces deux fonctions.L ’ é v a l u a t i o n d e p r o g r a m m e9


P OURQUOI FAIT- ONDE L’ ÉVALUATION DE PROGRAMME ?Les programmes font l’objet de jugementsmême sans évaluation de programme.Aussi, est-il dans l’intérêt de tous que lesjugements portés soient fondés sur unedémarche rigoureuse, systématique etméthodique plutôt que sur des idées préconçuesou des impressions subjectives. Ence sens, l’évaluation de programme sertprincipalement de soutien au processus dedécision et de planification et vise l’optimisationdes ressources. Il en découle uneamélioration de la qualité de la gestion etde la qualité dans la prestation des produitset services.L’évaluation de programme joue donc unrôle primordial dans un modèle de gestionaxée sur les résultats. En effet, elle vise àdéterminer l’efficacité relative des énoncésde politique et des programmes, à situerles relations de cause à effet et à cerner lesfacteurs expliquant le niveau de performance.Suivant ce modèle, on peut direqu’elle répond aux finalités suivantes :• procurer une information opportune,fiable et crédible sur un programme ;• porter un jugement éclairé sur la pertinenced’un programme en vue deguider le gouvernement dans sa décisionde maintenir le programme, dele développer, de le modifier ou del’interrompre ;• donner à un ministère ou à un organismeune aide opérationnelle pour laplanification, la mise en œuvre et l’administrationdes programmes en produisantl’information qui le guideradans la gestion des programmes et luipermettra d’en mesurer l’efficacité etd’en accroître l’efficience.L’évaluation de programme en matière deprise de décision présente de nombreuxavantages :• elle permet d’assurer une meilleureaffectation des ressources ; ainsi, dansun contexte de rareté, elle permet deles attribuer de façon rationnelle etd’en tirer le maximum ;• elle permet de prendre du recul, d’évalueret d’expliquer l’impact réel d’unprogramme par rapport à ce qui étaitsouhaité lors de la planification stratégique; le programme évalué pourra êtreadapté ou modifié en conséquence ;• elle favorise la reddition de comptes desgestionnaires de la fonction publiqueen ajoutant de la crédibilité aux résultatsatteints par le programme.10 L ’ é v a l u a t i o n d e p r o g r a m m e


4Q UI EST RESPONSABLEDE L’ ÉVALUATION DE PROGRAMME?Les ministères et organismes ont la responsabilitédu choix des programmes etdes processus à évaluer. Cependant, selonl’article 75 de la Loi sur l’administrationpublique, il est également possible pour leConseil du trésor, lorsque la situation le justifie,d’exiger la mise en place d’un programmed’évaluation.Les évaluations peuvent être effectuées àl’échelle gouvernementale ou multiministérielle.À l’échelle gouvernementale, elles peuventavoir différents objectifs, comme celuid’évaluer la pertinence et les résultats desénoncés de politique et des programmes quisont essentiels au respect des grandes prioritésgouvernementales, ou encore la pertinenceet les résultats de certaines pratiques degestion qui sont communes à l’ensemble del’appareil gouvernemental. Quant aux évaluationsmultiministérielles, elles sont misesen place soit pour revoir un énoncé de politiqueou un programme géré par plus d'unministère ou organisme, soit pour examinerun ensemble de programmes ou d’actions quitouchent différents ministères et dont lesrépercussions affectent un groupe particulier.Les ministères et organismesL’évaluation de programme fait partieintégrante du cycle de la gestion ministérielle.La responsabilité de cette fonctionest partagée entre le ou la sous-ministre oule dirigeant ou la dirigeante d’organisme,le coordonnateur ou la coordonnatrice del’évaluation et le ou la gestionnaire du programmeà évaluer.Le ou la sous-ministre ou le dirigeant ou ladirigeante d’organisme• est responsable de la mise en place etdu développement d’une fonctiond’évaluation répondant aux besoins duministère ou de l’organisme, ce quisignifie qu’il doit prévoir les évaluationsdès la préparation de la planificationstratégique ;• est responsable du suivi de l’évaluationet s’assure que les décisions au regarddes résultats mènent à l’action ;• met à contribution les membres ducomité de direction dans les choix stratégiquesà faire concernant, notamment,les programmes à évaluer, lesressources à affecter, la disponibilité del’expertise nécessaire. En ce qui a traità l’affectation des ressources, les choixeffectués auront une influence sur laprésence ou non d’une structure appliquéeà cette fonction et sur le personnelnécessaire ;• peut, par le truchement de la redditionde comptes du ministère ou de l’organisme,faire état des travaux effectuésen évaluation de programme pourexpliquer les écarts entre les cibles etles résultats obtenus ;• peut mettre en place, là où celaconvient, un comité consultatif poursoutenir cette fonction.Le coordonnateur ou la coordonnatrice del’évaluationLe ou la sous-ministre ou le dirigeant ou ladirigeante d’organisme pourra opter, selonle contexte organisationnel, pour unestructure permanente ou pour le partageentre des ressources internes et externesmais, peu importe la structure privilégiée,la présence d’un coordonnateur ou d’unecoordonnatrice assure le bon déroulementde l’opération. Le coordonnateur ou lacoordonnatrice assume, pour la fonctiond’évaluation de programme, les tâches suivantes:• prépare et met à jour la planificationministérielle en matière d’évaluationde programme et communique à ladirection l’information pertinente quien découle ;• développe une expertise en évaluationet affecte les ressources nécessaires àune évaluation de qualité (parexemple, engage du personnel externepour compléter l’expertise recherchéeet, ainsi, ajouter à la crédibilité des travauxd’évaluation) ;L ’ é v a l u a t i o n d e p r o g r a m m e11


• recommande des critères encadrant lapratique de l’évaluation ;• assure la qualité des évaluations.L’évaluateur ou l’évaluatrice apour tâches :• de formuler et de suggérer les questionsprécises de l’évaluation au regarddes préoccupations du ou de la sousministreou du dirigeant ou de la dirigeanted’organisme en ce qui concerneun programme, une activité, un pland’action, en vue d’une entente sur unmandat d’évaluation ;• de proposer une stratégie et uneméthode précise de nature à répondreaux questions incluant le recours à desmoyens spécifiques (sondage, parexemple) ;• de collecter les données pertinentesqui lui permettront de bien asseoir leprocessus d’évaluation et de faire lesanalyses nécessaires et utiles à la prisede décision ;• de faire participer le ou la gestionnaireresponsable et son équipe aux étapesstratégiques de la démarche d’évaluation.Cette partie est décrite plus particulièrementà la section « Comment évaluer ? »du document.Le ou la gestionnaire• participe au processus d’évaluationpour s’assurer que les opérations etleur environnement sont pris en considération;• participe à la planification de l’évaluationet à l’élaboration de la pratiqueméthodologique ;• fournit, si c’est nécessaire, du personnelà l’équipe d’évaluation ;• commente les critères, les résultats etles recommandations ;• met en place les actions retenuesdécoulant de l’évaluation.12 L ’ é v a l u a t i o n d e p r o g r a m m e


4C OMMENT ÉVALUER ?Cinq grandes étapes doivent être franchiespour assurer le bon fonctionnement d’uneévaluation :1. La clarification ou la formulation dumandatÀ cette étape, les objectifs sont définiset les bornes entre lesquelles l’évaluationdoit se dérouler sont fixées. Lebesoin d’information et le contexte deprise de décision dans lequel l’informationsera utilisée sont clairement établis.C’est le point de départ d’uncontact étroit qui lie, tout au long de ladémarche d’évaluation, la personnequi commande l’étude et celle qui estchargée de la réaliser.Le mandat doit inclure : le contexte etles enjeux dans lesquels s’inscrivent leprogramme, la problématique qui est àl’origine de la demande, les destinatairesde l’étude et les personnes qui ysont engagées, l’analyse des facteursexogènes qui influent sur les résultats,l’impact du programme sur les objectifsd'autres ministères, les objectifs d’évaluationet l’énoncé des questions auxquellesl’évaluation doit répondre, lepartage des responsabilités et, enfin,les conditions de réalisation du mandat,incluant la durée et les ressourcesnécessaires.La prise en considération du contexteest fort importante car on n’évaluepas de la même façon, par exemple,un programme de compensation desvictimes d’un sinistre conçu dans unesituation d’urgence et un programmede remboursement des dépensesadmissibles à l’intérieur d’un programmerégulier.2. La planification de l’évaluationLa planification de l’évaluation permetde dégager les points essentiels à laréalisation de l’évaluation. Elle permetd’éviter des erreurs de stratégie et deméthodologie et de raccourcir lesdélais de préparation de l’évaluation.Elle permet d’acquérir une connaissancedu programme, d’examiner lapossibilité de répondre aux « questionsd’évaluation » ou, s’il y a lieu, de lesréviser, de choisir une stratégie et d’enpréciser les modalités de réalisation enfixant le plan détaillé d’évaluation.Outre les considérations méthodologiques,la planification de l’évaluationdoit prendre en compte la disponibilitédes données et les contraintes detemps et de ressources. En ce sens, lesresponsables de l’évaluation doiventsensibiliser le ou la sous-ministre, ledirigeant ou la dirigeante d’organismeaux délais et aux coûts qu’implique larecherche des réponses aux questionsprécisées dans le mandat de l’évaluationde programme.3. La réalisation de l’évaluationLa réalisation d’une évaluation s’effectueen trois phases : la collecte de l’information,l’analyse de l’information,la préparation des rapports d’analyse.Cette dernière étape exige la participationdes gestionnaires pour exercer unsuivi et rectifier le cours des activitésd’évaluation, s’il y a lieu, en tenantcompte des objectifs et des difficultés.Tous les responsables de l’évaluation doiventaussi collaborer activement à l’analyseet à l’interprétation des résultats.Lorsque la réalisation d’une évaluationde programme exige l’utilisation derenseignements personnels, la collectede ceux-ci doit se faire dans le respectdes règles établies à cet égard. Un renseignementpersonnel est confidentiels'il se rapporte à une personne physiqueet s’il permet de l'identifier. Lasection II de la Loi sur l'accès aux documentsdes organismes publics et sur laprotection des renseignements personnelsprésente les conditions de collecte,L ’ é v a l u a t i o n d e p r o g r a m m e13


de conservation et d'utilisation de renseignementsnominatifs.En cas d'incertitude lorsqu'il s'agit d'assurerla protection des renseignementspersonnels, on peut consulter le ou laresponsable de la protection des renseignementspersonnels de son ministèreou de son organisme ou laCommission d'accès à l'information.5. Le bilan de l’utilité de l’évaluationEn dernier lieu, il convient d’examiner jusqu’àquel point l’évaluation aura été pertinenteet efficace, c’est-à-dire utile.4. L’utilisation des résultatsL’utilisation des résultats de l’évaluationde programme comme aide à laprise de décision constitue l’aboutissementet la raison d’être de cettedémarche. Les conclusions de l’évaluationpermettent de mesurer l’écartentre les résultats obtenus et lesrésultats attendus. Au regard de lagestion axée sur les résultats, lesconclusions des travaux de l’évaluationpeuvent mener à revoir la planificationstratégique.À cet égard, il est important pour le oula gestionnaire d’intégrer les décisionsdécoulant de la conclusion des travauxen évaluation dans son plan d’actionannuel et d’adopter une stratégie dediffusion appropriée qui permettra lamise en oeuvre des décisions prises.Le ou la sous-ministre ou le dirigeantou la dirigeante de l'organisme est responsabledu rapport d'évaluation produit.La diffusion totale ou partielle durapport reste, en tout temps et conformémentà la Loi sur l'accès aux documentsdes organismes publics et de laprotection des renseignements personnels,du ressort du ou de la sousministreou du dirigeant ou de la dirigeanted'organisme. Il leur revientaussi de faire en sorte que les décisionsissues des résultats de l'évaluationmènent à l'action.14 L ’ é v a l u a t i o n d e p r o g r a m m e


4Le graphique qui suit illustre les étapes d’une évaluation de programme. Dans les faits, cesétapes ne suivent pas nécessairement une séquence linéaire. En effet, dans certains cas, onprivilégiera une démarche circulaire où les mouvements d’aller et de retour entre les différentesétapes seront possibles et parfois même indispensables.LES GRANDES ÉTAPES DE LA DÉMARCHE D’ÉVALUATIONLa clarification ou la formulation du mandat➩ Définir les objectifs ➩ Établir le besoin d’information ➩ Déterminer le contexte de prisede décision et les ressourcesnécessairesLa planification de l’évaluation➩ Acquérir la connaissance ➩ Choisir une stratégie d’évaluation ➩du programmeLa réalisation de l’évaluation➩ Recueillir l’information➩ Analyser l’information ➩L’utilisation des résultats➩Prise en compte des conclusions de l’évaluationdans le processus de décisionLe bilan de l’utilité de l’évaluation➩ ➩ ➩ ➩Préciser les modalités de réalisationen fixant le plan détaillé del’évaluationPréparer les rapports d’analyse➩ Adopter une stratégie de diffusion des résultats➩Évaluer la pertinence et l’efficacité de l’évaluationL ’ é v a l u a t i o n d e p r o g r a m m e15


L ES CONDITIONS DE RÉUSSITE DEL’ÉVALUATION DE PROGRAMMELe succès de la mise en place d’une fonction d’évaluation de programme ou de la conduited’une démarche d’évaluation est conditionnel à l’observation de certains principes etrepose sur les éléments suivants :• un appui ferme du ou de la sous-ministre ou du dirigeant ou de la dirigeanted’organisme ;• un leadership exercé par l’équipe d’évaluation de programme à tous les niveaux de lachaîne hiérarchique ;• une compréhension partagée de la portée de l’évaluation entre le ou la sous-ministreou le dirigeant ou la dirigeante d’organisme et le coordonnateur ou la coordonnatrice,l’évaluateur ou l’évaluatrice et les gestionnaires, dès l’acceptation du mandat ;• une démarche d’évaluation effectuée par du personnel possédant l’habileté, les connaissanceset l’expertise nécessaires ;• une détermination des ressources nécessaires à l’évaluation de programme dès l’affectationdu budget ;• un arrimage entre l’évaluation de programme et la démarche de gestion axée sur lesrésultats ;• une définition d’objectifs clairs et d’indicateurs mesurables en fonction de l’atteinte desrésultats escomptés dès l’élaboration d’un nouveau programme ;• un cadre d’évaluation et un système d’information adéquats qui assureront la qualitéde l’évaluation ;• une stratégie et une méthode appropriées à l’environnement du programme.16L ’ é v a l u a t i o n d e p r o g r a m m e


4A NNEXER ÉSISTANCES PARFOIS MANIFESTÉES DEVANT UNEDÉMARCHE D’ ÉVALUATIONET PISTES DE SOLUTIONL ’ é v a l u a t i o n d e p r o g r a m m e


4C OMMENT ÉVALUERRésistancesCrainte que l’évaluation conduise àl’élimination du programme.Crainte que l’information obtenuegrâce à l’évaluation soit utilisée àd’autres fins.Crainte que l’évaluation repose surdes outils de mesure inadéquats etdifficiles à utiliser.Crainte de perdre le contrôle del’information fournie par l’évaluationet des décisions qui en découleront.Crainte que l’évaluation ait peud’effet sur la prise de décision àvenir.Pistes de solutionSe rappeler qu’une évaluation négative conduit rarement à l’abolition d’unprogramme. Une évaluation, même défavorable, conduit plus souvent àl’amélioration ou au raffinement du programme existant. La participation dupersonnel à l’élaboration du processus, dès le début et tout au long de ladémarche, contribue généralement à atténuer ces craintes.Expliquer clairement, à l’étape de la planification, les méthodes de collecte dedonnées qui seront utilisées. Suivre le plan prévu et, dans le cas contraire, bieninformer les partenaires des raisons des modifications apportées au plan initial.Il est important de préciser, dès le départ, que l’évaluation de programme nevise pas à évaluer le rendement individuel, c’est-à-dire la qualité du travail despersonnes.Mettre au point des outils d’évaluation simples. S’assurer que les outils ouinstruments de mesure utilisés ou développés conviennent à l’évaluation en cours.Procéder à l’évaluation au fur et à mesure du déroulement du programme oude l’activité permet aux acteurs en présence de suivre davantage la démarche.L’information fournie par l’évaluation peut, au contraire, permettre auxpartenaires d’exercer un suivi sur le programme ou l’activité évaluée.Garder en tête que l’évaluation ne se déroule pas dans un contexte neutre etqu’elle est un outil parmi d’autres d’aide à la prise de décision. Tenir comptedu point de vue des différents acteurs en place permet de maximiser l’utilitéde la démarche et sa légitimité aux yeux des personnes qui seront appelées àmettre les recommandations en application.18 L ’ é v a l u a t i o n d e p r o g r a m m e


4RésistancesCrainte que la remise en question decertains aspects d’un programmemette en cause la réputationprofessionnelle du ou de lagestionnaire.Crainte que l’évaluation se substitueau jugement et aux observations dupersonnel visé par le programme oul’activité.Crainte que l’évaluation accapare desressources qui pourraient être utiliséesdans l’exécution du programme.Crainte que des attentes irréalistessoient exprimées quant aux effetsd’un programme bonifié à la suited’une évaluation.Crainte que des pressions induess’exercent de la part de certainsgroupes visant à orienter la conduitede l’évaluation.Pistes de solutionVouloir évaluer un programme ou une activité montre, au contraire, unepréoccupation et le désir d’offrir les meilleurs services possibles.Tenir compte du fait que le personnel participant peut fournir une informationpertinente sur différents aspects du programme évalué. Cependant, faire appel àdiverses sources de données augmente la possibilité de poser un jugement valablesur le programme. En donnant au personnel participant l’occasion de se prononcersur le plan d’évaluation et sur les résultats obtenus, on atténue ses craintes devoir son jugement supplanté par des questionnaires ou des instruments de mesure.Prise au premier degré, cette crainte peut paraître fondée. Il faut toutefois avoiren tête que la finalité de l’évaluation est l’amélioration des programmes existants.Affecter des ressources à des programmes dont la valeur n’a pas été établie neconstitue pas un choix judicieux pour un ou une gestionnaire. Une évaluationbien conduite peut contribuer à faire connaître la qualité du travail accompli etla pertinence du programme, et même favoriser un meilleur financement duprogramme par la suite. Il est important de savoir qu’il est possible de réaliserune évaluation valable avec des ressources financières limitées.Aider le personnel à établir des critères de succès réalistes. Il faut être conscientqu’une légère amélioration expérimentée par plusieurs personnes peut avoir uneffet global important.Maîtriser ces influences en mettant en place un comité consultatif pourl’évaluation qui sera en mesure de gérer la pression externe.Source : Adapté du Cadre de pratique pour l’évaluation de programme - application en promotion de la santé eten toxicomanie, publié par le ministère de la Santé et des Services sociaux, 1998.L ’ é v a l u a t i o n d e p r o g r a m m e19


4RC ÉFÉRENCES OMMENT ÉVALUER THÉMATIQUES *Certaines références permettent, à l’aide de liens, de naviguer dans une multitude de sites Webassociés à la fonction d’évaluation de programme. De plus, d’autres sites ont été développés pourpermettre les échanges entre évaluateurs et évaluatrices. Deux références sont utiles à ce sujet : ils’agit, pour la gestion publique sur le plan international, de GOVTEVAL [Majordomo@nasionet.net]et, sur le plan local, du groupe de discussion électronique de la Société québécoise d’évaluation deprogramme (SQEP) [sqep@qesn.meq.gouv.qc.ca]. La page d’accueil du site Web de la SQEP[www.evaluationcanada.ca/sqep] indique de quelle façon on peut adhérer à ce groupe de discussion.SUR LE PLAN DE L’ÉTHIQUEIl existe, sur ce sujet, une vaste documentation qui a été synthétisée, notamment par la Société canadienned’évaluation, à l’intention de ses membres :• LA SOCIÉTÉ CANADIENNE D’ÉVALUATION (français/anglais).[www.evaluationcanada.ca/ethicsf.html].SUR LE PLAN DES NORMESLes diverses associations professionnelles dans le domaine de l’évaluation se réfèrent, en matière denormes, au « Joint Committee on Standards » et au Secrétariat du Conseil du Trésor du Canada, organismespour lesquels les références sont les suivantes :• SANDERS, James R. The Program Evaluation Standards, The Joint Committee on Standards forEducational Evaluation, Sage Publications, 1994.[www.wmich.edu/evalctr/jc] et [www.twu.edu/hs/hs/hs5483/stdsev.htm].• SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Normes d’évaluation dans les ministèreset les organismes fédéraux (français/anglais).[www.tbs-sct.gc.ca/Pubs_pol/dcgpubs/TBM_161/CHAP3-2_f.html].SUR LE PLAN DE LA MÉTHODOLOGIECertaines organisations représentent des sources maîtresses en matière de méthodologie ; il s’agit,notamment, du Secrétariat du Conseil du Trésor du Canada, de l’Organisation de coopération et dedéveloppement économiques (OCDE) et du General Accounting Office (GAO) aux États-Unis. On peutconsulter les sites Web suivants :• COMMISSION D’ÉVALUATION DE L’ENSEIGNEMENT COLLÉGIAL. Les rapports d’évaluation.[www.ceec.gouv.qc.ca/].• SANTÉ ET SERVICES SOCIAUX. Les indicateurs et la gestion par résultats (voir CollectionsPlanification-Évaluation).[www.msss.gouv.qc.ca/fr/document/index.htm].• SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (français/anglais).[www.tbs-sct.gc.ca/ep/contenu.htm].• OCDE. Vers de meilleures pratiques de l’évaluation : Guide des meilleures pratiques à suivrepour l’évaluation (Site de l’OCDE ➡ Documents en ligne ➡ Gestion publique ➡ La gestion desperformances) (français/anglais).[www.oecd.org].• GAO. General Accounting Office, Washington. Designing Evaluations.[www.gao.gov/policy/10_1_4.pdf].*Certaines adresses Internet peuvent avoir été modifiées depuis la parution du présent document.20 L ’ é v a l u a t i o n d e p r o g r a m m e


4• INSPECTOR GENERAL FOR THE DEPARTMENT OF HUMAN AND HEALTH SERVICES (USA). PracticalGuide for Public Managers.[www.dhhs.gov/progorg/oei/other/pepm.pdf].• FRIEDMAN, Mark. A Guide to Developing and Using Performance Measures in Results-basedBudgeting, May 1997.[www.financeproject.org/results.html].SUR LE PLAN DE LA PROTECTION DES RENSEIGNEMENTS PERSONNELS• Commission d'accès à l'information.[www.cai.gouv.qc.ca].• La fonction contrôle et de surveillance de la Commission d'accès à l'information.[www.cai.gouv.qc.ca/fr/avis_r.htm].• Décisions rendues par la Commission et les jugements des tribunaux supérieurs, y compris laCour d'appel, composant la jurisprudence en matière d'accès aux documents administratifs etde protection des renseignements personnels.[www.cai.gouv.qc.ca/fr/dec_r.htm].• Pratiques équitables de traitement de l'information établie par l'Organisation de coopérationet de développement économiques (OCDE), Lignes directrices régissant la protection de la vieprivée et les flux transfrontières de données de caractère personnel, 1981, I.L.M. 422, O.C.D.E.,doc. no C(80)58, version finale.[www.oecd.org//dsti/sti/it/secur/prod/priv-fr.html#lignes].L ’ é v a l u a t i o n d e p r o g r a m m e21


4BC IBLIOGRAPHIEOMMENT ÉVALUERCONSEIL DE LA SCIENCE ET DE LA TECHNOLOGIE. Pour une évaluation de la performancedes programmes de science et de technologie, Québec, 1997, 65 p.GOVERNMENT OF MANITOBA. The Management Practices Guide, 1996, 105 p.GROUPE DE TRAVAIL SUR L’EXERCICE DES FONCTIONS CONTRÔLE ET VÉRIFICATION DEL’ADMINISTRATION PUBLIQUE QUÉBÉCOISE. Rapport, juillet 1998, 26 p.GROUPE DES RESPONSABLES DE L’ANALYSE ET DE L’ÉVALUATION DE PROGRAMME.L’analyse de programme au gouvernement du Québec : un atout pour le citoyen, Québec,1992, 8 p.INSTITUT CANADIEN DES COMPTABLES AGRÉÉS. « Recommandations sur l’évaluation ducontrôle », Contrôle, risque et gouvernement d’entreprise, numéro 3, avril, Toronto,avril 1999, 50 p.MARCEAU, R., D. Otis et P. Simard sous la direction de R. Parenteau. « La planificationd’une évaluation de programme », dans Management Public. PUQ, 1992, p. 445-480.MINISTÈRE DE L’ÉDUCATION, Service d’évaluation de programme. La démarche, Québec,1988, 15 p.MINISTÈRE DE LA SANTÉ ET DES SERVICES SOCIAUX. Cadre de pratique pour l’évaluation deprogrammes, Québec, 1998, 130 p.OCDE. Guide des meilleures pratiques à suivre pour l’évaluation, Paris, 1997, 9 p.OCDE. Promouvoir l’utilisation de l’évaluation de programme, Paris, 1997, 41 p.PLANTE, Jacques. Évaluation de programme, Société québécoise d’évaluation de programme,Québec, 1996, 86 p.SECRÉTARIAT DU CONSEIL DU TRÉSOR. Étude comparative sur l’évolution des pratiquesd’évaluation de programme dans certaines juridictions, février 1999.VÉRIFICATEUR GÉNÉRAL DU QUÉBEC. La gestion par résultats. Les conditions favorables àson implantation. Extrait du rapport à l’Assemblée nationale pour l’année 1998-1999,Tome II, Québec, 1999, p. 301-332.22 L ’ é v a l u a t i o n d e p r o g r a m m e

More magazines by this user
Similar magazines