Intersection, no 27 - août 2005 - Ministère de la Sécurité publique

SPÉCIAL SÉMINAIRE 2004ÉVALUER : POUR QUOI FAIRE ?Allocution de clôture de Daniel Sansfaçon, Ph. D., directeur général par intérim du Centre internationalpour la prévention de la criminalitéL’évaluation, tout le monde en parle. Beaucoup en font. Mais elle n’apas toujours bonne presse, loin de là. Dans le domaine de la police,plus spécialement encore de la police préventive, l’évaluation estaussi une démarche qu’il n’est pas facile de mener. On s’en remettrale plus souvent à des mesures de la satisfaction des clients (deshabitants, par exemple) ou dans le meilleur des cas à une mesurede la mise en œuvre du programme – ce qui a été fait, auprès de qui,dans quelles circonstances. Quant à la mesure des effets, à savoirquels résultats ont été obtenus, et a fortiori du rapport coûts-bénéfices,elle est rare. Pourtant, les besoins sont réels. Un exemple seulement:le Centre international pour la prévention de la criminalité a dirigé, en2004, un travail préliminaire de comparaison des approches dans diverspays sur la présence policière àl’école. Il s’agit d’une pratiquetrès répandue, qui signifie desinvestissements importants, maissur les répercussions de laquelleon connaît encore très peu dechoses.Évaluer, c’est se donner un outild’aide à la décision pour suivreet éventuellement modifier, voireabandonner un programme, uneintervention. Mais évaluer, c’estaussi se donner un outil pourclarifier les objectifs visés par uneintervention, préciser l’enchaînementlogique des actions et les résultats escomptés, mieux observerle déroulement de l’intervention, et par là mieux agir.Trois types d’évaluationsOn distingue généralement trois objets de l’évaluation, qui sont autantde moments distincts. Le premier concerne l’intervention elle-même,sa mise en œuvre, les processus qui l’ont accompagnée. C’est l’évaluationde l’effectivité, qui renvoie à la question de savoir ce qui aété effectivement fait. Entre l’étape de sa conception et celle de samise en œuvre, un programme, une intervention ne sont pas identiques.Il est important de connaître ces différences, notamment si l’on viseà étendre ou à reproduire ailleurs le programme. Plus important encore,l’étude de l’effectivité doit renseigner sur ce qui est réellement fait.Autrement dit, elle doit permettre de dire d’une intervention réussiece qui fait qu’elle a réussi: pourquoi la présence policière à l’écoleréussit-elle à réduire des facteurs de risque de délinquance? Ce peutêtre aussi bien la seule présence d’un uniforme, les caractéristiquesparticulières d’un policier, la manière dont l’école a intégré sa présenceà un programme plus vaste, ou une combinaison de ces facteurs etd’autres encore. Trop souvent, l’évaluation des répercussions –l’efficacité dont il est question ensuite – n’inclut pas une descriptionÉvaluer, c’est se donner un outil d’aide à la décisionpour suivre et éventuellement modifier, voire abandonnerun programme, une intervention. Maisévaluer, c’est aussi se donner un outil pour clarifierles objectifs visés par une intervention, préciserl’enchaînement logique des actions et les résultatsescomptés, mieux observer le déroulement del’intervention, et par là mieux agir.et une analyse fine des caractéristiques de l’intervention. Lorsqueviendra le temps de reproduire le programme ou de former les intervenants,il sera difficile de savoir exactement ce qui doit être fait.Le deuxième objet de l’évaluation concerne les effets. Il s’agit icide déterminer si l’intervention a changé quelque chose à la situationvisée. C’est là que les questions de méthode sont le plus souventvivement débattues. En effet, il faut être en quelque sorte capablede déterminer avec confiance que la différence observée est biendue à cette action, à ce programme, et non à autre chose. Éliminer,en jargon de recherche, les autres hypothèses. Or, non seulementest-on rarement capable, surtout dans le domaine de la prévention surdes ensembles sociaux plutôt que sur des personnes dans des situationsmaîtrisées – de contrôlerl’ensemble des variables quipourraient expliquer la différenceobservée mais, de surcroît,nous sommes d’avis que ce n’estpas nécessaire, d’autant que cesapproches d’évaluation sont coûteuseset lourdes à manipuler.Enfin, le troisième temps, leplus rarement atteint d’autantqu’il repose sur l’obligationd’avoir d’abord complété lesdeux étapes précédentes, c’estl’évaluation de l’efficience,c’est-à-dire du rapport coûtsbénéficesd’une part et du rendement d’autre part. Autrement dit,globalement, il s’agit de déterminer si l’intervention était rentablepar rapport au coût de l’inaction ainsi que si cette interventionétait plus économique qu’une autre intervention.Comment évaluer ?Les grandes étapes de l’évaluation consistent généralement àdéterminer des objectifs et à les traduire en actions, à produire undevis de recherche incluant la méthodologie, à définir des indicateursde mesure qui mèneront à la production des instruments decollecte de données, à analyser et à interpréter, et éventuellement àpréparer des recommandations. Il est habituel de consacrer beaucoupde temps et d’énergie au devis et en particulier à la méthodologie: planà mesure unique ou de type quasi expérimental, mesures qualitativeset/ou quantitatives, etc. Pourtant, on oublie alors deux étapes essentielles.La première : impliquer les acteurs ; nous y revenons auparagraphe suivant. La seconde, tout aussi importante: reconstituerla chaîne logique, avec les acteurs, des postulats qui ont mené àchoisir cette intervention (pourquoi cette intervention?), les objectifspoursuivis (que veut-on accomplir?) et les moyens mis en œuvre(comment?). En effet, et la réalité des interventions montre que c’est4 INTERSECTION, N 0 27