Evaluation des politiques d'emploi Méthodologie et ... - COE

Evaluation des politiquesd’emploiMéthodologie et EnseignementsBruno CréponMarc FerracciLaurent Lequien

Quelques questions introductives• L'effet des politiques d'emploi est-il celui que l'onattend?• Peut on mesurer cet effet?• Peut on apprendre sur les politiques passées pouroptimiser les politiques futures• Sommes nous équipés pour le faire• Jusqu'où peut on apprendre des expériencesétrangères?

Qu’est ce que l’évaluation(telle qu’elle s’est développée récemment)• Développement récent des méthodes depuis 15 ans(Heckman…)• Basée sur des données microéconomiques• Suivi des individus bénéficiant d’une politique,avant, pendant, après.• Contraste entre la situation d’individusbénéficiant ou non de la politique• Seule des politiques ne concernant pas la totalitéde la population sont concernées

Quelques exemples• Stages de formation : une partie deschômeurs participe à des stages deformation d’autres non• Emplois subventionnés du secteur public oudu secteur privé• Prime de retour à l’embauche• Politique d’accompagnement des chômeurs

Trois niveaux d’évaluationAspectinterne dela politiqueAspectexterne1. Les effets mesurés vont-ils dans le sensattendu?2. Identifier les déterminants du comportementdes individus face au dispositif3. Effet global du dispositif sur la société, etnon plus seulement sur les traités – quelseffets induitsBut éventuel: étendre le dispositif à toute la population

Quels enseignements tire-t-on desévaluations effectuées• On peut dans certains cas apprendre surl'ensemble des points précédents• Avec un degré de fiabilité décroissant• A la première question et parfois ladeuxième on peut répondre et produire desrésultats qui ont la force de l’évidence.• Ceci impose néanmoins un effort

Individus«traités»Variable derésultatobservéeIndividus«traités » si ilsn’avaient pasété traitésVariable derésultatinobservéeIndividus« non traités »Variable derésultatobservéeEvaluation effectuée =résultat des traités par rapport au résultat des non traitésVrai effet de la mesure =résultat des traités par rapport à ce qu’ils auraient été siils n’avaient pas été traités

Evaluation effectuée= situation des traités – situation des non traités= situation des traités – situation des traités si ilsn’avaient pas été traités+ situation des traités si ils n’avaient pas ététraité – situation des non traité= Vrai effet de la mesure+ effet populationLe problème central dans l’évaluation est dedissocier dans les évolutions observées ce quitient à l’effet de la mesure de ce qui tient à lapopulation

Expérimenter• L’expérimentation permet de résoudre le problèmede l'effet population.• Tirer deux populations (assez grandes) au hasarddans la population éligible et affecter l’une d’entreelle au traitement.• Le tirage au hasard (et la grande taille)garantissent que les populations sont semblablesen tout autre point que le traitement

Autres méthodes● Informations riches sur les caractéristiques:Apparier chaque traité avec un non traité identiqueen tout caractéristique observable● Informations riches sur les trajectoires: Tirerparti du fait que les individus sont traités àdifférents moments● Suivi de populations éligibles et non éligiblesavant et aprés : appréciation grossièreBien mais les résultats restent sujets à la critiqueSeules les expérimentations produisent desrésultats indiscutables

Différentes politiques favorisantle retour à l’emploi - Exemples• SSP (Canada). Prime perçue si retour à l’emploi.Durée: 36 mois. Dispositif expérimental• EITC (USA). Crédit d’impôt.Durée: illimitée, 5140 $ maximum*.• WFTC (UK). Crédit d’impôt.Durée: illimitée, 6000 £ maximum*.• Prime pour l’emploi (FR). Crédit d’impôt.Durée: illimitée, 475€ maximum*.* Chiffres OCDE 2005, valables pour un couple avec un enfant

L’expérience du SSPContexte:– Dispositif ciblé sur les parents isolés– Eligibilité: retrouver un emploi, après avoirperçu pendant un an un revenu d’assistance– Prime perçue pendant 3 ans tant que l’on a unemploiEffets significatifs sur le retour à l’emploi

Source: Card, Hyslop, 2004SPP – Taux d’emploi

SSP – Identifier les comportementsLe SSP est une expérience contrôléePossibilité de mettre en évidence un effetdirectPossibilité d'estimer (aisé) et de validerd'un modèle de comportementPossibilité de simuler l'effet de variation desparamètres du dispositif

SSP – Un modèle structurel quirend bien compte de la situationSource: Card, Hyslop, 2004

SSP – Simulation de variantesSource: Card, Hyslop, 2004

SSP- Effets de bouclage• Quantifier l’effet sur les bénéficiaires du SSPUn consensus existe sur les méthodes, lesrésultats sont robustes. Analyses coûts bénéficesau niveau des bénéficiaires.Question importante: comment évaluer l’effet duSSP sur la société?Analyse coûts/bénéfices global beaucoupplus complexe. Beaucoup d'hypothèses.L'évaluation en dépend. On n'a plus l'évidenceprécédente

Evaluations frustres mais résultatsessentiels EITC et WFTC• Deux programmes similaires :– EITC (USA).– WFTC (UK).• Subvention du retour à l’emploi par créditd'impôt• Quels effets? Quelles différences?Comment les comprendre ?

Earned Income Tax credit• Crédit d’impôts pour les bas revenus, créé en 1975 destinéaux individus ayant des enfants• Grande réforme en 1986. Crédit beaucoup plus généreux :le retour à l'emploi est beaucoup plus attractif• Cette réforme n’a théoriquement pas d’effet sur lesfemmes sans enfants• Principe de l’évaluation: comparer les différences d’offrede travail entre les femmes avec et sans enfants, avant etaprès la réforme• Limitation: pas de modèle structurel, on mesure seulementl’effet global, et on ne connaît pas le mécanisme en jeu

Participation des femmes (sans diplomes)Femme avecenfant avant 19860,479Femme avecenfant après 19860,497Différence=0,018Femme sansenfant avant 19860.784Femme sansenfant après 19860,761Différence= - 0,023Différence de différence = 0,018 -( - 0,023) = 0,041

WFTC• Programme similaire à l’EITC• Même méthode d’évaluation, mais résultat différent:cette réforme n’a pas marché aussi bien que l’EITCon ne sait pas pourquoi cette réforme n’a pas l’effet escompté…• Une réponse assez grossière et une compréhensionlimitéeMeilleures données, meilleur cadre d’observation:permettrait l'estimation d'un modèle expliquantpourquoi EITC marche et pas le WFTC

Cas de la France:Spécificités de la PPE• Prime de retour l'emploi• Montant relativement faible (10 fois moins qu’auxUSA)• Versée en une foisPeu d'études : à priori, la PPE a au mieux un effetmodeste et temporaire sur le retour à l’emploi

Les politiques actives d’emploi• Trois outils essentiels:- Formation- Contrats aidés dans le secteur marchand ou nonmarchand- Subventions à l’embaucheRésutats• Proximité du marché du travail gage de succés –éloignement peu devenir néfaste• Faible effet de la formation sur la sortie du chômage,voire négatif (effet de lock-in). Impact sur la qualité del’emploi retrouvé mal connu• Des publics différents appellent des mesures différentes

Politiques en Suisse (Sianesi 2001)

Des résultats qui font consensus• Des résultats là où les données existent• Suisse– Appariement : Gerflin et al.– Durée : Lalive et al.• France– Brodaty Crépon Fougère– Even et Klein (panel de la DARES)

févr-02mai-02août-02nov-02févr-03nov-01août-01mai-01févr-01nov-00août-00mai-009080706050403020100août-97nov-97févr-98mai-98août-98nov-98févr-99mai-99août-99nov-99févr-00Source : Dares, Panel des bénéficiaires de politique d'emploiSource : Even Klein 2005CIETémoins

févr-02mai -02août-02nov-02févr-03nov-01août-01mai-01févr-01nov-00août-006050403020100août-97nov-97févr-98mai-98août-98nov-98févr-99mai-99août-99nov-99févr-00mai-00Source : Dares, Panel des bénéficiaires de politique d'emploiCEStémoins

févr-02mai-02août-02nov-02févr-03nov-01août-01mai-01févr-01nov-00nov-97févr-98mai-98août-98nov-98févr-99mai-99août-99nov-99févr-00mai -00août-00août-976050403020100Source : Dares, Panel des bénéficiaires de politiques d'emploiSIFETémoins

Contrôle - Sanctions - Accompagnement• Les politiques modifiant Contrôle, Sanctions etAccompagnement modifient fréquementl'ensemble de ces paramètres à la fois• Difficile d'identifier l'effet précis de l'un d'entreeux.

Le contrôle de l’effort effectif derecherche: effets différenciés• Van den Berg et VD Klauw (2004) => aucuneffet significatif sur le retour à l’emploi desindividus les plus employables du contrôle .• Dolton et O’Neill, 1996 ; Blundell et al.2004 efficace lorsque ciblé sur des individusdont les perspectives d’emploi sont plusmauvaises.Conclusion: profilage condition d'efficacité d’unsystème de contrôle

L’effet positif des sanctions sur le retourà l’emploi• Abbring et al. (2005) => les sanctions doublentdurablement les taux de sortie du chômage auxPays-Bas.• Van den Berg et al. (2005) résultats similaires etde même ampleur pour des individus recevant unrevenu d’assistance aux Pays-Bas.• Lalive et al. (2002) : l’avertissement préalableaux sanctions augmente aussi le taux de sortie.

Efficacité de l’accompagnement et del’aide à la recherche d’emploi• Crépon, Gurgand, Dejemeppe : Effets positifs,sur la sortie du chômage mais plus forts sur ladurée de l’emploi retrouvé• Van den Berg et Van der Klauw (2004): faibleeffet sur le retour à l’emploi carl’accompagnement est réduit, au profit ducontrôle• Expérimentation aux Etats Unis :effets positifde l'accompagnement

Conclusion• A l'évidence, l'effet des politiques n'est pas toujourscelui que l'on attend• On peut apprendre des expériences étrangères maison ne peut pas que s'appuyer sur elles• Evaluer les politiques d'emploi en France se heurteà plusieurs difficultés– Réticence à la mise en oeuvre d'expérimentation– Absence de fichier longitudinaux : suivi desindividus, chômage-dispositifs-emploi.– Problème du passage de l'étude à une évaluationpartagée reconnue institutionnellement