"Est-ce que ça marche ? Evaluation aléatoire d'un dispositif de formation des jeunes adultes"

Intervenants

• Philippe Zamora. Economiste, chercheur au Centre de recherches en économie et statistique (CREST-INSEE), associé au Abdul Lateef Jamil Poverty Action Lab (J-PAL Europe, Ecole d'économie de Paris). Il a travaillé auparavant à la Dares (Ministère du travail), où il a été chef du département "Formation professionnelle et insertion des jeunes".

• Cécile Campy. Responsable du Développement pour l'Association Nationale des Groupements de Créateurs (ANGC) qui coordonne le réseau des associations de Groupements de créateurs travaillant avec les missions locales de l'emploi.

Cette session était consacrée à une méthode d'évaluation des programmes publics développée récemment par les économistes en France, les évaluations aléatoires ou randomisées, et à leur mise en oeuvre pour évaluer un programme d'insertion sociale et professionnelle des jeunes. Elle a proposé un dialogue entre un économiste et un porteur de projet : Philippe Zamora, économiste économètre réalisant des évaluations aléatoires au CREST (Insee), et Cécile Campy, représentant l'Association Nationale des Groupements de Créateurs (ANGC), s'apprêtant à faire une expérimentation de type "ECR"[1] pour évaluer le dispositif d'accompagnement et de formation proposé par les Groupements de Créateurs. Cette session a montré que les évaluations randomisées sont des outils puissants et prometteurs, en raison de leur capacité à résoudre tous les problèmes de sélection, mais qu'ils ne sont pas sans poser de problèmes notamment dans leur application pratique, sur le terrain. Elle a mis en évidence la nécessité d'une forte coordination entre les évaluateurs et les praticiens.

La présentation de Philippe Zamora

Télécharger le diaporama de présentation de Philippe Zamora.

Dans un premier temps, Philippe Zamora a présenté le principe général des évaluations randomisées, les implications de cette méthode d'évaluation pour les économistes et ses principales limites.

Le principe général des ECR

Philippe Zamora estime que la méthode des évaluations aléatoires est assez révolutionnaire car elle change de manière fondamentale l'évaluation des politiques publiques.

Le champ de l'évaluation des politiques publiques a connu une autonomisation progressive. Des méthodes spécifiques ont été développées, en particulier des méthodes inspirées de l'épidémiologie et de la médecine s'appuyant sur la notion de «traitement» (introduite par D. Rubin dans les années 1960[2]). Dans le domaine médical, pour tester l'efficacité d'un médicament, on réalise des essais cliniques randomisés en comparant le groupe test ou traité (qui reçoit le médicament) au groupe de contrôle (qui ne reçoit qu'un placebo). Cette méthode d'expérimentation est appliquée par les économistes pour évaluer des politiques publiques en comparant un groupe bénéficiaire d'un dispositif et un groupe non bénéficiaire. Il est possible de comparer les effets d'un programme à ce qu'il se serait passé s'il n'avait pas été introduit, à condition que la taille des groupes soit suffisante. Le principe général des évaluations randomisées est de chercher à mesurer l'impact causal des médicaments en médecine et des dispositifs sociaux dans le champ socio-économique, y compris de certaines politiques macroéconomiques (allègements de cotisations sociales par exemple). Les économistes s'efforcent alors de construire «un anti-monde» par des raisonnements mathématiques et des formalisations très précises de la causalité.

L'autre spécificité des évaluations aléatoires par rapport aux méthodes habituelles est qu'elles sont réalisées ex ante et non pas ex post. La plupart des évaluations des politiques publiques se font sur des «données observationnelles». Des groupes tests et des groupes témoins sont reconstitués après la mise en oeuvre du dispositif, certaines personnes n'en ayant pas bénéficié du fait des hasards de la décision publique. Ces inégalités produites par les décisions publiques sont exploitées par les économistes : ils disposent ex post de deux populations comparables puisque les raisons pour lesquelles elles ont été «traitées» ou pas sont considérées comme purement aléatoires. A l'inverse, les évaluations aléatoires sont pensées au moment même de la définition du programme. Elles cherchent à constituer des groupes témoins totalement identiques et à intercaler un tirage au sort à un moment du processus de sélection vers les dispositifs. Le tirage au sort assure que les groupes sont strictement identifiables l'un à l'autre si leur taille est suffisamment grande. Ainsi, toute différence statistiquement significative entre les deux groupes pourra être attribuée de manière quasi-certaine à l'impact du programme. La notion de causalité est au coeur de cette méthode.

Les implications pour l'économiste

Philippe Zamora explique ensuite pourquoi cette méthode d'évaluation révolutionne la démarche de recherche des économistes.

D'abord, elle implique inévitablement une association entre le chercheur et le porteur de projet. Pour l'économiste ou l'économètre, ce rapprochement avec le terrain est fécond. Il lui permet de confronter ses formes structurelles aux résultats pratiques, il l'oblige à construire des données de suivi en collaboration avec les praticiens. Par ailleurs, le travail en amont de l'étude prend plus de place et le coût devient davantage organisationnel et moins technique. Enfin, cette méthode d'évaluation comporte une dimension éthique incontournable. Sa transposition dans le domaine social n'est pas évidente, elle rencontre des résistances. L'expérience des études épidémiologiques dans ce domaine peut servir de guide dans les discussions avec les porteurs de projet.

Philippe Zamora fait un rapide historique de la diffusion de la méthode des évaluations randomisées, avant d'évoquer sa dynamique récente en France dans le domaine des politiques publiques. Cette méthode s'est d'abord développée dans les pays anglo-saxons (Etats-Unis et Royaume-Uni) et bien après en Europe continentale. Si elle est aujourd'hui systématique dans l'évaluation des médicaments, elle a mis du temps à s'imposer dans le domaine médical, au moins une trentaine d'années après la deuxième guerre mondiale. Son utilisation a commencé en 1945 sous l'impulsion de statisticiens (Fischer) et de médecins réformateurs. Les premiers essais randomisés ont testé les effets de différentes semences dans le domaine agricole, puis l'élevage. L'application de cette méthode pour tester des médicaments humains résulte de l'afflux après la guerre de nouvelles molécules (notamment des antibiotiques) et d'une forte demande pour savoir quel était le meilleur médicament. Les procédures traditionnelles d'évaluation de ces médicaments étaient très longues, injustes, et même dangereuses. Malgré les réticences de nombreux professionnels du fait qu'elle introduisait l'aléa et des problèmes éthiques que cela posait, la méthode des évaluations randomisées a fini par s'imposer car, conceptuellement, elle était supérieure à toutes les autres. Elle est la seule méthode qui permet de déterminer la causalité pure du médicament.

Cette méthode est déjà largement utilisée aux Etats-Unis pour l'évaluation des grands programmes nationaux. En France, son essor récent résulte de la conjonction de plusieurs faits. D'abord Martin Hirsch en a fait la promotion lorsqu'il était Haut Commissaire aux solidarités actives puis à la jeunesse : il a financé au moins une dizaine d'appels à projets autour de l'expérimentation sociale, dont le RSA, qui fut la première de ce type (même si en réalité elle n'était pas aléatoire). Par ailleurs, une impulsion aux évaluations randomisées a été donnée par les travaux d'Esther Duflo et leur reconnaissance par la communauté scientifique[3]. Esther Duflo a systématisé l'utilisation de la méthode expérimentale dans le domaine du développement et a fondé le laboratoire J-PAL pour conduire ces expérimentations. La création d'une antenne française de ce laboratoire en France (J-PAL Europe, Ecole d'économie Paris) a favorisé la diffusion de cette méthode d'évaluation.

Philippe Zamora donne quelques exemples d'évaluations aléatoires de dispositifs sociaux qui ont produit des résultats :

- l'évaluation des opérateurs privés d'accompagnement porté par l'ANPE-l'UNEDIC, en partenariat avec le CREST et l'Ecole d'économie de Paris [Luc Behaghel, B. Crépon, M. Gurgand].

- La "mallette des parents", un dispositif d'implication des parents au collège, visant à améliorer les performances scolaires et à lutter contre l'absentéisme et le décrochage scolaires, en partenariat avec l'Ecole d'économie de Paris [F. Avvisati, M. Gurgand, N. Guyon, E. Maurin][4].

- le "CV anonyme", avec des entreprises tirées au sort, pour évaluer ses effets sur la diminution de la discrimination à l'embauche [B. Crépon, Luc Behaghel, T. Le Barbanchon][5].

Les limites de la méthode

Pour finir, Philippe Zamora expose les principales limites, pratiques et théoriques, des évaluations randomisées.

Au niveau des difficultés pratiques, tout d'abord, l'organisation d'une ECR peut être longue, ce qui n'est pas forcément conciliable avec les exigences politiques. Le coût organisationnel peut être élevé, surtout pour des dispositifs sociaux qui ne sont pas purement expérimentaux, qui existent depuis un certain temps et se sont institutionnalisés. Créer un dispositif expérimental ex nihilo n'est pas toujours possible, surtout un dispositif d'envergure, impliquant un grand nombre de personnes.

Quand on intervient dans des organisations déjà construites se pose aussi le problème du niveau où on intercale le tirage au sort. En général, les économistes vont pousser pour être le plus en aval possible du dispositif pour avoir une puissance statistique suffisante et donc des résultats significatifs, tandis que les porteurs de projet vont essayer de résister pour le placer le plus en amont possible, là où ils ne risquent pas de se priver d'un public potentiel et où les problèmes éthiques sont minimes. En aval du dispositif, le porteur de projet a déjà consacré un coût important au repérage de son public et des problèmes éthiques apparaissent, parce qu'avec le tirage au sort des bénéficiaires on va exclure certaines personnes repérées du dispositif. Certains acteurs acceptent le principe de randomisation, mais plus en amont, d'autres y restent philosophiquement réfractaires et la considèrent comme injuste.

Ce qui pose problème fondamentalement, c'est que chercheurs et praticiens n'ont pas les mêmes présupposés. Le chercheur a une espèce d'agnosticisme, il évalue un dispositif sans a priori, sans savoir s'il marche ou pas. Mais le porteur de projet ne peut pas partager complètement cet agnosticisme, son éthique professionnelle le pousse à croire dans son projet.

Enfin, l'évaluation est parfois susceptible de déranger des enjeux financiers et politiques. Beaucoup de dispositifs ont du mal à trouver leur public et le tirage au sort des bénéficiaires, avec 50% d'éviction de public, peut mettre les porteurs de projet en porte-à-faux. S'ils se sont engagés auprès de leurs financeurs à former 100 jeunes, il va leur être difficile de justifier qu'ils n'en forment que 50. Parfois, les évaluations aléatoires se heurtent à des enjeux politiques forts. Certains projets peuvent être instrumentalisés. Philippe Zamora prend l'exemple du projet de la «cagnotte scolaire» dans les lycées professionnels lancé à la rentrée 2009, qui a été selon lui mal interprété et dont la médiatisation a suscité une vive polémique. Ce discrédit a été responsable de son échec[6].

La méthode des évaluations randomisées rencontre donc des résistances non négligeables sur le terrain. Elle est aussi très débattue aux Etats-Unis car elle a ses faiblesses internes.

Au plan théorique, Philippe Zamora souligne les trois principales critiques internes adressées à cette méthode par les économistes.

Premièrement, répondre à la question «est-ce que ça marche ?» ne suffit pas. Il faut aussi «ouvrir la boîte noire», c'est-à-dire décortiquer les mécanismes qui expliquent l'impact global d'un programme, pour expliquer «comment ça marche ?» ou «pourquoi ça n'a pas marché ?». Cela nécessite des sous-traitements de données réalisables avec la méthode aléatoire. L'école d'Esther Duflo a réussi à trouver une flexibilité à cet instrument pour pouvoir différencier les mécanismes.

Deuxièmement se pose le problème de la validité externe : les conditions de l'expérimentation sont-elles réalistes, généralisables ? Pour répondre à cette critique, les expérimentations aux Etats-Unis effectuent de manière assez systématique une réplication des projets qui marchent dans différents endroits.

Troisièmement, les résultats produits par les évaluations randomisées ne sont que des «équilibres partiels», on n'arrive pas à un équilibre général. Les conclusions peuvent être modifiées par d'autres effets non pris en compte, comme les effets de pairs dans les classes, les effets de déplacement dans l'accompagnement, les effets externes des politiques... Mais ces effets peuvent aussi être mesurés à l'aide d'ECR, ce qui a déjà été réalisé pour évaluer la variation des effets de pairs dans les classes.

Pour Philippe Zamora, toutes ces critiques sont assez fortes et il faut garder raison quant à cet outil.

La présentation de Cécile Campy

Cécile Campy représente l'Association Nationale des Groupements de Créateurs, donc les praticiens, les porteurs de projets. L'ANGC s'est portée candidate pour une évaluation aléatoire de son dispositif d'aide à l'insertion des jeunes, qui sera réalisée par des économistes du CREST et du J-PAL.

Qu'est-ce qu'un Groupement de créateur ?

Les «Groupements de créateurs» aident les personnes à trouver leur chemin vers l'emploi et à développer des initiatives sur leur territoire. Ce sont des services proposés par les missions locales. Ils sont nés en 1999 sous l'impulsion de la mission locale de Sénart[7].

Cécile Campy commence par rappeler le but des missions locales en France. Créées en 1980, ces associations ont une fonction d'accompagnement les jeunes de 16 à 25 ans les plus en difficulté - déscolarisés au moins depuis plus d'un an - pour favoriser leur insertion sociale et professionnelle (logement, santé, emploi, formation, etc.). A l'origine, leur mission consistait à accompagner les jeunes de manière très individualisée, en étant à leur écoute, en prenant en compte leurs motivations. Mais progressivement, avec le changement de contexte économique et social, elles se sont trouvées face à des injonctions de résultats de la part de leurs financeurs (Etat, régions, départements). Comme toutes les structures d'accompagnements à l'insertion, les missions locales ont dû prendre en compte les besoins du marché du travail et développer une offre de formation. Les jeunes ont été incités à aller travailler dans des secteurs prédéfinis (restauration, bâtiment...) en fonction des besoins. Cependant cette orientation n'a pas porté les fruits attendus en termes d'insertion.

Partant de cet échec relatif de l'approche en termes d'offre, les Groupements de créateurs (GC) ont fait le pari de partir de la demande des jeunes. Leur principe fondateur est d'être à l'écoute des idées et des aspirations des jeunes. Plus précisément, les GC proposent un accompagnement pour transformer une idée d'«activité» - par exemple créer une entreprise ou une association - en un projet formalisé où sont clarifiées les différentes étapes successives pour y aboutir. Le «parcours professionnalisé» se déroule sur environ un an. La phase d'«émergence de projet» part de l'expression des idées et aide le jeune à bien se connaître, à comprendre ses motivations, à défendre son projet... La phase de «formation» est l'étude de la faisabilité du projet en prenant en compte l'environnement social et économique. Elle permet aux créateurs d'acquérir des compétences nécessaires. Un DU des créateurs d'activité est proposé pour les personnes n'ayant pas le bac et souhaitant créer une entreprise ou une association (formation en comptabilité, gestion, étude de marché...). La dernière étape, la phase de «post-formation», permet de concrétiser la réalisation du projet des créateurs (soutien technique au démarrage, financements...).

Pour Cécile Campy, les GC ne font pas de l'assistance, mais de la «guidance» : le jeune reste toujours l'auteur et le constructeur de son projet. Ils ne proposent pas une aide à la création d'entreprise mais de l'orientation professionnelle. Le public ciblé par les formations proposées est majoritairement un public de jeunes, mais aussi en petite partie adulte.

Aujourd'hui il existe onze GC en activité en France et dans les DOM-TOM, trois sont en cours de création, ce qui représente environ 1000 personnes à accompagner dans la phase d'émergence et 150 à 200 dans la deuxième phase. Les résultats en termes d'insertion professionnelle sont évalués à 60% pour les jeunes allés jusqu'à la formation DU : pour 60% d'entre eux, l'accompagnement a débouché sur un emploi ou une formation qualifiante. L'Association Nationale des Groupements de Créateurs (ANGC) a pour mission de coordonner et d'animer le réseau des GC : mutualisation, amélioration des pratiques, représentation auprès des financeurs, mise en place de nouveaux GC par les missions locales (formation des conseillers)...

Pourquoi une expérimentation sociale ?

Les expérimentations sociales ont été initiées au départ par le Haut Commissaire à la jeunesse. Elles sont à présent reprises par le Ministère de la jeunesse. Elles ne concernent que les jeunes, donc seuls les GC accompagnant des jeunes sont concernés. L'expérimentation des GC commence en novembre 2010. Neufs GC sur les onze se sont portés volontaires. Tout le travail de préparation en amont est pratiquement finalisé. Les premiers tirages au sort auront lieu en novembre.

Cécile Campy précise les raisons de la mise en place de cette évaluation aléatoire.

La première raison est l'exigence croissante d'évaluation. Les différents financeurs des GC rationalisent de plus en plus leurs financements et exigent des preuves d'efficacité, que ce soit l'Etat (Ministères de la jeunesse, de l'emploi, de la ville dans le cas des GC), le Fonds Social Européen ou les Conseils Généraux. Cette efficacité est mesurée par différents «indicateurs» définis par les financeurs, tels que le nombre de création d'entreprises, d'emplois, de CDI... Mais, pour les responsables des GC, ces indicateurs ne sont pas aptes à mesurer l'impact du dispositif sur les jeunes en termes de gain en autonomie, de confiance en soi ou de capacité d'action. Les tentatives de l'ANGC pour construire d'autres indicateurs n'ont pas abouti. Le réseau de GC souhaite néanmoins être évalué pour savoir si ce qu'il pense produire comme effet a une réalité quantitative.

Ensuite, une opportunité de financement pour une expérimentation sociale s'est présentée. L'ANGC n'a pas trouvé de financement pour une évaluation rigoureuse, complète et objective. C. Campy relève le manque de «culture d'évaluation» en France, du moins dans le secteur de l'insertion. La présence du laboratoire J-PAL à Sénart pour un autre projet d'évaluation, et son implication croissante avec le CREST dans le secteur de l'emploi et de la formation, a donné naissance à un projet d'expérimentation défendu au cabinet de Martin Hirsch, puis au Ministère de la jeunesse après le départ de ce dernier. L'implication financière d'un des partenaires privés de l'ANGC, l'Union des Industries et des Métiers de la Métallurgie (UIMM), un secteur rencontrant des problèmes de recrutement des jeunes, a permis d'obtenir l'accord du ministère.

Enfin, l'élaboration du projet d'évaluation a été un processus très structurant pour l'ANGC. Dix ans après la création des GC, la rencontre avec le monde de la recherche et la conception du projet ont fait naître toute une réflexion sur la finalité du dispositif, sur ses modalités de mise en oeuvre, sur ses apports relativement à d'autres dispositifs, etc.

Quels sont les problèmes posés par la méthode des évaluations aléatoires ?

Cécile Campy poursuit sa présentation par un exposé des risques inhérents à la méthode de randomisation. En effet, même si on est convaincu scientifiquement de la nécessité du tirage au sort des bénéficiaires, celui-ci pose d'importants problèmes à l'organisation qui a des habitudes installées. C. Campy explique comment l'expérimentation va se dérouler concrètement. Dans un premier temps, les jeunes vont être informés des services offerts par les missions locales. Ceux qui seront intéressés vont être mis en contact avec le GC qui va leur proposer un accompagnement. Puis ils seront mis au courant du tirage au sort : seuls 50% d'entre eux auront accès au dispositif. Quels sont les risques ?

Du côté des jeunes, pour la plupart en difficulté et pas diplômés, se pose déjà un problème général de mobilisation et de discrédit des missions locales. Le danger est qu'ils s'éloignent encore davantage des missions locales et des dispositifs prévus pour eux. Ces jeunes déjà discriminés, qui ont fait un premier pas vers la mission locale, risquent de trouver le tirage au sort totalement injuste et peuvent se décourager.

L'adhésion des conseillers accompagnateurs des GC est également problématique. Ayant déjà du mal à mobiliser, les conseillers accepteront difficilement de se séparer de jeunes qu'ils ont réussi à contacter. Lors de la mise en place du projet, ils ont exprimé leur crainte de perdre la confiance des jeunes. De plus, l'évaluation va leur demander deux fois plus de travail : habituellement, ils accompagnent 100 jeunes dans l'année, avec l'expérimentation ils vont devoir en contacter 200 pour en suivre 100.

La mise en oeuvre de l'évaluation comporte aussi un risque au niveau institutionnel. Les GC ont une mission de service public, ils sont censés offrir ce service à toute personne qui se présente. Or pour 100 jeunes qui souhaitent bénéficier du dispositif, seuls 50 vont être accompagnés.

Un dernier risque est que les résultats ne soient pas bons. L'évaluation peut montrer que le programme n'a pas d'efficacité et donc remettre en cause l'existence des GC.

Comment faire pour limiter ces risques ?

L'évaluateur des GC (CREST et J-PAL) a aujourd'hui une certaine expérience dans les missions locales où il a réalisé d'autres expérimentations depuis 2007. Le projet en cours peut bénéficier de cette expérience. De plus, le protocole d'évaluation est le résultat d'une construction commune, associant l'évaluateur et le praticien, en essayant de convaincre les GC du réseau de l'intérêt de la démarche. Cette coopération est susceptible de limiter les risques de l'évaluation aléatoire.

Vis-à-vis des jeunes, l'important est d'adopter une démarche pédagogique et positive, tout en étant totalement transparent. Il faut les mettre plus au fait de la réalité de leur environnement et leur expliquer la nécessité des évaluations pour que les dispositifs continuent d'exister. Il faut également veiller à une égalité de traitement dans le tirage au sort, en excluant toute exception. Enfin, pour les jeunes qui ne sont pas sélectionnés mais qui souhaitent construire un projet, il est proposé des solutions alternatives.

Vis-à-vis des conseillers travaillant dans les GC, le principe de participation sur la base du volontariat garantit a priori l'acceptation des contraintes. De plus, les conseillers ont été associés à la conception de l'évaluation (rédaction des questionnaires, organisation du protocole d'évaluation...). Cette implication assure d'avoir l'adhésion de tous les GC.

En somme, intégrer le projet d'expérimentation sociale à l'approche du GC est une piste pour dépasser le sentiment d'injustice des jeunes et limiter le malaise des conseillers.

La discussion avec le public

La discussion avec le public a porté sur la question des biais dans l'évaluation, sur les critères d'évaluation retenus, le consentement éclairé, le coût des évaluations randomisées, les enjeux politiques et la réception des évaluations aléatoires.

La question des biais est très sérieuse d'après Philippe Zamora. En particulier, le fait d'être sélectionné ou pas peut avoir un impact psychologique et influer sur les comportements, ce qui modifie les résultats en termes d'insertion. On peut s'affranchir de cet effet en médecine grâce aux placebos, mais on ne dispose pas d'équivalent pour les dispositifs sociaux. Deux réponses à ce biais sont possibles. Soit l'évaluation est faite avec consentement éclairé (cas le plus fréquent). Il faut alors tenir compte de cet effet dans le programme et on peut même chercher à le mesurer. Soit on demande au comité d'éthique une dérogation pour contourner le consentement éclairé, si on pense que cet effet est très problématique. Les bénéficiaires sont alors sélectionnés à leur insu, mais c'est plus risqué. Par exemple, pour l'évaluation du programme des «écoles de la deuxième chance», un réseau d'écoles un peu particulières prenant en charge des jeunes en rupture scolaire, l'effet posait problème et les missions locales qui organisaient le protocole ne voulaient pas entendre parler de consentement éclairé. Une dérogation a été demandée au comité d'éthique de Harvard, car il n'existait pas de tel comité en France en 2007. La dérogation a été acceptée à la condition de suivre de près le groupe de contrôle et d'intégrer à l'école tout jeune en difficulté importante. Quand on déroge ainsi à la randomisation, on perd de la puissance statistique, mais cela n'invalide pas la totalité de l'évaluation. Dans le cas de l'évaluation des Groupements de créateurs, il y a consentement éclairé et on suppose que «l'effet placebo» est minime. Dans d'autres cas d'évaluation, les jeunes sont informés qu'ils font partie d'un processus d'enquête, mais pas de la sélection aléatoire. Le recueil des données est possible car les jeunes restent alors en contact avec la mission locale ce qui permet leur suivi.

Concernant le coût des ECR, Philippe Zamora répond que la question a été tranchée aux Etats-Unis par les sciences médicales : le coût est clairement en leur faveur. Au plan social, tous les grands dispositifs nationaux américains (Job Training Partnership Act...) sont systématiquement évalués au bout d'un certain temps par des évaluations randomisées. Celles-ci se sont justement imposées, malgré les résistances éthiques, parce qu'elles étaient plus avantageuses en termes de coûts. Par ailleurs, les comités de bioéthique et d'éthique ont avancé dans le traitement des problèmes déontologiques posés par cette méthode. Cécile Campy ajoute que la randomisation apporte une rigueur dans l'évaluation, donc des résultats beaucoup plus fiables que d'autres types d'évaluation.

Les enjeux politiques des évaluations apparaissent clairement aux Etats-Unis où ce type d'évaluation existe depuis un certain temps. Certains dispositifs ont été supprimés ou très diminués à la suite d'évaluations randomisées, car celles-ci ont démontré leur insuffisante efficacité. Mais en France, précise Philippe Zamora, on manque encore de recul, car beaucoup d'expérimentations sont en cours et peu ont réellement abouti. Il en existe néanmoins quelque unes, comme "la mallette des parents" ou l'évaluation des opérateurs privés d'accompagnement par l'ANPE-UNEDIC. Concernant cette dernière, ses résultats n'ont pas été vraiment suivis. Alors qu'elle montrait que les opérateurs privés ne faisaient pas mieux que Pôle Emploi à moyens identiques, Pôle Emploi a dû externaliser encore davantage du fait de la crise et de la fusion ANPE-UNEDIC. L'évaluation, qui a bénéficié d'une certaine médiatisation, oblige cependant à réfléchir à la manière d'externaliser, au public concerné par exemple.

Notes :

[1] Essai contrôlé randomisé ou étude clinique randomisée.

[2] «Le modèle canonique de l'évaluation a été introduit par Rubin en 1974. Ce modèle, assez général, est adapté à la situation dans laquelle un traitement peut être administré ou non à un individu. Le terme de traitement se réfère aux premiers travaux ayant permis de développer ce cadre conceptuel, travaux qui concernaient l'évaluation de l'efficacité des traitements dans le domaine médical. Bien qu'il ne soit pas le plus approprié, il est utilisé en économétrie pour qualifier une intervention publique, une réforme fiscale, une politique de subvention, un programme de formation, ou bien un programme d'aide sociale que l'on cherche à évaluer.» (Denis Fougère, "Les méthodes économétriques d'évaluation", Revue Française des Affaires Sociales, 2010, 1-2, 105-128).

[3] Voir notre dossier «Esther Duflo, première économiste du développement honorée de la médaille Clark».

[4] Ce programme d'accompagnement à destination des parents a été expérimenté dans l'Académie de Créteil dans une quarantaine de collèges volontaires en 2008-09. Pour plus de précisions, on pourra consulter la description du projet sur le site de l'Académie de Créteil : La "mallette des parents" et la présentation du rapport final sur le site de l'Ecole d'économie de Paris. Le Ministère de l'Education Nationale a décidé d'étendre le dispositif à la rentrée 2010 : généralisation de la mallette des parents.

[5] L'évaluation du CV anonyme est réalisée par le CREST pour le compte de la Direction des études de Pôle Emploi. Elle doit guider les pouvoirs publics dans la décision de rendre le recours au CV anonyme obligatoire pour les entreprises de plus de 50 salariés. Depuis novembre 2009, début de l'expérimentation, plus de 800 entreprises ont répondu à l'appel, soit 8 fois plus que les 100 entreprises prévues au départ. Les conclusions définitives de l'expérimentation n'ont pas encore été rendues publiques. Le gouvernement devrait décider en janvier 2011 de la généralisation ou pas du CV anonyme. Il envisage d'inscrire également dans la loi le lieu de résidence comme un critère de discrimination. Pour plus de précision sur cette évaluation, voir l'annonce du lancement de l'expérimentation par le gouvernement et le dossier de presse de l'évaluation du CV anonyme.

[6] La «cagnotte scolaire» est dispositif expérimental évalué par les chercheurs de l'Ecole d'économie de Paris dont le principe était de récompenser les élèves de leur présence en cours en finançant un projet de classe. Il cherchait à savoir si jouer sur la motivation des jeunes pouvait diminuer l'absentéisme. Beaucoup de responsables politiques, syndicaux et d'intellectuels (comme Philippe Meirieu : voir son bloc-notes du 3 octobre 2009) ont été choqués par cette idée de recourir à l'incitation financière, elle leur paraissait contraire aux valeurs de l'école de la république. Un article du Monde du 30/06/2010, intitulé "Zéro pointé pour la cagnotte scolaire", indique que «selon les chercheurs de l'Ecole d'économie de Paris, "l'information communiquée aux enseignants et aux élèves a été partiellement occultée par les images du dispositif diffusées dans certaines représentations médiatiques". La cagnotte, devenue enjeu politique, aurait finie par être boudée des enseignants».

[7] Pour plus de détails, on peut consulter la présentation du réseau des Groupements de créateurs sur le site du Conseil National des Missions Locales et télécharger la plaquette de présentation des Groupements de créateurs (pdf).

Pour aller plus loin :

• Dossier SES-ENS : "Esther Duflo, première économiste du développement honorée de la médaille Clark".

• Yannick L'Horty, Pascale Petit, "Évaluation aléatoire et expérimentations sociales", Document de travail n°135 du Centre d'études de l'emploi, décembre 2010. Ce papier présente les méthodes d'évaluation aléatoire appliquées aux expérimentations sociales, leur portée et leurs limites.

• http://www.experimentationsociale.fr/

Retour à la page d'accueil du dossier