1. Une démarche novatrice d'expérimentation sociale mise en application dans le laboratoire d'action contre la pauvreté

« Les expériences de terrain ont un pouvoir subversif que n'ont ni les évaluations rétrospectives, ni les expériences de laboratoire. Ceci est à mon sens leur force principale, au-delà même de la force de l'identification, et une opportunité de faire avancer à la fois la science et la lutte contre la pauvreté». (Esther Duflo, Leçon inaugurale au Collège de France « Expérience, science et lutte contre la pauvreté », 8/01/2009)

La recherche expérimentale au service des politiques de lutte contre la pauvreté

Investie dans la recherche expérimentale en microéconomie, Esther Duflo et ses collaborateurs ont développé au MIT une méthode rigoureuse et objective d'évaluation des stratégies d'action publique ou de développement afin de déterminer quelles aides sont réellement efficaces, ce qui marche et ce qui ne marche pas. Cette méthodologie cherche à répondre à une difficulté propre aux évaluations des politiques sociales : distinguer clairement, dans les effets constatés, ce qui relève du processus et ce qui relève de l'impact des mesures prises (évaluation des causalités). En effet, la technique de l'économétrie traditionnelle consistant à contrôler toutes les variables observées est souvent imparfaite pour identifier les causalités et quantifier l'influence respective des différents facteurs. Une comparaison avant/après pour mesurer l'impact d'un dispositif peut être biaisée par l'intervention de paramètres externes et par les circonstances particulières dans lesquelles il s'est déroulé [1].

La méthode alternative d'«évaluation aléatoire» ou d'«expérimentation par assignation aléatoire» s'avère beaucoup plus efficace pour évaluer l'impact réel des mesures prises. Elle s'inspire des expériences in vivo en recherche médicale ou pharmaceutique, les essais cliniques randomisés. Elle consiste à réaliser des expériences de terrain sur différents groupes en introduisant le hasard. Pour évaluer une action publique, un programme social, on compare les résultats d'un «groupe traité» pris au hasard (une région, un village, une école... qui a bénéficié de cette action) à ceux d'un «groupe témoin» (un autre qui n'en a pas bénéficié). Face à une multiplicité de facteurs intervenants dans les processus étudiés, dont les effets sont difficiles à isoler, le choix des populations-cibles de manière aléatoire permet de rendre le groupe test rigoureusement comparable au groupe témoin si la taille de l'échantillon est suffisante [2]. Ainsi, les paramètres externes susceptibles de biaiser l'analyse sont contrôlés et seul l'effet du dispositif est mesuré. Avec ces expérimentations aléatoires, il est possible de comparer les effets d'un programme à ce qu'il se serait passé s'il n'avait pas été introduit. Par exemple, dans le cadre d'un projet de soutien scolaire, la moitié des élèves ou des classes choisis au hasard reçoivent le soutien et l'autre moitié n'en bénéficie pas ; en comparant les résultats scolaires des deux groupes au bout d'une année scolaire, on peut mettre en évidence les effets du dispositif lui-même, et non l'effet des différences qui peuvent exister entre les enfants.

Les évaluations «randomisées» existent depuis les années 1960 en économie, mais ont connu un essor au cours de la décennie passée, notamment en économie du développement. Leurs résultats sont parfois inattendus : des expériences menées en Afrique ont révélé par exemple que traiter les élèves contre les parasites intestinaux était bien plus efficace pour leur réussite scolaire que leur distribuer des livres ou diminuer le nombre d'élèves par classe. En mettant au jour des «causalités insoupçonnées», ces expérimentations sont susceptibles de donner naissance à de nouveaux modèles d'explication des comportements et des processus de pauvreté. Pour E. Duflo et A. Banerjee, la théorie économique s'avère parfois être un «mauvais guide» pour choisir entre des programmes concurrents visant un même objectif (A. Banerjee et E. Duflo, «L'approche expérimentale en économie du développement», Revue d'économie politique, 119(5), sept-oct. 2009, p.693).

Cette méthode d'évaluation simple et novatrice a été mise en application dans le laboratoire d'action contre la pauvreté, le J-PAL, qu'Esther Duflo a fondé en 2003 avec deux autres professeurs du MIT, Abhijit Banerjee et Sendhil Mullainathan, et qui vise à améliorer l'efficacité des programmes sociaux dans le monde [3]. Le postulat de départ de ce laboratoire, qui réunit une trentaine de chercheurs de différents pays, est que «l'efficacité des programmes sociaux serait nettement améliorée si les décisions politiques étaient fondées sur des preuves scientifiques rigoureuses». Comme les conditions des expériences de laboratoire ne sont pas représentatives de la réalité, les expériences de terrain sont privilégiées [4]. Le travail du groupe ne consiste pas simplement à évaluer des programmes pensés par d'autres à l'aide de la méthodologie de l'évaluation aléatoire, mais à tester des hypothèses en amont pour aider à l'élaboration de programmes d'action de développement en «réinventant» l'outil. Le Poverty Action Lab a déjà mis en oeuvre plus de 250 projets dans une trentaine de pays, en collaboration avec des acteurs locaux et des ONG sur place. La collaboration étroite et l'échange entre les partenaires du terrain (qui apportent leur connaissance des faits) et les chercheurs (qui apportent leurs méthodes) est source d'un enrichissement mutuel de la science et de la politique. Les travaux menés ont permis d'évaluer précisément de nombreux programmes d'aide et d'action publique dans les domaines de la santé, de l'éducation, de l'accès au crédit, de la gouvernance... dans les pays en développement (notamment en Inde), mais aussi dans les pays développés.

Les problèmes soulevés par la méthode d'évaluation aléatoire

Les évaluations randomisées, comme toutes mes méthodes fondées sur l'expérimentation, soulèvent un certain nombre de problèmes, à commencer par celui de la dépendance à l'environnement. Comme les expérimentations sont réalisées le plus souvent localement, à une petite échelle, se pose la question de la généralisation d'un résultat à partir d'une expérience donnée. La démarche a été critiquée sur ce point (Angus Deaton, Dani Rodrik) : les résultats obtenus ne sont valables que dans un contexte donné, à un moment particulier, donc difficilement transposables. Si la validité interne des conclusions est solidement établie, le manque de validité externe est un obstacle à la définition de stratégies plus globales de développement. Dans ce cas, les études non expérimentales (de programmes nationaux par exemple) permettraient d'aboutir à des résultats plus significatifs [5].

Pour savoir si un principe général existe réellement derrière les premiers résultats d'une expérience, Esther Duflo et Abhijit Banerjee (op. cité) suggèrent d'abord de répéter l'expérience : évaluer le programme dans différents endroits et contextes, avec d'autres équipes, et observer si premiers résultats sont confirmés ou pas. Par exemple, l'impact en Inde de la mise en place de quotas en faveur des femmes et des minorités pour les élections locales a été évalué dans 24 Etats, ce qui a permis de dégager un principe général (voir partie 3 du dossier). De même, l'effet du déparasitage sur l'assiduité des élèves a été testé en Inde et au Kenya...

Une autre solution consiste à faire appel à la théorie : si on dispose d'un schéma d'explication causal allant de l'intervention au résultat et expliquant chaque étape de cette chaîne logique, alors il est possible de faire des extrapolations des résultats dans d'autres contextes. A. Banerjee et E. Duflo soulignent l'importance de ce lien à la théorie : «pour être intéressantes, les expérimentations doivent être ambitieuses et éclairées par la théorie. C'est aussi dans ce cas qu'elles seront le plus susceptibles d'être utiles aux décideurs politiques» (op. cité, p.721). Esther Duflo a développé des modèles de rationalité limitée pour expliquer les effets surprenants de certaines expérimentations. Il a fallu notamment reconsidérer la théorie standard de la demande pour interpréter les fortes élasticités de la demande de soins préventifs au prix, observées lors de multiples expériences de terrain (voir partie 2 du dossier). Ainsi, les expérimentations à sélection aléatoire sont aussi utilisées à présent pour tester la validité d'une théorie et construire de nouveaux modèles théoriques, d'où leur dénomination d'«expérimentation créative».

Les évaluations aléatoires ont été l'objet d'autres critiques. Nous vous présentons ici les principales, ainsi que certaines réponses apportées par les chercheurs.

Une seconde objection a été opposée à la validité des résultats des expériences randomisées : les «biais de randomisation» (J.J. Heckman). Les individus participant à une expérience aléatoire (groupe témoin ou groupe traité) peuvent modifier leurs comportements en sachant qu'un programme est en train d'être évalué, ce qui limite une fois de plus la validité externe de l'expérimentation. Mais, pour A. Banerjee et E. Duflo, ces effets «ne sont pas spécifiques à l'expérimentation en tant que telle. Les chercheurs en sciences sociales s'inquiètent du biais lié à l'interview (par exemple parce que les gens souhaitent donner une certaine impression à l'enquêteur)» (op. cité, p.707). Un problème similaire est celui du «biais de participation» qui intervient lorsque la participation à une expérience repose sur le volontariat. Dans ce cas, la population n'est pas complètement représentative et l'effet mesuré risque d'être surestimé par rapport à une situation où les personnes seraient obligées de participer (par exemple dans le cas d'une offre de formation). Même lorsque le «traitement» consiste en un cadeau, un don, il n'est absolument pas évident que tous les individus soient prêts à l'accepter, comme l'a montré une expérience menée avec l'institution de microcrédit Bandhan pour évaluer leurs programmes d'aide aux ultra-pauvres [6]. Une solution évoquée à ce problème est de ne pas informer les individus de leur participation à une expérience randomisée.

Un autre problème lié à la généralisation d'un programme est l'existence d'effets d'équilibre général : «Les effets d'un programme identifié dans le cadre d'une petite étude peuvent être différents des effets du programme s'il était généralisé au niveau national» (op. cité, p.712). L'application d'une mesure à l'échelle macroéconomique peut en effet générer des effets de réallocation, de variation de l'offre ou de la demande, modifiant les résultats. Heureusement, ce problème n'est pas très fréquent, affirment A. Banerjee et E. Duflo, et les effets d'équilibre peuvent être en partie neutralisés par la double assignation, la combinaison de résultats de différentes expérimentations, ou encore la mobilisation d'études non expérimentales en complément des expérimentations.

Une dernière limite méthodologique concerne l'impossibilité d'observer l'hétérogénéité des effets. En effet, «une expérience randomisée, en faisant varier un seul facteur à la fois (le programme), nous permet d'obtenir une estimation valide de l'effet moyen d'un traitement pour une population donnée» (op. cité, p.693). Les expérimentations aléatoires ne peuvent mesurer qu'un impact moyen dans l'échantillon, et non l'hétérogénéité des réactions à un programme. Dans des travaux récents ou en cours, plusieurs méthodes ont été suggérées pour estimer la distribution des effets d'un traitement au sein du groupe traité : introduire des hypothèses de comportement supplémentaires ou considérer l'existence de sous-groupes particuliers ex ante. Si des différences entre des sous-groupes apparaissent ex post (par exemple entre hommes et femmes), il est possible de dupliquer l'expérience pour tester les nouvelles hypothèses. Malgré tout, la méthode garde tout son intérêt, car «les expérimentations conservent un avantage essentiel par rapport aux autres méthodes : avec très peu d'hypothèses, il est possible de connaître des aspects importants de l'impact du traitement (tels que la moyenne pour n'importe quel sous-groupe)» (op. cité, p.716).

On perçoit donc les limites méthodologiques de ce nouveau champ de l'analyse économique, mais aussi les voies pour améliorer dans l'avenir la qualité des expérimentations. Il faut ajouter que ces travaux présentent un autre intérêt, celui d'apporter des données dans des pays où les statistiques sont souvent très pauvres.

Conclusion

L'approche expérimentale en économie du développement participe à une orientation plus pragmatique de ce champ de recherche. Elle mobilise des apports récents de l'analyse économique et d'autres disciplines, comme la psychologie ou les sciences politiques. Elle s'appuie aussi sur des techniques de plus en plus sophistiquées grâce aux développements de l'économétrie. Ces travaux sont de plus en plus portés par des chercheurs des pays en développement avec l'aide des institutions internationales, des ONG, des fondations et des institutions publiques et privées locales. L'enjeu est une nouvelle compréhension des processus de développement afin de construire des politiques qui intègrent la diversité des situations.

«Les économistes sont parfois bien placés pour proposer ou identifier des programmes politiques susceptibles de réellement changer les choses. Sans doute plus important encore, ils sont parfois en excellente position pour faire naître le processus de découverte de politiques, en jouant sur les deux tableaux : celui de la théorie et celui de la recherche expérimentale. Ce processus «d'expérimentation créative», dans le cadre duquel les décideurs politiques et les chercheurs travaillent ensemble pour réfléchir différemment et tirer les enseignements des réussites et des échecs est sans aucun doute la contribution la plus précieuse des récentes études expérimentales» (Abhijit Banerjee et Esther Duflo, op. cité, p.721).

Pour aller plus loin

Abhijit Banerjee et Esther Duflo, "L'approche expérimentale en économie du développement", Revue d'économie politique, 119(5), sept-oct. 2009, p.691-726.

Dans cet article, E. Duflo et A. Banerjee font un bilan de l'approche expérimentale dans le champ de l'économie du développement. Ils définissent les forces et les limites des expériences randomisées et répondent aux critiques faites à cette méthodologie en économie du développement.

Agnès Labrousse, "Nouvelle économie du développement et essais cliniques randomisés: une mise en perspective d'un outil de preuve et de gouvernement", Revue de la régulation [En ligne], n°7, 1er semestre 2010 (mis en ligne le 29 novembre 2010).

Une réflexion sur les apports et les limites (au plan théorique et épistémologique) de la méthode expérimentale inspirée des essais cliniques randomisés en économie du développement. L'article montre que la montée en puissance de cette technique – aujourd'hui bien consolidée – est susceptible de renouveler profondément l'économie mainstream du développement, en l'éloignant de la tradition néo-libérale. Toutefois, l'inscription de cet outil de preuve et de gouvernement dans une épistémologie économique plus large est encore insuffisante.

L'Association française d'économie expérimentale : http://www.asfee.fr/.

Notes

[1] «Dans le cas d'une politique de soutien scolaire, par exemple, la comparaison des résultats obtenus par les bons et les mauvais élèves reflètent les différences initiales entre ces deux groupes ainsi que l'effet de l'intervention, qu'il est alors impossible d'isoler» (Résumé du cours "Expérience, science et lutte contre la pauvreté", Collège de France, 2009).

[2] Conformément à la loi des grands nombres, il n'y a pas de différence en moyenne entre les groupes lorsqu'ils ont été sélectionnés au hasard.

[3] Le nom complet est le «Abdul Latif Jameel Poverty Action Lab». Abdul Latif Jameel est le principal sponsor du laboratoire suite à une donation faite par son fils, un ancien élève du MIT engagé dans la lutte contre la pauvreté. Le Poverty Action Lab est une ONG dirigée par Esther Duflo et siégeant au MIT. Il dispose de trois antennes régionales (Europe, Asie du Sud, Amérique Latine). J-PAL Europe est basé à PSE-Ecole d'économie de Paris.

[4] Les premières expérimentations en économie ont été des expériences de laboratoire reconstituant une situation économique simplifiée pour laquelle l'ensemble des variables est contrôlé par l'expérimentateur.

[5] Dani Rodrik, "The new development economics : we shall experiment, but how shall we learn ?", Mimeogr., Department of Economics, Harvard University, 2008.

[6] Parmi la population très pauvre, sélectionnée au hasard, à qui on offrait un actif (vaches, chèvres ou un autre bien productif) dans le cadre programme Bandhan, avec la seule obligation d'en prendre soin et de se soumettre au suivi, 18% ont refusé la proposition, par méfiance ou par peur de ne pouvoir être capable de conserver le bien qui leur était fourni gratuitement (Abhijit Banerjee et Esther Duflo, op. cité, p.710-11).

Retour à la page d'accueil du dossier.