Guide mthodologique pour lvaluation des exprimentations sociales

lintention des porteurs de projets

Ce guide mthodologique est destin aux porteurs de projet qui souhaitent se lancer dans une exprimentation sociale. Son objectif est de prsenter de faon claire les apports et les difficults dune dmarche exprimentale lorsquelle est assortie dun dispositif dvaluation. La prsentation des diffrentes approches de lvaluation se veut aussi complte que possible, compte tenu de ltat de lart la fin des annes 2000.

Deux grands types dvaluations co-existent : les mthodes qui sappliquent sur des chantillons reprsentatifs (de quelques centaines quelques milliers dindividus, voire davantage), ou mthodes quantitatives, et les investigations approfondies sur des petits chantillons raisonns de lordre de quelques dizaines dindividus, ou mthodes qualitatives. Au sein des mthodes quantitatives, les approches les plus fiables sont les mthodes dexprimentation contrle et randomise qui reposent sur lobservation dun groupe test et dun groupe tmoin ne bnficiant pas du dispositif, ces groupes tant construits en y affectant les personnes par tirage au sort. Lorsquune exprience randomise ne peut tre envisage, dautres mthodes quantitatives peuvent tre mobilises qui consistent tenter de reproduire artificiellement les conditions dune exprience randomise laide de techniques statistiques adaptes aux caractristiques de lexprimentation.

Au total, toutes les mthodes dvaluation ne poursuivent pas les mmes objets et ne rpondent pas aux mmes interrogations. Lvaluation mobilise un ensemble dapproches complmentaires qui permettent de rpondre des questions diffrentes. Ce guide est structur autour de ces questions : Quels sont les objectifs viss par lexprimentation ? Quels sont ses effets ? Comment les expliquer ?

V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

INTRODUCTION

Dfinition dune exprimentation sociale

Cest une innovation de politique sociale initie dans un premier temps petite chelle, compte tenu des incertitudes existantes sur ses effets et mise en oeuvre dans des conditions qui permettent den valuer les rsultats, dans loptique dune gnralisation si ces rsultats savrent probants.

Les Rencontres de lexprimentation sociale, Grenoble, novembre 2007

Lorsquune institution engage des ressources humaines et matrielles sur un programme social innovant, elle a besoin de savoir si ce programme amliore effectivement la situation des personnes qui en bnficient. Cela suppose de pouvoir valuer de faon rigoureuse les conditions de mise en uvre et les effets du programme sur ses bnficiaires. Il lui est ncessaire en outre de savoir si un meilleur usage des ressources quelle mobilise peut tre envisag dans lintrt des personnes. Seule une valuation rigoureuse permet de dire de faon fiable si le programme est efficace. Cette valuation peut aussi renseigner sur les raisons pour lesquelles le programme fonctionne, pour rflchir la gnralisation, ou au contraire fonctionne mal, pour pouvoir lamliorer. Lobjectif de lvaluateur est de participer laccumulation de connaissances fiables et partages sur lefficacit des dispositifs en fonction des conditions de leur

exprimentation. Exprimentation et valuation ont donc tout gagner tre associes de faon troite.

Pour autant, lvaluation dexprimentations sociales reste peu dveloppe en France, contrairement beaucoup dautres pays plus avancs dans ce domaine, notamment les Etats-Unis, le Royaume-Uni, le Canada ou encore lAustralie. Sil nest pas rare en France dexprimenter des dispositifs innovants dans le domaine social, il est plus singulier de construire des projets dexprimentation qui intgrent un protocole dvaluation ds leur conception. De mme, sil est frquent de concevoir des protocoles dvaluation, il est original quils soient adapts aux contraintes spcifiques des exprimentations sociales. Ce hiatus entre exprimentation et valuation peut sexpliquer par le format des exprimentations qui sont souvent des micro-projets. Du point de vue de

lexprimentateur, la difficult est de se donner un dispositif dvaluation qui ne soit pas disproportionn par rapport au volume de lexprimentation. Du point de vue de lvaluateur, la difficult est de se donner une mthodologie permettant de se prononcer
V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

sur lapport dun programme innovant alors que lchantillon des personnes qui en bnficient est de petite taille. Il ne sagit pas de construire une usine gaz mais de se donner des moyens fiables permettant de mesurer les effets du programme. Lenjeu est de concilier des programmes sociaux innovants avec des mthodes dvaluation rigoureuses.

Ce guide mthodologique est destin aux porteurs de projet dans le champ des exprimentations sociales. Son objectif est de prsenter de faon claire les apports et les difficults dune dmarche exprimentale lorsquelle est assortie dun dispositif dvaluation. La prsentation des diffrentes approches de lvaluation se veut aussi complte que possible, compte tenu de ltat de lart la fin des annes 2000. Ce guide est structur autour des grandes questions qui structurent la conception dune exprimentation et de son valuation : Quels sont les objectifs viss par

lexprimentation ? Quels sont les enjeux de lvaluation ? Comment mesurer au mieux les effets dune exprimentation ? Comment expliquer ces effets ? Comment prendre en compte la perception des acteurs impliqus dans le dispositif ? Il est maill dexemples dexprimentations termines ou en cours de ralisation.

Deux acteurs cls : Le porteur de projet et lvaluateur Lexprimentation est mise en uvre par un ou plusieurs porteurs de projet (Etat, collectivit territoriale, tablissement public ou association). Lexprimentation est localise sur un terrain donn, mais a vocation tre tendue en cas de succs sur dautres terrains et lon sinterroge sur les conditions de cette gnralisation. Lobjectif peut-tre par exemple de lever un obstacle laccs lemploi, de mettre en place un nouvel instrument qui favorise linsertion sociale ou conomique, ou encore de combattre un dterminant suppos de lexclusion sociale. Cette innovation peut correspondre un trs vaste ensemble de dispositifs : programme daccompagnement au retour lemploi, dispositif de lutte contre lchec en formation initiale ou continue, lutte contre des problmes de sant, contre lillettrisme, etc. Dans ces domaines et dans tous les autres, il sagit damliorer un dispositif existant ou de mettre en place un nouveau programme. La question de lvaluation doit tre pose avant que linnovation soit mise en uvre.

Lvaluation est prise en charge par un centre de recherche ou un cabinet de conseil qui prsente des rfrences dans le champ des politiques sociales et de leur valuation. Il matrise les technologies de lvaluation adaptes la problmatique de

lexprimentation. Lvaluation est effectue de faon externe et indpendante de lexprimentateur. Cela nexclut pas, bien au contraire, que lexprimentateur mobilise des
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 3

outils internes dobservation sur le droulement et les effets de son action. Mais ces outils ne se substituent pas lvaluation externe et indpendante du programme. Lvaluateur nvalue pas lexprimentateur ; Il value lexprimentation. Par ailleurs, les rsultats de lvaluation ne sont en aucun cas donns par avance. Cela fait de lexprimentation et de son valuation une activit risque, qui implique des cots certains pour des gains hypothtiques. En particulier, les conclusions de lvaluation peuvent amener renoncer la gnralisation de lexprimentation.

Runir les conditions de russite dune exprimentation sociale implique gnralement une mobilisation forte des pouvoirs publics, qui doivent jouer la fois un rle de matre douvrage, dintermdiaire, daiguillon et de facilitateur. En effet, ils dterminent les champs dans lesquels il y a le plus besoin dexpriences innovantes (matre douvrage) ; ils favorisent la mise en relation des nombreux acteurs de linsertion et des quipes de recherche susceptibles de les valuer (intermdiaire) ; ils se font le garant de lvaluation rigoureuse de linnovation sociale (aiguillon) ; ils accordent, si besoin, les drogations ncessaires aux rgles et/ou pratiques des autorits publiques afin de pouvoir mener ces exprimentations et dgagent des fonds destins financer une partie de lexprimentation (facilitateur).

Un aperu des mthodes dvaluation Lvaluation mobilise un ensemble de mthodes complmentaires qui permettent de rpondre des questions diffrentes. Deux grands types de mthodes co-existent. On distingue les mthodes qui sappliquent sur des chantillons reprsentatifs (de quelques centaines quelques milliers dindividus, voire davantage), ou mthodes quantitatives, et les investigations approfondies sur des petits chantillons raisonns de lordre de quelques dizaines dindividus, ou mthodes qualitatives. Ces deux familles de mthodes ne poursuivent pas les mmes objets et ne rpondent pas aux mmes questions. Elles sont complmentaires. Mme si les choses sont en ralit plus nuances, on peut dire considrer globalement que les approches quantitatives rpondent la question est-ce que le programme dlivre les effets attendus ? , cest--dire est-ce que le dispositif est efficace du point de vue de lobjectif poursuivi ? . Elles fournissent des indicateurs chiffrs de performance du programme. Les mthodes qualitatives apportent des lments de rponses des questions du type comment le dispositif permet datteindre ces effets ? . Elles permettent notamment de reprer les obstacles au bon fonctionnement du programme et les leviers sur lesquels il importe dagir pour en amliorer les effets, ou de reprer les ce qui est particulirement important lorsque lon sinterroge sur la gnralisation de lexprimentation. Les mthodes dvaluation ne
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 4

rpondent pas aux mmes questions et il importe donc dtre explicite sur les questions auxquelles lvaluation doit rpondre avant de faire le choix dun protocole dvaluation, qui combine gnralement diffrentes mthodes.

Au sein des mthodes quantitatives, qui permettent de se prononcer sur lefficacit du programme, il y a lieu de hirarchiser les approches qui peuvent tre retenues. Les mthodes les plus fiables, celles qui apportent la mesure la plus prcise et la plus robuste de limpact du programme sur les variables dintrt (outcomes), sont les mthodes dvaluation randomise. Elles tiennent leur appellation de langlais random (hasard, alatoire). Elles reposent sur lobservation dun groupe test et dun groupe tmoin qui ne bnficie pas du dispositif. Les deux groupes doivent tre construits en y affectant les personnes au hasard, laide par exemple dun tirage alatoire simple dans une liste prtablie. Laffectation alatoire des personnes est le meilleur moyen de constituer des groupes identiques en tous points, avant lexprimentation, ce qui permet de mesurer son effet toutes choses gales par ailleurs . Dautres protocoles sont envisageables ds lors quils mettent en uvre un moment opportun un tirage au sort qui dcide de laffectation du programme entre diffrents groupes.

Pour mesurer les effets dun nouveau dispositif, il faudrait idalement pouvoir observer la situation des bnficiaires du dispositif et la comparer avec ce qui se serait pass pour ces mmes bnficiaires en labsence du dispositif. Comme cela nest pas possible en pratique, puisquune mme personne ne peut pas la fois tre dans le dispositif et en dehors, un point de repli consiste construire une situation trs proche de celle que lon aurait observe si les bnficiaires navaient pas eu accs au dispositif, que lon appelle un contre-factuel . Le meilleur contre-factuel possible est obtenu lorsque les bnficiaires du dispositif et les non bnficiaires ont t tirs au hasard. On est alors assurs que toutes les caractristiques des deux groupes sont bien les mmes en moyenne. Dans lensemble, ces mthodes sapparentent aux expriences menes en pidmiologie pour tester lefficacit dune nouvelle thrapie ou en marketing pour tudier limpact dune innovation de produit. Elles sont particulirement bien adaptes lvaluation dexprimentations sociales, dans lesquelles un groupe restreint dindividus fait lobjet dun traitement particulier qui droge au droit commun. Il est toujours souhaitable de privilgier une valuation selon un protocole dexprience randomise ds lors que les conditions de lexprimentation le permettent.

V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

Lvaluation randomise implique cependant une rupture temporaire au principe dgalit, ce qui peut soulever dans certains cas des obstacles thiques qui mettent en question lopportunit de sa mise en uvre. Si lexprience empche une personne daccder une ressource dterminante pour sa trajectoire de vie ou son parcours professionnel, on ne peut lenvisager. Pour autant, une valuation est le seul moyen de savoir si cette ressource est effectivement dterminante. Dans le cas le plus gnral, lexprimentation sociale consiste surtout offrir un accs privilgi un ensemble de services offerts par lexprimentateur. Lorsquil sagit de tester les effets dun surcrot de service, dun supplment au droit commun, lexprimentation ne soulve plus les mmes obstacles thiques. En dautres termes, lexprience contrle ne doit pas consister priver certaines personnes de laccs une ressource laquelle ils ont le droit, mais offrir certains un accs slectif et temporaire une ressource nouvelle supplmentaire afin de juger de son efficacit en vue den gnraliser terme le bnfice lensemble de la population ligible.

Insrer un encadr-exemple (cf comit dthique aux US + exemple FR)

Sil nest pas possible de procder une valuation randomise, dautres mthodes quantitatives peuvent tre mobilises. Elles consistent tenter de reproduire artificiellement les conditions dune exprience contrle laide de techniques statistiques adaptes aux caractristiques de lexprimentation.

Le point de dpart : dfinir les objectifs de lexprimentation La premire tape dans la construction dune exprimentation est didentifier clairement lobjectif poursuivi. Il sagit de savoir la fois ce que lon veut faire et pourquoi on veut le faire. La difficult nest pas seulement dtre en mesure dexpliciter un objectif, mais aussi de sassurer quil est effectivement partag par toutes les parties prenantes, par tous les acteurs qui vont contribuer la ralisation du projet, y compris les bnficiaires euxmmes. En labsence dun objectif clair et/ou partag, lexprimentation est souvent voue lchec et son valuation peut perdre toute pertinence. En outre, la dfinition de lobjectif conditionne le choix des variables dintrt qui seront retenues pour lvaluation.

Il importe videmment que les ressources humaines et/ou matrielles engages dans le programme soient proportionnes aux objectifs quil poursuit. Cet aspect des moyens mis en uvre ne doit tre nglig ni par lexprimentateur, ni par lvaluateur. Lefficacit du programme et lintrt dune ventuelle gnralisation svaluent laune des moyens
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 6

dploys pour sa ralisation. La premire tche de lvaluateur est donc de prendre la mesure des objectifs et des moyens de lexprimentation. Cela suppose dtudier la documentation du programme et aussi de suivre sur le terrain la ralit de lexprimentation. Mme une valuation purement quantitative ne peut faire lconomie de ce travail de terrain.

Des investigations approfondies peuvent tre ralises afin de vrifier la lisibilit de lobjectif poursuivi par lexprimentateur. Ces approches sont de nature qualitative. Elles consistent raliser des enqutes de terrain, interroger lensemble des acteurs qui sont parties prenantes de lexprimentation, recueillir leur perception sur les objectifs et le droulement de lexprimentation, puis effectuer une synthse de toutes ces informations. Des investigations spcifiques peuvent tre menes pour reconstituer la gense de lexprimentation : comment a germ lide ? Au terme de quel diagnostic et pour rpondre quel problme ? Sagit-il dun diagnostic partag ? etc. Dans les programmes qui sont raliss grande chelle, ces approches qualitatives peuvent tre utilement compltes par des enqutes statistiques qui permettent de mesurer la notorit du programme et les attentes des bnficiaires.

I-LES METHODES QUANTITATIVES : LA MESURE DES EFFETS Faire le choix dun protocole dvaluation quantitative Aprs avoir dfini les objectifs viss par lexprimentation, il importe de vrifier si ces objectifs ont t atteints en ralisant une tude dimpact. Cela consiste mesurer les effets immdiats et diffrs du programme qui a t mis en uvre sur une ou plusieurs variables dintrt (par exemple, le taux daccs lemploi, les sorties de la pauvret montaire, la frquence des checs scolaire, etc.). Il sagit de vrifier si les effets attendus du programme ont bien t raliss et aussi de savoir si le programme na pas eu dautres effets, qui ntaient pas ncessairement attendus. Pour mener bien ce type dtude, qui constitue le cur de lvaluation, il est indispensable dadopter une approche quantitative, cest--dire de mobiliser des donnes statistiques et des moyens de traitement adapts aux caractristiques des donnes. La phase quantitative peut toutefois tre prcde dune phase qualitative, permettant par exemple de reprer dans les propos des acteurs des effets non attendus, qui seront ensuite mesurs. On peut prsenter le contenu de cette tude dimpact en distinguant diffrentes tapes : 1) le choix dun protocole dvaluation ; 2) la construction dun systme dinformation ; 3) le traitement des donnes ; 4) lanalyse des rsultats, la rdaction de ltude quantitative et de ses conclusions.
V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

La construction dun systme dobservation et de suivi statistique de lexprimentation est une tche indispensable. Pour autant, elle ne se suffit pas en elle-mme. Il est essentiel aussi de se donner un protocole dvaluation qui guidera le recueil des donnes et qui en permettra le meilleur usage possible. Lobjectif nest pas seulement de construire des chiffres, il sagit surtout de construire des chiffres de qualit, qui permettront de produire une mesure fiable et prcise des effets de lexprimentation.

Deux

grandes
1

familles

dapproches :

expriences

contrles

et

quasi-

expriences Les spcialistes distinguent deux grandes familles de mthode dvaluation quantitative

qui se diffrencient par la nature des donnes utilises. La premire famille est celle des valuations qui utilisent des donnes dexpriences contrles (on parle aussi dexpriences randomises). La deuxime famille correspond aux valuations qui mobilisent des donnes non exprimentales mais qui tentent de se rapprocher des conditions des donnes exprimentales (on parle aussi de donnes de quasi-exprience, ou dexprience naturelle).

Ces deux grandes familles se hirarchisent du point de vue de la qualit du chiffre quelles parviennent produire. Les valuations les plus prcises et les plus fiables sont obtenues avec des donnes dexpriences contrles et randomises. Aux yeux des spcialistes les plus exigeants, ces mthodes sont les seules qui permettent de vritablement prouver les effets dune exprimentation. La qualit de la preuve est, en quelque sorte, quivalente celle dun flagrant-dlit pour une cour de justice, alors que les autres mthodes, qui mobilisent des donnes non exprimentales, reviennent accumuler des prsomptions de culpabilit sans jamais vritablement administrer la preuve de faon dfinitive. Certes, elles rduisent les marges derreur, parfois de faon trs significative, mais elles sont toujours moins fiables quune valuation randomise. Cest la raison pour laquelle la bonne dmarche valuative est de chercher en premier lieu construire une exprience contrle et se replier sur une mthode non contrle en cas dimpossibilit.

Ce quest une exprience randomise Une exprience sociale contrle, dans sa version la plus simple, implique de constituer deux groupes de personnes, puis donner laccs au dispositif que lon souhaite valuer
En particulier le prix Nobel dconomie James Heckman, cf Microdata, Heterogeneity and the Evaluation of Public Policy, Prize Lecture, December 8 (2000). http://nobelprize.org/nobel_prizes/economics/laureates/2000/heckman-lecture.pdf. V1 Guide mthodologique pour lvaluation des exprimentations sociales 8 06/04/2009
1

 un groupe que lon nommera le groupe test et ne pas donner laccs lautre groupe que lon nommera le groupe tmoin. Le point crucial est daffecter au hasard les personnes dans chacun des deux groupes, en utilisant un tirage alatoire simple dans une liste pr-constitue dindividus potentiellement ligibles au programme. Un tirage au sort est la meilleure faon pour que les personnes des deux groupes aient en moyenne les mmes caractristiques observables ou non observables. Sils ont une taille suffisante (plusieurs centaines dindividus dans chaque groupe), les deux groupes auront exactement la mme composition par ge, sexe, qualification, et aussi selon dautres caractristiques que lon ne peut pas observer, par exemple la motivation, la capacit cooprer avec les institutions, les opinions politiques, syndicales ou religieuses, et qui peuvent avoir un impact sur les variables dintrt. En outre, plus les groupes sont de grandes tailles, plus les effets observs seront prcis : mme de petites diffrences de moyennes entre les deux groupes auront une signification si les groupes sont de taille suffisante. En pratique, le degr de prcision de ce que lon souhaite observer permet de dfinir la taille des groupes (une tude spcifique peut tre ralise pour dfinir la taille des groupes).

Dans la construction du protocole, il est ncessaire de distinguer les mesures auxquelles les individus de groupe test ont accs. En effet, si ces individus bnficient simultanment de plusieurs mesures, il sera impossible dvaluer et de comparer leur efficacit respective. Pour tester lefficacit de plusieurs mesures prises individuellement ou de faon combine, il existe des protocoles dexpriences contrles plus sophistiqus, avec trois ou quatre groupes, avec des entres diffres dans le dispositif ou avec plusieurs slections successives dans les groupes. Parfois, cest le programme lui-mme qui fait lobjet dun tirage au sort, avec par exemple des traitements diffrencis selon les personnes. La seule constante est quil est ncessaire davoir au moins une tape de lexprience o un tirage au sort a lieu. Seul le hasard permet de distinguer les individus selon un processus parfaitement indpendant de leurs caractristiques personnelles, quelles soient observables ou non observables.

Le problme des biais de slection et la ncessit de produire des donnes contrles A quoi bon une telle complexit apparente dans les mthodes danalyse ? Pourquoi ne pas se contenter de produire des statistiques descriptives et de les commenter ? La rponse est quun suivi dindicateur dans le temps nest pas une valuation. Par exemple, il nest pas satisfaisant de suivre lvolution du taux daccs lemploi des bnficiaires dun programme daccompagnement, mme en le comparant celui des demandeurs
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 9

demploi qui ne bnficient pas du programme. De mme, il nest pas suffisant de suivre dans le temps la part de mnages pauvres parmi les bnficiaires dun dispositif exprimental de soutien aux bas revenus, mme si on la compare aux mnages qui ne bnficient pas du programme.

La raison est simple : les personnes qui ont bnfici du programme social nont pas forcment les mmes caractristiques que celles qui nen ont pas bnfici. Les bnficiaires dun programme social ont t slectionns sur la base dun ensemble de caractristiques qui ont des effets sur les trajectoires personnelles. Si lon ne tient pas compte de ces diffrences entre la population qui bnficie du programme et celle qui nen bnficie pas, on fausse lvaluation des rsultats du traitement. Pour qualifier ce phnomne, on parle de biais de slection . Le problme est li au fait que lchantillon des personnes qui vont bnficier du programme social nest pas reprsentatif de lensemble des ligibles. Il y a eu une erreur systmatique lors de la slection des personnes qui vont bnficier du programme.

Les caractristiques qui influencent les trajectoires et qui peuvent contribuer la prsence dun biais de slection sont de nature varies. Certaines sont observables. Par exemple, il existe de nombreuses tudes qui montrent que les chances de trouver un emploi lorsque lon est au chmage baissent avec lge, augmentent avec la qualification, sont plus faibles pour les femmes, etc. Si le groupe de bnficiaires comprend plus dhommes, de jeunes, et de qualifis il va prsenter un taux de retour lemploi mcaniquement plus lev que celui des non bnficiaires. Dans ce cas, le risque est alors de survaluer les effets du programme. Si celui-ci est ensuite gnralis lensemble de la population ligible, il ne produira pas les effets attendus. Ce type de biais sur les caractristiques peut tre convenablement corrig avec des mthodes conomtriques adaptes. Mais dautres caractristiques ne sont pas observables. Par exemple, la motivation, la carrire professionnelle antrieure, les accidents de vie, les loisirs et les pratiques culturelles, etc. peuvent exercer un effet sur les chances dinsertion mais constituent autant de variables qui ne peuvent pas tre observes par lvaluateur. Ces variables peuvent contribuer un biais de slection sans que lon sache a priori dans quel sens joue ce biais.

Pour produire une mesure fiable des effets dun programme, il est donc indispensable de saffranchir de ces diffrents biais. Les spcialistes disent quil faut contrler de lhtrognit des variables observables et des inobservables. Pour y parvenir, il est ncessaire de mobiliser des techniques trs sophistiques qui requirent un grand nombre dobservations, ou de construire des protocoles permettant de contrler les
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 10

donnes. Lintrt majeur dune exprimentation sociale qui intgre une valuation selon un protocole randomis, est de saffranchir de ces bais de slection sur les individus bnficiant du programme de faon produire un chiffrage trs robuste avec une grande conomie de moyen statistique ou conomtrique.

Pour autant, une exprimentation randomise peut elle-mme tre confronte lexistence de biais de slection dans le choix des terrains dexprimentations et des institutions exprimentatrices. Lorsquune exprimentation est conduite sur un territoire spcifique par un exprimentateur spcifique, il est possible quelle produise des effets spcifiques, qui ne sont pas gnralisables. Ainsi, lorigine dune exprimentation se trouve une quipe dexprimentateurs potentiels porteurs dun projet. Par nature, ce type dinstitution est favorable ce type de protocole et est prt fournir les efforts ncessaires sa mise en uvre. Les effets de la mesure teste sur le groupe test peuvent sen trouver influencs. Une faon de saffranchir de ce biais de slection consiste conduire simultanment lexprimentation sur des sites diffrents, avec des exprimentateurs diffrents. La slection des sites seffectuant si possible par tirage au sort. Les mmes mesures seront alors testes en mobilisant les mmes instruments et en suivant les mmes protocoles, de sorte que toute diffrence deffet de ces mesures entre les sites sera imputable aux spcificits de ces derniers.

Les obstacles thiques Les limites dune approche randomise mritent aussi dtre abordes. Mme si le tirage au sort est le meilleur moyen de garantir ex ante lgalit des chances, le fait de sparer la population ligible en un groupe test et un groupe tmoin se traduit par une ingalit ex post de situation. Certes, cette rupture au principe dgalit se justifie par le caractre temporaire de lexprimentation et par la perspective de sa gnralisation ultrieure en cas de succs. Mais elle nen reste pas moins contraire au principe dgalit de traitement des personnes, ce qui pose une question thique. De surcrot, un protocole dexprimentation randomise implique de priver une partie de la population des ressources qui pourraient lui tre ncessaires pour amliorer sa situation. Si ces ressources ont effectivement un effet sur la trajectoire des personnes, leur privation pour le groupe tmoin peut aller lencontre de lobjet mme de linstitution exprimentatrice dont la finalit premire est damliorer le bien-tre de personnes en difficult dinsertion sociale et/ou conomique.

La question thique ne doit pas tre occulte. Elle est souvent souleve par les travailleurs sociaux qui sont en contact direct avec les publics traits ou encore par les
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 11

lus qui souhaitent naturellement que le plus grand nombre de bnficiaires aient un accs immdiat linnovation sociale. Il est souhaitable quelle soit prise en considration dans toutes les exprimentations sociales, au cas par cas, quel que soit leur protocole dvaluation, et plus encore lorsquest envisage une valuation randomise. Parfois mme, cette rflexion pourra conduire abandonner lide dune valuation par tirage au sort. Cest le cas lorsque les exprimentations mettent en jeu des ressources vitales ou dterminantes pour la trajectoire de vie des personnes. Le problme se pose notamment dans de nombreux programmes daides mis en uvre dans les pays en dveloppement2. Il nest pas question dorganiser des fins exprimentales une privation de ressource vitale pour des personnes en difficult dinsertion sociale. Pour cette raison, il sagit dappliquer les mthodes dvaluations randomises uniquement sur des

exprimentations o lon veut tester un plus par rapport au droit commun. Le groupe tmoin dispose de laccs aux ressources de droit commun. Le groupe test dispose de surcrot dun accs un complment de ressource, un service amlior, dont il sagit de tester lefficacit.

Le tirage au sort peut donc tre considr comme un moyen plus juste, plus transparent et plus lgitime que laffectation arbitraire dune ressource rare au sein dune population ligible. Dans tous les cas, laccs au programme est gnralement limit par les moyens humains ou financiers consacrs lexprimentation, la randomisation est alors une solution pour donner un accs slectif au programme. Les situations de rationnement imposent de slectionner les personnes qui ont accs au programme ou dorganiser une graduation daccs dans le temps et le tirage au sort est un bon moyen dorganiser cette slection ou cet accs diffr. Il est dailleurs parfaitement compatible avec laffectation selon une slection raisonne, en mobilisant des critres sociaux visant prioriser des publics cibles. Pour combiner les deux modes daffectation, il suffit en effet de dfinir une liste de personnes ligibles au programme en mobilisant ces critres, puis deffectuer un tirage au sort au sein de cette liste de faon constituer le groupe test et le groupe tmoin.

Il est en outre trs souvent possible en pratique de modifier les paramtres de lexprimentation et de son valuation, afin de lever les obstacles la mise en uvre dun protocole randomis. Par exemple, si lon ne peut pas priver certaines personnes de

Pour une synthse sur ces valuations appliques aux pays en dveloppement, voir Abhijit V. Banerjee et Esther Duflo, The Experimental Approach to Development Economics , mimo MIT, http://econwww.mit.edu/files/3158 V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 12

laccs au programme social, on peut envisager de le reporter dans le temps. Le groupe test est constitu des personnes qui ont un accs immdiat au programme. Le groupe tmoin est constitu de ceux qui auront un accs ultrieur, par exemple six mois plus tard. Si des diffrences sont observes entre les deux groupes du point de vue des variables dintrt, elles pourront tre attribues au fait dtre effectivement pass par le programme. Ce type de protocole garantit que tous les ligibles auront effectivement accs au dispositif, ce qui est souvent une attente lgitime de lexprimentateur.

Par ailleurs, si le tirage au sort ne peut tre effectu sur les personnes, il est galement possible de randomiser le traitement. Par exemple, dans un protocole o lon value laccs des dispositifs de micro-crdits dans des villes moyennes, o il nest pas possible daffecter au hasard la possibilit de bnficier du programme, il est envisageable de tenter de moduler de faon alatoire les conditions du crdit, son cot, sa dure, les conditions de garanties, etc. ce qui permettra in fine de raliser une valuation satisfaisante sur le plan de la rigueur scientifique.

Ces exemples illustrent le fait que la prise en compte des questions thiques nest pas incompatible avec le montage dvaluation randomise mme si elle impose un effort de rflexion commune lexprimentateur et lvaluateur. Il sagit bien souvent de trouver des solutions astucieuses des questionnements et des situations toujours particulires. Il nen reste pas moins que tous les programmes sociaux ne sont pas valuables selon une comparaison entre un groupe test et un groupe tmoin avec assignation alatoire des personnes dans les deux groupes.

Un aperu des approches quantitatives alternatives Sil est impossible de conduire une exprimentation sociale qui intgre une valuation selon un protocole randomis, on peut avoir recourt une valuation sur des donnes non exprimentales. Une simple comparaison des moyennes des variables de performance des individus bnficiant de la mesure et de ceux qui nest bnficient pas serait toutefois incorrecte, du fait de lexistence des biais de slection. Il convient alors dappliquer des techniques statistiques et conomtriques permettant de corriger au mieux ces biais3. Idalement, il conviendrait de comparer la variable de performance dun mme individu selon quil bnficie ou non dune mesure ou encore dun programme, dont lefficacit est

Pour une prsentation complte de ces techniques, voir Angrist J. et A. Krueger, (1999), Dehejia R. et Wahba S., (1999) ou Meyer B. (1995). V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 13

 tester. Or, par dfinition, soit un individu donn en bnficie, soit il nen bnficie pas. Dans lun ou lautre cas, on observe donc une seule valeur de la variable de performance pour chaque individu. Il faut donc estimer la variable de performance dun individu bnficiant de la mesure sil nen bnficiait pas, et la variable de performance dun individu ne bnficiant pas de la mesure sil en bnficiait. Pour y parvenir, les experts mobilisent une approche quils qualifient de mthode dappariement 4. Lintuition est la suivante. Si deux individus ont la mme probabilit de bnficier de la mesure, et que le premier lest alors que le second ne lest pas, tout se passe comme si laccs la mesure tait affect alatoirement entre ces deux individus. Dans ce cas, la comparaison des variables de performance de ces deux individus fournirait une estimation de leffet de la mesure sur la variable de performance. Pour estimer leffet de la mesure, on considre les individus qui en bnficient et, pour chacun dentre eux, on estime ce que serait leur variable de performance en labsence de la mesure. Pour cela, on slectionne un individu bnficiant de la mesure et on effectue la moyenne des variables de performance des individus nen bnficiant pas qui ont la mme probabilit que lui den bnficier. On effectue ensuite la moyenne des carts obtenus sur tous les individus bnficiant de la mesure. On effectue une opration symtrique pour estimer leffet potentiel quaurait la mesure sur les individus nen bnficiant pas, et on estime leffet total en appariant chaque individu avec ceux du groupe auquel il nappartient pas. Le principe de cette mthode consiste donc comparer la variable de performance de chaque individu bnficiant de la mesure, avec celle dun individu clone ne bnficiant pas de la mesure. On considre que ces deux individus sont clones , autrement dit quils ont les mmes caractristiques dans la mesure o ils ont la mme probabilit de bnficier de la mesure. Apparat ici une limite importante de cette mthode. Si un petit nombre de caractristiques influencent la probabilit de bnficier de la mesure, on considrera comme clones deux individus qui dans les faits auront un grand nombre de caractristiques distinctes, et de fait, on attribuera la mesure des effets qui seront en partie lis ces diffrences de caractristiques non contrles. On le voit, les mthodes alternatives lvaluation randomise sont trs sophistiques sur le plan des techniques statistiques. Elles requirent dtre mise en uvre par des experts confirms et ne garantissent pas labsence de tout biais. Surtout, elles supposent pour tre mises en uvre de pouvoir disposer dun grand nombre de dobservations, ce qui nest pas toujours compatible avec une exprimentation sociale qui porte le plus souvent sur des chantillons de quelques dizaines ou quelques centaines de bnficiaires. Pour mener bien une valuation quantitative permettant de produire une mesure fiable des
4

Cette mthode a t propose initialement dans le champ de lconomie de lducation par D. Rubin (1974). V1 Guide mthodologique pour lvaluation des exprimentations sociales 14 06/04/2009

effets dun programme social, il ny a donc gure dalternative au choix dun protocole dvaluation randomise lorsque lexprimentation est de petite taille.

Construire et mobiliser un systme dobservation En pratique, une tape pralable de lvaluation consiste expertiser le systme dinformation qui va permettre de suivre les variables dintrt dans le temps. Il faut se donner des outils dobservation, construire des indicateurs, recueillir des donnes et dployer des technologies de traitement pour ces donnes. Le systme dobservation pourra le plus souvent tre constitu des fichiers informatiques de gestion utiliss de faon rgulire par lexprimentateur. Mais dans la plupart des cas, il sera ncessaire de complter ces fichiers par des donnes spcifiques lexprimentation. Par exemple, on aura besoin de savoir pour chaque individu sa date dentre dans le programme, la dure de sjour dans le dispositif, et des lments sur sa situation aprs la sortie du programme. On aura besoin de complter les informations contenues dans le fichier de gestion par des enqutes statistiques ralises auprs de bnficiaires ou de non bnficiaires de lexprimentation. Eventuellement, il sera ncessaire de rpter ces enqutes complmentaires plusieurs fois afin de suivre les populations dans le temps. Pour recueillir ce type de donnes, il est ncessaire de raliser un travail spcifique dvaluation du systme dinformation de lexprimentateur et des moyens de le complter. Ce travail fait partie intgrante de lvaluation et sera ralis par lvaluateur qui doit ainsi procder une sorte daudit pralable des systmes dinformation.

Lvaluation quantitative requiert la constitution de bases de donnes ayant la fois une dimension individuelle et temporelle. Ces bases agrgent deux types de sources statistiques. Dun ct, on mobilise les bordereaux de suivi de lexprimentation, qui consistent dans des fiches individuelles qui donnent la date dentre dans le programme, le type de parcours suivi dans le programme, la date de sortie, et dautres indications sur le droulement du programme et la situation des personnes avant et aprs le programme, ainsi que des fiches collectives, sur les diffrents oprateurs et leurs prestations. Dun autre ct, on mobilise des fichiers administratifs de gestion qui permettent de suivre les personnes du point de vue de lexprimentateur et des organismes gestionnaires (tels que Ple Emploi ou la CAF). Toutes ces sources statistiques doivent tre apparies de faon disposer dune information complte sur les trajectoires et les caractristiques des personnes avant, pendant et aprs lexprimentation, quelles appartiennent au groupe test ou au groupe tmoin. Puis, des traitements statistiques et conomtriques sont raliss sur ces bases de donnes.
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 15

La production dune telle base de donnes est un travail statistique lourd. Sagissant de donnes individuelles, elle peut poser en outre des questions de secret statistique et de respect du cadre lgislatif sur linformatique et les liberts. Lexprimentateur est le producteur et le gestionnaire des fichiers de gestion. Il organise galement, de faon directe ou indirecte, la production des donnes de suivis tout au long de lexprimentation, avec lappui technique de lvaluateur. Ce dernier est destinataire de la base donne. Afin de respecter les textes en vigueur relatifs au secret statistique et la confidentialit des donnes individuelles, lvaluateur ne doit disposer ni mme manipuler aucune information directement ou indirectement nominative. La base doit donc tre compltement anonyme et les appariements de fichiers doivent tre effectus en amont, par lexprimentateur. Il sagit l encore dun surcrot de travail non ngligeable. Cet investissement pourra cependant tre amorti la fois des fins dvaluation interne et externe, des fins descriptive et explicative. La constitution de ce systme dobservation pourra par ailleurs permettre damliorer la gestion mme du dispositif.

II- LES METHODES QUALITATIVES : QUELS EFFETS ET POURQUOI CES EFFETS ? Pourquoi une approche qualitative dans un processus dvaluation ?

Si les mthodes quantitatives ont un fort pouvoir dobjectivation, et sont indispensables pour une approche comparative, elles ne peuvent pas toujours prendre en compte tous les aspects de lvaluation.

Lapproche qualitative peut alors tre utilise soit en combinaison avec une approche quantitative, soit dans une dmarche dinvestigation spcifique.

En combinaison avec une approche quantitative, les mthodes qualitatives peuvent intervenir soit en amont, soit en aval : En amont, elles contribuent tester des hypothses (et notamment reprer quels sont les effets qui devront ensuite tre mesurs) et des choix de variables, et identifier les informations disponibles. Cette phase exploratoire est

particulirement importante en situation exprimentale, o, par dfinition, les dispositifs sont innovants et peuvent donc gnrer des comportements inattendus. En aval, elles visent formuler des types dinterprtation des donnes obtenues, valider des hypothses explicatives, donner un cadre global danalyse permettant dinterroger la cohrence des rsultats observs. Cette phase

V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

16

comprhensive a du sens dans les dynamiques exprimentales car on a parfois des difficults comprendre certaines corrlations.

Elles permettent enfin de complter les rsultats quantitatifs en apportant des lments de rponses sur le fonctionnement dun dispositif. Une des principales difficults de cette analyse du fonctionnement est de faire la part des choses entre ce qui rellve du caractre exprimental et ce qui relve du dispositif en lui-mme. Par exemple, sur la question des cots, si le cot de versement dune prestation est a priori homothtique entre le dispositif exprimental et le dispositif gnralis, il y a fort parier que les cots de gestion seront moindres : une exprimentation ncessite souvent une gestion manuelle, alors que les processus sont automatiss en mode gnralis. Mais lconomie ralise est difficile chiffrer.

Les protocoles dvaluation portant sur des politiques complexes associent frquemment la mise en uvre de dmarches quantitatives et qualitatives, ce qui semble ncessaire pour apprhender globalement leurs conditions de fonctionnement et les rsultats obtenus.

Mais lapproche qualitative se justifie aussi comme dmarche spcifique approprie certains types de questionnement qui ne peuvent pas, ou difficilement, faire lobjet de mesures quantitatives. Face lvaluation objective par la mesure, elle introduit un jugement de type inductif et comprhensif. Les dmarches qualitatives peuvent apporter des informations sur diffrents types de questionnement. - Elles peuvent permettre dabord la mise jour des conceptions et reprsentations sociales des diffrentes catgories dacteurs concerns, en incluant parmi eux les bnficiaires ou usagers des politiques tudies. Ces reprsentations souvent implicites dterminent les conduites, comportements, attitudes et opinions des diffrents groupes dacteurs et leur manire de sapproprier les mesures et dispositifs analyss (appropriation par les bnficiaires notamment). Elles permettent de rendre compte de la diversit des attentes et des besoins. - Par des dmarches qualitatives visant crer des situations dinteractivit, on peut par ailleurs favoriser une apprhension globale des situations et chercher dgager des consensus sur des questions complexes. Le jugement valuatif est fonction des valeurs de rfrence portes par les diffrents acteurs, et la confrontation des systmes de valeur en prsence permet de former un jugement sur la pertinence et la validit des politiques
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 17

mises en uvre partir de critres partags. Cette approche pluraliste est une garantie apporte contre les risques de jugements valuatifs normatifs lis la seule mise en relation de rsultats et dobjectifs. Aussi ces dmarches sont-elles ncessairement de nature participative. - Les mthodes qualitatives peuvent galement permettre de mesurer la diversit des situations, en sappuyant, par exemple, sur lanalyse de cas extrmes prenant valeur de cas types. Elles permettent aussi dobserver le droulement de processus dans le temps, sur la base danalyses de cas et de monographies, et de prendre en compte dans la dure des dysfonctionnements et des effets non prvus ou secondaires. Aussi les valuations qualitatives sont-elles souvent menes en continu, de manire parallle laction, sur longue dure.

Inductive, comprhensive, participative, en continu, telles sont les caractristiques frquemment associes dune valuation qualitative. Les enjeux multiples auxquels elle doit rpondre ncessitent le plus souvent la combinaison de plusieurs approches.

Quelques mthodes dvaluation qualitative Les mthodes et techniques dvaluation qualitative doivent tre choisies dabord en fonction des questions que lon se pose, de ce qui est attendu principalement comme rsultat valuatif. Ces finalits tant clairement poses, les techniques elles-mmes sont largement empruntes aux mthodes des sciences sociales, et ne sont pas trs spcifiques. Les investigations qualitatives peuvent prendre trois grandes formes : linterrogation des acteurs, lobservation directe de lvaluateur, la monographie.

- Linterrogation des acteurs utilise toutes les techniques dentretien approfondi, le plus souvent des entretiens semi-directifs ou ouverts. Deux grandes formes sont utilises, selon les objectifs recherchs, et combines le plus souvent : entretiens individuels ou entretiens collectifs. Ces entretiens peuvent tre

mens auprs de diffrents types dacteurs, et de manire privilgie auprs de bnficiaires ou dusagers. Exemple dutilisation dentretiens individuels : un projet visant mesurer les effets sociaux dune distribution de lgumes et fruits frais dans laide alimentaire a prvu de combiner valuation quantitative par questionnaires, et valuation qualitative par entretiens individuels semi-directifs. Ces entretiens avaient pour objectif didentifier les modifications de comportement, les obstacles et difficults rencontrs et les effets induits de cette consommation sur les liens sociaux.
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 18

Les entretiens collectifs permettent, en jouant sur les interactions, dobtenir de nombreuses informations en un temps rduit. Ils peuvent aussi, dans la mthode dite des focus groupes , faire merger progressivement, par interrogations successives, des points de consensus. Exemple dutilisation de focus groupe : un projet visant articuler aide alimentaire et action sociale a bti son processus valuatif sur des entretiens collectifs successifs auprs des trois collges dacteurs : les bnficiaires, les acteurs professionnels, les institutions concepteurs du projet. Les rsultats sont obtenus par la confrontation entre ces entretiens.

- Lobservation directe sinspire des mthodes de type ethnologique. Lvaluateur simmerge dans lorganisation, selon des modalits et des moments dbattus avec les acteurs, en position dobservateur sans intervention directe. Cest une approche entirement inductive. Exemple dobservation directe : un projet visant promouvoir des innovations socioducatives dans la protection de lenfance. Lobjectif est de conceptualiser les innovations et den dresser une typologie. Limmersion de lvaluateur dans les dispositifs valus vise permettre une comprhension des pratiques dintervention, des mthodes pdagogiques, des changements de comportement.

- La monographie ou ltude de cas permet danalyser dans la dure et de faon globale les effets dune politique, et est particulirement approprie pour tudier des programmes territorialiss, avec un fort impact de lenvironnement institutionnel. La comparaison entre monographies ralises dans des contextes trs divers peut aider isoler le ou les facteurs explicatifs dterminants. Ltude de cas est aussi bien adapte lanalyse des fonctionnements et des processus. Exemples dvaluation par monographie : un projet visant dvelopper des programmes territorialiss et renforcs de formation et daccompagnement vers lemploi. A ct dune valuation quantitative portant sur les effets du programme sur des parcours individuels, il est prvu une comparaison territoriale pour apprcier la construction du dispositif, le jeu des acteurs, les effets collectifs. Autre exemple : un projet visant dvelopper lintgration des structures dinsertion par lconomique dans un dveloppement local. Lvaluation, participative et en continu, sur 8 terrains daction, procde galement dune approche par confrontation de monographies territoriales.

Ces mthodes qualitatives sont souvent combines entre elles.

V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 19

Elles doivent tre choisies en fonction des objectifs de lvaluation, soigneusement dtermins et doivent faire lobjet dune grande rigueur dans leur mise en uvre, selon un protocole crit, partag, et avec des outils (questionnaires, grilles dobservation)

soigneusement labors, et soumis validation auprs dune instance dvaluation. Dans ces approches faisant davantage appel la subjectivit de lvaluateur, le contrle par cette instance est dautant plus indispensable. Linterprtation des rsultats doit aussi faire lobjet dune mise en dbat entre toutes les parties prenantes.

Une mthode danalyse du partenariat

Le partenariat est devenu une mthode incontournable de travail dans les politiques sociales. Son bon fonctionnement est donc un des lments importants dans la russite des dispositifs. Une mthode classique d'analyse du partenariat est l'interrogation de l'ensemble des partenaires et l'analyse de leur discours autour des points de convergence. Une mthode alternative est de raliser galement une interrogation, mais de faire ensuite une analyse fonde sur les convergences ET sur les divergences. Cette seconde option permet de reprer les points de discordance dans l'analyse des faits, des postures institutionnelles et des opinions sur le fonctionnement (trois volets sur lesquels les interrogations doivent porter). On repre ainsi dans une tude rcente sur l'offre de service petite enfance (dispositif exprimental mis en place par prs de 50 Caf) que les partenaires d'un mme territoire ne sont pas toujours d'accord sur l'existence mme d'un schma dpartemental de la petite enfance, sur l'institution pilote de la Cdaje, sur le nombre de commissions, les axes dominants des travaux la qualit du partenariat ... Cette incohrence peut impacter la qualit du programme mis en uvre.

IV Les obstacles la mise en uvre dexprimentation

Lexprimentation sociale na pas vocation sappliquer toutes les situations. Elle ne semble notamment pas pertinente : face une situation durgence financire ou sociale ; quand les lments pour la dcision sont insuffisants ; quand le dbat est insuffisant sur le sens des mesures exprimenter ou quand les clivages existants sur les rsultats attendre de ces mesures ne sont pas clarifis. Parce quune exprimentation est toujours innovante, elle bouscule les routines organisationnelles, les faons de faire, les pratiques habituelles des institutions. Ds lors,
V1 06/04/2009 Guide mthodologique pour lvaluation des exprimentations sociales 20

la ralisation dune innovation sociale confronte bien souvent lexprimentateur de multiples sources de rigidits insouponnes. Il avance en terra incognita, et mme sil a ralis un travail prospectif trs complet en amont du lancement de son programme, il peut sattendre de faon certaine rencontrer beaucoup dimprvus et se heurter de multiples obstacles, petits et grands.

Ces obstacles seront dordre juridiques ou rglementaires (en relation avec la multiplicit des acteurs et des contrats ou conventions qui vont les relier), dordre purement logistiques (les conditions daccueil des personnes vont soulever de nombreux problmes de disponibilit, de scurit des locaux, ) ou encore, lis aux chanes de traitement des donnes de gestion et aux systmes dinformation (qui peuvent savrer incomplets ou inadapts). Il en va de mme, dans une moindre mesure, pour lvaluateur qui va tre ncessairement confront un grand nombre dimprvus et dimpondrables. Sil pense valuer une exprimentation, en ralit il exprimente une valuation.

Dans ce contexte, il faut souligner que le fait de vouloir mener bien une valuation rigoureuse des effets dun programme exprimental ajoute des complications et des incertitudes dans le droulement dune exprimentation. Il en rsulte des cots de mise en uvre, de suivi et de coordination pour les parties prenantes. Ces cots ne sont pas forcment dterminants dans le choix stratgique du protocole dvaluation mais ils doivent nanmoins tre pris en considration par lexprimentateur et son valuateur.

V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

21

Rfrences Angrist J. et A. Krueger, (1999), Empirical Strategies in Labor Economics , in Handbook of Labor Economics, vol 3A, Ashenfelter O. et Card D. (eds.), North Holland, Amsterdam, p. 1277-1366. Dehejia R. et Wahba S., (1999), Causal Effects in Non experimental Studies: reevaluating the evaluation of training programs , Journal of the American Statistical Association, 94, p. 1053- 1062. Banerjee, Abhijit et Duflot, Esther (2008), The experimental Approach to Development Economics, Mimeo MIT. Heckman, J. (2000). Microdata, Heterogeneity and the Evaluation of Public Policy, Prize Lecture, December 8. http://nobelprize.org/nobel_prizes/economics/laureates/2000/heckman-lecture.pdf

Heckman J.J., LaLonde R.J. et Smith J.A., (2000), The Economics and Econometrics of Active Labor Market Programs, in Handbook of Labor Economics, vol 3A, Ashenfelter O. et Card D. (eds.), North Holland, Amsterdam, p. 1865-2097. Meyer B., (1995), Natural and Quasi-Experiments in Economics , Journal of Business and Economic Statistics, 13(2), p. 151-62. Rubin D. (1974),Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies, Journal of Educational Psychology, (66): p. 688701.

V1 06/04/2009

Guide mthodologique pour lvaluation des exprimentations sociales

22