Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA

Sommaire
S !!A"#E $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ % &'E ( &#'EE )E*&)ES E' A+",' ' S&# -E+A-&A*" ' )ES P -"*".&ES C !P-E/ES $$$$$$$$$$$ % DES QUESTI !S " UR #E $ !$E"TEUR% #E "I# TE U
#&E'(#U(TEUR DE #( " #ITIQUE "U)#IQUE ************************* 1

Une journe dtudes en Avignon sur lvaluation des politiques complexes

#e $lub S+E "($( a or5an6s% le 15 septembre 2011 en (765non% dans les lo8au9 de l&Un67ers6t% une journe d&tudes sur l&7aluat6on des pol6t6:ues 8omple9es% ; la:uelle ont part686p pr<s de 40 part686pants% pro=ess6onnels de l&7aluat6on% pres8r6pteurs% 8onsultants et un67ers6ta6res*

(SS $IER $ !$E"TS ET "R(TIQUES "R +ESSI !!E##ES ******** 1 C 'CEP*S E* )EF"'"*" 'S : .&APPE--E0*0 '1 &'E P -"*".&E C !P-E/E 2 $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ 3 #ES DE+I!ITI !S DE #&(!(#,SE DES S,STE-ES********************* 2 #E - DE#E DE )RE!D( .I--ER-(! ******************************* 2 #( $ -"#E/ITE% U!E ! TI ! D,!(-IQUE ************************ 0 .&E--ES C 'SE.&E'CES1 P &# -E+A-&A*E&#1 )E -A C !P-E/"*E )E -A P -"*".&E .&"- E+A-&E 2 $$$ 4 $ -"#E/ITE ET E'(#U(TI ! 1 #E - DE#E DE .I--ER-(! ( #&E"REU'E DE #( RE(#ITE 2 QUE#QUES E/E-"#ES $ !$RETS * 0 DI++ERE!TS R #ES ET DE+IS " UR #&E'(#U(TEUR% SE# ! #E T,"E DE " #ITIQUE ( E'(#UER ***************************************** 5 -E+A-&A*" ' )ES P -"*".&ES C !P-E/ES : C !!A')E P&5-".&E1 , &+E#'A'CE1 )E! C#A*"E1 E* S6S*E!ES )"'F #!A*" ' $$$$$$$$$ 7 #ES DI++I$U#TES S"E$I+IQUES ( #&E'(#U(TI ! DES " #ITIQUES $ -"#E/ES ***************************************************************** 5 #( $ --(!DE "U)#IQUE ********************************************** 5 I!ST(!$E D&E'(#U(TI !% "(RTI$I"(TI ! DES $IT ,E!S% "#($E DES E/"ERTS% $ --U!I$(TI ! ************************************** 6 #&E'(#U(TI ! DE " #ITIQUES $ -"#E/ES% S,STE-ES D&I!+ R-(TI ! ET $ !!(ISS(!$E "(RT(3EE ******************* 4 C 'C-&S" ' : -ES P -"*".&ES C !P-E/ES P SE'* )ES )EF"S !A(E&#ES A -E+A-&A*" ' $$$$$$$$$$$$$$$$$$ %3 A''E/E % : 5"5-" ,#AP8"E $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ %4 A''E/E 3 : P# ,#A!!E )E -A ( &#'EE )& %7 SEP*E!5#E 39%% $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ %:

Des questions pour le concepteur, le pilote ou lvaluateur de la politique publique

#es :uest6ons au 8>ur de la journe d&tude porta6ent sur les d6==68ults poses par la 8omple96t% :ue 8e so6t au stade de la 8on8ept6on de la pol6t6:ue% dans sa 8ondu6te et dans son 7aluat6on =6nale% en jouant sur d6==rents param<tres1 la 5ou7ernan8e% la pla8e donne ; l?usa5er ou ; l?ut6l6sateur =6nal% la 8o@ren8e et le mana5ement des 6nter=a8es% la 5est6on des donnes% la 8ommun68at6onA $omment 7aluer la pert6nen8e d?une pol6t6:ue% 8?est-;-d6re son adaptat6on au9 beso6ns de la so86t% lors:ue les obje8t6=s des pol6t6:ues se mult6pl6ent et 7oluent dans le temps% :u&6ls se ral6sent ; plus6eurs n67eau9 terr6tor6au9 ou 8ro6sent d6==rents d6spos6t6=s se8tor6elsB $omment 76ter les doublons% =a7or6ser les 8omplmentar6ts et les sCner56es entre pol6t6:ues% les rendre l6s6bles% et ; :uelles 8ond6t6onsB Quelles pr8aut6ons do6t-on prendre% au stade de la =ormulat6on de la 8ommande d&7aluat6on% pour prendre en 8ompte la 8omple96t des pol6t6:ues 8on8ernesB Quels 8r6t<res do6t-on 6ntrodu6re pour 7aluer les d6spos6t6=s de 5ou7ernan8e et de mana5ementB $omment asso86er ; la dmar8@e 7aluat67e les part6es prenantes 2 oprateurs% bn=686a6res 2 au9 d6==rents n67eau9 terr6tor6au9 B

Associer concepts professionnelles

et

pratiques

#e pro5ramme de la journe 8omb6na6t des apports t@or6:ues et 8on8eptuels sur l&7aluat6on% la 8omple96t% et l&7aluat6on des pol6t6:ues 8omple9es des 8@an5es entre prat686ens et pro=ess6onnels sur l&6mpa8t de la 8omple96t sur l&asso86at6on des part6es prenantes et sur les sCst<mes d&6n=ormat6on*

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA

Concepts et dfinitions : quappelle t on, une politique complexe !

Il est 6nd6spensable% en tout prem6er l6eu% de d=6n6r les 8on8epts et les mots :ue nous ut6l6sons 2et s6n5ul6<rement le terme D 8omple9e E-% et de proposer des d=6n6t6ons :u6 so6ent oprato6res pour l&7aluateur ou le 8on8epteur de pol6t6:ues publ6:ues*

#a 8omb6na6son de 8es deu9 d6mens6ons permet de 8lasser les pol6t6:ues publ6:ues en J 5roupes 1 les pol6t6:ues s6mples% 8ompl6:ues% 8omple9es ou 8@aot6:ues*

'olitiques ( simples )
Une s6tuat6on% une pol6t6:ue% un pro5ramme% est s6mple s&6l C a un =ort dterm6n6sme entre l&a8t6on publ6:ue et ses e==ets s&6l C a un =ort 8onsensus entre les part6es prenantes sur les obje8t6=s et les moCens de la pol6t6:ue B

"es dfinitions de lanal#se des s#st$mes

#&analCse des sCst<mes propose une d=6n6t6on des termes D 8omple9e E et D 8ompl6:u E% sou7ent 8ons6drs 8omme :u67alents smant6:ues* Est ;complexe< un sCst<me 8onst6tu d?un 5rand nombre d?ent6ts en 6ntera8t6on :u6 empF8@ent l?obser7ateur de pr7o6r sa rtroa8t6on% son 8omportement ou 7olut6on par le 8al8ul* (utrement d6t% un sCst<me est d6t 8omple9e s6 le rsultat =6nal n?est pas prd68t6ble d6re8tement en 8onna6ssant les r<5les* ( ne pas 8on=ondre a7e8 un sCst<me ;compliqu<1 :u6 peut 8omporter un 5rand nombre d&ent6ts en 6ntera8t6on% ma6s dont on peut 8onnaGtre et pr7o6r le 8omportement*

Un e9emple donn 8lass6:uement de 8e tCpe de 1 s6tuat6on est donn par une pol6t6:ue de 7a886nat6on *

'olitiques ou programmes ( compliqus )

#e mod<le d6st6n5ue deu9 tCpes de s6tuat6ons% pol6t6:ues ou pro5rammes D 8ompl6:us E 1 les s6tuat6ons ; tec=niquement < 8ompl6:ues% :u6 se 8ara8tr6sent par un 8l6mat de 8onsensus le7 entre les part6es prenantes ; la pol6t6:ue% oK la m6se en >u7re de la pol6t6:ue et du pro5ramme est tout ; =a6t 8onna6ssable et prd68t6ble% ma6s n8ess6te un tr<s 5rand nombre d&a8t6ons et de pro8essus 6nter-rel6s% et/ou dont la m6se en >u7re e965e une e9pert6se* Une pol6t6:ue d&e9plorat6on spat6ale est un bon e9emple de 8e tCpe de s6tuat6ons* #es s6tuat6ons ; socialement < 8ompl6:ues% oK le l6en entre les a8t6ons publ6:ues et leur e==et peut Ftre 8onnu et prd68t6ble% ma6s oK 6l C a un 8erta6n n67eau de d6ssensus entre les part6es prenantes% sur les obje8t6=s 8omme sur les moCens de la pol6t6:ue* #es pol6t6:ues de Dd6s8r6m6nat6on pos6t67e E en =a7eur de m6nor6ts 8onst6tuent des e9emples de 8e tCpe de s6tuat6ons*

"e mod$le de %renda &immerman

)renda .6mmerman% de l&(mer68an E7aluat6on (sso86at6on% a propos un mod<le dans le:uel elle pr676l56e deu9 tCpes d&lments des sCst<mes :ue 8onst6tuent les pol6t6:ues publ6:ues 1 #es a8teurs ou part6es prenantes au9 pol6t6:ues% pour les:uels elle propose de 8ara8tr6ser leur n67eau de 8onsensus Hou de d6ssensusI% sur la pol6t6:ue Hses obje8t6=s% ma6s 5alement les moCens m6s en >u7reI #es lments te8@n6:ues de l&a8t6on publ6:ue% pour les:uels elle propose de reten6r le dterm6n6sme du l6en entre 8ause et e==et* -

'olitiques ou programmes complexes

Dans le mod<le de )renda .6mmerman% une s6tuat6on% une pol6t6:ue% un pro5ramme% sont rputs 8omple9es d<s lors :u&6ls ou elles 8umulent tout ; la =o6s 8ompl68at6on te8@n6:ue et so86ale% autrement d6t :u&6l C a une part d&6ndterm6nat6on dans les e==ets de la pol6t6:ue% et :u&6l n&C a pas de 8onsensus =ort entre les part6es prenantes% sa8@ant :ue l&6ndterm6nat6on sur les e==ets peut al6menter le d6ssensus entre les a8teurs* #es pol6t6:ues de l&Edu8at6on ou de la '6lle 8onst6tuent des e9emples de 8es s6tuat6ons* De mFme% une pol6t6:ue de 7a886nat6on% sou7ent pr6se 8omme e9emple-tCpe de pol6t6:ue D s6mple E H8= supraI% se

#&e9emple r8ent de la 7a886nat6on 8ontre le L1!1 a montr :ue les pol6t6:ues de 7a886nat6on n&ta6ent pas toujours s6mples% 8= 6n=raA 2

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
r7<le 8omple9e s6 le 7a886n ut6l6s prsente des 8ontre-6nd68at6ons ou des e==ets se8onda6res% et s6 2en ra6son pr86sment de 8es e==ets se8onda6res et des r6s:ues :u&6ls 6ndu6sent- des oppos6t6ons =ortes mer5ent au se6n des a8teurs 8on8erns% notamment pro=ess6onnels% 8omme 8e =ut le 8as pour la pol6t6:ue de 7a886nat6on 8ontre le 76rus L1!1* "ar a6lleurs% plus le D porteur E d&une pol6t6:ue sou@a6te prendre en 8ompte les part6es prenantes% ; la 8on8ept6on% au p6lota5e et ; l&7aluat6on d&une pol6t6:ue ou d&un pro5ramme% plus 8eu9-86 r6s:uent d&entrer dans la 8at5or6e 8omple9e* "lus 5nralement% une pol6t6:ue peut Ftre s6mple D lo8alement E% 8&est-;-d6re sur un 8@amp restre6nt en termes 5o5rap@6:ues ou d&a8teurs 6mpl6:us% et de7en6r 8omple9e d<s :ue l&on lar56t le 8@amp de la pol6t6:ue* Dans 8es 8ond6t6ons% et 8ompte tenu de l&6ntera8t6on 8ro6ssante entre pol6t6:ues% a8teurs% 8@elles 5o5rap@6:ues% on pourra6t a==6rmer sans trop de r6s:ue :ue la tendan8e est dans la 8omple96=68at6on des pol6t6:ues* $orrlat67ement% les pol6t6:ues s6mples tendront ; se =a6re e9trFmement raresA% 8e :u6 ne sera pas sans 8ons:uen8es sur leurs pro8essus d&7aluat6on% 8omme on le 7erra plus lo6n* pro5ramme :u6 peu7ent en prem6<re analCse apparaGtre s6mples ou seulement D 8ompl6:us E te8@n6:uement% peu7ent 7oluer 7ers la 8omple96t 7o6re 7ers le 8@aos* De =a6t% le mod<le $Cne=6n% dont est 6ssu le mod<le de )renda .6mmerman% analCse :uel:ues s8@mas dCnam6:ues% oK l&on 7o6t des s6tuat6ons 7oluer de l&tat D s6mple E ; l&tat D 8omple9e E 7o6re D 8@aot6:ue E% et notamment les m8an6smes :u6 sous-tendent 8es 8@an5ements d&tat*

Situations c*aotiques
Un dern6er 5roupe run6t les s6tuat6ons% pol6t6:ues et pro5rammes oK 6l n&C a au8un l6en 8onnu entre une pol6t6:ue et ses e==ets Hou une totale 6ndterm6nat6on% 8e :u6 re76ent au mFmeI% et oK la relat6on entre les part6es prenantes est =ortement 8on=l68tuelle% 8&est-;d6re :u6 8umulent 8ompl68at6ons te8@n6:ue et so86ale e9trFmes* n :ual6=6e 8es s6tuat6ons% pol6t6:ues ou pro5rammes de c=aotiques$

#e s8@ma 86-dessus reprsente :uel:ues-uns des pro8essus de trans6t6on entre les d6==rents tCpes de s6tuat6ons proposes par le mod<le .6mmerman* $e :u6 est essent6el 686% 8&est de per8e7o6r le 8ara8t<re potent6ellement 6nstable de 8@a8une des s6tuat6ons tCpes% sous l&e==et de pro8essus de trans6t6on 7oulus ou sub6s* n 8onNo6t :ue 8e 8ara8t<re dCnam6:ue% 7olut6=% de la nature des 8onte9tes des pol6t6:ues et pro5rammes publ68s n&est pas sans 8ons:uen8e sur leur pro8essus d&7aluat6on% et sur le rOle d&7aluateur*

"a complexit, une notion d#namique

#a 8omple96t apparaGt 8omme une 8ara8tr6st6:ue dCnam6:ue% et non stat6:ue% des pol6t6:ues et pro5rammes 8ons6drs* De =a6t% la 8omple96t rel6e l&6n8ert6tude Hsur les rsultats ; atte6ndre% le 8onsensusAI% la non-l6nar6t Hle =a6t :ue le l6en 8auses-e==ets ne so6t pas m8an6:ueI% la mult6pl686t Hdes =a8teurs% des mesures% des a8teursI et les relat6ons :u6 les l6ent% ma6s auss6 la d67ers6t des 8ompten8es et des n67eau9 d&e9pert6se :ue 8es 2 pol6t6:ues mob6l6sent M or 8es d6==rents lments peu7ent 7ar6er dans le temps* En d&autres termes% du =a6t de la 7ar6ab6l6t potent6elle de l&un :uel8on:ue de 8es lments 2 et notamment de 8eu9 :u6 sont l6s au9 a8teurs et ; leurs strat56es- une pol6t6:ue ou un

+uelles consquences, pour lvaluateur, de la complexit de la politique quil value !

Complexit et valuation : le mod$le de &immerman a lpreuve de la ralit , +uelques exemples concrets"e cas des situations simples
Dans une s6tuat6on rpute s6mple% le l6en 8ause-e==et est 8onnu* $&est par e9emple le 8as du l6en entre =ormat6on au perm6s de 8ondu6re et russ6te au perm6s% ou de l&a6de ; l&6nstallat6on des mde86ns en J m6l6eu rural * Dans 8es s6tuat6ons% 6l n&est pas rare :ue

( t6tre d&e9emple% les pol6t6:ues publ6:ues terr6tor6al6ses sont sou7ent 8ontra8tuelles et partenar6ales et 8ro6sent plus6eurs n67eau9 de 8ompten8e*

D&apr<s la prsentat6on de 3uC $au:u6l lors de la journe du 15 septembre 2011% ; (765non* J 1 mesure% 500 000 euros 0

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
l&7aluat6on s&appu6e sur un seul param<tre de pol6t6:ue publ6:ue* S6 l&on prend% par e9emple% l&7aluat6on de la 7a886nat6on 8ontre le palud6sme% dans une pol6t6:ue de sant publ6:ue% le probl<me d&7aluat6on sera de 8omparer un 5roupe 7a886n a7e8 un 5roupe tmo6n% 8@o6s6s les uns et les autres de =aNon alato6re* $ette appro8@e% :u6 est 8elle de l&8ole d&8onom6e de "ar6s% peut poser des :uest6ons d&t@6:ue% notamment pour la random6sat6on H8omment 8@o6s6r 8eu9 :u&on 7a886ne ou :u&on ne 7a886ne pas BI* "ar a6lleurs% l&7aluat6on apporte la preu7e de l&e==68a86t de la pol6t6:ue% ma6s n&apporte au8un lment d&e9pl68at6on% notamment en 8as d&6nsu88<s de la pol6t6:ue* $e prem6er mod<le =a6t =ureur en +ran8e Hdes bud5ets 8ons6drables ont t 8onsa8rs ; l&7aluat6on selon 8e mod<le de l&e9pr6mentat6on du RS(I ma6s appelle beau8oup de 8r6t6:ues* En part68ul6er% la relat676t des rsultats obtenus 8ondu6t ; temprer le mod<le e9pr6mental* En ral6t% on peut s&6nterro5er sur l&e96sten8e de pol6t6:ues s6mples 1 8omme on l&a 6nd6:u plus @aut% la 5 tendan8e -mt@odolo56:uement sou@a6table - ; asso86er les part6es prenantes ; l&7aluat6on de la pol6t6:ue% s6 8e n&est ; sa 8on8ept6on ou ; son p6lota5e% trans=orme sou7ent des s6tuat6ons apparemment s6mples en des 8onte9tes% au mo6ns so86alement 8ompl6:us% 7o6re 8omple9es H7o6r 6n=raI* $omme 6 l&6nd6:ua6t Ll<ne -6let 1 Toutes les politiques publiques sont complexes. A Grenoble, ville plurielle, elles le sont videmment pour l&7aluat6on des 6mpa8ts% sur les e==ets 8onstats du pro5ramme spat6al au9 plans 8onom6:ues% 5opol6t6:ues* n 7o6t 686 :ue% s6 le pro5ramme est te8@n6:uement 8ompl6:u% la pol6t6:ue spat6ale% pr6se 8omme 8ontr6buant au d7eloppement 8onom6:ue ou au pos6t6onnement 5ostrat56:ue% pourra6t Ftre ran5e dans la 8at5or6e D 8omple9e E* Un e9emple du mFme tCpe pourra6t Ftre l&7aluat6on% s6 elle se =a6t un jour% de la pol6t6:ue de d6ssuas6on nu8la6re =ranNa6se 1 s6 le pro>ramme est te8@n6:uement 8ompl6:u% la politique de dissuasion nuclaire% au9 plans 8onom6:ues et 5ostrat56:ues% rel<7era6t plutOt des pol6t6:ues 8omple9es*

"e cas des situations complexes

Dans une s6tuat6on rpute 8omple9e% les l6ens de 8ause ; e==et entre l&a8t6on publ6:ue et ses rsultats et 6mpa8ts ne sont pas 8onna6ssables% et 6l n&C a pas de 8onsensus =ort entre les part6es prenantes sur les obje8t6=s n6 sur les moCens de 8es pol6t6:ues* $&est le cas des politiques de lducation, de la ville, de reconnaissance des droits des minorits% De =a6t% 8es pol6t6:ues ren7o6ent ; une mult6pl686t de 7aleurs% d&enjeu9% de reprsentat6ons 8ons86entes et 6n8ons86entes% non parta5es entre les d6==rents a8teurs 8on8erns* n =a6t sou7ent de l&7aluat6on pour rdu6re le d6ssensus 1 ce fut le cas de la premire valuation conduite en France sur l !G* #&7aluat6on assure alors une =on8t6on de rassuran8e pour l56t6mer une pol6t6:ue :u6 ne 7a pas de so6* "est #alement le cas pour lvaluation des mesures concernant les mineurs multircidivistes 1 6l C a7a6t un =ort d6ssensus sur 8es mesures* Dans un tel 8onte9te% la dmar8@e :u6 s&6mpose est 8elle du dbat publ68 et de la Q part686pat6on * n trou7e dans 8ette 8at5or6e le plan pr6natal6t % oK l&7aluat6on do6t =a6re la part de l&@uman6t par rapport ; la part de la te8@n6:ue 1 8e plan% te8@n6:uement 8ompl6:u Hpr<s de 50 mesures% plus de 000 -R% a7e8 un n67eau nat6onal et une d8l6na6son r56onaleI% ta6t 5alement D so86alement 8ompl6:u E% par sa d6mens6on psC8@olo56:ue* Un autre e9emple% dj; 86t plus @aut% est 8elu6 de la "ol6t6:ue de la '6lle% mar:ue ; la =o6s par le d6ssensus et l&6n8ert6tude :uant ; ses e==ets* Il C a% 686 auss6% n8ess6t d&7aluer sur plus6eurs re56stres* $&est dans 8es s6tuat6ons% 8es pol6t6:ues :ue le 8oupla5e 7aluat6on-p6lota5e prend tout son sens*
4

"e cas des situations compliques

$omme on l&a 7u plus @aut% une s6tuat6on peut Ftre 8ompl6:ue te8@n6:uement ou so86alement* Dans un 8as 8omme dans l&autre% :ue la 8ompl68at6on so6t te8@n6:ue ou so86ale% l&a8t6on publ6:ue sus86te une rponse :u6 s&6ns8r6t dans le temps* S6 l&on reprend l&e9emple des pro5rammes spat6au9% tels :ue les ont 8onnus les Etats Un6s dans la pr6ode PennedC% les obje8t6=s et les moCens de la pol6t6:ue spat6ale et de ses pro5rammes =ont 8onsensus% ma6s leur m6se en >u7re est te8@n6:uement 8ompl6:ue* #a dmar8@e mt@odolo56:ue 8orrespondante s&appu6e sur la prospe8t67e% sur l&analCse sCstmat6:ue et le repra5e des 7ar6ables H:u6 rel<7ent pour nombre d&entre elles de la m8an6:ue 8leste ou de l&astrop@Cs6:ueI :u6 8ond6t6onneront la russ6te de 8es pro5rammes* #&7aluat6on du pro5ramme ou de la pol6t6:ue 8omb6nera% pour l&7aluat6on des rsultats% l&analCse de la maGtr6se de 8es 7ar6ables te8@n6:ues% et

5 6

$= $@arte de la S+E #a l6ste des part686pants ; la journe du 11 septembre =65ure en anne9e 2 au prsent do8ument

Q 4

$=* a8tes du 8on5r<s de la S+E ; #Con sur D lu% 86toCen% e9pert E* 50 mesures% 000 -R% J

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
"e cas des situations c*aotiques
n a :ual6=6 de D s6tuat6on 8@aot6:ue E un 8onte9te oK r<5ne un =ort d6ssensus entre les a8teurs% et oK 6l est 6mposs6ble de reprer les l6ens de 8ause ; e==et entre l&a8t6on publ6:ue et ses rsultats et 6mpa8ts* $es s6tuat6ons% :u6 sont pourtant plus nombreuses :u&6l n&C S paraGt 2 sont 6mposs6bles ; 7aluer% au sens oK l&7aluat6on 76se ; mesurer les rsultats% e==ets et 6mpa8ts d&une pol6t6:ue et de les rapporter ; ses obje8t6=s 6n6t6au9 et au9 moCens m6s en >u7re* "ourtant% on =a6t par=o6s appel au9 7aluateurs dans 8es s6tuat6ons non 7aluables* En ral6t% l&7aluateur sera le t6ers e9tr6eur :u6 a6dera ; e9pl686ter les 8on=l6ts* Il sera un 6nter-md6ateur pour reposer les bases d&une pol6t6:ue publ6:ue et a88ompa5ner le 8@an5ement* En d=6n6t67e% 6l a6dera ; sort6r du 8@aos* :ue l&7aluat6on a88ompa5ne la pol6t6:ue% et se 8onNo6t 8omme un pro8essus 8ont6nu% sur la dure :ue l&7aluateur se pos6t6onne 8omme 8onse6l% a88ompa5nateur% D 8oa8@ E du d86deur% et non plus 8omme aud6teur% ju5e% arb6tre :ue% dans des 8onte9tes 8@an5eants et 6mpr76s6bles% les not6ons de 8@an5ement 2 :ue l&on do6t 8ondu6re% ou sus86ter- et d&6nno7at6on 2 :ue l&on do6t per8e7o6r% sa6s6r% 7alor6ser 2 sont essent6els

Diffrents r.les et dfis pour lvaluateur, selon le t#pe de politique / valuer

)ans les situations rputes simples ou compliques% don8 dans un 8onte9te dterm6n6ste% 8onna6ssable% et relat67ement 8onsensuel% l&7aluateur do6t 8omparer les prat6:ues m6ses en >u7re dans la pol6t6:ue ou le pro5ramme 8ons6dr HeI% a7e8 les D me6lleurs prat6:ues E Hbest pra8t68esI% ou ; d=aut des D bonnes prat6:ues E H5ood pra8t68esI 6dent6=6es dans des 8onte9tes s6m6la6res* #e d=6 est alors de 7al6der 8es D bonnes E ou D me6lleures E prat6:ues% et surtout de dte8ter et d&ant686per les 6mpr7us% les ruptures% les perturbat6ons% :u6 sera6ent de nature ; pro7o:uer une trans6t6on de la s6tuat6on 8ons6dre 7ers une s6tuat6on 8omple9e% 7o6re 8@aot6:ue* )ans les situations complexes ou c=aotiques% l&attent6on de l&7aluateur est =o8al6se sur 8e :u6 8@an5e% ou pourra6t 8@an5er 1 6l joue le rOle de 7656e% de =a86l6tateur du 8@an5ement% et surtout de =erment d&6nno7at6on* #&7aluat6on 8@an5e 686 8ompl<tement de nature* Elle a88ompa5ne le sCst<me 7alu% elle su6t ses 8@an5ements% s&C adapte 2 8e :u6 suppose une 7aluat6on D =le96ble E- et a6de les a8teurs ; s&C adapter* Elle rep<re les dCnam6:ues mer5entes% les 6nno7at6ons% 6n86te les a8teurs ; les 8ap6tal6ser% ; les 7alor6ser* De 8e =a6t% l&7aluat6on Het l&7aluateurI do6t re8@er8@er un :u6l6bre dl68at entre 8rat676t% a88ompa5nement et 8r6t6:ue* Dans le 8as part68ul6er 2 et e9trFme- des s6tuat6ons 8@aot6:ues% son rOle sera de reprer les 8@an5ements ; l&>u7re ou potent6els% les 6nno7at6ons te8@n6:ues ou so86ales% :u6 permettra6ent au sCst<me de passer de la s6tuat6on D 8@aot6:ue E ; une s6tuat6on D 8omple9e E 7o6re D 8ompl6:ue E* n notera% dans les pol6t6:ues 8omple9es 1

"valuation des politiques complexes : commande publique, gouvernance, dmocratie, et s#st$mes dinformation
D<s lors% 8omment 7aluer des pol6t6:ues 8omple9es B $omment 5rer la double D 8ompl68at6on E% te8@n6:ue et so86ale B

"es difficults spcifiques / lvaluation des politiques complexes

#&7aluateur de pol6t6:ues 8omple9es est 8on=ront ; des mt@odes de tra7a6l% des espa8es d&a8t6on et des lo56:ues d&6nter7ent6on d6==rentes% et 6l lu6 appart6ent de les rendre l6s6bles% C 8ompr6s pour lu6-mFme% pour 8omprendre* Il do6t en e==et b6en 8omprendre les =a8teurs dCnam6:ues du sCst<me en :uest6on et de son en76ronnement% et appr@ender les enjeu9 de 8o8on8ept6on et de 8o-p6lota5e du projet 8omple9e* $e =a6sant% 6l 8onstate% du =a6t de l&6ndterm6nat6on :u6 8ara8tr6se 8es s6tuat6ons% la d6spers6on et la d67ers6t des e==ets et des 6mpa8ts ; prendre en 8ompte* Il lu6 appart6ent de stru8turer son 6nter7ent6on pour ten6r 8ompte de 8ette d67ers6t des modes d&a8t6on% et de l&6n8ert6tude sur leurs e==ets* Il lu6 appart6ent en=6n d&assurer l&an6mat6on de la part686pat6on% de la 8on8ertat6on% de la d6==us6on des tra7au9 entrepr6s en 6n8luant la 8onstru8t6on d&un sCst<me d&6n=ormat6on ad @o8 8&est-;-d6re pert6nent par sa base et par son 8@amp* !ous allons e9am6ner 86-apr<s :uel:ues =a8teurs :u6 peu7ent Ftre dterm6nants pour l&adaptat6on du d6spos6t6= d&7aluat6on au 8onte9te de pol6t6:ues et pro5rammes 8omple9es*

"a commande publique

Question : Le code des marchs publics est-il adapt la commande dvaluation de politiques complexes? #e =ormal6sme et les 8ontra6ntes 6mposes par le $ode des -ar8@s "ubl68s% part68ul6<rement dans les pro8dures d&appels d&o==res% ne =a7or6sent pas l&a8@at
5

S "ar e9emple les pol6t6:ues de lutte 8ontre les 8r6ses 8onom6:ues et =6nan86<res et l&endettement des tats*

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
de prestat6ons 6ntelle8tuelles d&a88ompa5nement d&un d6spos6t6= d&7aluat6on =le96ble% adaptable au9 7olut6ons de la pol6t6:ue 7alue et de son 8onte9te% et :u6 s&6ns8r6t dans la dure% en 6ntera8t6on a7e8 les $% a8teurs de la d6te pol6t6:ue * (6ns6% un 8adre =ormel n8ess6tant un en5a5ement sur un pro8essus d&7aluat6on totalement d=6n6% en termes d&6nd68ateurs% de mt@odes de 8olle8te% de modal6ts de d6==us6on% de 5ou7ernan8e et de 8alendr6er sera6t 5u<re tenable dans un 8onte9te 6n8erta6n% :uant au9 e==ets de la pol6t6:ue :ue sur les pos6t6ons des a8teurs ; son en8ontre* Dans un tel 8onte9te% des pro8dures de tCpe D a88ord 8adre E ou D mar8@ ; bon de 8ommandes E sera6ent plus adaptes% ma6s e965ent :ue la maGtr6se d&ou7ra5e prenne une pla8e prpondrante dans le p6lota5e du pro8essus d&7aluat6on* (u pralable% 8e 8@an5ement rad68al dans la 8on8ept6on de l&a8@at de prestat6ons d&7aluat6on supposera6t une double pr6se de 8ons86en8e 1 8elle de la nature 8omple9e de la pol6t6:ue et du pro5ramme% et d&autre part 8elle de la n8ess6t d&une 7aluat6on =le96ble% adaptable au9 7olut6ons du 8onte9te* 7aluateurs 6nternes% seuls en mesure d&assurer un pro8essus d&a88ompa5nement sur le lon5 terme a7e8 toute la =le96b6l6t n8essa6re* r% pr86sment% l&7aluat6on des pol6t6:ues 8omple9es est le 8as par e9emple oK la neutral6t% l&6ndpendan8e et l&e9tr6or6t de l&7aluateur 8onst6tuent 8la6rement des =a8teurs de su88<s de la dmar8@e* Ceci constitue un rel enjeu pour le devenir de lvaluation$ En e??et1 persister @ commander des valuations de politiques complexes comme si elles taient simples voire seulement compliques1 cest0@0dire les traiter comme des processus dont on peut sans risque anticiper et prdterminer le droulement1 peut mettre les pro?essionnels de lvaluation dans des situations di??iciles1 oA ils auraient @ >rer lincertitude et des con?lits non prvus1 et plus >nralement1 dcrdibiliser les valuations dans leur ensemble1 dautant que les situations complexes sont loin dtre lexception actuellement1 et que la tendance est plutBt @ laccroissement de leur ?rquences$ A linverse1 rserver les valuations de politiques complexes aux seuls valuateurs internes reposera ?atalement la question de leur neutralit et de leur indpendance1 surtout dans des contextes con?lictuels$

En ral6t% 8ette =le96b6l6t-toute relat67e% 8ar elle respe8te des r<5les et un =ormal6sme- est la seule :u6 5arant6sse e==e8t67ement au -aGtre d& u7ra5e de 5arder une totale maGtr6se sur le pro8essus d&7aluat6on* ( m6n6ma% la pr6se de 8ons86en8e de la 8omple96t d&une pol6t6:ue ou d&un pro5ramme publ68 6ndu6ra une aml6orat6on de la :ual6t de la 8ommande en amont% :ue 8e so6t sur l&analCse du 8onte9te% sou7ent 6nsu==6sante% 7o6re omettant 2dl6brment ou non- les =a8teurs d&6n8ert6tude% les sour8es de d6ssensus% et8*A :u6 pourra6ent pr86sment 8ara8tr6ser une s6tuat6on 8omple9e sur le beso6n d&7aluat6on et les attentes :u&elle 11 de7ra6t sat6s=a6re % sur la =ormat6on et l&apprent6ssa5e de 8eu9 :u6 =ormulent les 8ommandes d&7aluat6on*

0nstance dvaluation, participation des cito#ens, place des experts, communication

"instance dvaluation, cito#ens et des experts la place des

Quelle composition ? Quel mode de fonctionnement ? Quelle place pour les citoyens #es rOles 8on=6s au9 d6==rentes 6nstan8es% 5roupes de p6lota5e% 8onse6ls d&7aluat6on% partena6res =6nan86ers% 7o6re mFme 6nstan8es de 8o-d86s6on% sont tro6tement l6es ; la :uest6on% majeure% de la reprsentat676t au se6n de l&6nstan8e et s6n5ul6<rement de la reprsentat6on et de la part686pat6on des 86toCens* En e==et% les 6nstan8es d&7aluat6on% :uelle :ue so6t leur appellat6on% ne pourront pas Ftre D l56t6mes E pour assurer 8erta6nes =on8t6ons :u&on sou@a6tera6t leur 8on=6er% s6 les 86toCens en sont tenus ; d6stan8e* En l&absen8e d&un d6spos6t6= permettant au9 86toCens d&Ftre 8olle8t67ement D part6e prenante E dans le pro8essus d&7aluat6on et dans l&6nstan8e :u6 en assure le p6lota5e% 6ls ne s&en appropr6eront n6 les obje8t6=s% n6 a =ort6or6 les rsultats% dans les:uels 6ls ne 7oudront n6 ne pourront se re8onnaGtre% ne sera6t-8e :ue par8e :u&6ls ne seront pas l6s6bles pour eu9*

( d=aut% 6l =aut prendre 8ons86en8e :ue le 8onstat d?une 6n8ompat6b6l6t entre 8ommande publ6:ue et 7aluat6on de pol6t6:ues 8omple9es 8ondu6ra6t lo56:uement ; 8on=6er 8es dern6<res au9 seuls

10

$= l&7aluat6on 7olut67e propose par -68@ael Qu6nn "atton

$e86 8ontr6buera6t ; 76ter d&ut6l6ser l&7aluat6on 8omme rem<de ; la perte de sens de 8erta6nes pol6t6:ues publ6:ues*

11

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
$es :uest6ons de la reprsentat6on et de la part686pat6on des 86toCens est d&autant plus 8r6t6:ue :ue des en5a5ements et des m8an6smes de d86s6on sont en jeu* $&est notamment le 8as pour les pol6t6:ues so86ales et de l&emplo6* (6ns6% les r56ons% :u6 tra6tent a7e8 des oprateurs :u6 assurent le rela6s a7e8 les 86toCens% ont peu de 8onta8t d6re8t a7e8 8es dern6ers* "ar e9emple% la r56on "($( pr676l56era le re8ours ; l&e9pert6se au dtr6ment de la part686pat6on 86toCenne% pour asseo6r sa pol6t6:ue r56onale d&amna5ement du terr6to6re ou pour 8onstru6re le projet 8ulturel europen de -arse6lle "ro7en8e 2010* $e86 peut se just6=6er totalement 1 6l n&est pas 8r6t :ue toutes les pol6t6:ues et pro5rammes% sans e98ept6on% do67ent asso86er des 86toCens 8omme part6es prenantes* #&essent6el est :ue 8e 8@o69 de les asso86er ou non so6t pr6s de =aNon 8ons86ente et ar5umente* (u 8ours de la journe S+E ; (765non% le 15 septembre 2011% les 6nter7enants ont re8onnu :ue la reprsentat676t supposa6t% pour Ftre tabl6e% un 8erta6n =ormal6sme :u6 assure la 8rd6b6l6t d&une parole 8olle8t67e% labore% r=l8@6e et 6ns8r6te dans la dure et :u6 permette en part68ul6er de mettre le pro8essus 8olle8t6= d&7aluat6on ; l&abr6 de 8r6ses 8onjon8turelles et des e==ets de puls6ons d67erses% p6derm6:ues et 6rr=l8@6es* -a6s le =ormal6sme ne rpond :u&au beso6n de s8ur6sat6on sur la neutral6t et la reprsentat676t du pro8essus* Il ne saura6t% ; lu6 seul% rpondre au beso6n d&6n=ormat6on% de transparen8e ma6s auss6 d&8oute% des part6es prenantes de l&7aluat6on* Des te8@n6:ues de 8ommun68at6on d6re8te telles :ue le D m68rotrotto6r E% ou le t6ra5e au sort dans un 8@ant6llon de bn=686a6res% ont t e9pr6mentes ma6s do67ent en8ore trou7er leur pla8e dans les d6spos6t6=s d&7aluat6on* ( 3renoble% des e9perts ont t asso86s au pro8essus 12 d&7aluat6on % pour 8ons6drer le pro8essus 7aluat6=% sa s86ent6=686t et sa dontolo56e% d&un po6nt de 7ue 10 D meta-7aluat6= E * En part68ul6er% 6ls peu7ent d6re s&6ls 8ons6d<rent :ue les 86toCens ont t peu% ou mal asso86s* Ils ne donnent pas leur po6nt de 7ue sur la pol6t6:ue 8ons6dre% ma6s peu7ent 6n=luer sur le pro8essus d&7aluat6on lu6-mFme et son droulement* Une autre :uest6on est 8elle de la pla8e des e9perts dans l&7aluat6on% et s6n5ul6<rement aupr<s de l&6nstan8e :u6 en assure le p6lota5e% notamment dans les s6tuat6ons te8@n6:uement 8ompl6:ues ou 8omple9es* Dans 8ette @Cpot@<se% pour les 7aluat6ons 8ompl6:ues et 8omple9es% 6l 8on76endra6t de prendre en 8ompte la d6str6but6on des pos6t6ons des d6==rents a8teurs sur les 8@elles de D d6ssensus / 8onsensus E d&une part% et de D 6n8ert6tude / dterm6n6sme E d&autre part* "lus 5nralement% est pose la question de lquilibre% au se6n de l&6nstan8e d&7aluat6on% entre les di??rentes parties prenantes1 -notamment la pla8e des 86toCens- et le rBle que peuvent CdoiventD jouer les experts1 notamment pour clairer les parties prenantes* #&6nter7ent6on d&e9perts se just6=6e pour des pol6t6:ues% des pro5rammes% ou plus 5nralement des s6tuat6ons te8@n6:uement 8ompl6:ues ou 8omple9es* #&e9emple sou7ent propos est 8elu6 des pol6t6:ues de 8on:uFte spat6ale% ma6s on 7o6t a8tuellement mer5er des dbats sur les pol6t6:ues ner5t6:ues 2 nu8la6re% 5aT de s8@6ste- ou sur le 8@an5ement 8l6mat6:ue% sont autant d&6llustrat6ons de problmat6:ues te8@n6:uement 8ompl6:ues 7o6re 8omple9es% lors:u&6l C a d6ssensus% par e9emple dans le 8as des pol6t6:ues ner5t6:ues* #e probl<me prend en8ore plus d&a8u6t lors:ue les e9perts sont 5alement D part6es 1J prenantes E % par e9emple lors:u&6l C a des enjeu9 8onom6:ues =orts% et :ue l&e9pert6se est l6e au9 a8teurs 8onom6:ues -et notamment 6ndustr6els15 8on8erns * En 8ons:uen8e et 8ompte tenu de l&6mportan8e de la :uest6on% 6l est 8on7enu :ue r=rent6el de l&7aluat6on et son 8a@6er des 8@ar5es se de7a6ent d&6mposer ; tout pr69% au9 d6==rentes tapes de l&7aluat6on% de d=6n6r la pla8e des usa5ers% des bn=686a6res% des le8teurs et des 8onsommateurs de man6<re sp86=6:ue* De plus% 8omme l&a montr% dans l&or5an6sat6on de la r56on "($(% l&atel6er des D Etats 3nrau9 de la Dmo8rat6e E ; 'a6son-la-Roma6ne% la parole du cito&en peut 'tre libratrice pour dautres acteurs E* #&lo:uen8e pol6t6:ue et part68ul6<rement l&art orato6re @r6t du t@Utre ant6:ue sont% en e==et% une man6<re de rtabl6r une pla8e du 86toCen par rapport au9 D l6tes E lues* #es obser7at6ons% sent6ments et sens6b6l6ts des 86toCens% 8omme leurs a==6rmat6ons et leurs 6nterro5at6ons% nourr6ssent r=le96ons et propos6t6ons :u6 peu7ent 6ndu6re 8elles de leurs 7o6s6ns et remonter en obje8t6=s% ressour8es% d86s6ons et responsab6l6ts m6s en 8ommun* Elles prennent =orme a7e8 les n67eau9 e9am6ns plus lo6n% de rseau% de 8ooprat6on% de 8oord6nat6on% de 8ollaborat6on% ou de partenar6at*

12

8= )renda .6mmerman p 5 10 En :uel:ue sorte% Ils 7aluent le pro8essus d&7aluat6on

u l6s ; des part6es prenantes par des 8ommunauts d&6ntrFt 8= lobbC du nu8la6re% ou dans un autre 8onte9te% la :uest6on de la neutral6t des e9perts en mat6<re de md68aments
15

1J

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
"a communication sur lvaluation, sur la politique 12
Faut-il davanta e veiller la communication dans les politiques complexes ? !u" formul autrement" dans une situation complexe" la communication ne fait-elle pas partie int rante du dploiement de la politique? #a 8ommun68at6on 7o6re la d67ul5at6on des rsultats des 7aluat6ons est un probl<me r8urrent* Une des 8ra6ntes des 8ommand6ta6res des 7aluat6ons% 8omme des 7aluateurs eu9-mFmes% d&a6lleurs% est de 7o6r le 86toCen% ou les med6a% de 8on=ondre des @Cpot@<ses de tra7a6l et des 8on8lus6ons* Une autre 8ra6nte% d&a6lleurs l6e ; la prem6<re% est de :ue les 6n=ormat6ons et les rsultats d6==uss =assent l&objet d&une ut6l6sat6on D per7ert6e E* Dans tous les 8as% la 8ra6nte est de 7o6r la d6==us6on des rsultats de l&7aluat6on e9plo6ts dans des jeu9 de pou7o6r% par des lus% des 5roupes de press6on% ou des or5an6sat6ons% publ6:ues ou pr67es% :u6 poursu67ent des obje8t6=s propres* #a =ront6<re entre dro6t d&a88<s au9 donnes publ6:ues 1Q et au9 do8uments adm6n6strat6=s % d&une part% et respe8t de la propr6t 6ntelle8tuelle H686% la produ8t6on de l&7aluateurI% d&autre part% est =loue* )6en entendu s6 le dro6t moral de l&7aluateur sur le produ6t l67r s&te6nt une =o6s son a8t676t a8@e7e% 8e dro6t sera l&6nstrument de son pou7o6r d&e9pert6se pendant l&7aluat6on% part68ul6<rement au9 d6==rentes tapes d&une 7aluat6on de pol6t6:ues 8omple9es* #&e965en8e du dbat dmo8rat6:ue tant% dans toutes ses d6mens6ons% une 7aleur =orte de l&7aluat6on% 6l apparaGt :ue l&7aluateur do6t% s6non se r7ler un bon D 8ommun6:uant E du mo6ns Ftre a7ert6 des dan5ers 7o:us* Et 6l do6t% pr6or6ta6rement% =a6re pr7alo6r les messa5es :ue lu6-mFme d86de de =a6re passer au 8ours de l&7aluat6on 8omple9e pour :ue 8elle-86 about6sse* n fine 6l lu6 re76ent d&endosser les d6==rents aspe8ts de la 8omple96t de l&7aluat6on% a7e8 les l65nes de =or8e% ma6s auss6 les 6n8ert6tudes et les doutes :u6 peu7ent rester atta8@s au produ6t l67r* d&7aluat6on* "our autant% elle est en so6 une :uest6on 8erta6nement te8@n6:uement 8ompl6:ue% le plus sou7ent 8omple9e% par=o6s 8@aot6:ueA *ec=niquement complique% 8ar 6l =aut une mult6pl686t d&e9pert6ses% non seulement pour 8olle8ter% tra6ter et analCser les 6n=ormat6ons% ma6s 5alement pour 5rer la 8o@ren8e 2ou l&6n8o@ren8eentre d6==rentes sour8es d&6n=ormat6on% notamment entre 6n=ormat6ons :uant6tat67es et :ual6tat67es* Souvent complexe% 8ar 6l peut C a7o6r d6ssensus sur les 6n=ormat6ons% ou sur leur 6nterprtat6on H7o6r par e9emple les dbats sur l&6nd68e des pr69% sur le n67eau de 8@Oma5e% ou sur le tau9 de r86d67eI% le d6ssensus tant sou7ent al6ment par l&6n8ert6tude sur la =6ab6l6t de l&6n=ormat6on* En=6n par?ois c=aotique% lors:ue les d6ssensus sur les 8@6==res et les 8on=l6ts de pou7o6r s&autoal6mentent mutuellement% les 6n=ormat6ons sens6bles att6sant les 8on=l6ts et al6mentant des d6alo5ues de sourds% et les pou7o6rs man6pulant les 6n=ormat6ons pour l56t6mer leur pos6t6on% le tout pro7o:uant une ra8t6on en 8@aGne :u6 de76ent 6mposs6ble ; maGtr6ser Hon a pu le 8onstater r8emment sur les :uest6ons relat67es au sCst<me =6nan86er% ; la dette des tats sou7era6ns% et ; la notat6on de 8es tatsI* #a journe S+E du 15 septembre d&(765non a lar5ement 7o:u l&6mportan8e du parta5e de l&6n=ormat6on 8omme moment =ondateur du parta5e de la 8onna6ssan8e* $on8epts% nomen8latures% 8at5or6es% Tona5es% et mod<les sous-ja8ents sont =a8teurs de d6st6n8t6on et o88as6on du passa5e de l&6n=ormat6on ; la 8onna6ssan8e* "omment seffectue le passa#e si ce nest ds la commande dvaluation, par le dbat, le c(oix de priorits et le pilota#e )

Connaissance scientifique connaissance pour lvaluation

#rit" transparence sur les mod$les utiliss

vs

"3valuation de politiques complexes, s#st$mes dinformation et connaissance partage

#a :uest6on des sCst<mes d&6n=ormat6on tra7erse l&pa6sseur des 8ontenus et des tapes des tra7au9

#es 6n=ormat6ons propres ; la pol6t6:ue publ6:ue 8ons6dre% sau= e98ept6on% sont t6res des =lu9 et des sto8Vs d&6n=ormat6ons pr-e96stantes et =ormates pour une 7ar6t l6m6te d&usa5es pr7us* Elles ne sont don8 :ue =a6blement sp86=6:ues* D<s lors% pour 8onst6tuer un ensemble des donnes nou7elles et 8o@rentes% par e9emple pour des sr6es de rsultats obtenus% un re8ue6l d&6n=ormat6ons sp86=6:ues do6t Ftre ral6s* $elu6-86 rel<7e plus des 8ompten8es d&un stat6st686en :ue de 8elu6 d&un 7aluateur*

!ous ne tra6tons pas 686 du sCst<me d&6n=ormat6on ut6le ; l&7aluateur :u6 =a6t l&objet du 8@ap6tre su67ant* 1Q $es deu9 7olets sont 8ou7erts par des te9tes*

16

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
#e r=rent6el de l&7aluat6on do6t Ftre au 8arre=our entre 1 la 8onna6ssan8e obje8t67e% s6 8e n&est s86ent6=6:ue% appl6:ue ; la pol6t6:ue 8ons6dre et les out6ls et mt@odes :u6 tabl6ront% auss6 r65oureusement :ue poss6ble% les l6ens de 8ausal6t d6re8te% 6nd6re8te entre la% pol6t6:ue 8on8erne% le 8onte9te dans le:uel elle s&e9er8e% et les rsultats et e==ets 8onstats* #&7aluateur est sou7ent 8on=ront ; la =a6ble D 6nteroprab6l6t E des sCst<mes d&6n=ormat6on e96stants% dus pour l&essent6el ; l&6n8o@ren8e entre les 8on8epts :u6 les =ondent% et s6n5ul6<rement les objets :u&6ls d8r67ent* Un e9emple en est donn par l&7aluat6on du 7olet du8at6= de la pol6t6:ue de la 76lle% :u6 8ompte pas mo6ns de :uatre 8ommand6ta6res* ( t6tre d&e9emple% D l&8@e8 s8ola6re E ne se rapporte :u&au seul tau9 de <me pour les .ones Urba6nes redoublement en 6 Sens6bles d=6n6es par le d8ret* #es 6nst6tut6ons ont repr6s et lar56 les pr6m<tres de l&Edu8at6on !at6onale a7e8 d&autres mFmes d8oupa5es* ( l&76den8e 6l est ur5ent :ue les mots ds65nent les mFmes 8@oses* Un tra7a6l d&analCse 8r6t6:ue do6t Ftre opr sur les sour8es d&6n=ormat6on d6spon6bles pour dterm6ner les apports et les l6m6tes de 8@a8une% pour 8onstru6re des 8at5or6es% des nomen8latures% des Tona5es 5o5rap@6:ues% :u6 ont du sens pour la pol6t6:ue publ6:ue et pour l&ut6l6sat6on r65oureuse des 6n=ormat6ons la re8@er8@e% pour leur donner une pla8e plus pr86se dans les 8a@6ers des 8@ar5es de l&7aluat6on% en=6n% et s6 2et seulement s6- n8essa6re pour en5a5er la produ8t6on de nou7elles donnes au moCen d&en:uFtes sur le terra6n% =ondes sur des 8on8epts aCant du sens pour la re8@er8@e et pour l&a6de ; la d86s6on*

#e tra7a6l des 8@er8@eurs en 7aluat6on porte% entre autres% sur l&6dent6=68at6on et la 7al6dat6on des l6ens de 8ausal6t entre a8t6ons et rsultats% et 8e% en =a6sant 7ar6er les sCst<mes de 8ausal6t% a7e8 M en retour% des m8an6smes 8ondu6sant ; des 6nno7at6ons or5an6sat6onnelles* Une autre ren8ontre de la mt@ode s86ent6=6:ue et de l&obser7at6on emp6r6:ue a l6eu lors:ue le sCst<me de 8ausal6t t@or6:ue ren8ontre la preu7e emp6r6:ue de l&e==68a86t 8omme le montre la mt@ode e9pr6mentale d7eloppe par Est@er Du=lo* "our 8e =a6re% les @Cpot@<ses sont rendues e9pl686tes et a88eptes% les s6mpl6=68at6ons 8la6rement tabl6es et assumes par tous% et les pr6m<tres d&e9pr6mentat6on str68tement d=6n6s* $e86 nous lo65ne de la remar:ue pro7o8atr68e le politique prfre la sduction * la vrit E ma6s nous rappro8@e de la :uest6on du parta5e des 8onna6ssan8es*

Connaissance partage : des obstacles tec*niques

La ncessit dinteroprabilit" sur les concepts" les nomenclatures" les %ona es #e terme de D sCst<me d&6n=ormat6on E peut Ftre trompeur* Il peut la6sser 8ro6re :u&6l s&a56t d&un ensemble or5an6s d&6n=ormat6ons* #a ral6t est sou7ent tout autre 1 le 8on8ept de SCst<me d&6n=ormat6on 8a8@e en ral6t un ensemble 6nor5an6s d&6n=ormat6ons% pas =or8ment 8o@rentes entre elles% et dont la surabondan8e 5rand nombre mas:ue la ral6t* #a 8ons:uen8e est :ue l&on est 8ondu6t sou7ent ; re8ue6ll6r de nou7elles 6n=ormat6ons pour retrou7er une l6s6b6l6t perdue% et 8rer de =a8to une sour8e d&6n=ormat6on ad @o8 pour les beso6ns de l&7aluat6on% 8e :u6 peut Ftre par=o6s mal a88ept par les ser768es D 7alus E* En prat6:ue% et notamment pour les 6n=ormat6ons :ual6tat67es% le re8ours au9 moteurs de re8@er8@e est un pall6at6= tr<s ut6l6s% ma6s :u6 e965e% de la part de l&7aluateur% en tout prem6er l6eu% un re5ard 8r6t6:ue sur les 6n=ormat6ons d6spon6bles*

A titre dexemple pour ce dernier point, des 6nd68ateurs scientifiques de r68@esse et de b6en-Ftre soutenable et terr6tor6al restent ; 8onstruire* +nfin, on doit admettre :ue des donnes de =6ab6l6t 6n8erta6ne soient utilises, en toute connaissance de cause, car elles permettraient de sus86ter des dbats =a7orables ; la 8ompr@ens6on de la ral6t obser7e, et surtout * inciter ; l&aml6orat6on de la produ8t6on ultr6eure de donnes plus fiables* ,a 8omple96t% a7ant d&Ftre un probl<me de 8ausal6t, est tout dabord un probl<me d&6n=ormat6on*

"es mo#ens pour linformation

&vant davoir un prix" linformation a un co't( En toute lo56:ue% 6l n&est me6lleure 6n=ormat6on :ue 8elle :u6 est 8onst6tue D sur mesure E pour rpondre ; un beso6n pr86s% 7o6re ; un ds6r* Il 8on76ent :ue le d6spos6t6= de 8olle8te D ad @o8 E so6t prenne% so6t re8onnu et so6t ut6l6sable% sans 8on=us6on de 5enre% tout au lon5 de l&7aluat6on* #e terr6to6re de l&6n=ormat6on sera d&autant plus tendu, et sa l#itimit dautant plus forte, :ue
S

Rapport de la journe du 15 septembre 2011 - 6/1/2012

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
l&autor6t :u6 la 8ommande% les moCens quelle mobilise, et la structure obser7ato6re :u6 la re8ue6lle seront pu6ssants* #e parta5e des donnes entre les 8olle8t676ts se =era selon des param<tres de nature s6m6la6re% ma6s sou7ent pour des terr6to6res d8als* n pense ; l&obser7at6on de la dl6n:uan8e% de l&du8at6on ou de la d=ense pour parler des d8ala5es terr6tor6au9 les plus an86ens* de l&Etat% des Etabl6ssements publ68s ou (5en8es autonomes% ou en=6n des 8olle8t676ts terr6tor6ales elles-mFmes de ta6lles 7ar6ables* #a :uest6on de la l6s6b6l6t se pose pour les donnes e96stantes ma6s auss6 pour les 8apa86ts des a8teurs e96stants ; en5a5er des projets de 8olle8te et de tra6tement de nou7elles donnes% ma6s surtout d&assurer la prenn6t de 8es sour8es* Il n&est pas tr<s d6==686le de ral6ser une en:uFte D ; usa5e un6:ue E* En re7an8@e% 8rer une nou7elle sour8e stat6st6:ue% r8urrente% permettant% par ses 8on8epts et la stru8ture de l&8@ant6llon en:uFt% la 8omparab6l6t dans le temps des donnes re8ue6ll6es% est une autre a==a6re* Lacc$s linformation D<s lors :ue le patr6mo6ne 6n=ormat6onnel% autrement d6t les ressour8es d6spon6bles en 6n=ormat6on% est rendu l6s6ble et 8ompr@ens6ble% 8e :u6 suppose :ue les ut6l6sateurs potent6els so6ent m6s en 8apa86t de 8onnaGtre les 6n=ormat6ons d6spon6bles% le pro8essus :u6 leur a donn na6ssan8e% leur =6ab6l6t% et notamment leurs l6m6tes d&ut6l6sat6on d&7aluer l&usa5e :u&6ls peu7ent =a6re de 8es 6n=ormat6ons de sle8t6onner 8elles :u6 leur appara6ssent pert6nentes%

Connaissance partage : une question de volont

)es lieux neutres" les observatoires" pour capitaliser la connaissance B #es obser7ato6res et les 8entres de ressour8es ont% 8ertes% pour 7o8at6on de 8ap6tal6ser les 8onna6ssan8es* $ependant% le =on8t6onnement de 8es 8entres% et leurs r<5les de 5ou7ernan8e dterm6nent et l6m6tent l&a88ess6b6l6t de leurs donnes, pour des mot6=s l6s ; leur @6sto6re a6ns6 :u&; leur =6nan8ement* S6 l&on met ; part les :uest6ons de 8on=6dent6al6t des donnes, :u6 est 5nralement r#le, soit par la loi -sur le secret statistique ou sur le caractre public de certaines donnes. ou par voie contractuelle% et les :uest6ons de 8on8urren8e entre 8es 8entres, que lon peut considrer 8omme un p@nom<ne mar56nal% restent tro6s questions ma/eures 0 la bonne l6s6b6l6t des ressour8es d6spon6bles et des moCens de 8es 8entres pour les crer et les mobiliser% les proto8oles d&a88<s au9 ressour8es pour les ut6l6sateurs% enfin le mode d&6mpl68at6on de 8es 8entres pour 8onstru6re des donnes nou7elles%

se pose la :uest6on de l&a88<s par les ut6l6sateurs au9 donnes :u&6ls auront sle8t6onnes% et des proto8oles ; mettre en pla8e pour =a7or6ser 8es a88<s* +lle pose #alement la :uest6on de la l56t6m6t de la demande et 8elle de l&6mputat6on des 8oWts selon les r<5les de 5est6on propres au =ourn6sseur* -e rBle des observatoires et centres de ressources #a tro6s6<me :uest6on porte sur le rOle des obser7ato6res ou 8entres de ressour8es dans la 8rat6on de donnes nou7elles* En e==et% la :ual6t de donnes et surtout leur ut6l6t e==e8t67e dans un 8onte9te 6n8erta6n et peu 8onsensuel dpend de la :ual6t du dbat pralable :u6 a pu Ftre 6nstaur sur les 8on8epts% les mt@odes de 8olle8te% et les modal6ts de tra6tement et de prsentat6on de 8es 6n=ormat6ons% dbat :u6 do6t lar5ement asso86er les part6es prenantes% mFme s6 elles sont en =ort dsa88ord sur les obje8t6=s et les moCens des pol6t6:ues m6ses en >u7re* #es a8teurs peu7ent tout ; =a6t parta5er des donnes 8ommunes et re8onnues pour leur neutral6t et la r65ueur de leur pro8essus d&laborat6on% ma6s s&opposer sur les d86s6ons et 8@o69 1S ; prendre sur la base de 8es donnes *

"es tro6s :uest6ons sont #alement des questions de 5ou7ernan8e* -a lisibilit des ressources en in?ormations En prem6er l6eu% la mau7a6se l6s6b6l6t des ressources disponibles rsulte de ltendue du spe8tre des 6nter7enants, depuis l&en:uFte nat6onale de l&I!SEE% ou 14 de l&I!ED% aCant reNu la labell6sat6on du $!IS jus:u&; la 8ellule stat6st6:ue du bureau d&a6de so86ale d&une 8ommune rurale* (u 8>ur de 8e spe8tre 8oe96stent d&a6lleurs des donnes purement stat6st6:ues et des donnes d&or656ne adm6n6strat67e e9plo6tes ; des =6ns stat6st6:ues% des donnes 8olle8tes par des ser768es
$1

$onse6l !at6onal de l&In=ormat6on Stat6st6:ue% 6nstan8e par6ta6re nat6onale :u6 p6lote la produ8t6on et la d6==us6on des donnes stat6st6:ues 8onom6:ues et so86ales nat6onales% et notamment les pro5rammes d&en:uFtes de l&I!SEE

1S #e 8onsensus sur les donnes a toute=o6s des l6m6tes* (6ns6% les nomen8latures et 8lass6=68at6ons ut6l6ses 7@68ulent sou7ent les

Rapport de la journe du 15 septembre 2011 - 6/1/2012

10

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
#e 8onsensus sur les donnes =a86l6te la D 8onna6ssan8e parta5e E 1 s6 l&on s&a88orde sur les donnes dmo5rap@6:ues% on parta5era plus =a86lement un d6a5nost68 sur le 76e6ll6ssement d&un terr6to6re% sur l&7olut6on du solde naturel ou du solde m65rato6re% et8A $e 8onsensus sur la l56t6m6t% la :ual6t et la =6ab6l6t des donnes est un pralable au parta5e de la 8onna6ssan8e* Dans un tel 8onte9te% obser7ato6res et 8entres de ressour8es 8umulent sou7ent les =on8t6ons de 8olle8te des donnes% de 8ondu6te d&tudes% d&an6mat6on et d&a88ompa5nement des dest6nata6res des tra7au9* $&est le 8as des 8ontrats r56onau9 de =ormat6on* "rodu8teurs de donnes% tout 8omme les 7aluateurs re7end6:uent leur 6ndpendan8e% 5a5e de :ual6t s86ent6=6:ue% de neutral6t% d&obje8t676t des donnes 20 pour les prem6ers% de l&7aluat6on% pour les se8onds * n ne peut e98lure des s6tuat6ons de 8on=l6t entre les 7aluateurs et les produ8teurs de donnes 1 de =a6t% le prem6er ut6l6se les donnes =ourn6es par le se8ond M ma6s 6l est =r:uent :ue les donnes e96stantes proposes par un 8entre de ressour8es ou un obser7ato6re ne rpondent pas e9a8tement au9 beso6ns de l&7aluateur* "ar e9emple% les nomen8latures% les 8lass6=68at6ons% les Tona5es 5o5rap@6:ues% ut6l6ses par le produ8teur de donnes% peu7ent ne pas permettre ; l&7aluateur d&appr@ender un 6nd68ateur sur la populat6on d&une tran8@e d&U5e donne% sur un terr6to6re donn% et tra7a6llant dans un se8teur donnA r les 8lass6=68at6ons% les Tona5es% les nomen8latures ut6l6ses pour 8lasser les objets stat6st6:ues do67ent rester tr<s stables dans le temps% 8ar 6ls sont la 5arant6e de la 8omparab6l6t des donnes dans le temps% pour des analCses d6a8@ron6:ues* Dans 8ette s6tuat6on% 6l peut C a7o6r 8on=l6t entre le produ8teur de 21 donnes et l&7aluateur % 8@a8un re7end6:uant son 6ndpendan8e et les =6nal6ts 6n8on86l6ables de leurs lo56:ues respe8t67es* Qui construit les cat ories" les classifications" les nomenclatures" les typolo ies? Les institutions peuvent-elles en commander les centres de recherche et les observatoires ? n l&a 7o:u plus @aut% les 8lass6=68at6ons ne sont pas neutres* Elles sont% au m6eu9% le re=let des 6dolo56es dom6nantes* "ar a6lleurs% elles do67ent Ftre relat67ement stables% pour permettre la 8ont6nu6t des sr6es* -a6s s6 le 8onte9te est 6n8erta6n% 6nstable% les 8r6t<res d&7aluat6on% les 8at5or6es au9:uelles on pourra s&6ntresser% sera6ent sus8ept6bles d&7oluer* En d&autres termes% l&7aluat6on des pol6t6:ues 8omple9es% :u6 do6t Ftre n8essa6rement 7olut67e et adaptable% se sat6s=era rarement de donnes e96stantes% pr86sment par8e :ue leur produ8teur pr676l56era la 8ont6nu6t de ses 8on8epts et de ses nomen8latures* r l&7olut676t du 8onte9te appelle une adaptab6l6t des objets et 8at5or6es obser7es 1 6l s&a56t% en e==et% d&6nno7er et d&a88ompa5ner le 8@an5ement a7e8 des 8at5or6es nou7elles* Il =audra don8 8rer 8@a:ue =o6s de nou7elles 6n=ormat6ons% sans 8@er8@er ; 8onstru6re pour l&tern6t% pu6s:ue 8es objets et 8es 8at5or6es de76endront peut-Ftre 6nadapts su6te ; un pro8@a6n 8@an5ement du 8onte9te* #&7aluateur est n8essa6rement 8ondu6t ; 8onstru6re son propre sCst<me d&6n=ormat6on a7e8 des 8at5or6es :u6 re=l<tent la 8omple96t du 8onte9te dans le:uel 7olue la pol6t6:ue 7alue* ( 8et 5ard% lX7aluateur pourra s&appuCer sur les mt@odolo56es de la re8@er8@e% :u6 8re sou7ent des donnes nou7elles pour rpondre au9 beso6ns des tra7au9 de re8@er8@e* "lus 5nralement% les 8entres de re8@er8@es% les obser7ato6res ma6s auss6 les ser768es d&7aluat6on 6nterne lors:ue l&6nst6tut6on a pr7u 8ette =on8t6on% sont autant de ressour8es :u6 pourra6ent mettre ; la d6spos6t6on de l&7aluateur - les 8ompten8es pour la 8on8ept6on et la 8rat6on de donnes nou7elles% - les out6ls de 8olle8te et de tra6tement de 8es donnes% les 8ls pour les 6nterprter 8orre8tement

Diffusion de linformation et interprtation

Il e96ste deu9 or6entat6ons pour la d6==us6on de l&6n=ormat6on% - l&une est D te8@n686ste E 8ons6stant ; ne l67rer :ue des =a6ts% tous les =a6ts% les a8t6ons et les rsultats% sans analCse n6 8ommenta6re% 8omme une 765nette 8l6n6:ue* - l&autre est D md6at6:ue E et D 8ustom6se E% au sens oK les 6n=ormat6ons d6==uses sont 6nd676dual6ses et adaptes ; 8@a8un des dest6nata6res% notamment dans leur m6se en =orme% pour =a6re en sorte :ue seule l&6n=ormat6on n8essa6re est =ourn6e et ut6l6se a7e8 les rser7es et les pr8aut6ons d&usa5e pour 76ter les erreurs d&6nterprtat6on* $omme on l&a 7u plus @aut H8= D la 8ommun68at6on sur l&7aluat6on et sur la pol6t6:ue EI% les erreurs d&6nterprtat6on peu7ent 8orrespondre ; des enjeu9* $&est 8e :u6 a 8ondu6t un part686pant ; la journe S+E ; (765non ; rappeler =ort opportunment D quil n& avait pas de faits, seulement des interprtations E* *

6dolo56es dom6nantes de l&po:ue ; la:uelle elles ont t d=6n6es* $= l&art68le #es mots et les 8@6==res 1 les nomen8latures so86opro=ess6onnelles par #aurent T@7enot% (la6n Desros6<res% 6n E8onom6e et stat6st6:ue% (nne 1SQS !umro 110 pp* JS-65 20 "lus 5nralement% le respe8t de l&6ndpendan8e des produ8teurs de donnes 8omme 8elle des 7aluateurs est un mar:ueur d&une dmo8rat6e* 21 n peut s&en sort6r par des est6mat6ons% des re8oupements a7e8 d&autres sour8es% ma6s 6l s&a56ra l; de te8@n6:ues d&est6mat6on :u6 n&auront jama6s la =6ab6l6t des donnes pr6ma6res*

Rapport de la journe du 15 septembre 2011 - 6/1/2012

11

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA

Conclusion : "es politiques complexes posent des dfis majeures / lvaluation

(u terme de 8ette journe d&tude% on prend 8ons86en8e :ue la r=le96on 8olle8t67e sur les pol6t6:ues 8omple9es% et plus 5nralement sur la 8omple96t% et son 6mpa8t sur l&7aluat6on% a7a6t soule7 plus de :uest6ons :u&elle n&a7a6t apport de rponses* )6en plus% 6l ressort :ue les pol6t6:ues 8omple9es tendent ; de7en6r la r<5le% et non plus l&e98ept6on* r% par le 8ara8t<re 7olut6=% 6n8erta6n% 8on=l68tuel de leur 8onte9te% elles appellent des pro8essus d&7aluat6on asseT rad68alement d6==rents de 8eu9 adapts au9 s6tuat6ons s6mples ou seulement 8ompl6:ues* #&7aluat6on de76ent un pro8essus 8ont6nu% 7olut6=% dCnam6:ue% de 8onse6l et d&a88ompa5nement% :u6 n&a plus r6en de 8ommun a7e8 un pro8essus de mesure% pon8tuel% prdterm6n** En d&autres termes% 8es 7aluat6ons de76ennent D 7olut67es E% 8e :u6 8onst6tue une rupture rad68ale a7e8 le mod<le trad6t6onnel de l&7aluat6on prd=6n6e et =aNon durable% a7e8 ses :uest6ons 7aluat67es% ses 6nd68ateurs% et8*** Des lments de rponse sont apports par des auteurs 8omme -68@ael Qu6nn "atton ou )renda .6mmerman% membres de l&(mer68an E7aluat6on (sso86at6on* -a6s 6l reste en8ore de nombreuses :uest6ons majeures sans rponses% telles :ue Y 8omment adapter les r<5les et les prat6:ues de la 8ommande publ6:ue% pour permettre 8ette 7olut676t de la prestat6on d&a88ompa5nement de la maGtr6se d&ou7ra5e B :uelle pla8e rser7er au9 86toCens et au9 e9perts dans le pro8essus et l&6nstan8e d&7aluat6on B 8omment 8on86l6er la n8essa6re adaptat6on du sCst<me d&6n=ormat6on pour l&7aluat6on et la 8ont6nu6t des donnes B 8omment or5an6ser la d6==us6on des donnes re8ue6ll6es pour l&7aluat6on B

Rapport de la journe du 15 septembre 2011 - 6/1/2012

12

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA

Annexe 1 : %ibliograp*ie
#a prsente anne9e prsente une sle8t6on de do8uments 76sant ; 8la6rer les dbats de la journe d&tudes du 15 septembre du 8lub S+E "($( portant sur l&7aluat6on de pol6t6:ues publ6:ues 8omple9es* n trou7era en part68ul6er les r=ren8es de do8uments portant sur la d=6n6t6on de sCst<mes 8omple9es Het notamment de pol6t6:ues publ6:ues 8omple9esI% et tout part68ul6<rement le mod<le $Cne=6n Hpronon8er P6ne76nI :u6 d6st6n5ue les s6tuat6ons s6mples% 8ompl6:ues% 8omple9es% 8@aot6:ues% en=6n% dsordonnes* $e mod<le% 6n6t6alement m6s au po6nt pour analCser les pro8essus de d86s6on strat56:ue% a t adapt pour 8ara8tr6ser les s6tuat6ons d&7aluat6on de pol6t6:ues% pro5rammes et projets Hnotamment publ68sI* n trou7era notamment un rapport sur l&7aluat6on des pol6t6:ues de sant publ6:ue au $anada H$ompl68ated and $omple9 SCstems1 Z@at Zould Su88ess=ul Re=orm o= -ed68are #ooV #6VeB S@olom 3louberman% "@*D* )aC8rest $entre =or 3er6atr68 $are et )renda .6mmerman [ulC 2002I :u6 propose plus6eurs appro8@es pour d6st6n5uer 8omple9es et 8ompl6:ues* Des rponses ; la :uest6on de l&7aluat6on des pol6t6:ues 8omple9es se trou7ent% d&abord dans l&ou7ra5e de -68@ael Qu6nn "atton% 86t en b6bl6o5rap@6e et repr6s par "atr686a Rod5ers dans son 6nter7ent6on au 8ollo:ue de #6lle de la S+E sur la re8@er8@e en 7aluat6on 1 De7elopmental E7aluat6on - (pplC6n5 $omple96tC $on8epts to En@an8e Inno7at6on and Use H2011I% :u6 C su55<rent une posture nou7elle pour l&7aluateur% :u6 de76ent un 8o-produ8teur d&une dmar8@e de 8@an5ement* n trou7era en b6bl6o5rap@6e un 5u6de prat6:ue de l&7aluat6on 7olut67e en =ranNa6s% re8ommand par "atton so6 mFme sur son blo5 de l&(E( H(mer68an E7aluat6on (sso86at6onI* Dans le mFme 7e6ne% le rapport de la 8on=ren8e sur l&7aluat6on des pol6t6:ues de 8ooprat6on% tenue ; l&Un67ers6t de Ze5en6n5en en -a6 2010% tra6te la 8omple96t 8omme une opportun6t ; sa6s6r H+valuation 2evisited 0 mprovin# t(e 3ualit& of +valuative 4ractice b& +mbracin# "omplexit& - $on=eren8e Report - -ar8@ 2011I% et propose des pr6n86pes mt@odolo56:ues pour l&7aluat6on de pol6t6:ues 8omple9es* Dans l&ou7ra5e d6t par 3uC $au:u6l et "atr68e )ra8onn6er HE7aluat6on des pol6t6:ues publ6:ues 1 d7eloppement d&une nou7elle 8ulture% Ed $!D"% "ar6s 2010I% 3uC $au:u6l tra6te de l&7aluat6on de la pol6t6:ue de la '6lle 8omme une pol6t6:ue 8omple9e* Un ou7ra5e ; paraGtre dont [a8:ues Toulemonde est l&un des 8oauteurs% portant sur l&7aluat6on des pol6t6:ues de 8ooprat6on europennes en mat6<re de rdu8t6on de la pau7ret% propose des rponses pour 7aluer des pol6t6:ues% 8omple9es par le nombre de relat6ons de 8ausal6ts :u6 sous-tendent les pol6t6:ues et pro5rammes d&a8t6on 8on8erns et leurs l6ens a7e8 la rdu8t6on de la pau7ret% sans pour autant russ6r ; =ran8@6r D la barr6<re d&7aluab6l6t E due ; 8e nombre e98ess6= de relat6ons 8ausales entre a8t6on et rsultats* !ous 86tons 5alement une 8ommun68at6on sur la 8omple96t de l&7aluat6on des pol6t6:ues terr6tor6ales% de Den6s $(RRE !ad6ne #E'R(TT H,a complmentarit des dispositifs et des effets 0 problme pour lvaluation des 4olitiques 4ubliques Territoriales )I :u6 montre% sur le 8as de l&7aluat6on des a6des au9 entrepr6ses% la d6==68ult d&une 7aluat6on @omo5<ne au n67eau nat6onal de pol6t6:ues sur les:uelles une mult6pl686t de =a8teurs lo8au9 6n=luent =ortement% rendant plus 8omple9e le l6en entre a8t6on et rsultats atte6nts* )6en 76demment% les do8uments 86-dessus ne sont :u&une 5outte d&eau dans la b6bl6o5rap@6e sur la 8omple96t* )on nombre des do8uments 86-dessus sont en an5la6s et tous sont a88ess6bles sur 6nternet% sau= les ou7ra5es de -68@ael "atton% de 3uC $au:u6l et de [a8:ues Toulemonde*

!icEael .uinn Patton F 5evelopmental +valuation 6 Appl&in# "omplexit& "oncepts to +n(ance nnovation and 7se 2 2011 - T@e 3u6l=ord "ress !e\ ,orV \\\*5u6l=ord*8om @ttps1//\\\*abp*or5/abp\ebs6te/r0p/preread/"atton*De7elopmentalE7al*pd= Hart68le de 1SSJI @ttp1//\\\*s8r6bd*8om/do8/420006Q/-68@ael-Qu6nn"atton-De7elopmental-E7aluat6on-2006 Hart68le de 2006I @ttp1//aea065*or5/blo5/Bp]12S4 Hblo5 de - Q "atton sur le s6te de l&(mer68an E7aluat6on (sso86at6onI EliGabet= )oGois1 !arc -an>lois1 'atas=a 5lanc=et0 Co=en 5+ 8%$0 A 4ractitioners Guide to 5evelopmental +valuation 6 T@e [*Z* -8$onnell +am6lC +oundat6on and t@e Internat6onal Inst6tute =or $@6ld R65@ts and De7elopment @ttp1//m88onnell=oundat6on*8a/assets/-ed6a^20#6bra rC/"ubl68at6ons/DE^20201^20E!*pd= H7ers6on an5la6seI (amie A$A$ ,amble Abc de lvaluation volutive #a =ondat6on de la =am6lle [*Z* -8$onnell @ttp1//m88onnell=oundat6on*8a/assets/-ed6a^20#6bra rC/"ubl68at6ons/(^20De7elopmental^20E7aluat6on^2 0"r6mer^20-^20+R*pd= H7ers6on =ranNa6seI "rene ,uijt1 (an 5rouHers1 Cecile Iusters1 Ester Prins and 5aJaG KeJnalova 0 E7aluat6on Re76s6ted 1 Impro76n5 t@e Qual6tC o= E7aluat67e "ra8t68e bC Embra86n5 $omple96tC - $on=eren8e Report - -ar8@ 2011
@ttp1//\\\*8d6*\ur*nl/!R/rdonlCres/+D1)E6ED-20)6-J$6$-)1$Q(JJ0S$Q4D5J(/104406/E7aluat6onRe76s6ted$on=eren8eReport*pd=

S=olom ,louberman% "@*D* )aC8rest $entre =or 3er6atr68 $are 5renda Kimmerman% "@*D* ,orV Un67ers6tC $ompl68ated and $omple9 SCstems1 Z@at Zould Su88ess=ul Re=orm o= -ed68are #ooV #6VeB [ulC 2002
@ttp1//dsp-psd*8ommun68at6on*58*8a/$olle8t6on/$"02-QS-42002+*pd= H7ers6on =ranNa6seI @ttp1//dsp-psd*8ommun68at6on*58*8a/$olle8t6on/$"02-QS-42002E*pd= H7ers6on an5la6seI

)enis CA##E 'adine -E+#A**

La complmentarit des dispositifs et des effets : problme pour lvaluation des Politiques Publiques Territoriales ? -

@ttp1//\\\*s=easso*=r/6ntranet/8V=6nder/user=6les/=6les/Reeseau_des_ 8@er8@eurs_en_ee7aluat6on/$arre-#e7rattoS+ESummerS8@ool-(rt68le*pd=*pd= (acques *oulemonde1 )ou>las Carpenter1 -aurent #a??ier "opin# 9it( t(e +valuabilit& :arrier0 4overt&

Rapport de la journe du 15 septembre 2011 - 6/1/2012

10

Evaluer & dmler la complexit des politiques publiques : une journe dtudes du club SFE PACA
mpact of +uropean ;upport at "ountr& ,evel He9tra6ts d&un ou7ra5e ; paraGtreI ,uJ Cauquil1 Patrice 5raconnier CeditorsD0 +valuation des politiques publiques, dveloppement dune nouvelle culture$ Ed $!D" "ar6s H2010I Patricia #od>ers 0 +valuation approac(es to deal 9it( complexit& - $IR$#E H$ollaborat6on =or Interd6s86pl6narC Resear8@% $onsult6n5 and #earn6n5 6n E7aluat6onI% RoCal -elbourne Inst6tute o= Te8@nolo5C% -elbourne% (ustral6a
@ttp1//\\\*s=easso*=r/6ntranet/8V=6nder/user=6les/=6les/Reeseau_des_8@er8@eurs_e n_ee7aluat6on/Ro5ers2010^20Quels^20soubassements^20^$0^( Sp6st^$0^(Smolo56:ues^20des^20m^$0^(St@odolo56es^20ppt* pd= @ttp1//d5roups*or5/=6le2*a9d/=a0J=J=J-128e-J5eJ-bJed60a642QQ4Sdd/Ro5ers_2004_Us6n5_pro5ramme_t@eorC*pd= @ttp1//\\\*@=rp*or5/e7aluat6on/t@e-e7aluat6on-e98@an5e/6ssuear8@67e/e7aluat6on-met@odolo5C/e7aluat6n5-8ompl68ated-and8omple9-pro5rams-us6n5-t@eorC-o=-8@an5e

Annexe 4 : 'rogramme de la journe du 15 septembre 4611

*atin L=49 5ienvenue
+mmanuel +t(is, 4rsident de l=7niversit dAvi#non Alain :artoli, 5irecteur Gnral des ;ervices du "onseil Gnral de !aucluse "cile >elle, !ice64rsidente dl#ue * l=amna#ement des territoires et aux politiques territoriales et contractuelles, 2#ion 4rovence6Alpes6"?te d=A@ur

L=:7 "ntervention -a porte de lMvaluation ?ace aux politiques complexes

par Gu& "auquil, 4rsident (onoraire de la ;F+

%9=49 Etude de cas -es pro>rammes du massi? des Alpes par $la6re de S7era8% $ab6net 3em* r8a - Tl8@ar5er %%=%9 Etude de cas -es publics du ?estival dAvi>non @ laune de plusieurs >nrations denqute
par 5amien Aalinas et :aptiste 2ol, +quipe "ulture et "ommunication du "entre Borbert +lias, 7A2 C+>+;;67A4!

%%=79 Etude de cas -a>enda 3% des 8autes0Alpes

par Aarie6"(antal 5aumas et "laire ,an#, "onseil Gnral des >autes6Alpes

C$ F$ IurtG )$ ($ SnoHden T(e ne9 d&namics of strate#&0 ;ense6ma<in# in a complex and complicated 9orld @ttp1//alumn6*med6a*m6t*edu/`brooVs/storCb6T/VurtT*pd=

&pr$s -*idi %:=99 *able ronde -valuation au service de la >ouvernance et de la dmocratie

5iscutants 0 Dean64ierre 4errin, directeur de lvaluation * la 2#ion 4rovence6 Alpes6"?te d=A@ur Annie :la@&, p(ilosop(e, metteur en scne, consultante, or#anisatrice du Festival du T(Etre Antique * !aison la 2omaine >lne Ailet, animatrice du #roupe +valuation participative de la ;F+ Dean6"laude "o(en, animateur du club 4A"A de la ;F+ Aodration par FranFois Aouterde, 4rsident de la ;ocit FranFaise de l+valuation

%7=99 *able ronde connaissance parta>e

SJstNmes

din?ormation

et

5iscutants 0 "laudine Gffredi, n#nieurH5octeur, Facult d=+conomie de Grenoble ,opold "arbonnel, 5irection 2#ionale de la Deunesse, des ;ports et de la "o(sion ;ociale 4A"A ;verine ,andrier, Gbservatoire 2#ional des Atiers 4A"A Aodration par Dacques "arrillo, "abinet +5AT+2

%O=99 SJnt=Nse
4ar Gu& "auquil, 4rsident (onoraire de la ;ocit FranFaise de l+valuation Bota 0 les diffrents supports de la /ourne sont tlc(ar#eables sur le site de la ;F+ 0 (ttp0HH999.sfe6asso.frHsfe6evaluation.p(p)menuIidJ1KL

Rapport de la journe du 15 septembre 2011 - 6/1/2012

1J