Outils daction I

Guide pour lvaluation de limpact des programmes pour le

Guidelines for assessing the impact of enabling environment programmes : an integrated impact assessment approach (IIAA), Caroline Pinder, Colin KirkPatrick, Sarah Mosedale, avec les contributions de Pat Richardson et Simon White, 2005

dveloppement dun environnement favorable aux activits conomiques : lapproche dvaluation intgre de limpact

Lobjet de ce texte est de fournir un guide des principaux outils et tapes requis pour effectuer une valuation dimpact de programmes pour le dveloppement dun environnement conomique favorable aux activits conomiques. La grille danalyse choisie est lapproche de lvaluation intgre de limpact1. Le terme enabling environment (environnement favorable) peut tre utilis pour dcrire tous les facteurs qui sont extrieurs aux activits conomiques mais qui affectent la manire dont elles sont conduites, et le dveloppement du secteur priv. Les programmes concerns sont mens par les gouvernements, avec le soutien de bailleurs, en vue de faire voluer lenvironnement des activits conomiques et de favoriser le dveloppement du secteur priv, pour encourager la croissance conomique et contribuer un dveloppement durable. Les changements esprs de ces programmes se concentreront sur trois domaines : le cadre lgal et rglementaire, le cadre politique et le cadre institutionnel et organisationnel. ventions. Les challenges sont aux nombres de quatre. Premirement, il faut aller, au-del dune simple mesure de la performance, vers une relle valuation des objectifs et des impacts. Dune part, ce challenge pose le problme de lchelle de temps de lvaluation. Les changements et les impacts attendus prennent du temps se manifester, souvent au-del de la dure du projet. Des indicateurs, soigneusement choisis au dbut du programme, peuvent fournir une information sur les tendances des rsultats et des impacts. Dautre part, il faut rpondre aux problmes de lchelle de lvaluation en fixant des frontires lvaluation, car ce type de programmes doit considrer un ensemble de rglementations et de politiques lies. La question est de savoir lesquelles vont rentrer dans la sphre de lvaluation. Chaque intervention doit tre traite comme un lment dlimit. Leur regroupement dans une grille danalyse gnrale doit permettre de comprendre les liens et comment les parties interagissent pour dterminer limpact du programme dans sa totalit.
1

RPONDRE AUX CHALLENGES DE LVALUATION DIMPACT DES PEE

(Programmes Enabling Environment)

Lvaluation de ce type de programmes savre complexe car ils ne constituent quune partie dun ensemble dinter-

Integrated Impact Assessment Approach (IIAA).

Accdez au texte original : http://www.enterprise-impact.org.uk/pdf/BEE-IAguidelines.pdf

Guide pour lvaluation de limpact des programmes

Deuximement, se pose le problme de la disponibilit et de la qualit des donnes ncessaires lvaluation. En effet, labsence de ligne de dpart documente est un problme commun dans lvaluation des programmes de dveloppement et elle met laccent sur limportance de conduire une valuation ex-ante du programme. La premire tche pour une quipe de recherche est donc de reconstruire une base de dpart par la revue et lanalyse de donnes historiques collectes par les agences nationales et internationales ainsi que la consultation dacteurs ou groupes cls. Ensuite, elle devra dvelopper des scnarios de base qui apparaissent au dbut du projet et les faire valider par des informateurs cls. Il faut noter que les donnes quantitatives et qualitatives sont toutes les deux importantes. Les premires permettront de mesurer les impacts actuels quand les secondes nous expliquent pourquoi et comment les impacts apparaissent. Un mlange de ces deux types de donnes est essentiel pour obtenir une image complte de ce quil se passe et pourquoi. Troisimement, il faut pouvoir dmontrer les liens de causalit. En effet, la complexit de lenvironnement des activits conomiques et la multiplicit des facteurs peuvent affecter les rsultats dun programme, soit parce quils ne sont pas prvisibles (guerres, catastrophes naturelles, etc.), soit parce quil est impossible dattribuer prcisment la cause du changement dans les comportements ou dans les performances conomiques. Il existe plusieurs techniques qui permettent danticiper ces difficults. Lanalyse de la chane causale aide identifier les liens de causes effets significatifs entre les interventions et leurs ventuels impacts. De plus, lvaluation du risque aide identifier et quantifier les impacts potentiels de menaces extrieures connues. Quatrimement, il faut considrer les problmes institutionnels. Ils ont trait tout dabord la proprit du programme. Il doit tre de la responsabilit du gouvernement, mme si la consultation des acteurs concerns est indispensable pour comprendre les intrts et les calendriers. Ensuite, il faut considrer la perte de mmoire institutionnelle, ce qui implique la mise en place dun systme de gestion de linformation qui suit lhistorique du programme du dbut la fin

et diffuse les rapports du programme aux parties intresses. Enfin, la fragmentation des connaissances se pose pour les programmes qui se composent dune multiplicit dlments. Ce manque peut tre rduit par un travail qui encourage la dissmination de linformation et de lapprentissage. Il doit offrir une vue sur les problmes transversaux et les liens entre les composantes du programmes. Il est important davoir une attitude raliste quant aux rsultats attendre dune valuation dimpact. Le premier objectif de la conduite de lvaluation est de faciliter la rflexion et lanalyse. Elle ne peut donner des rponses compltes mais elle peut aider dvelopper une forte base de preuves la disposition de la conception des politiques futures et de leur application.

questions est-ce que les effets sur le secteur priv, sur la performance conomique ou le dveloppement durable sont le rsultat du programme ? Existet-il des impacts inattendus ? . Ce guide a pour objectif de faciliter la conduite des valuations aux niveaux des effets et des impacts des programmes pour savoir si les buts et les objectifs de celuici ont t ou seront atteints.

LES TAPES DANS LVALUATION DE LIMPACT DES PROGRAMMES EE

tape 1 : la projection
Il faut tout dabord avoir une vue densemble de lenvironnement des activits conomiques et du contexte conomique du pays concern. Ce travail ncessite de dresser une liste des domaines qui ont besoin dtre rforms avec une brve description et la raison de la slection de ces domaines. Il faut dfinir les options et les priorits pour laction au sein de cette liste, en prenant en compte quels domaines causent le plus de dommages sur lenvironnement des activits conomiques. Il faut ensuite faire une proposition qui dterminera sur quelles domaines se concentrer et quelles rformes peuvent tre menes pour remdier aux dommages. Enfin, il faut obtenir un accord sur le domaine de lenvironnement des activits conomiques qui fera lobjet de toute lattention.

LES NIVEAUX DE LVALUATION DIMPACT DE PEE

Lvaluation dun PEE peut seffectuer plusieurs niveaux comme le montre le schma ci-dessous qui lie lapproche de lvaluation dimpact au cadre logique du programme. Si la majeure partie du travail dvaluation tend se situer au niveau des activits et des rsultats du programme, ce qui consiste rpondre la question qui fait quoi et comment le faire , peu de travail se focalise sur lvaluation au niveau des effets et des impacts. Or ce niveau danalyse tente de rpondre aux

Lier les niveaux dvaluation au cadre logique du programme

Activits et processus Rsultats (objectifs) Impacts (but)

Produits

valuation au niveau des processus et des produits : mesure de la performance Niveau de lenvironnement des activits conomiques

valuation au niveau des rsultats et des impacts Niveau de lentreprise : comportement conomique Niveau de la socit : performance conomique

Niveau du programme

Lactualit des services aux entreprises n 10

octobre 2005

Un produit dinformation de la DGCID (MAE)

Guide pour lvaluation de limpact des programmes

tape 2 : Lvaluation ex-ante

Lobjectif est dvaluer les impacts potentiels. La premire partie de cette tape comprend quatre tches. La premire tche consiste en une revue de lenvironnement lgislatif, politique et rglementaire. Lanalyse dtaille doit tre spcifiquement relative aux domaines sur lesquels on a choisi de se focaliser. Il faut dcrire le contexte, le systme et les processus de gouvernance par lesquels la politique est mise en place. Elle inclut des rfrences aux associations professionnelles, organisations civiles concernes et leurs relations avec le gouvernement, notamment les mcanismes de dialogue. Il faut ensuite cartographier la grille danalyse politique et lgale et ses instruments. Le contenu de chaque politique devra tre rsum pour connatre les institutions responsables de leur mise en uvre et savoir si des processus de contrle sont dj en place. La deuxime tche est la revue du contexte et des conditions du pays. Elle doit fournir un rsum des politiques macro-conomiques du pays en relation avec les domaines prioritaires choisis. Le produit de cette revue doit inclure des projections de croissance et des facteurs influents, une description du contexte social, une identification des problmes environnementaux. La troisime tche consiste consulter des acteurs concerns par le programme. Elle ncessite didentifier et de dfinir les caractristiques des acteurs cls, dvaluer la manire dont ils sont affects par les politiques et rglementations en cours ainsi que par le programme propos. Elle doit permettre de comprendre les relations entre les acteurs, notamment les conflits rels et potentiels entre les intrts et attentes de chacun ; et dvaluer leurs capacits participer au programme. La consultation est fondamentale pour la comprhension des impacts potentiels dun changement dans lenvironnement des activits conomiques. Elle peut tre la base de la construction dune analyse des acteurs qui dcrit quels types dentreprises sont susceptibles dtre affects (en fonction de sa taille, du secteur dactivit, sa localisation, etc.) mais aussi comment et pourquoi elles

sont affectes. Le rsultat des consultations doit inclure une analyse des acteurs avec la constitution dun groupe de gens ayant un intrt pour le programme, une ide de leur influence sur celui-ci, et connaissant son importance pour leurs intrts. La dernire tche prend la forme de lvaluation du risque. En effet, les risques qui peuvent affecter lefficacit du programme doivent tre identifis et valus au regard de la manire dont ils influencent le programme, leur chelle ou leur gravit. Elle doit tre accompagne de considrations sur la manire dadoucir ces risques et sur la manire dont les effets de la politique mise en place peut les surpasser. La deuxime partie de cette tape va consister en quatre tches distinctes. Lanalyse des donnes doit tre suivie du dveloppement dune srie doptions de politiques mettre en uvre. Leurs impacts sont valus, dans un but de dveloppement durable, par lutilisation dindicateurs. Cette valuation saccompagne dune revue des risques spcifiques chacun. Les entits, affectes directement ou indirectement par le programme, sont consultes. Dans un deuxime temps, il faut slectionner les indicateurs qui seront construits au moment de la conception du projet et dtermins par les objectifs du programme. Les critres de slection sont leur nombre limit et leur caractre mesurable. Ils doivent tre quilibrs dans leur couverture des diffrents objectifs du programme et susceptibles dapporter des preuves transparentes. partir de ce choix, il faut considrer et peser leur porte. Les facteurs prendre en compte pour les valuer sont ltendue des tensions conomiques, sociales et environnementales dans les rgions affectes, la direction des changements (leur nature, leur dure, leur magnitude et leur rversibilit) ; et enfin la capacit institutionnelle mettre en place des mesures pour attnuer les impacts ngatifs et renforcer les impacts positifs. Pour les indicateurs non quantifiables, il faut tablir des normes et une chelle dimportance est ncessaire pour rsumer la direction et limportance de limpact (par exemple : une chelle de cinq points : -1, -1, 0, +1, +2).

La troisime tche consiste mettre en lumire lanalyse de la chane causale. Elle doit tre mene avant le commencement du programme pour identifier les liens de causes effets et les rsultats et impacts potentiels. Elle peut tre aussi utilise pour fournir une grille danalyse afin de contrler les rsultats et les impacts durant et aprs le projet. Elle se concentre sur les liens significatifs qui doivent tre ajusts au vue de leur porte. Pour dessiner les diffrents aspects, diffrents types doutils sont utiliss : les mthodes analytiques, descriptives de modlisation, destimation statistique et lopinion dexperts. La dernire tche sattache au dveloppement de scnarios. En effet, lvaluation dimpacts potentiels doit tre base sur lanalyse de scnarios type. On considre deux scnarios : le scnario de base dcrit la situation sans changement dans lenvironnement des activits conomiques et le scnario avec intervention dcrit la situation aprs la mise en place du projet. La diffrence de situations donne lestimation des impacts attendus.

tape 3 : Le contrle et lvaluation courants

Un systme de contrle et dvaluation courants doit tre construit au dbut de la mise en place du programme pour assurer un retour sur les rsultats et les impacts depuis son dmarrage. Les donnes accumules pourront contribuer ltape suivante de mme quaux valuations ex-ante et ex-post des autres domaines programms. Plusieurs mthodes peuvent tre utilises pour cette tape. La premire prvoit des groupes de discussions qui seront organiss intervalles rguliers avec les membres des associations professionnelles et des runions avec la communaut des activits conomiques. Les panels dimpact sont une autre mthode. Elle consiste construire un groupe dont les membres sont reprsentatifs du secteur cibl par la rforme. Construit au dbut du programme, leurs membres doivent rester identiques et tre consults rgulirement (tous les six mois est la norme). Les tudes tlphoniques peuvent tre utili-

Lactualit des services aux entreprises n 10

octobre 2005

Un produit dinformation de la DGCID (MAE)

Guide pour lvaluation de limpact des programmes

ses. Elles consistent en une consultation dun quota dentreprises interviewes chaque semaine ou chaque mois. La composition du groupe sera renouvele chaque consultation mais choisie au hasard. Elle a pour but de voir comment ils ont t affects par les changements dus au programme. Enfin, la dernire mthode sappuie sur des tudes sous forme de mini-questionnaires que les participants remplissent au point de livraison (comme un bureau denregistrement des entreprises). En plus de cette tape, il peut tre dcid de mener des valuations mi-parcours pour avoir des indications sur les tendances de limpact et les progrs accomplis par rapport aux objectifs de dpart.

LES SOURCES DE DONNES ET LES MTHODES POUR LES COLLECTER

Le tableau de la page suivante nous prsente un exemple de format de prsentation du rsum des impacts significatifs dans le cadre dune rforme des lois sur la concurrence.

Les besoins en donnes dpendent de lobjectif du programme et des mthodes analytiques qui sont mises en place. Les donnes primaires viennent des rapports et dautres documentations produites par les chargs du programme. Les donnes secondaires sont fournies par le gouvernement, les institutions multilatrales ou les instituts de recherche. Lutilisation de donnes existantes permet de maintenir des cots bas pour cette tche. Il existe diffrentes mthodes de collecte qui sont globalement communes tous les types dvaluation dimpact. Les principales mthodes sont les suivantes : les tudes dchantillon qui proposent des informations quantifiables ou dont le caractre qualitatif permet une analyse ; les entretiens avec des informateurs cls ; les tudes de cas ; les groupes de discussion ; mais aussi dautres mthodes comme celles prsentes dans ltape 3 de lvaluation ou leurs drivs.

QUI DOIT MENER LVALUATION DIMPACT DUN PEE

tape 4 : Lvaluation ex-post

Son but est dvaluer les impacts actuels du projet. Elle consiste en une comparaison entre les scnarios. La comparaison entre les impacts actuels et la situation de dpart fournit une valuation dimpact ex-post qui correspond ce que le programme a actuellement russi : ses rsultats et ses impacts par rapport aux fonctions et aux objectifs initiaux du programme. La comparaison des impacts actuels et du scnario avec intervention fournit une valuation sur la manire dont le programme a t mis en place pour obtenir les meilleurs effets. Les impacts anticips ont-ils t atteints ? et si ce nest pas le cas, est-ce d des problmes lis la mise en place ou aux performances des programmes, ou bien des facteurs externes ? Cette comparaison fournit aussi un aperu de la qualit de lvaluation ex-ante. Les impacts ont-ils t sous ou surestims ? Les contraintes sur les activits conomiques ont-elles t bien values ? Estce que les consultations et lanalyse des acteurs cls ont chou mettre en lumire ? Est-ce que lvaluation du risque a t adquate ? Dans toutes les formes dvaluation, il faut identifier les diffrences entre les impacts actuels et les prdictions ex-ante et leurs causes. Les remdes proposs doivent servir lamlioration des pratiques de futures valuations dimpact.

Le problme est de savoir si lvaluation doit tre mene en interne ou sil est prfrable de faire appel un consultant extrieur. Ce choix dpend de lopinion des responsables du projet et des bailleurs. Le facteur de dcision est la capacit entreprendre efficacement lvaluation, que lapproche utilise soit transparente et objective et que les enseignements soient accepts par les personnes concernes. Dans la plupart des cas, il est dcid dutiliser un mlange des deux sources dans le but dobtenir une perspective quilibre. Quelles sont les avantages et les inconvnients utiliser les ressources en interne ou lappel un consultant extrieur ? Une ressource interne prsente lavantage dune meilleure connaissance du domaine soit parce quelle en est proche, soit parce quelle est immerge dedans par sa pratique oprationnelle. De plus, elle connat les acteurs cls. Son travail sera moins coteux vu quelle appartient dj la structure. Enfin, elle peut mettre en pratique les enseignements sur le terrain et assurer un apprentissage interne. Mais cette formule cumule certains inconvnients. En effet, lanalyse peut tre biaise, subjective ou trop troite. Il risque dy avoir des relations clientlistes. La dmarche peut savrer coteuse si le travail courant nest plus assur. Il existe un risque de mise de ct des enseignements dans le cas o ils porteraient atteinte lquipe qui doit mener lvaluation. Lapprentissage interne ne prendra forme que si lvaluateur peut linfluencer. Le consultant extrieur prsente lavantage de fournir lobjectivit et un il nouveau sur le projet. Il est plus facile de limiter lanalyse dans le temps du fait

LA PRSENTATION ET LA DISSMINATION DES ENSEIGNEMENTS DE LVALUATION

Le but des valuations (ex-ante ou expost) est de fournir aux politiques, preuves lappui, les consquences de la dcision de mettre en place un programme ou une srie de rformes spcifiques. Les enseignements dune valuation ncessitent dtre prsents sous la forme dun rsum qui soit comprhensible des dcideurs non spcialistes, des participants et des parties intresses. Pour encourager la transparence et la participation de la socit civile dans le processus de conception dune politique, il est important que les enseignements soient diffuss toutes les personnes qui ont pris part au processus de rformes.

Lactualit des services aux entreprises n 10

octobre 2005

Un produit dinformation de la DGCID (MAE)

Guide pour lvaluation de limpact des programmes

du contrat. Il peut apporter lvaluation de nouvelles comptences, expriences et aussi des ides sur de meilleures pratiques. Ntant pas impliqu dans lapplication du programme, il sera plus apte parler aux parties conflictuelles. Enfin, il peut rpondre aux problmes

ncessitant des comptences spcifiques. Mais il peut avoir le dsavantage de mconnatre la rgion concerne ou le contexte spcifique au programme. Il peut ne pas se soumettre aux contraintes de temps du contrat. Son exprience dans le domaine de lvaluation nest

pas pertinente au contexte du programme. Mme sil est de la rgion concerne, il sera plus coteux du fait de cots annexes importants (du type htel). Enfin, il peut tre plus lcoute des personnes qui parlent le plus fort ou qui sont les plus accessibles.

Loi sur la concurrence : rsum des impacts sgnificatifs

Indicateurs dimpact conomique Performance macro-conomique Emploi Baisse des prix la consommation. Augmentation de lemploi dans les anciennes industries cartlises. Meilleure dissuasion la cartlisation. Moins dincitations engager des pratiques anti-concurrentielles. Autorit de la loi et renforcement effectif. Description de limpact Facteurs causals Facteurs affectant la porte Porte horizontale

Social Rduction de la pauvret quit sociale Prix plus faibles pour les biens achets par les pauvres. Rduction des cots des achats publics auprs des cartels libre des fonds pour les dpenses sociales. Meilleure dissuasion la cartlisation. Moins de tentatives de manipulation. Indpendance des lgislateurs vis--vis de lemprise de lindustrie. Indpendance du processus politique vis--vis de la corruption et du lobbying.

Environnemental Stocks de ressource Usage amlior des ressources. Rduction de la pollution de lair et de leau. Efficacit des ressources produits. Augmentation des transports et de la production. Renforcement de la rglementation environnementale.

Qualit environnementale Gouvernance Meilleure gouvernance Capacit institutionnelle

Transparence contractuelle et baisse de la corruption. Mise en place dune agence pour la concurrence.

Investigations lgales sur les pratiques. anti-concurrentielles. Activits de rgulation et dinvestigation.

Indpendance du pouvoir judiciaire. Ressources et indpendance.

Symboles utiliss pour montrer la porte de limpact vide Limpact a t valu comme non significatif compar la situation de dpart Impact positif significatif faible Impact ngatif significatif faible Impact positif significatif fort Impact ngatif significatif fort Impacts positifs ou ngatifs en fonction du contexte (peut tre faible ou fort) Effets incertains

Lactualit des services aux entreprises n 10

octobre 2005

Un produit dinformation de la DGCID (MAE)