Guide Educasol 4 Couleurs Final

EDUCATION AU DEVELOPPEMENT ET A LA SOLIDARITE INTERNATIONALE COMMENT auto-EVALUER SES ACTIONS?
Guide mthodologique
Septembre 2009
Gilbert Graugnard et Ana-Maria Oliveira (CIEDEL)
Avec le soutien
EDUCATION AU DEVELOPPEMENT ET A LA SOLIDARITE INTERNATIONALE

COMMENT AUTO-EVALUER SES ACTIONS?
Guide mthodologique
Septembre 2009
Gilbert Graugnard et Ana-Maria Oliveira (CIEDEL)
SOMMAIRE
INTRODUCTION. ................................................................ 5 DANS CE GUIDE............................................................. 9 LEVALUATION DES ACTIONS DEAD-SI. ...............................11
Pourquoi valuer nos actions?.................................................. 12 Diffrents types dactions et diffrentes modalits dvaluation en ead-si. ............................................................. 14 Que peut-on valuer?............................................................... 15 En conclusion: des choix effectuer......................................... 18
LAUTO-valuation des actions dEAD-SI
LES PRINCIPALES CARACTERISTIQUES DUNE DEMARCHE DAUTO-EVALUATION DES ACTIONS DEAD-SI......................19

Un pralable indispensable lauto-valuation, la motivation... 20 Avantages et difficults dune dmarche dauto-valuation........ 20 Auto-valuation accompagne................................................... 21 Vous tes motiv-e et vous souhaitez commencer?..................... 21
LAUTO-EVALUATION DUNE ACTION DEAD-SI EN 8 ETAPES...23

ETAPE N1: Dfinir laction que lon veut valuer....................... 24 ETAPE N2: Prciser les objectifs de lauto-valuation.............. 29 ETAPE N3: Dterminer qui fait quoi dans lauto-valuation ...... 32 ETAPE N4: Prciser ce que lon cherche valuer. .................... 36 ETAPE N5: Choisir des critres et leurs indicateurs................. 43 ETAPE N6 : Choisir une mthode et des outils dauto-valuation. .... 50 ETAPE N7: Raliser lauto-valuation....................................... 54 ETAPE N8: Valoriser et utiliser les rsultats de lauto-valuation................................................................. 57
FICHES TECHNIQUES....................................................... 59
Fiche Technique N1: Cadre de rfrence. .................................. 60 Fiche Technique N2: Typologie des valuations......................... 61 Fiche Technique N3: Lauto-valuation..................................... 64 Fiche Technique N4: Les critres dvaluation. ......................... 66 Fiche Technique N5: Les indicateurs dvaluation..................... 67 Fiche technique N6: La capitalisation...................................... 69
ANNEXES....................................................................... 71
ANNEXE N1: Note de synthse de lanalyse transversale des pratiques dvaluation en ead-si. ........................................ 72 ANNEXE N2: Fiche action En Savoie, une proposition daccompagnement au voyage ltranger................................. 75 ANNEXE N3: Fiche action Le Blitzkick: Aborder les reprsentations du monde travers une animation participative autour des cartes gographiques de la plante. ......................... 76 ANNEXE N4 : Fiche action Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest. ............. 78
GLOSSAIRE. ................................................................... 81 BIBLIOGRAPHIE..............................................................87
La plate-forme Educasol et le F3E ont mutualis leurs comptences respectives en ducation au dveloppement et la solidarit internationale et en valuation, en sengageant dans une dmarche de production de rfrences oprationnelles en matire dvaluation des actions dducation au dveloppement et la solidarit internationale. Educasol et le F3E ont souhait tre accompagns par des personnes ressources tant la fois des formateurs, pdagogues et ayant une expertise sur les questions dvaluation. Cest ce titre que le CIEDEL sest impliqu chaque tape de la dmarche, et a rdig ce guide en lien avec Educasol et le F3E.
INTRODUCTION
Un guide destination des acteurs de terrain de lducation au dveloppement et la solidarit internationale qui sappuie sur leurs pratiques
De nombreux crits, recherches et outils mthodologiques sur lvaluation existent destination des acteurs de la solidarit internationale, mais ils sont assez largement centrs sur lvaluation des actions ou des programmes mens dans les pays du Sud. Mais les acteurs de lducation au dveloppement et la solidarit internationale, travaillant sur des champs moins quantifiables et moins palpables, ceux de la pdagogie, de la mobilisation citoyenne et du changement social, disposent de trop peu de mthodologies et doutils dvaluation de leurs actions, rpondant spcifiquement leur cadre et champs dactivits. Ce guide espre rpondre pour partie leurs attentes. Il sappuie sur des pratiques dacteurs de lducation au dveloppement et la solidarit internationale, et a comme objectif de produire des rfrences communes, utilisables par le plus grand nombre. Son objectif est daider les acteurs entrer dans une dmarche dauto-valuation. Plusieurs raisons ont pouss Educasol et le F3E faire porter ce travail collectif sur lauto-valuation.
Lauto-valuation des actions dEAD-SI
Pourquoi le choix de lauto-valuation?

Les acteurs de lducation au dveloppement et la solidarit internationale qui travaillent sur leurs terrains, linterface avec les publics, sont souvent simultanment concepteurs et ralisateurs des actions quils mnent. A ce titre, ils sont les premiers intresss faire le point sur leurs actions, pour pouvoir en amliorer la conception et la mise en uvre. Dans ce contexte, la fonction dapprentissage, renforce dans les dmarches dautovaluation, paraissait particulirement adquate, et constitutive mme dune dmarche ducative. De plus, les valuations externes, quel que soit leur intrt et leur dimension participative, sont dun cot relativement important, qui dpasse bien souvent les moyens financiers dont disposent ces acteurs, et qui peut savrer disproportionn par rapport lampleur financire des actions quils mnent. Enfin, mme lorsquune valuation externe est mise en place dans le cadre, par exemple, dune campagne nationale ou dun programme important en ducation au dveloppement et la solidarit internationale, les dmarches dauto-valuation restent ncessaires et contribuent alimenter lvaluation externe. En effet, les actions dducation au dveloppement et la solidarit internationale se droulent dans le temps, sont souvent rparties sur tout le territoire et mises en uvre par un nombre important de bnvoles Seuls les acteurs de lducation au dveloppement et la solidarit internationale impliqus sur leurs terrains sont en relation directe avec les publics finaux viss par ces campagnes, et donc les seuls en capacit dvaluer les effets tout au moins immdiats de laction sur les publics touchs. Ce guide propose donc une dmarche dauto-valuation qui peut tre mise en place par les acteurs de lducation au dveloppement et la solidarit internationale euxmmes, avec leurs propres moyens.
Une dmarche de production collective qui sest droule en 5 tapes

La dmarche de production collective, dont ce guide constitue un aboutissement, sest dcline en plusieurs tapes.
1. Une analyse transversale1 des pratiques dvaluation des actions dducation au

dveloppement et la solidarit internationale a t ralise partir des fiches dexpriences2 et dentretiens effectus auprs dune dizaine de rfrents en valuation, membres dEducasol. Cette analyse avait pour objectif de dresser un tat des lieux des pratiques dvaluation des acteurs de lducation au dveloppement et la solidarit internationale. Elle a permis de poser un certain nombre de constats: Les pratiques les plus utilises sont celles de lauto-valuation. Lvaluation repose souvent sur la contribution volontaire des acteurs qui mnent les actions. Il ny a pas de collecte systmatique dlments dvaluation et le traitement de ces lments reste problmatique. Les acteurs voquent souvent leur manque de temps et de motivation pour valuer. et de questionnements: Faut-il valuer les actions ponctuelles ou les programmes? Les acteurs cherchent-ils amliorer leurs pratiques ou renforcer des dispositifs plus larges? (attentes individuelles versus attentes collectives?) Faut-il valuer la ralisation des actions ou les effets produits par celles-ci long terme?
2. Ces constats et questionnements sur les pratiques ont aliment, dans un deuxime
temps, une journe dchanges dexpriences, laquelle ont particip plusieurs membres de la plate-forme3. Cette journe visait, dune part, partager les rsultats de lanalyse transversale, et dautre part enrichir la dmarche partir de cas concrets apports par les participants. Nous avons pu ainsi esquisser des pistes pour llaboration dun cadre de rfrence en auto-valuation et collecter des lments servant btir le contenu des journes de formation qui ont suivi.
1. Voir lAnnexe N1
du guide: Analyse transversale.

2. Educasol, Recueil N10, Comment les acteurs valuent-ils leurs actions dducation au dveloppement?, 2006-2007. 3. Voir le compte
rendu de cette journe sur le site www.educasol.org.

4. Voir le compte
3. Pour enrichir cette dmarche de production collective, un atelier a t organis avec des acteurs impliqus dans dautres champs proches de lducation au dveloppement et la solidarit internationale, lducation populaire, lducation au dveloppement durable et lutilit sociale, afin de partager les questionnements en valuation et les mthodologies utilises4. 4. Lorganisation de deux sessions de formation de deux jours chacune, rassemblant
une trentaine de participants au total, a permis de tester et denrichir le cadre de rfrence, et dapprofondir une dmarche, des critres et des indicateurs spcifiques lauto-valuation dactions dducation au dveloppement et la solidarit internationale.
rendu de cette journe sur le site www.educasol.org.
introduction
5. Laboutissement de la dmarche est la ralisation de ce guide, qui valorise la pratique des acteurs et apporte des rfrences mthodologiques pour une auto-valuation rigoureuse des actions.
Nous esprons que ce guide mthodologique, ralis avec vos contributions et grce vous, vous sera utile dans vos dmarches dauto-valuation et permettra de fdrer, autour de ces tapes, les nergies et les motivations pour renforcer les pratiques dvaluation, au service de lamlioration de la qualit des actions dducation au dveloppement et la solidarit internationale. Nous serons particulirement attentifs vos ractions, vos critiques et contributions, et nous vous remercions par avance de bien vouloir nous tenir informs de lutilisation que vous ferez de ce guide.
REMERCIEMENTS
Ce guide est le rsultat dexpriences et de contributions diverses qui ont permis ses concepteurs de co-construire une dmarche dauto-valuation adapte au champ de lducation au dveloppement et la solidarit internationale.
Remerciements aux acteurs qui ont nourri cette dmarche
Ceux qui ont fait part de leurs expriences au travers des fiches Educasol, prsentes dans le recueil Comment les acteurs valuent-ils leurs actions dducation au dveloppement et la solidarit internationale? publi par Educasol. Ceux qui ont fait part de leurs expriences lors des ateliers mis en place et dans les formations organises dans le cadre de cette dmarche5. Ceux qui ont bien voulu rpondre aux entretiens mens par le CIEDEL6. Graldine Pierrot, Saya Saulire et Bruno de Reviers (F3E) pour leurs contributions la dmarche.
Remerciements aux associations membres de la plate-forme Educasol
5. Voir les Annexes N2, 3 et 4 du guide. 6. Voir lAnnexe N1
du guide.
et particulirement celles du Groupe Formation: Solidarit Laque, Aide et Action, Les Petits Dbrouillards, Starting-Block, le RED, le CCFD. Anne Kabor (Educasol), Carole Coupez (Solidarit Laque), Laurent Denis, Lilian Pioch (F3E)
DANS CE GUIDE
Evaluer Auto-valuer
Vous avez probablement dj entendu ces mots, sans pour autant leur donner un sens prcis ni savoir si vous tes concern-e: pourquoi valuer, qui value, quest-ce que cela peut nous apporter? La premire partie de ce guide devrait vous apporter des lments de rponse sur ces points.
Comment sy prendre?
Vous souhaitez aller plus loin et vous lancer dans lvaluation de vos actions dducation au dveloppement et la solidarit internationale? La deuxime partie du guide vous propose une dmarche dauto-valuation que vous pourrez adapter et sur laquelle vous pourrez vous appuyer pour passer lacte.
Des fiches techniques

La troisime partie est compose de fiches techniques permettant de faciliter votre comprhension de lvaluation et de la dmarche propose, et de la mettre en perspective par rapport dautres approches danalyse de laction et des pratiques.
Des annexes
Ce sont des documents raliss lors de la dmarche de production collective: lanalyse transversale des pratiques dvaluation des acteurs de lducation au dveloppement et la solidarit internationale et les questionnements qui en dcoulent, ainsi que des fiches de prsentation dexpriences produites par les acteurs et ayant servi de cas de rfrence lors des journes de formation.
Des dfinitions et une bibliographie

Un glossaire de lvaluation et de lducation au dveloppement et la solidarit internationale, ainsi que des rfrences bibliographiques pour aller plus loin se trouvent la fin du guide.
Pour faciliter la lecture de ce guide, le sigle ead-si est utilis pour ducation au dveloppement et la solidarit internationale.
10
Pourquoi valuer nos actions? Diffrents types dactions

et diffrentes modalits dvaluation en ead-si
11
Que peut-on valuer? En conclusion:

des choix effectuer
Lvaluation des actions dEAD-SI
LEVALUATION DES ACTIONS DEAD-SI
Pourquoi valuer nos actions?

Chronique dune soire
23h30. Les derniers participants viennent de sortir de la salle municipale. Nos affiches sont encore aux murs. Des dpliants sont sur les tables. Il faut ranger et nettoyer la salle. Nous sommes fatigus mais contents. Il y avait plus de monde que prvu. Nous avons bien senti que notre animation a plu, les gens ont pris la parole et ils ont particip aux dbats. Il nous faut maintenant organiser la prochaine animation. Puisque cela a bien march, on va faire pareil la prochaine fois. Mais au-del de nos impressions immdiates, comment savoir si ce travail va changer les choses? Toutes ces personnes qui sont reparties dans la nuit, qui sont-elles vraiment et quen pensent-elles maintenant? Que vont-elles retenir de cette soire?
Vous vous posez des questions sur votre action dEAD-SI?

Vous faites de lead-si et vous avez la conviction que cela est ncessaire pour construire un monde plus juste, solidaire et durable. Cest une tche passionnante, qui demande beaucoup dnergie, et vous tes attentif-ve aux changements produits par votre action. Pour cela vous vous posez probablement des questions: Ce que jai fait aujourdhui va-t-il contribuer plus de solidarit? Ai-je t compris-e? Accept-e? Mes inter locuteurs vont-ils modifier leur point de vue? Continuer se poser des questions? Changer leurs comportements?
12
Evaluer, cest apporter des lments de rponse aux questions que lon se pose: A quoi a servi notre action? A-t-elle t utile, efficace? A-t-elle contribu atteindre les finalits que nous nous sommes fixes? Quels ont t les effets que laction a produits moyen et long terme?
En ead-si on value pour: Sassurer que ce que lon fait correspond bien ce que lon a prvu de faire, cest-dire informer, donner des cls de comprhension, et terme inciter changer de comportement et contribuer la ralisation dune socit civile responsable, solidaire et capable de dfinir collectivement des projets davenir. Amliorer le fond et la forme de nos actions, identifier ce qui peut poser problme et trouver des solutions. Poser un regard critique et constructif sur laction: Pourquoi faisons-nous cela et pas autre chose? A quoi sert notre action? On value donc les rsultats obtenus, la dmarche (ou la mthode) retenue pour les atteindre et le sens que lon donne son action.
En ead-si on peut donc valuer: La mise en uvre et le droulement des actions: Organisation matrielle des actions: nombre de personnes touches, choix des lieux, des heures, des dates
Comptences mobilises, outils pdagogiques, fabrication et diffusion

des supports de communication. Mobilisation des partenaires et du public. Cohrence des actions entres elles et avec leur environnement. Lvaluation porte alors essentiellement sur des faits concrets. Les rsultats des actions:
Comprhension des messages. Dispositions agir, avoir envie de changer les choses. Changements des comportements individuels et collectifs, immdiats
et ultrieurs. Lvaluation porte alors trs souvent sur des rsultats immatriels. Les mthodes mises en uvre sinscrivant dans la dmarche ducative: participation, interactivit, prise en compte et respect de la diversit, dveloppement de lesprit critique et de lautonomie de pense Le sens donn laction est celui dun acte politique posant les questions de choix de socit et de sa dimension collective et solidaire. Lvaluation porte alors sur les valeurs qui sous-tendent laction, les finalits.
Un exemple de terrain7: On a tout remis plat

Pendant plusieurs annes nous sommes intervenus sur le thme de laccs au droit et de laction collective avec un public de lycens. Nous avions bien identifi que cela ne passait pas trs bien et quau final les lycens ne se sentaient pas touchs par nos actions de sensibilisation. Face ce constat, nous avons longuement recherch la pdagogie adapte ce type de public mais nous navons pas obtenu de meilleurs rsultats. Ce nest que lors dun travail dvaluation de laction que nous avons t amens nous interroger, non pas seulement sur la pdagogie utilise, mais sur le thme du changement social et son adquation avec le public de lycens. Les rsultats de lvaluation ont dmontr que ce ntait pas la pdagogie qui tait mise en cause mais bien que le choix du public ntait pas adapt. Suite lvaluation, nous avons continu traiter la question du changement social, mais en sadressant maintenant des travailleurs sociaux. Cela sest fait sans avoir besoin de changer de pdagogie. Comme quoi, sur ce point, nous tions bons sans le savoir Sans lvaluation, nous aurions probablement continu patauger avec notre public lycen
13
7. Il sagit dun exemple inspir de la fiche N7 rdige par Juristes-Solidarits dans le Recueil Educasol N10, Comment les acteurs valuent-ils leurs actions dducation au dveloppement?, 2006-2007.
Ici, partir de la question Pourquoi cela ne passe pas?, lvaluation a permis de faire apparatre un autre questionnement: Compte tenu de notre thme et de notre approche, nous adressons-nous au bon public?. Rechercher de meilleures mthodes daction, adapter, voire redfinir sa stratgie sont une des fonctions centrales de lvaluation et lui donnent une dimension prospective.
Diffrents types dactions et diffrentes modalits dvaluation en ead-si

Des actions diffrentes en ead-si
Les nombreuses actions dead-si ont des caractristiques diffrentes: ponctuelles ou sinscrivant dans la dure (annuelles), menes lchelle locale ou nationale, portes par une association, un groupe local, un collectif En termes dvaluation, deux niveaux se distinguent alors dans les proccupations des acteurs de lead-si: lvaluation des campagnes et des dispositifs mis en place au niveau national et lvaluation des actions conduites au niveau local.
Lvaluation de campagnes nationales

Plusieurs valuations ont port ces dernires annes sur les grandes campagnes ou les dispositifs collectifs porte nationale: Semaine de la Solidarit Internationale, Demain le monde, AlimenTERRE, campagne porte par le collectif De lthique sur ltiquette... Ce sont gnralement des valuations externes, ralises par des consultants, conduites sur une priode relativement courte (de quelques semaines quelques mois) et portant une apprciation un moment donn sur la conduite et les rsultats des campagnes nationales finances par des fonds publics. Ces valuations, dun cot relativement important8, sont utiles pour rendre compte de lemploi des moyens et rechercher des stratgies et des mthodes daction collectives. Elles sont commandites par des structures nationales (associations ou collectifs) et sont le plus souvent prvues dans les demandes de financement et programmes ds le dmarrage des actions. Ces valuations, relativement importantes en termes de volume et de cot, portent sur un dispositif entier, sur un ensemble dactions.
14
Lvaluation des actions sur le terrain

Ces valuations sont mises en uvre par les acteurs ou les associations qui sont au contact direct des publics de lead-si et qui souhaitent faire le point sur leurs actions. Elles sont souvent imagines et conduites partir de moyens simples et sintgrent dans une dmarche de bilan des actions qui aborde la fois: Le compte-rendu: inventaire chronologique de ce qui a t ralis et des moyens mis en uvre. La capitalisation: qui permet de reprer et garder la mmoire de Comment on a fait pour raliser laction?. Lvaluation: qui tablit si ce que lon a fait correspond ce quil tait prvu de faire et porte une apprciation sur la qualit de laction. Ce guide concerne plus particulirement lvaluation des actions sur le terrain (dont certaines peuvent tre mises en uvre dans le cadre plus large des campagnes nationales dcrites ci-dessus).
8. Un certain
nombre de ces valuations ont t appuyes sur le plan mthodologique et financier par le F3E.
Que peut-on valuer?

On peut distinguer trois niveaux diffrents dvaluation.
1. Le droulement de laction
Il sagit dvaluer la ralisation de laction dans deux domaines: La capacit sorganiser avant laction ( trouver les bons lieux, les bons moments, les bons outils, les bons intervenants). La capacit assurer le bon droulement de laction (accueil du public, respect des horaires, capacit crer lambiance, intrt des documents fournis).
Un exemple de terrain9: Organisation dune confrence sur le tourisme solidaire

Lobjectif de laction tait de promouvoir le tourisme solidaire et de sensibiliser le grand public sur les alternatives au grand tourisme de masse. Autour de cette confrence, divers espaces dchanges ont t proposs: des stands dexposition, un espace daccueil pour permettre aux organisateurs de discuter avec des lus et des journalistes, des tables rondes... Pour valuer cette action les organisateurs ont pens un questionnaire qui visait recueillir des impressions gnrales sur lorganisation de la manifestation: avez-vous t satisfaits de lespace accueil? Lespace accueil a-t-il t propice aux changes? La confrence vous a-t-elle paru pertinente? Lanimation des tables rondes vous a-t-elle paru efficace? Les horaires vous ont-ils convenu? Comment avez-vous t inform(e)?
15
Les organisateurs cherchent ici collecter des informations pouvant contribuer amliorer leur capacit organiser laction ainsi que le droulement de laction. Lobjectif pour les organisateurs / valuateurs est donc de vrifier ce qui a bien fonctionn et ce qui a pos problme au niveau de lorganisation pour pouvoir en tirer des leons pour lavenir.
2. Les effets immdiats de laction10

9. Il sagit dun exemple inspir de la fiche N1 rdige par Libertalia dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007. 10. Voir le glossaire
Il sagit ici de recenser les premires ractions chaud du public destinataire de laction et den tirer des informations sur lintrt quil porte la dmarche, les enseignements retenus, les points daccord et les divergences dapprciation. Quels messages les organisateurs sont-ils arrivs faire passer? On value ici: La qualit de la relation tablie avec le public. La capacit remplir les objectifs pdagogiques. Le niveau de rponse aux attentes du public: est-on proche des proccupations des interlocuteurs ou tellement loign quil nest pas possible de communiquer?
la fin du guide.
Lvolution des reprsentations des participants:

- Ce quils pensaient avant et ce quils pensent maintenant. - Ce quils croyaient avant et ce quils savent maintenant.
Un exemple venu du terrain11: Organisation dune soire dbat entre associations de solidarit internationale
Le rseau dassociations de solidarit internationale de Chambry a runi ses membres en vue de mieux prparer la Semaine de la Solidarit Internationale. Lobjectif tait de permettre aux associations de se rencontrer et dassurer une cohrence dans les actions mettre en uvre. Une soire dbat a t organise et pour lvaluer nous avons travaill sur un outil: le bonhomme. Sur le lieu danimation des grandes affiches sont mises en place et un bonhomme est dessin. On demande aux participants de rpondre 3 questions par rapport la soire dbat et dinscrire sur le bonhomme: Au niveau de la tte: Quavez-vous pens? Au niveau du cur: Quavez-vous ressenti? Quest-ce qui vous a touch? Au niveau des bras et des jambes: Quallez-vous faire?
16
Cet outil dvaluation ne permet pas de collecter des lments faisant rfrence aux changements de comportement des interlocuteurs long terme: est-ce quils sengagent par la suite dans une action lors de la Semaine de la Solidarit Internationale, est-ce quils vont agir diffremment, sengager, militer pour un monde plus juste? Cependant, il permet dobserver le degr de satisfaction et les effets immdiats produits par laction: est-ce que laction les a touchs? Est-ce que, ce qui a t dit les a fait rflchir? Est-ce que cela a apport des lments nouveaux dont ils navaient pas connaissance? Est-ce que ces lments nouveaux leur donnent envie dagir? Nous obtenons ainsi une image immdiate des motions, des sensations lissue de la soire.
3. Les changements long terme

Les acteurs vont sintresser ici aux changements qui vont se produire aprs les actions. Il sagit de cerner lvolution des comportements et des choix de vie, les changements qui vont apparatre petit petit, ceux qui narrivent jamais ou longtemps aprs.
11. Il sagit dun exemple inspir de la fiche N5 rdige par le CCFD dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007. 12. Il sagit dun exemple inspir de la fiche N9 rdige par La Case dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007.
Un exemple de terrain12: Lutte contre les discriminations

Dans le cadre des contrats de ville, un ensemble dactions dducation contre le racisme a t mises en place Villiers le Bel. Des actions de formation ont t menes tout au long de lanne auprs de publics en milieu scolaire (collges, lyces) et dadultes (parents dlves, associations). Lvaluation ralise a port surtout sur limpact de ces actions: Les lycens sont- ils plus arms pour ragir face des situations dinjustice? Les participants adoptentils des comportements plus citoyens? Pour pouvoir valuer ces changements de comportement ou dattitude il tait ncessaire, en amont de laction, dapprhender le systme de reprsentations initial
de collgiens et lycens. Ainsi un travail a t ralis entre les chargs de mission de la ville et les enseignants pour identifier quel tait leur comprhension de concepts comme race, discriminations, culture, immigration Aprs laction, un questionnaire est distribu: Existe-il des races? Quelle est la dfinition du racisme? Quelle serait ta raction si tu tais tmoin dun acte de racisme? Comment ragirais-tu si tu tais victime dun acte raciste?
17
Cette valuation interroge non seulement sur les reprsentations (quelle tait ma reprsentation de la notion de race avant laction et maintenant?), mais galement sur les attitudes (si je suis en situation dinjustice comment ragirais-je?), elle permet enfin, de vrifier si effectivement il y a eu une prise de conscience qui pourra entraner des changements de comportement. Mais elle na quune valeur prdictive sur les changements effectifs de comportement. Ceux-ci ne pourront tre constats que plus tard, dans la vie Lvaluation du changement de reprsentations suppose de bien connaitre le public destinataire de notre action, son degr de connaissance du sujet abord, ses croyances, ses valeurs Ceci demande des moyens en temps et suivi des personnes, mais cette connaissance de ltat initial des reprsentations est la condition pour pouvoir par la suite en mesurer lvolution.
En conclusion: des choix effectuer

Quest ce qui est valu dans ces exemples?
La ralisation des actions et leurs effets immdiats peuvent tre pris en compte partir des techniques courantes de lvaluation. Par contre, lvaluation des changements individuels ou collectifs produits par les actions dead-si sur les comportements sociaux est plus difficile effectuer. Elle est parfois esquisse, mais faute de moyens elle est plus souvent souhaite que ralise. Cette difficult concerne toutes les actions dead-si, de lanimation avec une classe dlves la grande manifestation nationale. Que reste t-il un mois, un an, dix ans aprs laction? Des rponses ces questions peuvent tre apportes par lvaluation de limpact 13.
On na pas les moyens de tout valuer

Lvaluation des changements produits sur le long terme, lidentification des impacts des actions dead-si, sont videmment des proccupations majeures. Mais le reprage des changements fait appel des mthodes et des moyens consquents: connaissance de la situation initiale, suivi des actions dans la dure, prise en compte dchelons statistiques significatifs, identification dindicateurs spcifiques. Ces mthodes sont souvent disproportionnes par rapport lampleur des actions elles-mmes ou aux moyens dont disposent les acteurs qui les mnent.
18
En consquence, le champ de lvaluation en ead-si retenu par la plupart des acteurs, en particulier par ceux qui sont en contact direct avec les publics, et qui fait lobjet de ce guide, porte sur la ralisation des actions, lanalyse de leurs effets immdiats et lidentification de quelques effets ultrieurs.
On peut faire lvaluation soi-mme

Les valuations peuvent tre ralises de diffrentes faons. Elles peuvent tre conduites directement par ceux qui ralisent les actions (les acteurs de laction), par des personnes ressource (personnes extrieures aux actions values, ayant une connaissance des actions et des mthodes dvaluation), par des consultants spcialistes de lvaluation. De mme, elles peuvent tre conduites partir du seul regard des valuateurs (acteurs de laction, personnes ressource ou consultants) ou tre ralises en confrontant le regard des valuateurs celui des acteurs valus. En pratique, la ralisation de lvaluation peut tre confie une personne qui nest pas directement implique dans laction (personne ressource ou consultant externe), on parle alors dvaluation externe14, elle peut aussi tre ralise par les acteurs qui mnent laction eux-mmes, on parle alors dauto-valuation.
13. Voir le glossaire la fin du guide. 14. Voir la Fiche Technique N2 du guide: Typologie des valuations. 15. Voir le Recueil N10 dEducasol Comment les acteurs valuent-ils leurs actions dducation au dveloppement et la solidarit internationale? (2006-2007) et lanalyse transversale ralise dans le cadre de la dmarche dans laquelle sintgre le prsent guide (Annexe N1 du guide).
Le choix de lauto-valuation: Le recensement des pratiques dvaluation des acteurs de lead-si15 qui agissent directement linterface avec les publics fait apparatre une prfrence marque pour des auto-valuations quils peuvent conduire eux-mmes avec leurs propres moyens.
La deuxime partie de ce guide apporte donc les lments de mthode permettant dauto-valuer ses actions dead-si.
Un pralable indispensable
lauto-valuation, la motivation dmarche dauto-valuation
Avantages et difficults dune Auto-valuation accompagne Vous tes motiv(e) et vous

souhaitez commencer?
19
LES PRINCIPALES CARACTERISTIQUES DUNE DEMARCHE DAUTO-EVALUATION DES ACTIONS DEAD-SI
Un pralable indispensable lvaluation, la motivation

Lauto-valuation est une dmarche volontaire que lon peut faire seul mais que lon fait, le plus souvent, plusieurs. Elle nest gnralement pas impose, il suffit den avoir envie et dtre suffisamment persvrant pour conduire le processus jusquaux premiers rsultats. Si vous devez travailler plusieurs, vous vous assurerez que cette motivation est partage par tous les participants. De mme, si lauto-valuation est dcide par les instances dirigeantes dune association ou par un acteur extrieur, un travail dinformation et de persuasion devra tre conduit auprs des quipes et des personnes concernes. Si ces personnes nadhrent pas au processus, il sera prfrable davoir recours autant que possible dautres formes dvaluation telle que lvaluation participative16. Vous vous assurerez galement que vous avez vraiment envie de porter un regard lucide sur vos actions et vous tes prt(e) accepter que tout nest peut tre pas parfait.
Avantages et difficults dune dmarche dauto-valuation

177
La dmarche dauto-valuation prsente des avantages

Vous restez matre du processus, vous dcidez quand commencer et quand arrter, vous dterminez laction valuer, lobjet de lvaluation, vous dcidez du choix des outils, de la mthode et des valuateurs et/ou des accompagnateurs. Lauto-valuation est bien adapte lanalyse concrte des actions, des savoir-faire et des mthodes par les acteurs qui mnent ces actions, qui mettent en uvre ces savoirfaire et ces mthodes. Dans ce sens, lauto-valuation favorise lappropriation des processus dvaluation et de leurs rsultats par ces acteurs, et leur permet dapprendre de laction.
20
Elle prsente aussi des difficults

La difficult majeure de lauto-valuation est de ne pas poser les bonnes questions, soit parce quon ne les a pas identifies, soit parce que consciemment ou non on ne veut pas les voir Il faut ensuite viter lenlisement: le manque de temps, la perte de motivation, limpression de tourner en rond sont des facteurs de dmotivation qui peuvent conduire larrt prmatur dun processus dauto-valuation avant quil nait produit tous ses rsultats.
16. Voir la Fiche Technique N2 du guide sur la typologie des valuations. 17. La Fiche
Pour viter les drives, la dmarche dauto-valuation doit donc tre rigoureuse. Elle demande un minimum de technicit et de disponibilit. Lintgration de lauto-valuation dans la programmation des actions est donc vivement conseille: il est prfrable de prvoir le temps de lauto-valuation ds la conception de laction, avant son dmarrage.
Technique N3 en dtaille les carac tristiques dont nous ne relevons ici que les seuls points saillants.
Auto-valuation accompagne
Si vous avez le sentiment de ne pas matriser suffisamment la mthode dauto-valuation, vous avez toujours la possibilit de vous faire accompagner par une personne ou une structure dont le rle sera daider mettre en place la dmarche dauto-valuation et de suivre son droulement. Dans ce cas, lappui externe se consacre uniquement la mthode et lanimation de la dmarche, et conserve videmment une stricte neutralit sur le fond.
En pratique Vrifiez dabord que la motivation valuer est partage par tous ceux qui ont mis en uvre laction et que tous voient lintrt de poser la question du sens de laction. Posez-vous ensuite la question du choix de lauto-valuation par rapport aux autres dmarches dvaluation: externes, participatives18. Nhsitez pas vous faire soutenir dans votre dmarche par un accompagnement externe ou un comit de pilotage.
Les principales caractristiques
Vous tes motiv-e et vous souhaitez commencer ?

Vous vous posez probablement dj des questions sur vos actions, vous avez des intuitions que vous souhaitez creuser, des impressions vrifier Ne prenez pas le risque daller tout de suite ce qui vous semble tre essentiel au premier abord, de chercher rpondre immdiatement aux questions que vous vous posez. Prenez le temps de poser les bases de votre dmarche, cest le meilleur moyen pour sassurer de conduire lauto-valuation son terme et den tirer le maximum denseignements utiles.
21
Pour cela nous vous proposons une dmarche dauto-valuation en huit tapes: Etape N1 Dfinir laction que lon veut valuer Etape N2 Prciser les objectifs de lauto-valuation Etape N3 Dterminer qui fait quoi dans lauto-valuation Etape N4 Prciser ce que lon cherche valuer Etape N5 Choisir des critres et leurs indicateurs Etape N6 Choisir une mthode et des outils dauto-valuation Etape N7 Raliser lauto-valuation Etape N8 Valoriser et utiliser les rsultats de lauto-valuation
18. Voir la Fiche Technique N2 du guide sur la typologie des valuations. 19. Voir les Fiches action correspondantes en Annexes N2, 3 et 4 du guide.
Les huit tapes qui suivent sont illustres en particulier partir des trois actions dead-si prsentes pendant les temps de formation19. Il sagit de: En Savoie, une proposition daccompagnement au voyage ltranger (CCFD, Chambry). Le Blitzkick, aborder les reprsentations du monde travers une animation participative autour des cartes gographiques de la plante (GCo, Paris). Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest (Starting-Block, Paris).
22
ETAPE N1 Dfinir laction

que lon veut valuer de lauto-valuation quoi dans lauto-valuation lon cherche valuer et leurs indicateurs et des outils dauto-valuation valuation les rsultats de lauto-valuation
ETAPE N2 Prciser les objectifs ETAPE N3 Dterminer qui fait ETAPE N4 Prciser ce que ETAPE N5 Choisir des critres ETAPE N6 Choisir une mthode ETAPE N7 Raliser lauto- ETAPE N8 Valoriser et utiliser
23
LAUTO-EVALUATION DUNE ACTION DEAD-SI EN 8 ETAPES
ETAPE N1 Dfinir laction que lon veut valuer

Cette premire tape consiste tablir une description de laction valuer et en fixer les limites. Il ne sagit pas de rendre compte de lensemble des actions conduites, mais bien de dlimiter le champ de lauto-valuation qui se rduit une action prcise20. Cette premire phase permet de slectionner les lments qui contribueront au cours des tapes suivantes : Se mettre daccord sur ce que vous souhaitez valuer. Identifier le rle des diffrents acteurs dans le processus dauto-valuation. Etablir une dmarche dauto-valuation adapte.
1.1 Svaluer ou valuer son action?

Lvaluation des comptences professionnelles, personnelles et collectives, des acteurs de lead-si, en animation et ducation, quils soient salaris ou bnvoles, peut faire partie du champ dune auto-valuation. La mthode propose dans ce guide permet, si on le souhaite, de faire porter lautovaluation sur les comptences des acteurs. Mais ce champ de lvaluation, commun toutes les actions dducation, dispose dj de mthodes et doutils confirms.
1.2 Avant de commencer, deux cueils viter

Ne soyez pas trop ambitieux, restez modeste et nessayez pas de tout valuer. Si besoin, segmentez votre action et nen retenez que des phases bien dlimites, par exemple les plus significatives par rapport un questionnement, une attente identifie ou un problme ressenti. Partez du concret: on value partir de ce que lon a fait et pas de ce que lon pense faire. La dmarche propose ci-dessous devrait vous aider justement partir du concret.
24
1.3 Nommer laction valuer

Avant toute chose, il est ncessaire de formuler le plus prcisment possible laction que vous souhaitez valuer. Un nom, un titre, un intitul, permettront par la suite de dsigner prcisment laction valuer et dchanger aisment avec: Les personnes qui comme vous, participent aux actions. Dautres qui sont engages dans des actions diffrentes mais proches. Vos interlocuteurs institutionnels: direction, conseil dadministration, commanditaires, soutiens financiers De plus, nommer prcisment laction valuer permet de sassurer que tous les acteurs concerns parlent bien de la mme chose.
20. Pour faciliter la lecture, le terme action fera systmatiquement rfrence laction valuer.
1.4 Dcrire laction

Vous allez maintenant dcrire laction: En quoi consiste-t-elle? Qui en est charg? Que faites-vous prcisment? A quel moment sest-elle droule? Quand dbute et quand se termine laction? O se droule laction? Dans quel contexte? Pourquoi cette description? La description minutieuse de laction peut paratre un peu fastidieuse, dautant plus que vous savez bien ce que vous faites! Mais noublions pas que vous entrez dans une dmarche dauto-valuation. Or, une des difficults est de mener cette dmarche sans perdre le fil conducteur et de crer la distance ncessaire lauto-valuation. Une description la plus prcise possible de laction valuer vous permettra de garder vos marques tout au long du processus et dviter de vous perdre dans la complexit des faits et des acteurs. Le principe est de verbaliser lexprience.
Contexte stratgique de laction

Est-ce que laction est autonome? Est-ce que vous dterminez vous-mme ses objectifs et modalits dexcution? Cest le cas par exemple dune soire organise suite un voyage au Mali pour sensibiliser au tourisme solidaire. Ou bien fait-elle partie dune campagne et est-elle donc lie une stratgie et des moyens collectifs: thmatiques, calendrier, outils pdagogiques, supports de communication? Par exemple dans le cadre dune action mise en place pendant la Semaine de la Solidarit Internationale, des orientations sont apportes au niveau national, un calendrier est dfini, des outils pdagogiques et de communication sont mis disposition, des outils dvaluation fournis aux associations
25
Prcisez le dbut et la fin de laction et sa priodicit

Lindication sur la fin de laction valuer est importante car elle dtermine le point dachvement prvisible du processus dauto-valuation. Cette action est-elle ponctuelle ou priodique? Cette question conduira se poser ultrieurement une autre interrogation par rapport lauto-valuation : va-t-on valuer ponctuellement une seule action ou faire une auto-valuation rcurrente sur un cycle? Pour une animation en milieu scolaire, on prcisera si on se rfre une animation ponctuelle ou un processus comprenant plusieurs interventions identiques ou complmentaires rparties sur lanne scolaire. Dans le premier cas les rsultats de lauto-valuation sont attendus immdiatement aprs laction. Dans lautre cas, les
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Pour dcrire laction, nous proposons 5 points dentre: son contexte, sa priodicit, son droulement, le(s) public(s) au(x)quel(s) elle sadresse et les objectifs quelle poursuit.
ETAPE N3
ETAPE N2
ETAPE N1
rsultats seront attendus en juin ou septembre, pour prparer lanne scolaire suivante. Il est galement possible dvaluer sur des cycles diffrents, pluriannuels, trimestriels, des espaces de temps compris entre le premier contact avec lenseignant rfrent et le bilan fait avec lui lissue dune ou plusieurs interventions
Un exemple de terrain21: Ensemble contre toutes les discriminations

Il sagit dune action organise par lassociation La Case ayant comme objectif de travailler en partenariat avec des structures de la ville de Villiers de Bel (mairie, coles, lyces) pour dvelopper des actions dducation contre le racisme. Plusieurs animations ont t mises en place sur lanne (animations dans les classes: cration dun journal commun, animations autour des crits de Lon Blum, changes entre classes). Plusieurs temps dvaluation par rapport au calendrier de laction ont t prvus: Des sances rgulires avec les organisateurs, tout au long de lanne, pour faire le point sur les avances et sur les difficults. Des valuations chaud aprs chaque animation auprs des publics. En fin danne, des rencontres entre partenaires et publics cibles sont organises et une valuation froid est ralise.
Dcrivez concrtement ce que vous faites

Il sagit ici de dcrire la succession des activits que vous mettez en uvre pour conduire laction. De faon classique, cette description devrait permettre didentifier les temps de prparation, dexcution, de finalisation, de bilan et de dlaboration des suites donner. En fonction de laction valuer, la description peut porter sur des niveaux trs diffrents, du gnral au trs oprationnel. A la lecture de lexemple ci-dessous prsent de deux manires diffrentes, vous pourrez constater lcart entre ces deux descriptions. Cet cart se traduira videmment par des problmatiques dvaluation trs diffrentes.
26
En savoie, une proposition daccompagnement 22 au voyage ltranger: description gnrale

Processus daccompagnement de jeunes ayant des projets de voyages solidaires en 4 phases: 1. Rencontres individualises entre les jeunes intresss et les structures intervenantes: identification du projet, conseils, orientation vers dautres intervenants. 2. Formation prparation au dpart: sous forme dun week-end en mai abordant les questions de motivations, de rencontres interculturelles, de solidarit internationale et le retour du voyage. 3. Week-end de relecture (restitution de lexprience de voyage). 4. Soire de tmoignage.
21. Il sagit dun
Cette description globale de laction conduira une valuation portant sur larticulation de chacune des phases et ventuellement sur les objectifs de chacune. Pour valuer plus en dtail, il faudra dcrire prcisment une tape de laction:
exemple inspir de la fiche N9 rdige par La Case dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007.
22. Voir la Fiche action lAnnexe N2 du guide.
En savoie, une proposition daccompagnement au voyage ltranger: Description oprationnelle de la Prparation au dpart, phase 223
Formation prparation au dpart sous forme dun week-end. 4 points majeurs sont abords: Motivations au dpart et laccueil. La rencontre interculturelle. Solidarit internationale et action envisage. Le retour de voyage.
Ces descriptions pratiques peuvent sembler simplistes et ne pas justifier une valuation. Il nen est rien, et il est mme prfrable de commencer par l cet inventaire oprationnel avant de se lancer dans des valuations trop compliques.
A quel public est-elle destine?

Certaines actions ont un public clairement tabli. Dans dautres cas, il est important de prciser le public auquel sadresse laction.
Les classes de 5me. Cest apparemment prcis, mais dans le cadre dune dmarche dauto-valuation, cela sera probablement trop vague. Il est ncessaire de prciser: La classe de 5me du collge Albert Camus du quartier des Vernes Les jeunes ayant un projet de voyage solidaire. Les jeunes, cela fait beaucoup de Sagit-il de tous les groupes que nous rencontrons ou uniquement ceux qui nous sollicitent sur ce thme? Limitons-nous ces groupes ceux qui suivent notre processus de prparation au dpart?
monde!
27
Quels sont les objectifs poursuivis?

En dcrivant les objectifs, vous dlimitez les contours de laction valuer, et notamment les rsultats que vous attendez de cette action.
23. Voir la Fiche action lAnnexe N2 du guide.
La formulation des objectifs se fait par des verbes daction (atteindre, raliser, toucher) et fait appel des mots concrets. A noter quen ead-si on vise informer, former, sensibiliser, expliquer, impliquer, inciter laction, engager
ETAPE N8
ETAPE N7
ETAPE N6
Le grand public. Les actions dites grand public ont des destinataires Pour pouvoir exploiter les informations recueillies et surtout les comparer entre elles, surtout si laction se droule en plusieurs temps ou dans plusieurs lieux, il faudra tablir une typologie prcise des publics concerns.
beaucoup plus difficiles cerner.
ETAPE N5
ETAPE N4
ETAPE N3
ETAPE N2
ETAPE N1
Exemples dobjectifs dune action

Susciter un dbat de manire favoriser un apprentissage actif et dynamique. Fournir aux enseignants un outil pour aborder les questions de dveloppement en Afrique. Faire vivre au jeune une exprience qui favorise son propre dveloppement. Sensibiliser un groupe de jeunes la notion de commerce quitable.
1.5 Qui conduit laction, qui est impliqu dans laction?

Il y a les acteurs directs, vous en tant quoprateur, mais aussi les divers partenaires avec lesquels vous tes en relation: des associations, des enseignants rfrents, des services municipaux, des intervenants externes, un rseau bnvole Le reprage des acteurs proches de laction valuer est important car il doit vous permettre de dfinir qui est suffisamment concern pour pouvoir participer activement lauto-valuation.
1.6 Quels sont les moyens mobiliss pour laction?

Pour cette premire tape de dfinition de laction valuer, le reprage des moyens mis en uvre est facultatif. Si en cours dauto-valuation vous ressentez le besoin de prendre en compte la question des moyens mobiliss par laction, il sera assez facile de les reprer ce moment-l. Cependant, si vous vous intressez particulirement lefficience de laction, cest dire votre capacit utiliser pleinement les moyens disponibles, il est utile de les identifier ds prsent pour en tenir compte comme donne de dpart dans la construction de lauto-valuation. Ainsi, vous identifierez: Les ressources humaines mobilises et les cots inhrents leur intervention (temps de travail, indemnits ventuelles, frais de dplacement). Les cots lis lorganisation matrielle (location de salle, hbergement, restauration, matriel pdagogique).
28
En rsum de ltape N1 de la dmarche dauto-valuation: Vous nommez et dcrivez laction valuer et ses objectifs (cf. 1.3 & 1.4). Vous identifiez les divers acteurs concerns et leur degr dimplication dans laction (cf. 1.5). Si besoin, vous prcisez les moyens mis en uvre (cf. 1.6).
ETAPE N2 Prciser les objectifs de lauto-valuation

Ltape 1 vous a permis de dfinir laction valuer. Il sagit maintenant de dterminer ce que vous attendez de lvaluation. Pourquoi faites-vous lvaluation? Pour amliorer techniquement votre action, avoir des lments de bilan et danalyse afin de rorienter laction ou de concevoir une nouvelle action. Pour justifier de votre activit auprs de partenaires, prparer une nouvelle demande de financement Pour apprcier lutilit sociale de votre action, ou plus simplement lintrt que porte le public cible laction entreprise.
2.1 Evaluer pour soi

Plusieurs cas de figure vont conduire des utilisations diffrentes de lauto-valuation.

A chaque animation, on utilise un questionnaire dvaluation permettant dtablir un diagnostic immdiat de ce qui sest pass et lon en tire les consquences pour lanimation suivante.
24. Il sagit dun exemple inspir de la fiche N9 rdige par La Case dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007. 25. Il sagit dun exemple inspir de la fiche N9 rdige par La Case dans le Recueil Educasol N10, Comment les acteurs valuentils leurs actions dducation au dveloppement?, 2006-2007. 26. Voir la Fiche Technique N6 du guide: La capitalisation.
29
Faire le point avant de recommencer la mme action

Pour un cycle danimations sur une anne scolaire, lauto-valuation se fera en collectant des informations tout au long de lanne et en faisant leur analyse la fin du processus. Les rsultats de lauto-valuation permettent alors dadapter (amliorer) les actions de lanne suivante.
Dans ce cas, lauto-valuation relve dun processus de suivi-valuation en continu.
Faire autre chose, une nouvelle action, en vous inspirant de ce que vous avez
dj fait et des savoir-faire que vous avez dvelopps pour cela. Dans ce cas, lautovaluation est complmentaire dun processus de capitalisation26.
ETAPE N8
ETAPE N7
ETAPE N6
Dans ce cas lauto-valuation va contribuer une dmarche de recherche-action permettant de modifier laction en continu en tenant compte des enseignements tirs de lauto-valuation.
ETAPE N5
ETAPE N4
Amliorer immdiatement laction en cours
ETAPE N3
ETAPE N2
ETAPE N1

Lauto-valuation dune animation scolaire a soulign la forte implication et lintrt des lves des classes de sixime et troisime autour du livre traitant des discriminations. Des savoir-faire danalyse et de cration de supports pdagogiques des lves et des quipes pdagogiques ont t identifis. De cette exprience value, les tablissements scolaires et leurs partenaires (Conseil gnral, maison de quartier, associations) ont soutenu une nouvelle action: la ralisation par les lycens dun film ax sur les formes de lutte contre le racisme au quotidien.
Lauto-valuation peut sintresser principalement quatre dimensions de laction dead-si, au niveau: Pdagogique et tactique. Organisationnel. Stratgique. Prospectif.
27. Il sagit dun
Lauto-valuation permet dtablir un diagnostic. Pour aller plus loin, on fait appel dautres mthodes pour: Reprer, mmoriser et rutiliser facilement lexprience acquise. Explorer les changements apporter pour amliorer ou diversifier les pratiques.
exemple inspir de la fiche N9 rdige par La Case dans le Recueil Educasol N10, Comment les acteurs valuent-ils leurs actions dducation au dveloppement?, 2006-2007.
Niveau danalyse
Objectifs
Mthodes pour aller plus loin
30
Tactique: pdagogie, animation, outils Lenjeu est local et limit dans le temps Organisation et programmation: choix des thmes et rythme de ralisation des activits Stratgique: mode de conduite de laction concourant latteinte dun objectif global de moyen ou long terme rsultant dune combinaison de moyens et de ressources Prospective: laboration de propositions, de recommandations pour des actions futures prsentant des dmarches possibles aidant la prise de dcision
Etre plus efficace au quotidien, matriser son sujet Amliorer laction
Capitalisation
Recherche-action
Amliorer la dmarche Suivi-valuation Sassurer que ce que lon fait produit du changement
Redfinir le public et la dmarche adquate Capitalisation Mthodes de conduite daction
Identifier de nouvelles actions partir des savoir-faire dvelopps
Dveloppement de la crativit
2.2 Evaluer aussi pour les autres

Vous tes videmment les premiers destinataires et utilisateurs de lauto-valuation. Mais les rsultats de votre travail dvaluation ne sont pas obligatoirement confidentiels. Ils peuvent tre communiqus des tiers pour: Justifier de votre action: auprs dautres acteurs de la solidarit internationale ou de laction sociale, auprs de dcideurs politiques, de bailleurs de fonds, de donateurs. Contribuer la constitution dun savoir collectif des acteurs de la solidarit internationale, plus particulirement en animation, en communication et en pdagogie28. La diffusion externe des rsultats de lauto-valuation suppose: Un accord des personnes ayant ralis lauto-valuation de leurs actions. Une formulation des rsultats qui soit adapte aux attentes des interlocuteurs et qui leur soit comprhensible. Il faudra galement mettre en uvre un support de diffusion adapt. Le plus courant est le rapport crit, mais on peut imaginer dautres formes de communication tels que le thtre, les supports multimdia
31
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
28. Cest un des objectifs que sest donn la plate-forme Educasol.
En rsum de ltape N2 de la dmarche dauto-valuation: Vous dfinissez ce que vous attendez de lauto-valuation et qui vous destinez les rsultats de celle-ci.
ETAPE N3
ETAPE N2
ETAPE N1
ETAPE N3 Dterminer qui fait quoi dans lauto-valuation

3.1 Les acteurs de lauto-valuation
Prciser qui va participer lauto-valuation et quel
est le rle de chacun des acteurs dans lauto-valuation
Trois types dacteurs peuvent tre impliqus dans la dmarche dauto-valuation: Vous-mme et les personnes qui uvrent avec vous, porteur de laction value en tant quoprateur de lead-si, qui ce guide est destin. Vos divers partenaires: - Techniques dans laction: correspondants dans les structures (associations, collectivits locales) avec lesquelles vous travaillez, enseignants rfrents dans les tablissements scolaires o vous intervenez, hirarchie dans votre structure - Politiques, institutionnels et/ou financiers: administrateurs de votre structure, lus des collectivits locales, hirarchie dans les structures partenaires (direction des tablissements scolaires par exemple), bailleurs de fonds Vos interlocuteurs directs dans laction: le public touch.
Connatre les acteurs potentiellement concerns par lauto-valuation, et prciser leur position et leur rle dans lauto-valuation, permet une meilleure prise en compte de leurs propres reprsentations de laction et de leurs attentes par rapport lauto-valuation.
32
Des partenaires techniques directs de laction (correspondants directs dans laction comme les enseignants, les animateurs de quartier, les agents des collectivits locales partenaires), des partenaires politiques, institutionnels et/ou financiers (les administrateurs de votre structure, les lus des collectivits locales, les bailleurs de fonds), de mme que les interlocuteurs finaux (le public touch par laction), pourront tre associs lauto-valuation. Les diffrents types dacteurs peuvent tre associs diffrents moments et des degrs divers dans une dmarche dauto-valuation: Information sur la dmarche, ses objectifs, ses grandes lignes de questionnement et de droulement (avant le dmarrage de lauto-valuation) et ses rsultats (en termes de transmission des produits de lauto-valuation). Consultation dans le cadre de la dmarche, dans le cadrage de lauto-valuation (sur la dfinition des questions valuatives par exemple), dans sa ralisation (comme personne interroge dans la collecte de donnes par exemple) ou dans son exploitation / utilisation (en termes de restitution et de discussion sur les rsultats de lauto-valuation par exemple). Implication dans la ralisation proprement dite de lauto-valuation (dtermination des critres et des indicateurs, collecte dinformations, analyse, laboration de conclusions et de recommandations).
Le choix des diffrents types dacteurs associer diffrents niveaux ou diffrentes tapes de lauto-valuation dpend de leur degr dimplication dans laction et du degr dimplication attendu deux dans les suites de lauto-valuation, dans les actions futures. Il peut tre intressant par exemple dimpliquer dans la ralisation de lauto-valuation des partenaires techniques directs avec lesquels on a collabor dans la mise en uvre de laction et avec lesquels on souhaite continuer travailler dans lavenir. Des partenaires plus politiques, institutionnels et/ou financiers, qui ont suivi laction de plus loin et la connaissent de faon moins approfondie, mais avec lesquels vous souhaitez continuer travailler dans lavenir, peuvent par exemple tre associs au minimum en termes dinformation sur la dmarche, et ventuellement en termes de consultation dans le cadre de la dmarche. Sils commencent sengager un degr ou un autre, il est prfrable que les acteurs concerns puissent suivre et demeurer impliqus dans le processus dauto-valuation du dbut la fin. Mais attention, plus on est dvaluateurs, plus la gestion de lautovaluation se complique.
3.2 Prciser qui va piloter ou accompagner lauto-valuation
Pilotage en interne
Il est possible de confier cette fonction un des membres du groupe dauto-valuateurs, qui est alors charg de rappeler le calendrier et de sappuyer sur la mthode pour contribuer la dmarche et garantir lavancement du groupe.
33
Comit de pilotage
Au-del du groupe dauto-valuateurs (ou dun reprsentant de celui-ci), le comit de pilotage peut tre compos dun technicien en auto-valuation (ventuellement membre du groupe dauto-valuateurs, ou accompagnateur externe comme prsent cidessous), de reprsentants des partenaires institutionnels concerns par laction et de partenaires techniques ayant, dans dautres structures, des fonctions proches de celles des auto-valuateurs. Le comit de pilotage aborde lauto-valuation avec plus de distance que le groupe dauto-valuateurs et /ou laccompagnateur, et se positionne plus sur les enjeux stratgiques que mthodologiques. Sa proccupation est principalement que lauto-valuation aille jusqu son terme, et quelle fournisse des rsultats utilisables pour les auto-valuateurs et pour les partenaires concerns par laction, son auto-valuation et ses suites.
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Compte tenu des choix initiaux faits par Educasol de privilgier les acteurs intervenant linterface avec le public pour cette dmarche de construction collective et ce guide, lauto-valuation sera conduite prioritairement par les personnes qui font le travail dead-si sur le terrain. Ces personnes seront les auto-valuateurs.
ETAPE N3
ETAPE N2
ETAPE N1
La mise en place dun comit de pilotage est particulirement bien adapte quand il y a un intrt particulier dialoguer, aux tapes cls de lauto-valuation (dfinition des questions valuatives, validation de lanalyse et exploitation des rsultats de lauto-valuation), entre le groupe dauto-valuateurs et ses principaux partenaires techniques et institutionnels.
La participation un comit de pilotage runissant plusieurs personnes reprsente un investissement en temps qui peut tre consquent. Il est donc gnralement rserv aux actions dont lenvergure justifie le temps et les moyens mobiliss. Le nombre de ses runions est limit et dpend du sujet, de la dure de lauto-valuation ainsi que du nombre de personnes constituant le comit de pilotage. Une deux runions sont ncessaires au dmarrage pour expliciter la dmarche dauto-valuation et dfinir les questions valuatives. Le comit de pilotage se runit galement lors de de la mise en dbat des rsultats de lauto-valuation et ventuellement dans la prise de dcision pour orienter la stratgie de laction. Par ailleurs, il faut veiller que ce comit ne drive pas vers une fonction de contrle qui serait contre-productive dans le travail dauto-valuation.
Pour une auto-valuation conduite sur une anne scolaire, prvoir une runion du comit de pilotage de lancement en septembre autour des objectifs de lautovaluation et des questions valuatives, un premier bilan collectif en dcembre, ventuellement une runion de suivi en mars et une synthse / restitution des travaux en fin danne. Trois quatre runions du comit de pilotage pour une auto-valuation sur une anne scolaire sont amplement suffisantes.
34
Accompagnement externe
La configuration la plus simple est une auto-valuation en solitaire. Si vous auto-valuez tout seul, la tche sera parfois plus facile, mais vous serez priv de la fonction miroir apporte par le regard des autres. Dans ces conditions il sera plus difficile de re-questionner laction.
Lauto-valuation, toutefois, peut tre grandement facilite par lappui dun accompagnateur externe, ayant la charge dapporter des comptences en valuation et de les transfrer pour que la structure porteuse de lauto-valuation soit mme de mener et de reproduire la dmarche de faon autonome.
Laccompagnateur apporte: Une expertise mthodologique et pdagogique. Un regard extrieur qui contribue enrichir la dmarche.
Cest un aiguillon souvent indispensable qui: Aide au recadrage de la dmarche, sur le plan mthodologique en particulier. Veille au respect du calendrier.
Laccompagnateur externe matrise le processus dauto-valuation et garantit la mthodologie sans interfrer sur le contenu, il doit absolument viter: Dvaluer la place du groupe: il nest pas valuateur et ne doit pas collecter les informations. De se positionner en chef de groupe. Le responsable du groupe dauto-valuateurs, ou les auto-valuateurs en gestion collective gardent le pouvoir de dcision. Laccompagnateur vient en conseil, pas en dcideur. Il ne juge pas mais accompagne la rflexion et aide la formulation de lanalyse, de lapprciation, des conclusions de lauto-valuation.
ETAPE N8
ETAPE N7
En rsum de ltape N3 de la dmarche dauto-valuation: Prcisez les acteurs (personnes) impliquer dans la dmarche en fonction de leur degr dimplication dans laction et du degr dimplication attendu deux dans les suites de lauto-valuation. Choisissez le pilote de lauto-valuation et ventuellement laccompagnateur externe. Lauto-valuation plusieurs, avec ou sans accompagnement externe, lauto-valuation suivie par un comit de pilotage et enfin lautovaluation collective, avec accompagnement et comit de pilotage, permettent un change entre les acteurs de lauto-valuation. Dans ce sens ce sont des pratiques recommandes.
35
ETAPE N6
ETAPE N5
ETAPE N4
ETAPE N3
Son rle est de: Suivre le processus dans le dtail et veiller quil arrive terme (rappel des travaux faire, des runions programmes, des tapes franchir). Conseiller sur la mthode: comment dterminer les critres et les indicateurs, comment faire la collecte, le tri, lanalyse des donnes, comment construire une apprciation argumente et aider la rflexion sur les suites en terme de prospective et de recommandations. Questionner et interpeller, obliger prciser, expliciter.
ETAPE N2
ETAPE N1
Au moment de la ralisation de lauto-valuation, laccompagnateur est prsent: Au lancement de lauto-valuation. Il participe toutes les runions priodiques de suivi de lavancement des travaux. En fonction des besoins, et gnralement leur demande, il rencontre les valuateurs sur le terrain.
ETAPE N4 Prciser ce que lon cherche valuer

Auto-valuer, cest porter une apprciation sur ses propres actions: ce qui apparat bon, moins satisfaisant, ce qui serait amliorer, ce qui va dans le sens de ce que lon souhaite faire, et ce qui ne va pas tout fait dans le bon sens, ce qui est contraire nos objectifs initiaux Lauto-valuation, comme toute valuation, sert tablir un diagnostic. Elle doit aussi vous permettre dimaginer des volutions possibles et vous aider prendre des dcisions. Il va donc falloir dterminer ce que lon veut apprcier.
4.1 Dterminer sur quoi va porter lanalyse, lapprciation
Vous avez un cahier des charges crit de laction valuer

Le cahier des charges peut tre un document pdagogique, un cadre logique, un document de projet. Il doit normalement prvoir les objectifs atteindre, la ou les mthodes pdagogiques retenues, les actions mettre en uvre pour atteindre les objectifs, et leur rpartition dans le temps. Gnralement il prcise galement les rsultats immdiats attendus de laction et ses effets attendus moyen ou long terme. Si cest le cas, vous avez tous les lments pour btir les questions qui vont servir de fil conducteur pour lvaluation.
36
Vous navez pas de rfrences crites

Beaucoup dactions dead-si nont pas de rfrences crites: Soit parce que cest une action conduite votre initiative, avec vos propres moyens, sans ncessit jusquici de la formaliser pour obtenir des financements extrieurs ou coordonner vos actions avec celles dautres partenaires. Soit parce quelle fait partie dun ensemble dactions ayant des rfrences globales, sans caractrisation prcise de laction particulire que vous conduisez et que vous souhaitez valuer. Toutefois, cela ne signifie pas que vous navez pas de cahier des charges. Celui-ci est le plus souvent implicite. Mais a priori, pourquoi prendre du temps mettre les choses par crit quand il suffit de les avoir en tte? Ce passage par lcrit pour reconstituer le cahier des charges de laction valuer vous permet de reconstituer la mmoire de laction, de prciser les objectifs initiaux, les intentions donnes ces activits. Dans ce cas, il va falloir faire un effort et prendre le temps ncessaire pour se souvenir de ce que vous aviez prvu de faire au commencement de laction et prciser ce que, finalement, vous en attendiez. Le but est de cerner lintuition initiale et de lui rester fidle. Cet exercice demande un peu dattention, surtout si on est plusieurs. Nous vous conseillons donc de faire exprimer les reprsentations des uns et des autres, puis de les formuler collectivement et enfin de les mettre par crit.
Il avait t prvu initialement une premire sance sur les enjeux du commerce international et du commerce quitable auprs dune classe de 3me. Cette approche na pas bien fonctionn auprs des lves. Pour capter davantage leur attention, on a dcid de faire un jeu de rle sur les rgles du ngoce, plutt que des apports thoriques.
Dans cet exemple, il faudra intgrer cet imprvu dans lvaluation. Dans cette situation, lauto-valuation ne sattachera pas seulement au programme initialement prvu, mais prendra en compte ces ajustements et interrogera la cohrence de laction de sensibilisation au regard des objectifs pdagogiques initialement assigns.
37
4.2 Lister les questions valuatives

Il sagit des questions que vous vous posez, auxquelles lauto-valuation va apporter des lments de rponse. Appeles questions valuatives, elles sont issues du cahier des charges initial ou reconstitu et de votre exprience. Dans un premier temps videz, exprimez, formulez, crivez toutes les questions qui vous viennent lesprit, en sachant que toutes les questions que lon se pose sur laction ne peuvent pas toutes trouver rponse en mme temps et de la mme faon.
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Evaluer une action uniquement partir de ce qui tait prvu initialement conduit une vision fige entre un point de dpart et un point darrive. En effet, on occulte ainsi quentre temps, laction et son contexte ont pu voluer, des rponses plus adaptes, des ajustements ou des changements radicaux ont pu tre apports laction. Il est peu concevable dvaluer une action sans prendre en compte tous ces changements. Au moment de formuler les questions sur ce que vous voulez valuer, ne vous limitez pas au cahier des charges initial de laction et ajoutez les observations et proccupations issues de votre exprience.
ETAPE N3
Prendre en compte votre exprience
ETAPE N2
Conseils pratiques pour reconstituer des rfrences plusieurs: Chacun se remmore la gense de laction et consigne par crit ce qui tait attendu en terme: de ralisations concrtes. de qualit dexcution. de changements esprs. Ces trois axes peuvent, selon le cas, tre scinds en autant de sous-points que de besoins. Puis les participants mettent en commun le rsultat de leurs rflexions. Pour cela, lutilisation dun tableau permettant une visualisation immdiate des contributions de chaque participant facilite les arbitrages, les reformulations et lmergence dune vision partage.
ETAPE N1
Exemples de questions valuatives:

A-t-on fait ce que nous avions prvu comme type daction? A-t-on ralis le nombre dinterventions prvu? Avons-nous fait le choix du bon lieu et du meilleur moment dintervention? La dmarche pdagogique est-elle participative? interactive? rflexive? Lactivit est-elle partie des reprsentations mentales des participants? Avons-nous suffisamment pris en compte leur contexte? Il tait prvu dadapter la pdagogie la diversit des publics, quen est-il rellement? Les outils pdagogiques ou danimation utiliss sont-ils adapts, suffisants, comprhensibles? Quelle est la qualit des rponses donnes aux questions poses par le public? Le public touch correspond-il au public pralablement dfini? Nos actions apportent-elles des informations, des interrogations, des savoir-tre? Ces lments sont-ils repris par nos interlocuteurs dans dautres activits? Ont-ils modifi leurs comportements au quotidien?
Il faudra donc faire un tri dans les questions, en garder certaines, en liminer dautres, et tablir un ordre de priorit pour celles retenues.
4.3 Trier les questions poses sur laction
Pourquoi trier les questions?

Pour prvenir le manque de temps: il est prfrable de commencer par les questions qui apparaissent a priori comme les plus importantes. Pour viter de disperser ses efforts en laissant en second plan des questions intressantes certes, mais isoles, anecdotiques ou trop marginales. Pour sassurer que tous les participants lauto-valuation ont des proccupations et des priorits communes. Il ny a pas de classement impos. Il vous appartient de choisir les questions qui vous apparaissent les plus pertinentes par rapport votre action et vos propres proccupations. Toutefois, pour vous aider, nous vous proposons deux modes de tri: Un tri par une approche segmente. Une classification classique gnralement utilise.
38
Tri des questions selon lapproche segmente29

Les actions dducation au dveloppement doivent prendre en compte la nature des messages, les attentes du public, les qualits relationnelles et pdagogiques des animateurs / formateurs et des outils mis en uvre. Ainsi lvaluation dune action dead-si dans sa globalit est trs difficile. Cette complexit a conduit certains acteurs de lvaluation travaillant sur le concept de mdia ducatif segmenter laction dead-si en plusieurs domaines, chacun pouvant donner lieu des questions valuatives spcifiques et pouvant tre valu sparment: 1. Quelle est la validit de la problmatique projete dans le domaine du dveloppement? Quelle est notre analyse de la situation de dpart, du problme rsoudre?
29. De Smedt, Thierry,
in Mthodologies dvaluation en EAD, pp 20-21 Pour une valuation segmente, Antipodes N156, avril 2002, ITECO.
2. Quelle est la validit du public identifi comme facteur de rsolution du problme,
comme porteur de changement? A-t-on identifi les bons interlocuteurs (les publics)? Que savons-nous des interlocuteurs (modes de communication, rfrences, comportements)? 3. Quelle est la qualit des outils ducatifs, compte tenu des mthodes de communication ducatives adoptes (approche cognitive, participative, psychoaffective)? 4. Quelle est laudience touche par les outils ducatifs (quantitativement et qualitativement)? 5. Quels sont les effets induits par la diffusion des outils mis en place? 6. Quelle est la validit des mthodes ducatives adoptes pour crer les outils? 7. Quelle est la validit des caractristiques attribues au public vis par la dmarche ducative? 8. Quels sont les effets de laction sur les reprsentations, attitudes et comportements sur le domaine du dveloppement? Cette valuation par segmentation ne doit pas faire oublier que les segments forment une unit, chaque partie ayant des rpercussions directes ou indirectes sur les autres segments et devant rester cohrente avec lensemble.
a) Quantitative
Inventaire des actions ralises par rapport aux actions prvues. A-t-on fait ce que lon avait prvu de faire? Le point de vue quantitatif est gnralement pris en compte dans le cas de compte rendu dexcution rendre des tiers. Lauto-valuation permet ainsi de rpondre des enjeux financiers ou de visibilit, en justifiant par exemple lemploi de subventions ou dune activit associative. Le point de vue quantitatif est dautant plus intressant quil est associ une analyse qualitative.
39
b) Qualitative
Les acteurs privilgient les aspects qualitatifs pour lesquels ils se posent de nombreuses questions qui concernent: La dmarche: choix du type dintervention, choix du public Est-on arriv sadapter la diversit du public? La prestation elle-mme: on sinterroge sur la qualit de lanimation (la forme), sur le contenu des messages (le fond) et les moyens mis en uvre. Est-ce que nous avons su relancer le dbat? Est-ce que le gymnase tait adapt aux travaux de groupe? Est-ce que les animateurs ont t suffisamment forms? Les enfants ont-ils apprhend un nouvel espace temps (cosmologie)? Le comportement des interlocuteurs: la rception des messages et les changements qui peuvent tre en relation avec laction. Avons-nous contribu au dveloppement dun esprit critique? renforcer la capacit se questionner? Notre action contribue-t-elle aux changements dopinions? Le sens donn laction: lauto-valuation doit pouvoir contribuer vrifier si les actions conduites sont en accord avec vos choix personnels et avec les orientations
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Classification classique
ETAPE N3
ETAPE N2
ETAPE N1
prises collectivement au sein de votre association. On peut vrifier par l la cohrence dune action avec lensemble des dispositifs labors. Les questions relatives au sens conduisent souvent des dbats car ces choix, souvent implicites, ne sont pas toujours clairement noncs et partags entre les diffrents acteurs. Le sens de laction est rattach aux valeurs des acteurs. La faon dont nous avons construit lanimation est-elle cohrente avec la pdagogie participative que nous prnons? Lorganisation logistique de lanimation a-t-elle t conue en cohrence avec notre discours sur le dveloppement durable?
c) Prospective
Les aspects prospectifs sont rarement abords de faon explicite dans la phase dlaboration des valuations. Par contre, ils deviennent souvent une proccupation majeure ds que sont runis les premiers lments de rponse aux questions valuatives. Refaire et amliorer: quelles sont les ajustements, les volutions quil faudrait apporter laction? Inventer: partir de cette exprience daction, que pourrait-on faire de diffrent, de nouveau?
Exemples de questions pour lvaluation30

En Savoie, une proposition daccompagnement au voyage ltranger (CCFD, Chambry). Cette action inclue plusieurs activits, parmi lesquelles un week-end de prparation au voyage, un week-end de bilan au retour et une mobilisation des jeunes pour une communication grand public lors de la Semaine de la solidarit internationale. Le Blitzkick, pour aborder les reprsentations du monde travers une animation participative autour des cartes gographiques de la plante (GCo, Paris). Cette action prvoit une animation ponctuelle, hors milieu scolaire, avec lutilisation dun jeu, le Blitzkick, permettant didentifier la diversit des reprsentations du monde. Ce jeu se droule en amont dune discussion qui sera par la suite anime par lintervenant. Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest (Starting-Block, Paris). A travers ce jeu, destin des lves de 6me, cette action a pour objectif de dcentrer les lves et de les faire entrer dans un autre monde, afin quils sidentifient une autre ralit, celle dun village sngalais.
30. Voir les fiches dtailles de prsentation des actions en annexes N2, 3 et 4 du guide.
40
Questions sur31 Inventaire de ce qui a t fait
Action Voyage
Blitzkick
Jeu des villageois
Aucune question valuative sur les aspects quantitatifs32
Qualit de lexcution Nos outils pdagogiques sont-ils pluriculturels? Les motivations de dpart sont-elles identifies? Les changements esprs Les jeunes, avant leur dpart, ont-ils pris conscience des enjeux de la rencontre interculturelle? Les jeunes, leur retour, ont-ils apprhend laltrit? Les outils proposs ont-ils permis aux jeunes didentifier leurs motivations?
La mise en place du jeu est-elle de qualit?
Le dcor est-il crdible? Les outils favorisent-ils la mise en situation? Quelles sont les nouvelles reprsentations suite ce dcentrage? Finalement ne conforte-t-on pas les reprsentations initiales? Les outils utiliss permettent-ils de questionner la reprsentation des lves?
Les participants ont-ils pris conscience de lexistence des diffrentes reprsen tations du monde, la fin de la sance?
Question principale
Les jeunes envisagent-ils des actions au niveau local?
Exemple de mthodes de tri pour slectionner les questions:

En Savoie, une proposition daccompagnement au voyage ltranger33
31. Ce tableau a t
32. Les participants
aux formations provenant de structures diffrentes se sont focaliss sur les aspects qualitatifs et nont pas abord les questions quantitatives. Ainsi, il ny a pas de question valuative, rattache une dmarche dinventaire, sur les aspects quantitatifs en premire partie du tableau.
33. Voir la fiche
Certaines questions ne peuvent tre poses quaprs avoir franchi dautres tapes On suppose donc ici que la rponse la question principale choisie suffit valider les tapes pralables. Dans notre exemple, le groupe a retenu la question principale Les outils proposs ont-ils permis aux jeunes didentifier leurs motivations?, car lobjet de laction nest pas de faire voyager mais de provoquer un changement, et que celui-ci ne peut se faire efficacement que si on est au clair sur ce que lon veut et do lon part. Ce changement suppose: Que les jeunes aient identifi la pluralit des cultures, les difficults et enjeux de la rencontre des cultures. Ces deux questions sont lies aux changements esprs (Les jeunes, avant leur dpart, ont-ils pris conscience des enjeux de la rencontre
dtaille de prsentation de laction en Annexe N2 du guide.
ETAPE N8
ETAPE N7
ETAPE N6
tabli partir de travaux de groupe dans le cadre des formations organises par Educasol et le F3E en prparation de ce guide.
Au niveau des changements esprs de laction voyage, lapprhension de laltrit peut trs bien se faire sans quil y ait eu prise de conscience au pralable des enjeux de la rencontre interculturelle. Il faudrait donc aborder les deux questions et construire les indicateurs spcifiques chacune delles, puis recueillir les donnes. Il est possible de conduire le mme raisonnement pour les deux questions relatives la qualit de lexcution pour cette action: la qualit pluriculturelle des outils peut tre value indpendamment de lidentification des motivations de dpart. Mme si, bien sr, la qualit interculturelle apporte des lments permettant de contribuer lidentification des motivations.
41
ETAPE N5
Certaines questions sont apparemment indpendantes les unes des autres
ETAPE N4
ETAPE N3
ETAPE N2
ETAPE N1
interculturelle? et Les jeunes, leur retour, ont-ils apprhend laltrit?). Il faut aussi que les jeunes acceptent de se dcentrer, de se livrer: cest la deuxime question pose autour de la qualit de lexcution (Les motivations de dpart sont-elles identifies?). Et enfin que lon ait su amener les informations et outils relatifs linterculturel: cest la premire question de la qualit de lexcution (Nos outils pdagogiques sont-ils pluriculturels?).
En consquence dans une logique de tri des questions valuatives Pour commencer, on traitera de la question principale. Si la rponse satisfait nos exigences, on supposera que lon peut viter de faire un travail dvaluation portant sur les autres questions. Bien videmment, en fonction des moyens, du temps et de nos doutes ventuels sur les maillons faibles de notre action, la recherche de rponses pour tout ou partie des autres questions demeure utile.
42
En rsum de ltape N4 de la dmarche dauto-valuation: Vous identifiez les points valuer (les questions valuatives) partir du cahier des charges (tabli avant laction ou reconstitu a postriori) et des questions que vous vous posez en cours daction. Si lauto-valuation nest destine qu vous-mme, ou si sa diffusion ne dpend que de vous, vous avez lentire libert du choix des questions. Triez les questions afin de construire collectivement leur hirarchisation. Si lauto-valuation vous sert aussi rendre compte des tiers, tout en conservant votre libert de choix sur les questions qui vous proccupent directement, vous devrez probablement inclure galement les questions essentielles issues du cahier des charges initial.
ETAPE N5 Choisir des critres et leurs indicateurs

5.1 Rechercher et formulez vos critres
A partir de vos questions valuatives, recherchez

et formulez vos critres dvaluation
Si vous dbutez en auto-valuation, ne retenez que trois ou quatre questions prioritaires. Vous travaillerez ainsi dans un champ matrisable et vous aurez toujours la possibilit dajouter des questions par la suite si vous en ressentez la ncessit. Chaque questionnement se traduit en un ou plusieurs critres dvaluation. Les critres sont des angles de vues partir desquels on choisit dobserver laction.
34. Voir la fin
43 Questions sur Dmarche Questions type Avons-nous choisi le bon public? Critre dvaluation Cohrence Adquation du public choisi avec notre pratique ducative Dcentration Capacit prendre en compte les contraintes des interlocuteurs Lisibilit Capacit faire reconnatre limportance du thme par linstitution de formation Indicateurs Retours / ractions du public Comprhension des notions par le public Avis demand aux lves ou lenseignant rfrent Constat de changements de rythme Les interventions apparaissent dans les comptes rendu dactivits des partenaires Frquence des citations Niveau qualitatif de la citation: simple inventaire ou argumentation et justification Dclinaison dun mme concept par le public avant et aprs lanimation Mots emprunts par le public au vocabulaire des intervenants
Prestation
Comportement des interlocuteurs
Sens donn laction
Le dveloppement de lesprit critique suffit-il provoquer le changement que nous souhaitons?
Reprsentations Capacit faire voluer et diversifier les avis du public sur les thmes abords
ETAPE N8
Les structures partenaires sont-elles impliques dans le processus?
ETAPE N7
Le rythme des lves est-il respect?
ETAPE N6
ETAPE N5
du guide la Fiche Technique N4: Les critres dvaluation.
Lensemble des critres doit permettre de guider les lments de rponse aux questions que lon se pose. Vous trouverez ci-dessous un exemple de dtermination de critres dvaluation, illustrs par des indicateurs (cf.5.2) partir des quatre groupes de questionnements qualitatifs proposs prcdemment (cf 4.3 sur la classification classique).
ETAPE N4
Les critres34 defficacit, defficience, de pertinence, de cohrence, de durabilit, dutilit sociale, sont couramment utiliss en valuation. Ils sont utiles et significatifs, mais ils ne sont pas pour autant des passages obligs. En effet, en fonction des questions que vous vous posez, vous pouvez construire des critres spcifiques au plus proche de vos proccupations.
ETAPE N3
ETAPE N2
ETAPE N1
Une question valuative = un critre dvaluation?

A chaque question valuative au moins un critre dvaluation. Mais certaines questions peuvent renseigner diffrents critres, et inversement des questions valuatives peuvent tre regroupes au sein dun mme critre.
Hypothse 1: Une question, plusieurs critres Question: Comment est labor notre outil danimation?
Trois angles de vues (critres) possibles peuvent tre ports sur loutil
danimation:
Utilit sociale: degr de satisfaction de nos interlocuteurs. Participation: estimation de notre capacit associer nos interlocuteurs dans la dmarche. Dcentration: capacit prendre en compte les avis et les contributions des interlocuteurs dans le choix des outils et mthodes.
Sachant que notre dmarche repose sur un outil dj prpar quon propose aux tablissements scolaires, lvaluation va nous permettre de savoir sil serait intressant de procder linverse: cest--dire, partir des besoins identifis des tablissements, construire des rponses adaptes avec eux. Hypothse 2: Plusieurs questions dans un critre Questions: Qui est le commanditaire de laction? lenseignant? le projet dcole ou dtablissement? nous? Notre animation a-t-elle t co-construite avec notre interlocuteur ou a-t-elle t prsente comme une prestation de service? Faut-il rendre nos interventions payantes (avec obligation de rsultat) ou maintenir la gratuit?
44
Critre commun possible: Pertinence de la posture institutionnelle.
Limpact est-il un critre?

Oui, limpact est un critre. On peut le dfinir simplement comme changement structurant et durable induit par laction. Gnralement on met limpact part car il va mobiliser des informations qui dpassent largement le cadre de laction valuer: reprage de la situation de dpart, effets produits par linteraction entre laction et son environnement pendant et aprs la fin de laction. On sait globalement aborder limpact dune action matrielle comme, par exemple, limplantation dun centre de ressources dans un quartier, en observant des faits concrets: frquentation, changements de situation des usagers, nouveaux comportements. Par contre, pour les actions dead-si, laspect immatriel des changements attendus rend lvaluation dimpact plus difficile et complexe. Pour ce faire, il faudrait suivre les personnes sensibilises sur une longue priode pour savoir ce quil advient des messages et de notre intention de changer leurs comportements.
En Savoie, une proposition daccompagnement au voyage ltranger
Suite cette exprience, quel type de vacances prennent-ils maintenant? Combien sont-ils stre engags dans des associations de solidarit? Sont-ils devenus des consommateurs avertis?
On peut ici analyser limpact provoqu par le voyage sur les jeunes: est-ce que lchange interculturel a eu pour effet une implication des jeunes dans la vie associative locale? Est-ce que certains de ces jeunes ont revu leur choix de consommation? Est-ce que dautres ont construit leur projet professionnel en lien avec la solidarit internationale?
45
Les qualits dun indicateur

35. Voir la fin du guide la Fiche Technique N5: Les indicateurs dvaluation.
Un indicateur doit tre fiable, facile tablir et donner une information spcifique au critre retenu. Avec les indicateurs, vous devez savoir prcisment quelles informations sont collecter.
ETAPE N8
Sur chacun des critres retenus, on construit des indicateurs permettant de savoir ce que lon doit regarder (collecter) comme information brute et comment traiter cette information (calcul, mise en relation, analyse de contenu). Les indicateurs sont des points de repre, des signes observables permettant de donner une indication sur les rponses apporter aux questions quon se pose. Clairement identifis, ils permettent de recueillir des informations qualitatives ou quantitatives sur laction valuer. Comme dans le cas des critres, il existe des indicateurs standards (nombre de personnes touches, rpartition par sexes et par ges, degr de participation) et des indicateurs spcifiques, construits la demande en fonction de vous, de votre action et son contexte.
ETAPE N7
ETAPE N6
5.2 Rechercher et formuler les indicateurs lis vos critres dvaluation35
ETAPE N5
A ce stade, vous devez avoir deux ou trois questions poses sur votre action et au moins un critre dobservation par question. Il sagit maintenant de se doter dindicateurs.
ETAPE N4
Lanalyse de ces informations suppose de suivre les jeunes ayant particip des voyages solidaires dans la dure, de disposer dune information similaire pour une population de jeunes standard permettant de faire des comparaisons, ou de connatre le mode de consommation de ces mmes jeunes avant le voyage auquel ils ont particip. La tche nest donc pas facile, elle ncessite du temps et des moyens dinvestigation consquents. Ceci explique, hlas, que lvaluation de limpact ne soit accessible quassez marginalement aux acteurs sur le terrain.
ETAPE N3
ETAPE N2
ETAPE N1
Le suivi des jeunes ayant particip des voyages solidaires permettrait de cerner limpact de cette action.
Fiabilit: Un indicateur doit tre significatif de ce que lon cherche connatre.
En Savoie, une proposition daccompagnement au voyage ltranger36

La structure dappui se demande si ces voyages solidaires jouent un rle dans le devenir des jeunes en tant quadultes, lecteurs, consommateurs Elle se donne comme critre dobserver le dplacement intellectuel des jeunes entre llaboration du projet de voyage et leur retour. Pour cela on demande aux jeunes de revenir de voyage avec un objet quils estiment significatif. Cet objet est prsent lors dun week-end retour rassemblant diffrents groupes aprs leurs voyages. Lobjet devient indicateur de lmotion ressentie sur le terrain (ce qui a plu, dplu, choqu, interpell...).
Ce premier niveau danalyse de lindicateur est intressant mais insuffisant pour se faire une opinion relle des changements vcus par le jeune voyageur. Ce premier niveau de collecte est repris par le groupe qui nomme les motions (joie, colre, indignation, mal tre, incomprhension...). On passe alors du descriptif dune situation vcue (ils sont comme ceci, ou comme cela) la prise de conscience de moi face aux autres. A ce stade il est possible de collecter des informations relatives au critre dplacement intellectuel des jeunes. On dispose alors dune information sur lvolution de la posture du jeune, ce qui est dj un enseignement important et pas si facile obtenir. Mais lindicateur napporte pas dinformation fiable sur le devenir du jeune, valuation nest pas prdiction!
46
Facile tablir: Les moyens mis votre disposition et le temps disponible ne permettent probablement pas de conduire des investigations dtailles sur un grand nombre de personnes. Un indicateur ncessitant lavis de toutes les personnes touches sera moins oprationnel quun indicateur portant sur un chantillon. De mme un indicateur relatif, par exemple, lge des personnes touches sera utilisable dans le cas dun public captif comme une classe scolaire. Il sera beaucoup plus difficile renseigner pour une animation grand public. Dans ce cas, lindicateur ne peut pas tre absolu comme celui de la date de naissance (on ne va pas demander les papiers aux participants lentre!), mais relatif, sur la base de classes dges renseignes partir dindices plus subjectifs et donc imprcis permettant dtablir par observation lge prsum des personnes touches. Information spcifique: Lindicateur doit illustrer de faon prcise et rpondre sans quivoque la question pose. Une association faisant des animations souhaitait connatre lvolution de lattitude des personnes la suite de son intervention. Pour cela chaque personne tait amene noter son avis sur une affichette (post-it) en dbut et en fin de session. Toutes les contributions taient regroupes sur un mur. Lvolution du contenu tait utilise comme indicateur de lvolution des personnes. Ici, comme les affichettes ne sont pas nominatives, lindicateur renseigne uniquement
une volution globale du groupe et finalement reste assez imprcis pour pouvoir faire une analyse plus fine et personnalise.
36. Voir en annexe
du guide la Fiche action N2.
Exemples dindicateurs37
En Savoie, une proposition daccompagnement au voyage ltranger Cette animation articule deux outils: un photo-langage et un jeu de rle. Lauto-valuation porte sur les outils et les comptences de lquipe danimation pour accompagner les jeunes.
Questions Critres Efficacit: Capacit faire fonctionner chaque outil Indicateurs Rpartition des prises de parole dans le groupe Ratio participants actifs / passifs Diversit des motivations exprimes Adaptation de la dure par les animateurs
Les outils utiliss permettent-ils aux jeunes didentifier leurs motivations?
Pertinence: Adaptation du jeu au public
Cohrence: Articulation entre les 2 temps de lanimation Effet: Identifier ce qui va rester aprs lanimation Adaptabilit: Capacit sadapter la diversit et lvolution des attentes des jeunes
A quel moment les jeunes ont-ils dcroch? (sils ont dcroch) Requestionnement en groupe sur les motivations Modifications apportes au programme en cours de week-end Improvisations ponctuelles Improvisations rintgres dans les programmes ultrieurs Perception de lquipe danimation par les jeunes Temps de concertation avant, pendant et aprs lanimation Comparaison entre animations (cet indicateur ne peut tre mis en uvre que si un archivage crit ou audiovisuel a t fait)
47
Lquipe danimation a-t-elle toutes les comptences pour accompagner les jeunes?
Cohsion et cohrence de lquipe
37. Voir les Fiches action correspondantes en annexes N2, 3 et 4 du guide.
Il sagit dune action ponctuelle, hors milieu scolaire, avec utilisation dun jeu (le Blitzkick). Ce jeu fait appel la projection dune mappemonde muette projete sur un tableau. Les participants placent les capitales de chaque pays. Ensuite on projette une mappemonde avec lgende et on compare. Lauto-valuation porte sur lutilisation du jeu.
ETAPE N8
Le Blitzkick, pour aborder les reprsentations du monde travers une animation participative autour des cartes gographiques de la plante
ETAPE N7
Effets: Capacit des animateurs faire voluer leurs discours
ETAPE N6
ETAPE N5
ETAPE N4
Nombre de personnes stant volontairement exclues Perception de la dure par les jeunes
ETAPE N3
ETAPE N2
ETAPE N1
Questions
Critres Acceptation des rgles
Indicateurs Temps ncessaire pour expliquer les rgles (la norme tant 1/5 du temps total de lanimation) Ratio participants actifs / passifs A chaud: Ractions du public (tonnement, indiffrence, contestation, approbation) Rutilisation du vocabulaire des animateurs Rponses la question quest-ce que jai appris? pose en fin de sance A froid: Interpellations post-animation
Le jeu est-il adapt au public?
Participation Evolution des reprsentations du public
Le jeu permet-il une prise de conscience des diffrentes reprsentations du monde?
Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest
Lvaluation porte sur lutilisation dune succession dtapes mettant en uvre des outils de mise en situation des lves (rception dune lettre, installation dun dcor, distribution des noms et de rles, scnographie de larbre palabre, accueil du griot). Cette mise en situation a pour objectif de dcentrer les lves, de les faire entrer dans un autre monde afin quils sidentifient une autre ralit, celle dun village sngalais. Lauto-valuation porte sur lutilisation des outils.
Questions Critres Pertinence: adhsion lactivit grce au choix des outils Les outils et les vnements favorisent-ils la mise en situation? Cohrence des outils par rapport lensemble de lanimation Indicateurs Ratio participants actifs / passifs Ratio ractions individuelles / ractions de groupe Continuit des rles au fil des outils Continuit du dcor et du scnario Dmarrage dune tape partir de la situation tablie lors de ltape prcdente La lettre a t lue Les costumes sont ports La chanson est chante collectivement Les lves rpondent spontanment leur nouveau nom sngalais Curiosit: nombre de questions poses Ractions positives ou ngatives aux outils Indicateur de translation: vocabulaire emprunt Pluralit des messages (combien de messages diffrents?) Nouveaux mots, nouveaux concepts apports par les lves.
48
Efficacit: bonne utilisation des outils
Capacit faire questionner les lves Les outils permettent-ils de questionner les reprsentations? Dcentration Pertinence des outils par rapport aux questionnements des lves
On retrouve des indicateurs communs chacun des trois exemples. Cela na rien de surprenant. En thorie, la batterie des indicateurs nest limite que par notre capacit les imaginer, mais en pratique et sur un mme domaine, celui de lead-si, le nombre dindicateurs rellement utilisables est nettement plus restreint.
Quantification des indicateurs

Certains indicateurs peuvent tre quantifis directement. Ratio entre ceux qui participent et ceux qui sont passifs. Dautres nont de sens que par rapport une norme. Le rapport entre le temps dexplication des rgles dun jeu et le droulement du jeu lui-mme fait rfrence une norme tablie sur plusieurs interventions antrieures. Ou nont de sens que par la comparaison entre plusieurs situations identiques. Lindicateur de curiosit qui se traduit par le nombre de questions poses ne peut tre renseign que par comparaison dautres animations, avec des groupes et des situations similaires.
Qualification des indicateurs

Les indicateurs qualitatifs ncessitent une grille de reprage prcise distinguant des situations diffrentes.
49
En rsum de ltape N5 de la dmarche dauto-valuation: Formulez par question valuative un ou deux critres. Ceux-ci peuvent tre spcifiques, vous permettant de rpondre au plus proche de vos proccupations (cf 5.1). Pour les critres retenus, formulez les indicateurs vous permettant davoir des informations prcises collecter (cf 5.2).
ETAPE N8
ETAPE N7
Exemple 3: Sur la qualit des ractions des interlocuteurs, on cherchera tablir sils se positionnent sur le registre de largumentation (je sais que, jexplique) ou de la justification (je pense que, cest comme cela). Ces indicateurs qualitatifs peuvent si besoin tre quantifis en comptabilisant la rpartition des ractions allant dans le sens de largumentation ou celui de la justification. Mis en uvre en dbut et la fin dune animation, ils permettent de renseigner le critre dveloppement de lesprit critique.
ETAPE N6
Exemple 2: Pour donner une valeur qualitative lindicateur, interpellations post interventions, il est ncessaire de distinguer le type de sollicitation (direct, indirect) et la nature de ces retours (demande de formation, danimation, de collaboration).
ETAPE N5
Exemple 1: Pour un indicateur de changement dattitude par lobservation de photos ramenes de voyage, la typologie danalyse du contenu des photos pourrait tre la suivante: Le jeune Les jeunes (groupe) Les personnes rencontres Les personnes rencontres et les jeunes Les paysages En fonction de la dominante, lindicateur nous renseigne sur lattitude du ou des jeunes. On peut aussi suivre lvolution de cette typologie dans le temps en analysant sparment les photos du dbut et celle de la fin du voyage.
ETAPE N4
ETAPE N3
ETAPE N2
ETAPE N1
ETAPE N6 Choisir une mthode et des outils dauto-valuation

Nous supposons que lauto-valuation est conduite par plusieurs personnes. La mthode propose tient compte de ce travail collectif en quipe.
6.1 Programmer lauto-valuation
Dfinir un calendrier avec le dbut, la fin et les ventuels points

dtapes du processus
Il est important de se fixer un point de dpart mais surtout un point darrive de lauto-valuation: quel moment souhaite-t-on disposer des rsultats de lauto-valuation? A la fin dune action ponctuelle (valuation dune intervention, dune animation), une chance prdtermine (fin danne, fin de cycle, fin de campagne), une chance impose (par exemple pour une auto-valuation destine prioritairement un tiers)? La dure dune auto-valuation est videmment variable. Elle va dpendre de la nature des actions, du nombre et du type dacteurs impliqus... Mais dune faon raliste elle se fera soit minima, pour une action ponctuelle, sur une dure de deux trois semaines, soit sur un cycle dactivits. La dure dune anne, civile ou scolaire, apparat comme la plus raliste. Au-del, il est difficile de maintenir la dynamique. Il est tout fait possible et mme prfrable de conduire plusieurs petites auto-valuations successives, plutt que de se lancer dans une importante et complexe autovaluation avec le risque de ne pas arriver la conduire jusquau bout. Le processus dauto-valuation ne commence pas obligatoirement au dmarrage de laction. Il est tout fait possible dattendre davoir test et confirm une dmarche danimation pour engager une valuation des rsultats. Si la dure de lauto-valuation dpasse plusieurs mois, il faudra prvoir lavance des points dtape.
50
6.2 Choix de la mthode
Dterminer comment, quand et par qui seront collectes

les informations Collecte des informations
Vous devez collecter les informations pour chacun des indicateurs que vous avez choisis. Pour pouvoir prendre en compte les volutions, vous collecterez les informations au moins deux moments: au dbut et la fin de votre action. Mais rien ne soppose une collecte en continu, chaque fois que se produit tout ou partie de laction valuer. La collecte pourra se faire chaud pendant ou juste aprs une des activits ou froid, avec un peu de recul aprs les sances danimation. La collecte a posteriori gagnera tre ralise le plus rapidement possible aprs les interventions.
Qui va collecter les informations?

On nest jamais aussi bien servi que par soi-mme: dans la mesure du possible, les auto-valuateurs sont aussi les collecteurs dinformations. Si les informations sont collectes par observation directe, il est prfrable quun tiers, qui sera si possible une personne galement concerne par lauto-valuation, sen charge (voir ci-dessous sur les outils de collecte directe). Cela suppose dintervenir deux: pendant que lun assure lanimation, lautre observe et vice-versa. Si la collecte est faite sous forme de questionnaire auprs des publics, elle peut tre ralise par la personne qui conduit laction, qui prendra alors un temps spcifique pour cela en dbut, en cours ou en fin dintervention en fonction des informations recherches. Lors dune animation avec des lycens, lanimateur peut, par exemple, prendre 30 minutes pour faire remplir le questionnaire dvaluation et profiter dun tour de table pour collecter chaud les premires impressions sur la sance danimation.
Chaque indicateur doit pouvoir tre renseign par un outil de collecte, et un mme outil de collecte peut permettre de renseigner plusieurs indicateurs. Vous reprenez ici la liste de vos indicateurs et vous identifiez par quel moyen vous allez collecter linformation. On trouve gnralement: Des grilles dobservation (outils de collecte directe) prtablies qui permettent de: - Collecter de faon prcise et homogne dune fois sur lautre. - Garder la mmoire de la collecte. - Faire une analyse statistique et chiffre si besoin. - Penser collecter, car dans le feu de laction, parfois on oublie Pour lusage de grilles dobservation, nous avons signal prcdemment lefficacit, quand cela est possible, du travail deux permettant de dissocier animation et observation.
51
Des documents produits en cours daction: Ce sont des affichettes, des questionnaires, des dessins, des schmas, des photos, des enregistrements de jeux de rles Ils sont de teneur variable en fonction des groupes, devront tre analyss aprs les interventions et compars aux documents provenant dautres sances (cf. 5.2 sur la qualification des indicateurs). Des fiches de remonte danimation: souvent remplies froid par lanimateur ou le public (les lves), ventuellement aussi par les enseignants prsents dans le cas danimations en milieu scolaire. Remplies plus ou moins longtemps aprs laction, elles ont lavantage de permettre une prise de recul par rapport lanimation, mais elles sont aussi soumises aux imperfections de la mmoire. Des observations indirectes auprs de lieux de stockage de linformation: rapports, changes de courrier, sons, photos, vido, lments souvent intressants car
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Imaginer ses outils de collecte
6.3 Cration des outils de collecte
ETAPE N3
ETAPE N2
ETAPE N1
collects indpendamment de laction elle-mme et sans prtention valuative, ils donnent un regard dcal.
Rester simple
Il sagit de privilgier les moyens dj disponibles pendant laction. Par exemple, pour une intervention en milieu scolaire, il y a la possibilit dutiliser tableaux, questionnaires papiers, jeux, affichettes On peut les photographier pour les garder en mmoire et les analyser ultrieurement. Il sagit dintgrer ces outils dans laction, de les considrer comme des outils naturels. Ils doivent sinsrer dans le droulement de laction et viter darriver de faon impromptue, avec le risque alors de faire natre un sentiment de dfiance auprs des interlocuteurs qui peuvent avoir le sentiment que cest eux qui sont valus. Des outils faciles exploiter: construits autour de quelques questions peu nombreuses et prcises, avec un nombre de questions ouvertes au limite strict ncessaire (voir ci-dessous la grille de collecte Le village de Diambey).
Tester les outils avant de les retenir dfinitivement pour une auto-valuation en vraie grandeur. Cela peut viter de sengager dans des voies improductives.
Exemple de grille de collecte dinformation pour lauto-valuation de lanimation Le village de Diambey Questionnaire pour lobservateur
Rfrences: auteur, date, lieu, classe, nombre dlves, nom de linterlocuteur dans ltablissement Ces lments de contexte sont ncessaires. Consigne donne au rdacteur: moment de la collecte, attitude du collecteur (observateur externe, animateur). Ces consignes sont rdiges par les autovaluateurs pour assurer une cohrence des informations quel que soit le collecteur.
PARTICIPATION (critre 1)
52
Quantitatif: nombre de prises de parole Ici la mthode la plus simple est celle dune case avec comptage par 5 Prises de parole = 17 Prises de parole en lien direct avec le sujet = 13 Qualitatif: observations faire
Les lves se dplacent vers leurs ateliers respectifs: Spontanment.....................................................oui / non Ncessit de redire la consigne............................. oui / non Cest la pagaille...................................................oui / non Le dcor est investi:. ..............................................oui / non
Les codes de couleur fonctionnent:........................ oui / non
DYNAMIQUE DU GROUPE (critre 2)
Rpondent-ils collectivement aprs stre concerts? Observations complmentaires sur ces deux points:
Oui Non
Questionnaire pour les lves

Cinq questions (qui permettent soit une rponse simple oui / non, un mot, ou pour lesquelles un dveloppement peut tre fait sous la forme dune invitation Donne ton avis): As-tu aim le dcor? Quel tait ton personnage? As-tu t cout? A-t-on respect ton avis? Vous tes vous mis daccord avant de rpondre?
53
En rsum de ltape N6 de la dmarche dauto-valuation: Dfinissez imprativement le dbut et la fin de lauto-valuation. Dterminez la mthode et laborez les outils de collecte. Restez simple. Testez vos questionnaires, grilles dobservation. Vous tes enfin prt pour laction!
ETAPE N8
ETAPE N7
Dans les questionnaires ci-dessus: On collecte des donnes quantitatives et qualitatives. On privilgie des questions rponses fermes (oui non). Si besoin, on laisse une ou deux questions ouvertes pour nuancer la collecte. Mais ces questions vont demander plus de temps pour leur dpouillement et leur analyse. Le questionnaire lves est destin tre compar et nuancer le questionnaire observateur.
ETAPE N6
ETAPE N5
ETAPE N4
ETAPE N3
Les lves restent-ils groups dans leurs ateliers?
Oui Non
ETAPE N2
Comment se manifestent les ractions? (question ouverte) Qualifier les ractions partir des dominantes ractions individuelles et ractions collectives
ETAPE N1
Les costumes sont mis: Par tous...............................................................oui / non Presque tous........................................................oui / non Des refus minoritaires.......................................... oui / non Refus majoritaires................................................oui / non
ETAPE N7 Raliser lauto-valuation

7.1 Lancement de lauto-valuation
Avant le lancement
Un temps dchange entre les personnes concernes est indispensable pour vrifier la prparation: Sassurer que le cadrage gnral de lauto-valuation est partag entre tous les acteurs (motivation, champ, attentes). Prsenter les outils de collecte et la faon de les utiliser: quel moment collecter ces indicateurs, o les collecter et prciser la posture du collecteur. Dtailler les indicateurs et donner des exemples prcis de faits observer: que va-t-on regarder exactement et comment le transcrit-on sur la fiche de collecte? Tester ventuellement les outils retenus.
Collecte de linformation
Tout le monde sy met
Assurez-vous que toutes les personnes concernes ont la proccupation de collecter linformation. Ce travail venant en plus de lactivit normale, il a tendance tre oubli aux premires difficults. En effet, il est plus motivant de remplir des grilles de collecte quand tout nous semble avoir bien march plutt quun jour o visiblement le courant nest pas pass avec le public. Si cette attitude est tout fait comprhensible, elle risque toutefois dintroduire un biais majeur dans lauto-valuation en privilgiant les aspects valorisants.
54
Donner et ramasser les outils de collecte

Il faut veiller ce que tout le monde soit dot dun questionnaire (ou de tout autre outil de collecte). Il est important de rcuprer et centraliser les documents rapidement aprs les interventions. Cela vite les pertes, et contraint chacun finaliser les grilles de collecte avant la disparition de la mmoire immdiate.
7.2 Analyse des donnes

Il y a deux possibilits: collecter et analyser, ou collecter puis analyser.
Collecter et analyser dans le mme temps

Lauto-valuation est un processus circulaire. Lanalyse des rsultats peut se faire au fur et mesure que les donnes sont collectes. Lavantage est que les enseignements de lvaluation sont rapidement rinjects dans lactivit. Linconvnient est le manque de recul, dlments de comparaisons permettant dtablir des rfrences, des normes partir desquelles il est possible de porter une apprciation.
Collecter puis analyser ultrieurement

On procde dans ce cas une analyse plus approfondie des donnes lissue de plusieurs cycles de collecte. Les avantages et inconvnients sont linverse du cas prcdent. En particulier dans ce cas, il faut attendre pour disposer des premiers rsultats, mais on travaille partir dinformations consquentes permettant des comparaisons et le reprage des volutions.
7.3 Analyser puis apprcier

Lapprciation va porter sur: La comparaison quantitative entre ce que lon avait prvu de faire et ce que lon a rellement fait. La comparaison qualitative et quantitative sur les rsultats prvus au dpart et ceux atteints. Les mthodes utilises pour mener laction. Dans le domaine de lead-si, les rsultats attendus tant pour la plupart des changements immatriels et diffrs dans le temps (les effets se feront parfois sentir longtemps aprs les actions), lvaluation va galement porter une apprciation sur ltablissement des conditions requises pour ces changements sur le long terme.
55
Comment porter une apprciation?

Lapprciation est porte en rapprochant chaque rsultat une rfrence, une norme. Les rfrences, les normes fixes par les acteurs de lauto-valuation peuvent tre acquises avec le temps, lexprience ou construites par les acteurs pour des cas spcifiques.
Rfrences acquises
Cette rfrence peut prexister et faire partie dun savoir admis et partag par les diffrents acteurs. Attention, une rfrence admise ne se repre plus, elle fait partie du dcor, de ce que lon fait habituellement sans y penser. Les auto-valuateurs devront donc identifier ces rfrences admises pour pouvoir sy rfrer.
ETAPE N8
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
Quelque soit le rythme retenu entre collecte et analyse, il y a obligatoirement un travail de reprise globale des donnes collectes et une analyse complte des rponses aux indicateurs. Ce bouclage final se fait la fin de la priode dcide pour lauto-valuation.
ETAPE N3
ETAPE N2
ETAPE N1
Dans ce cas, les informations utilisables sont partielles et concernent essentiellement: Les indicateurs pour lesquels on rpond par des alternatives simples. Y a t-il eu des ractions dans la salle? oui / non Les indicateurs pour lesquels on dispose dj de rfrences tablies. Le taux de rponses un questionnaire envoy par courrier lectronique: il est admis quun taux de retour spontan de 10% est considr comme habituel. Si lon doit utiliser cet indicateur, il est possible de se rfrer ce pourcentage.
Par exemple, les lieux et dates de runion rpondent souvent des habitudes prises. On ne se repose pas la question chaque fois. Cest une norme. On lidentifie seulement quand le local habituel est ferm pour cause de travaux et quil faut trouver un autre lieu de runion. On constate alors la prgnance de la norme au nombre de personnes qui continue rgulirement venir devant le local habituel en attendant les autres!
Rfrences construites
Si lon na pas de rfrences explicites dj tablies, il est possible de les construire partir de lobservation des actions en cours et den chercher leur sens. Par exemple, sur dix sances danimation grand public, on constate une moyenne dge suprieure 45 ans. Ce sera notre norme. Si pour une nouvelle animation, la moyenne est infrieure 45 ans, on pourra affirmer que nous avons rajeuni notre public. Mais si ensuite la moyenne est rgulirement de 35 ans, soit on considrera quon a atteint notre objectif de rajeunissement du public, ou bien on actualisera la norme.
Comment passer de lapprciation la prospective?

Lapprciation des actions permet didentifier: Ce qui est valid par lvaluation et devra tre conserv. Ce qui gagnerait tre abandonn, car inutile ou contre productif. Ce qui ne marche pas trs bien, qui devrait tre amlior car on ne peut pas sen passer. Lapprciation des actions fait aussi parfois remonter des envies, des ides nouvelles, des changements possibles. Cest la partie immatrielle, la part de limagination, ne du regard port sur laction. Pour passer la phase prospective, on prend en compte: Les aspects concrets issus de lapprciation des actions. Les ides de changement, dinnovation, dinvention. La connaissance que lon a de ce qui se fait ailleurs et la recherche dimportations possibles.
56
En rsum de ltape N7 de la dmarche dauto-valuation: Avant de lancer lauto-valuation, assurez-vous que: Les questions pour lesquelles vous souhaitez que lauto-valuation vous apporte des lments de rponses sont clairement tablies. Vous avez choisi les critres, les angles de vue sous lesquels vous allez observer laction. Les indicateurs sont tablis. Vous avez fix les protocoles de collecte, rdig et test des grilles de mesure ou outils de collecte. Si besoin, le dispositif daccompagnement ou de suivi de lauto- valuation (une personne accompagnatrice et/ou un comit de pilotage) est identifi et oprationnel. Alors vous pouvez vous lancer dans la collecte dinformations. Analysez ensuite ces informations et tirez de votre analyse une apprciation qui servira de base la dfinition de recommandations, ltablissement de perspectives dvolution pour lavenir.
8.1 Mettre en forme, conserver et diffuser les rsultats de lauto-valuation

Une auto-valuation nest pas faite pour rester cache dans un tiroir, sa vocation est dtre utilise par ses auteurs. Lintention de mener une auto-valuation rvle le souhait de porter un regard critique sur laction, damliorer la qualit de lexistant et dimaginer le futur (cf. 2.1 ci-dessus). Lvaluation, de faon gnrale, est une pratique indispensable pour rendre compte, justifier lemploi des moyens. Elle est galement gnratrice dapprentissages pour les acteurs, en permettant dtablir un tat des lieux servant de socle la construction des actions venir et des comptences ncessaires pour les mettre en uvre. Pour tre utile, les rsultats de lauto-valuation doivent pouvoir tre diffuss. Les analyses ralises, les apprciations portes et les pistes damliorations envisages doivent pouvoir tre partages pour pouvoir dcider de la suite. En particulier, il est important que les acteurs concerns par laction et par ses suites et qui nont pas particip directement la ralisation de lauto-valuation comprennent le cheminement de la construction de lanalyse valuative, puissent en dbattre et partager les dcisions issues de lauto-valuation. Dans ce souci de partage, on veillera dune part mettre en forme les rsultats de lauto-valuation de faon ce quils soient facilement communicables, et dautre part organiser des temps de discussion et de mise en dbat de ces rsultats avec les principaux acteurs concerns par la suite de laction. Dans sa forme crite, le rapport dauto-valuation est le moyen de restitution le plus commun. Encore faut-il quil soit lisible et comprhensible, mettant en vidence les forces et les faiblesses, les analyses par critres et les conclusions globales. Llaboration dun rapport simplifi (synthse dun rapport complet) peut tre plus facilement diffusable. Un rsum peut sintgrer galement dans le journal de lassociation, sur le site Internet de la plate-forme Il nest pas obligatoire que cette mise en forme soit seulement crite. Dautres formes de prsentation (multimdia, animation) peuvent exister, en remplacement ou en complment de lcrit. Par exemple, lenregistrement dune sance danimation, dun jeu de rle peut illustrer des points danalyse, permettre de mieux apprhender des ajustements, des propositions.
57
La valorisation des rsultats de la dmarche dauto-valuation santicipe, se planifie. Les questions suivantes sont autant de points de repres permettant dorganiser cette valorisation.
Auprs de qui diffuser les rsultats de lauto-valuation? En direction du comit de pilotage de lauto-valuation, auprs de lensemble de notre quipe (salaris,
ETAPE N8
8.2 Valoriser les rsultats lissue de lauto-valuation: dcider
ETAPE N7
ETAPE N6
ETAPE N5
ETAPE N4
ETAPE N3
ETAPE N2
ETAPE N1
ETAPE N8 Valoriser et utiliser les rsultats de lauto-valuation
bnvoles, administrateurs), en direction de nos partenaires et/ou de notre public (chefs dtablissements, enseignants, comits dhabitants)?
Quel support choisir pour prsenter notre dmarche, nos conclusions et nos propositions? Quelle animation mettre en place pour sensibiliser et crer une espace de dbat (projection des rsultats et problmatisation de la situation, construction dhypothses par groupes)? A quel moment pouvons-nous nous mobiliser pour assurer cette diffusion? En fonction des nouvelles demandes de financement, en dbut danne scolaire? Et au final qui dcide des volutions, des amliorations mettre en uvre sur la base des rsultats de lauto-valuation? La responsabilit de la prise de dcision a t normalement dfinie ds le lancement du processus. Les auto-valuateurs proposent sur la base de leur travail valuatif des recommandations fortement argumentes et applicables. La dcision appartient la structure qui sest lance dans cette dmarche valuative, mais il convient de bien cerner les lieux de dcision: sagit-il du comit de pilotage, des administrateurs de lassociation, de lquipe danimateurs, du bailleur de fonds ? Sagit-il de modalits de dcision partages et ngocies entre diffrents acteurs?
Dans le cas dune auto-valuation accompagne, laccompagnateur nintervient pas dans les choix issus de lauto-valuation, il veille seulement ce que lauto-valuation arrive son terme, la formulation dapprciations et de recommandations sur la base des analyses ralises.
58
8.3 Valoriser et mettre en uvre les dcisions

Paradoxalement, la mise en application des dcisions est souvent la phase la plus difficile, bien que cette dimension prospective soit intrinsquement attache la motivation dauto-valuer. La mise en uvre des dcisions issues dune auto-valuation demande du temps pour revisiter la pratique, imaginer de nouvelles manires de faire. Un appui externe comme celui de laccompagnateur est parfois sollicit pour aider mettre en uvre ces changements.
En rsum de ltape N8 de la dmarche dauto-valuation: Mettre en forme les rsultats de lauto-valuation pour en garder mmoire. Diffuser ses rsultats et mettre en dbats ses conclusions, inciter des rflexions prospectives. Prendre des dcisions dvolution et appliquer les dcisions prises.
FICHES TECHNIQUES
Fiche Technique N1: Cadre de rfrence
Fiche Technique N2: Typologie des

valuations
FICHES TECHNIQUES
Fiche Technique N3: Lauto-valuation
Fiche Technique N4: Les Technique critres N1 Fiche dvaluation

Cadre de rfrence
Fiche Technique N2
Typologie des valuations
59
Lauto-valuation Fiche Technique N5: Les indicateurs
Fiche Technique N3
dvaluation
Fiche Technique N4
Les critres dvaluation
Fiche Technique N5
Les indicateurs dvaluation
Fiche Technique N6: La capitalisation Fiche Technique N6

La capitalisation
FICHE TECHNIQUE N1 Cadre de rfrence

Ce cadre de rfrence reprend de manire synthtique les diffrentes tapes de la dmarche dauto-valuation dune action dead-si. Il permettra, tout au long de la dmarche, de vous guider et de reprer les diffrentes questions se poser. Il pourra tre adapt chaque type daction.
Etape N1: Dfinir laction que lon veut valuer Quel nom donnez-vous cette action? Dans quel cadre se droule laction? Dates de dbut et de fin de laction Description de ce que vous faites concrtement A quel public sadresse laction? Quels sont les objectifs oprationnels de laction? Quels sont les acteurs impliqus dans laction? Quels sont les moyens mobiliss?
Lavaluation dune action dead-si en huit tapes
Etape N2: Prciser les objectifs de lauto-valuation Quattendez-vous de lauto-valuation? A qui est-elle destine? Etape N3: Dterminer qui fait quoi dans lauto-valuation Qui va participer lauto-valuation? Qui va piloter et/ou qui va accompagner lauto-valuation? Etape N4: Prciser ce que lon cherche valuer Les questions issues du cahier des charges Les questions issues de la reconstitution dun cahier des charges Les questions issues de votre exprience Trier et hirarchiser les questions poses sur laction: que voulez vous savoir? Etape N5: Choisir des critres et leurs indicateurs Rechercher et formuler vos critres dvaluation Rechercher et formuler les indicateurs lis vos critres dvaluation Etape N6: Choisir une mthode et des outils dauto-valuation Dfinir le dbut, la fin et les ventuels points dtape du processus Dterminer comment, quand et par qui seront collectes les informations Imaginer, raliser et tester ses outils de collecte Etape N7: Raliser lauto-valuation Collecter les informations Analyser les informations, porter une apprciation et se projeter vers la suite Etape N8: Valoriser et utiliser les rsultats de lauto-valuation Mettre en forme, partager et valoriser les rsultats de lauto-valuation Dcider et mettre en uvre les dcisions issues de lauto-valuation
60
FICHE TECHNIQUE N2 Typologie des valuations

Il ne sagit pas ici de faire linventaire complet de tous les types dvaluation avec leurs avantages et limites. La prsentation qui est faite des diffrents types dvaluation accentue volontairement leurs caractristiques, afin den faire ressortir les traits principaux, mais la ralit peut tre plus complexe. Le choix de la forme dvaluation utiliser dcoule de la rponse aux questions suivantes: pourquoi et pour qui on value telle action tel moment?.
Lvaluation externe
Levaluation externe est ralise par des intervenants extrieurs. Cest un regard externe port sur laction. Lvaluation externe rpond en particulier lenjeu de redevabilit (rendre compte) des tiers. Les pouvoirs publics ou des partenaires financiers demandent souvent une valuation externe pour les gages dextriorit et dobjectivit quelle apporte. Dans ce cas, les partenaires financiers et les pouvoirs publics peuvent contribuer au choix ou choisir des critres sur lesquelles laction devra tre value. Lvaluation externe porte habituellement, et de faon schmatique, sur les rsultats de laction et ladquation (qualitative et quantitative) entre ce qui tait prvu et ce qui a t ralis. Depuis quelques annes, dans le domaine du dveloppement, elle est progressivement tendue la mesure des effets et de limpact des actions, moyen et long terme. Quand elle est commandite et pilote exclusivement par des tiers qui ne sont pas impliqus directement dans laction, lvaluation externe peut tre difficilement accepte par les acteurs de terrain. En effet, elle peut interroger de faon rductrice le sens de laction et la cohrence de la mthodologie mise en uvre (adquation finalitbuts-objectifs-moyens-comptences-planification-ressources).
Avantages Limites
61
Regard externe sur laction Mobilisation dexpertise externe thmatique et mthodologique Extriorit et objectivit Redevabilit des tiers Multidisciplinarit possible des valuateurs Analyse comparative possible de par lexprience des experts
Difficults possibles dappropriation du processus et des rsultats de lvaluation par les acteurs de laction value Dans ce cas, difficults possibles pour la mise en application des recommandations de lvaluation par les acteurs de laction value Cots importants mais fixs et connus Mauvaise perception possible par les valuateurs dun certain nombre de dterminants o de contraintes difficiles parfois percevoir de lextrieur
fiches techniques
Lauto-valuation
Lauto-valuation est une dmarche gnralement dcide et mise en place par ceux qui ralisent laction. Lauto-valuation porte sur lapprciation de sa propre activit. Elle est particulirement bien adapte lanalyse des savoir-faire et des mthodes. Elle tente de rpondre la question Faisons-nous correctement et comment pouvons-nous amliorer notre action?. Lauto-valuation ne peut pas tre impose de lextrieur et demande le consentement et limplication de ceux qui vont la raliser. Un risque possible de lauto-valuation est de se limiter aux questions qui ne mettent pas en danger laction. Une difficult peut tre galement de passer ct de lessentiel en ne prenant pas assez de distance par rapport sa propre action.
Avantages Limites
62
Vision commune des acteurs dans la conduite de lauto-valuation Remise en cause et meilleure structuration des activits Matrise du contexte et des activits values Renforcement de la cohsion de lquipe qui mne laction et ralise lautovaluation Autonomie et responsabilit de lquipe qui mne laction et ralise lautovaluation Bonne apprhension des rsultats de lauto-valuation et donc de la rorientation de laction sur cette base
Lenteur possible dans le processus de dcision et dauto-valuation (production des rapports) Objectifs de lvaluation possiblement mal dfinis Ttonnement possible dans les mthodes Risque dtre superficiel dans lauto-valuation, voire den manipuler les conclusions
Lvaluation participative
Les mthodes dvaluation participative ont t dveloppes pour pallier les dfauts de lvaluation externe, et notamment les difficults de la prise en compte des conclusions et recommandations par les acteurs et les bnficiaires. Ces difficults peuvent tre dues au fait: Que les rsultats dune valuation externe peuvent tre jugs non conformes la perception que les acteurs ont de laction. Que le cheminement des valuateurs externes peut se faire extrieurement et indpendamment de celui des acteurs. Ceux-ci dcouvrent alors les rsultats de lvaluation, parfois de faon abrupte, la lecture du rapport final et ne peuvent en identifier la logique. Dans une dmarche dvaluation participative, lvaluation est ralise en troite collaboration entre des valuateurs externes et ceux qui ralisent laction, et qui seront directement concerns par les rsultats de lvaluation. Lobjectif de lvaluation par-
ticipative est de favoriser lappropriation de lvaluation et de ses rsultats par les acteurs qui mnent laction, tout en bnficiant des apports analytiques et mthodologiques dvaluateurs externes. Sous la responsabilit dun valuateur externe, la dmarche peut impliquer la participation les diffrents acteurs concerns par laction diffrents niveaux: laboration des termes de rfrence, participation la construction de la mthodologie, participation la collecte dinformations et lanalyse des donnes recueillies, restitutions intermdiaires et provisoires des travaux, participation la formulation des lments prospectifs et orientations stratgiques pour laction. Dans une valuation participative, la posture de lvaluateur externe est diffrente de celle qua laccompagnateur dans une auto-valuation accompagne: dans le premier cas lvaluateur externe est responsable de la mthodologie, des analyses, des conclusions et des recommandations de lvaluation (mme si les acteurs concerns participent ces diffrentes tapes), dans le second cas laccompagnateur est en appui au groupe dauto-valuation qui est responsable de la ralisation de ces diffrentes tapes. La dmarche dvaluation participative constitue souvent une exprience dapprentissage pour tous ceux qui sont impliqus dans laction.
Avantages Limites
Les vraies questions sont poses par les acteurs concerns Mobilisation dune expertise externe analytique et mthodologique La conduite des entretiens est facilite La validation des rsultats par les acteurs concerns est facilite Lvaluation nest pas perue comme un contrle Prparation psychologique des acteurs concerns Bonne acceptation et mise en uvre des recommandations par les acteurs concerns Processus dapprentissage pour les acteurs concerns
Longueur possible du processus Risques de blocage en cas de dsaccord majeur entre lvaluateur externe et les acteurs concerns Risque de dviation et de falsification si la rpartition des rles entre lvaluateur externe et les acteurs concerns ne sont pas suffisamment dfinis et respects Cot plus important que pour une auto-valuation
63
Aujourdhui, la plupart des dmarches dvaluation tiennent compte de la dmarche participative, un degr ou un autre.
fiches techniques
FICHE TECHNIQUE N3 Lauto-valuation

Pourquoi? Cest un outil dauto diagnostic permettant des personnes ou des groupes de porter une apprciation sur leur propre activit. Elle est particulirement bien adapte lanalyse des savoir-faire et des mthodes. Elle tend souvent rpondre la question Faisons-nous correctement ce que nous nous sommes propos de faire, et comment lamliorer?. Par qui? Elle est conduite par les acteurs qui mnent laction. Comment? Elle na pas de cadre dfini au dpart. La dfinition des termes de rfrence fait dj partie du processus dauto-valuation. Les acteurs slectionnent lobjet, les critres et les indicateurs de lvaluation. Les normes ou rfrences ne sont pas imposes mais choisies par les acteurs. Ce processus est volutif et itratif, lobjet final de lvaluation napparat pas toujours immdiatement. Cest un processus endogne qui dmarre progressivement et accompagne la vie dun groupe. Dans ce sens, le dbut de lauto-valuation est connu et il est prfrable de fixer lachvement de la dmarche en amont mme si ce nest pas toujours facile de par le caractre itratif du processus. Qui dcide? A priori, cest le groupe dacteurs qui mne laction qui va dcider dentrer dans le processus. Mais lentre spontane dans un processus dautovaluation peut aussi rsulter dune sollicitation externe (alternative une valuation externe, demande de la hirarchie ou de tiers...). Pour valuer quoi? Le champ de lauto-valuation est limit celui de laction mene par les acteurs engags dans le processus dauto-valuation. Lauto-valuation est un processus qui implique une participation forte des acteurs concerns. Bien conduite, elle permet chacun de prendre ses marques et de participer lamlioration des actions. En favorisant la navette entre laction et la rflexion, elle peut complter ou sintgrer un dispositif continu de suivi. Contrairement lvaluation externe ou lvaluation participative, qui est un temps fort mais bien circonscrit dans la dure, lauto-valuation fonctionne en boucle (observation, analyse, rtroaction, puis de nouveau observation, analyse...). Il faut tre vigilant sur cet aspect, en ce sens que lauto-valuation peut parfois tourner en rond, devenir un processus consommateur dnergie et de moyens quil faut savoir finaliser. Le principal obstacle lauto-valuation est celui de la prise de distance par rapport lobjet valu. Cest la situation du poisson rouge qui cherche connatre la forme extrieure de son aquarium: soit il est dedans et ne voit pas grand chose, soit il est lextrieur et cette situation peut lui tre fatale. Lauto-valuation, parce quelle conduit chaque acteur se dterminer et prendre position par rapport laction, peut tre gnratrice de conflits ou rvlatrice de conflits latents quelle devra contribuer grer. Un dernier point dans cet aperu rapide: le cot dune auto-valuation peut paratre nettement plus faible que celui dune valuation externe. Cest le cas, si le processus est matris et limit dans le temps, mais attention aux drapages qui prolongent indfiniment le processus et aux cots cachs mais bien rels (runions rptitions, perte de productivit dans laction).
64
Auto valuation accompagne

Lauto-valuation accompagne peut permettre de pallier les inconvnients possibles de lauto-valuation conduite exclusivement par les acteurs directs. Laccompagnement apport par une personne externe laction a pour objectif de donner un cadre mthodologique au processus dauto-valuation, de veiller au minimum de prise de distance par rapport au vcu de chacun, de sassurer et parfois dimposer le respect du calendrier, et enfin de permettre lauto-valuation daboutir. Cette assistance ne porte donc pas sur le fond, qui demeure de la responsabilit des acteurs / auto-valuateurs, mais sur la forme de lvaluation. Lauto-valuation accompagne requiert un (ou plusieurs) conseiller(s) externe(s) averti(s), jouissant de la confiance des acteurs et comptents la fois en mthode dvaluation et daccompagnement des groupes. Malgr laccompagnement externe, qui peut donner des clairages puiss dans dautres actions similaires, lauto-valuation accompagne demeure limite au champ de laction mene par les acteurs engags dans le processus dauto-valuation.
65
fiches techniques
FICHE TECHNIQUE N4 Les critres dvaluation

Un critre, cest langle de vue sur lequel on se place pour valuer laction. Par rapport quoi valuons-nous notre action? Il faut tablir le point de vue en fonction du type daction valuer et du type dinformation que lon veut obtenir. Nous pouvons, par exemple, valuer partir du critre de lintrt suscit par laction: Est-ce que mon action a intress les personnes prsentes? Est-ce que mon action les a laisses indiffrentes? Cest typiquement le questionnaire laiss la fin dun rencontre (a aim, na pas aim...). Mais les critres peuvent tre multiples et doivent tre construits spcifiquement par rapport une action prcise ou a un objet dvaluation dtermin. Parmi les critres classiques les plus frquemment utiliss en valuation, on retiendra: Efficacit: Compare les rsultats obtenus et les rsultats attendus. Cest le degr datteinte des objectifs et des rsultats prvus au dpart. Efficience: Interroge les moyens (matriels, humains, financiers) mis disposition pour raliser laction par rapport aux rsultats atteints. Les moyens ont-ils t suffisants, par rapport aux moyens mobiliss avons-nous atteint au mieux les rsultats attendus? Les rsultats atteints sont-ils la mesure des moyens engags? Pertinence de la stratgie dintervention: Renvoie la dcision de laction, aux valeurs. Est-ce que ce que nous avons prvu au dpart de laction correspondait bien un besoin? Est-ce que le public choisi pour mon action est pertinent? Cohrence, sur la mthode dintervention: Est-ce que la mthode prvue au dpart tait la bonne mthode pour atteindre au mieux les rsultats attendus? Est-ce que les outils utiliss sont les plus adapts aux objectifs que nous souhaitons atteindre? Effets: il sagit des changements observs par rapport la situation de dpart. Cest lobservation des changements qui va permettre de mesurer limpact. Impact: Cest la situation issue de lensemble des changements significatifs et durables, positifs ou ngatifs, prvus ou imprvus, dans la vie et lenvironnement des personnes. Ces critres ne sont que partiels. Il sera indispensable den faire une synthse pour apprcier globalement laction value. Pour des exemples de critres dvaluation en ead-si, voir lEtape N5 du guide: Choisir des critres et leurs indicateurs.
66
FICHE TECHNIQUE N5 Les indicateurs dvaluation

Des indicateurs pour quoi faire?
Les indicateurs ont pour but dexprimer, par une seule information (souvent un chiffre) aisment comprhensible, une caractristique significative dun systme. Ils servent de point de repre pour mesurer un niveau de dveloppement, pour suivre une volution, pour comparer une priode une autre, un pays un autre... Ce sont des signes, des indices, permettant dapprcier une ralit par rapport aux critres retenus. Les indicateurs, pour prendre leur sens, doivent sappuyer sur des critres dvaluation, ceux-ci ne pouvant tre apprcis qu partir de signes vrifiables, mesurables. Les indicateurs objectivement vrifiables sont lis lexistence dun rfrentiel, dune norme qui rsulte dune prescription initiale.
Par exemple le chiffre affich par le compteur de vitesse dun vhicule automobile constitue un indicateur, mais la vitesse quil affiche doit tre compare la vitesse autorise pour tre value comme juste ou excessive. Conditions pour assurer la qualit dun indicateur
Lors de la construction dun indicateur, il faudra vrifier sil rpond aux conditions SMART suivantes: Spcifique: Lindicateur illustre de faon prcise et rpond sans quivoque la question pose. Mesurable: Il faut pouvoir effectivement le mesurer de faon objective et toujours de la mme manire (permanence des mthodes). Accessible: Les donnes ncessaires sont accessibles un cot raisonnable. Raliste (et pertinent): Il ne faut pas sappuyer sur des phnomnes marginaux, exceptionnels, qui ne sont pas reprsentatifs de lobjet / champ daction observ. Un indicateur est prfrablement factuel et ne doit pas sappuyer sur des impressions subjectives. Temporellement invariable: Il peut tre clairement rfr au temps, un moment prcis.
67
En plus on vrifiera galement que lindicateur est:

Suffisant: Lindicateur rpond bien la question pose dans son entiret ou seulement partiellement. Dans le second cas on peut soit en trouver un autre, plus reprsentatif ou lui associer des indicateurs complmentaires.
fiches techniques
Fiable: Techniquement solide, robuste. Cest--dire quil doit tre toujours accessible et traduire la ralit de manire permanente et continue (pour assurer la cohrence dans les comparaisons entre deux situations diffrentes dans le temps ou lespace). Dans la pratique, si deux personnes diffrentes vont collecter les informations relatives un indicateur de faon indpendante, elles devraient obtenir les mmes rsultats. Un indicateur doit sans ambigut: Permettre de rpondre une question prcise. Etre matriellement observable et quantifiable. Savoir o et quand le trouver. Il ny a pas de liste dindicateurs types applicables de faon systmatique. Il y a bien sr des classiques, mais chaque situation a ses indicateurs, do lutilit dune mthode rationnelle permettant lidentification et la slection des lments dun indicateur. Pour des exemples dindicateurs en ead-si, des lments sur les indicateurs quantitatifs et qualitatifs, voir lEtape N5 du guide: Choisir des critres et leurs indicateurs.
68
FICHE TECHNIQUE N6 La capitalisation38

39
Dfinitions de la capitalisation: Il existe diverses dfinitions de la capitalisation, car le mot est polysmique. Sa signification a volu dans le temps, elle sest adapte aux contextes et sest diversifie en fonction des besoins des divers acteurs du dveloppement. Une dfinition historique de la capitalisation pourrait tre: La capitalisation cest transformer le savoir en connaissance partageable. Cela suppose une capacit identifier, formaliser et organiser les savoir-faire, puis les formuler de faon ce quils soient utilisables par dautres. Cette dfinition repose sur: Un constat: le savoir appartient et se trouve auprs de ceux qui sont les acteurs de laction. Un prsuppos: le savoir des uns peut tre utile dautres. Ces deux piliers historiques sont nanmoins remis en question. Aujourdhui la capitalisation est davantage un processus interne aux institutions, port par une recherche de meilleure productivit et de notorit, et ne procde plus uniquement dune volont de partager les expriences. Cette posture saccentue dans un contexte concurrentiel au dtriment de lapproche philanthropique propose historiquement. Tenant compte de ces volutions, il est alors possible de dcliner la capitalisation de la manire suivante. Capitaliser, cest valoriser ce que lon sait faire pour progresser dans son poste, et dans sa trajectoire personnelle (y compris ventuellement vers dautres structures). En ce sens elle concerne uniquement les savoir-faire crs et mobiliss. La collecte de ces savoirs ne se limite pas lister les conditions de russite dune action mais consiste bien prciser comment ces conditions ont t effectivement atteintes. Cette posture individuelle est videmment reproduite dautres chelles dans le cadre de capitalisations collectives (dans une quipe, entre quipes, ventuellement entre plusieurs structures). La capitalisation rvle la manire qui a permis datteindre le but, sans juger de la qualit du but ou du rsultat, la diffrence de lvaluation qui porte une apprciation sur ces aspects. Capitaliser, cest thoriser les savoir-faire pour ne pas les perdre, ce qui suppose de codifier les savoirs, dunifier les acquis, les connaissances, afin de les rendre utilisables pour soi-mme et si besoin pour les autres. Capitaliser, cest transformer la connaissance tacite en connaissance explicite39. En dautres termes, la capitalisation est un processus itratif et mobilisable partir de lexprience relle, visant produire une plus value des savoir-faire. Capitaliser, cest tout simplement se donner des clefs pour prparer lavenir. La capitalisation est une approche prospective et non passiste qui chercherait immortaliser des actions. La capitalisation se dtache incontestablement de la notion darchivage.
38. Fiche Technique
69
issue de la note de synthse du module de formation Introduction la capitalisation dexpriences, F3E-Groupe Initiatives-CIEDEL, Juillet 2006, 24 p., disponible sur www.f3e.asso.fr.
39. Cf. Villeval Philippe & Lavigne Delville Philippe, Capitalisation dexpriences exprience de capitalisation, Traverses N15, Groupe Initiatives, 2004, 46 p., disponible sur www. groupe-initiatives.org.
fiches techniques
La capitalisation est sous-tendue par trois logiques: Une logique dexpriences, le savoir capitalis est issu dun travail de mmoire bas sur ce qui sest fait. Une logique de mthode facilitant le reprage des savoir-faire, leur slection et leur modlisation. Une logique de fonction permettant dune part dapprendre partir des pratiques en vue de progresser, et dautre part dappliquer ces savoir-faire acquis en interne et le cas chant en assurer leur diffusion.
70
FICHES TECHNIQUES
Fiche Technique N2: Typologie des

valuations
ANNEXES
Fiche Technique N4: Les critres Annexe N1 dvaluation

Analyse transversale des pratiques dvaluation en ead-si
71
Annexe N2
Fiche Technique dvaluation
Fiche action En Savoie, une proposition daccompagnement N5: Les indicateurs au voyage ltranger (CCFD, Chambry)
Annexe N3
Fiche action Le Blitzkick pour aborder les reprsentations du monde travers une N6: La capitalisation animation participative autour des cartes gographiques de la plante (GCo, Paris)
Fiche Technique
Annexe N4
Fiche action Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest (Starting- Block, Paris)
ANNEXE N1 Note de synthse de lanalyse transversale des pratiques dvaluation en ead-si

Cette note a t rdige par le CIEDEL, fin 2006, partir de la lecture de fiches dexpriences40 et dentretiens conduits auprs dune dizaine de membres de la plate-forme Educasol. Cest un regard externe, complmentaire de celui du groupe de travail Formation et Mutualisation de la plate-forme Educasol. Son objet est de faire une lecture transversale des pratiques et den retirer quelques points saillants permettant dalimenter la rflexion des participants la journe dchange du 12 dcembre 2006 co-organise par Educasol et le F3E. Cette note formalise le premier temps de la dmarche de production collective et de formation autour de lvaluation des pratiques dead-si initie par Educasol et le F3E.
Rappel sur lvaluation

Lvaluation permet danalyser les rsultats dune action, son adquation avec les objectifs annoncs, de vrifier les changements produits, de sinterroger sur ce qui existe et ce qui est envisager pour lavenir. Poser la question de lvaluation dans le domaine de lead-si savre aujourdhui indispensable pour: Amliorer la qualit des actions. Amliorer la pratique des acteurs. Se poser la question du sens des actions.
72
Constats sur les pratiques dvaluation

Mises part les valuations externes de programmes ou de campagnes dead-si, les pratiques dvaluation des membres de la plate-forme Educasol font apparatre quelques tendances: Le choix prioritaire de lauto-valuation, avec lidentification par les acteurs des limites de lexercice: activit souvent isole, difficults se dcentrer, absence de critres communs entre les actions, absence dindicateurs qualitatifs permettant daller au-del de lvaluation quantitative. Lutilisation doutils de collecte de linformation relevant de la contribution volontaire des destinataires (formulaires). Ces outils prennent en compte uniquement celles et ceux qui veulent bien sexprimer. Une introduction laborieuse de lvaluation dans les pratiques des acteurs: - Manque de temps et de motivation : les salaris se dclarent submergs, les bnvoles accordent la priorit aux actions, lutilit de lvaluation nest pas une vidence. - Absence de rfrences mthodologiques: difficults pour tablir des critres et des indicateurs, pas ou peu de dmarches dvaluations qualitatives. - Lvaluation des changements produits par les actions est attendue par toutes les structures, mais elle leur apparat hors de porte.
40. Voir le Recueil Educasol N10 Comment les acteurs valuent-ils leurs actions dducation au dveloppement et la solidarit internationale?, 2006-2007.
Les 5 principaux thmes de questionnement qui ressortent de ces constats sont les suivants.
1. Evaluation ou capitalisation?
Les fiches dexpriences prsentent des dmarches dvaluation qui relvent soit de la capitalisation, soit du compte rendu dactions. Cette situation peut tre attribue labsence de distinction clairement tablie entre ces champs au sein des fiches dexpriences dEducasol; mais aussi au manque de rfrences des oprateurs pour distinguer ces champs. Mais au-del de ces considrations techniques, le fait que les acteurs de lead-si soient la fois les initiateurs, porteurs de convictions et les oprateurs des actions est-il un lment dexplication de cette proximit valuation-capitalisation?
2. Y a-t-il une spcificit de lvaluation en ead-si?

Les difficults gnraliser les pratiques dvaluation conduisent poser la question de lexistence dune spcificit de lvaluation des actions dead-si. Si cest le cas, cette spcificit justifierait la recherche de mthodes dvaluation adaptes. Dans le cas contraire, les valuations pourraient se faire partir des mthodes mises en uvre et largement exprimentes dans dautres champs dactivit.
annexes
La spcificit de lvaluation en ead-si est-elle lie la nature des actions (informer, duquer, agir) ou la nature des acteurs (oprateurs militants porteurs de leurs propres valeurs)?
73
3. Evaluer la ralisation des actions ou les changements quelles produisent?

Les rfrences relatives lvaluation en ducation abordent toutes la question des changements qui sont la consquence attendue des actions dead-si. La priorit devrait logiquement tre donne lvaluation de ces changements. Le problme, cest que personne ne sait vraiment comment faire. Par contre, des comptences relatives lvaluation de la conduite des actions dead-si, de leurs rsultats et des effets directs et immdiats existent ponctuellement, mais sont loin dtre largement partages et gnralises lensemble des actions. Compte tenu des comptences et des moyens matriels actuellement disponibles, est-il raliste de poursuivre la fois et dans un mme dispositif, lvaluation de la ralisation des actions et celle de leur impact en termes de changement, au-del de leurs effets directs et immdiats?
4. Evaluer des actions ponctuelles ou des programmes?

Le champ des actions conduites par les membres de la plate-forme Educasol est large et vari, allant dune animation en soire, une intervention dans une classe une campagne annuelle, runissant des acteurs diffrents, sur tout le territoire, avec des actions et des publics divers. Ces actions ne peuvent pas tre values de la mme faon.
Sur quel domaine dvaluation les associations souhaitent-elles se positionner? Lvaluation locale tendant amliorer les pratiques ou lvaluation par le haut tendant amliorer les dispositifs stratgiques? Quels sont les enjeux autour de ces deux familles dvaluation?
5. Quels outils mthodologiques sur lvaluation en ead-si?

La dmarche engage par Educasol et le F3E doit aboutir la ralisation dun guide mthodologique sur lvaluation des actions dead-si. Sa prsentation et son contenu restaient dfinir au moment de la rdaction de cette note. Quels sont les besoins en termes doutils mthodologiques? Des rfrences mthodologiques ou une boite outil thmatique (valuer une animation, une formation, un dbat, un support de communication)? Pour qui: de lanimateur sur le terrain au concepteurs de programmes? Pourquoi: auto-valuer une action, mettre en place un dispositif dvaluation, commanditer une valuation?
Les personnes interviewes par le CIEDEL: Madie Joubert (GECO /FARE 16), Cline
Delacour (Juristes Solidarit), Vincent Leroy (CMCAS EdF-GdF), Bertrand Lecorps (La Case), Amelie Nicaise (Starting Block), Philippe Mobbs (Aide et Action), Michale Groshans (CEFODE), Marion Ducasse (Pays de Savoie Solidaires), Bruno Quemada (Solidarit Laque - Demain le monde), Carole Coupez (Solidarit Laque), Magali Audion (Semaine de la Solidarit Internationale), Hanna Allouch (Semaine de la Solidarit Internationale), Catherine Cyrot (consultante), Elizabeth Paquot (consultante), Christian Hugues (consultant), Jean Marc Boivin (Handicap International), Brigitte Gaiffe (ITECO).
74
ANNEXE N2 Fiche action En Savoie, une proposition daccompagnement au voyage ltranger

Personne prsentant laction : Marc Bulteau, Charg dtude Jeunes adultes (CCFD) Contact: CCFD, 4 rue Jean Lantier, 75005 Paris / marc.bulteau@wanadoo.fr /
www.ccfd.asso.fr / 06 87 20 78 90
Objectifs gnraux de laction: Favoriser la prparation, le droulement et les suites
dun sjour ltranger de jeunes afin Que le jeune vive une exprience qui favorise son propre dveloppement. Que cette exprience permette une meilleure apprhension de la ralit des relations Nord-Sud, une rencontre de lautre, de laltrit. Que cette exprience ait un impact en termes de dveloppement local ici, entre autre par un mieux vivre ensemble. En somme, que le voyage soit une exprience dducation au dveloppement vcue par le jeune. Tout dabord bnficiaire dune action dead-si, il peut en devenir acteur.
Public cible: Jeunes et jeunes adultes de 16 30 ans, ayant un projet de voyage
ltranger dans des pays dits en voie de dveloppement, avec ou sans dmarche explicite de solidarit internationale, partant seuls ou en groupe, dans le cadre dune structure (mouvement de jeunesse, MJC) ou en free lance. Concerne environ 120 jeunes par an en Savoie.
Intervenants: Un rseau informel de diffrents acteurs institutionnels (Mission
annexes
Jeunesse du Conseil Gnral, de la ville de Chambry, DDJS), de la formation (Institut de Formation en Soins Infirmiers de Chambry -IFSI), de la Solidarit Internationale (Pays de Savoie Solidaire, bras associatif de mise en uvre des cooprations dcentralises du dpartement, Association Chambry-Ouahigouya, CCFD, Service relations internationales de la ville de Chambry), de linsertion et de la politique de la ville (Centres Sociaux), de lducation populaire (FOL), des associations animes par des jeunes adultes (Djallabah, Baoba, ISF).
Descriptif global: Un processus daccompagnement en 4 phases
75
1. Des rencontres individualises entre les jeunes intresss et certains des interve-
nants: identification du projet, conseils, orientations vers dautres intervenants 2. Formations prparation au dpart: in-situ pour lIFSI (au printemps, 20 25 tudiants), sous forme dun week-end (mai) ouvert tous pour les autres (30 50 personnes). 4 points majeurs sont abords: Motivations au dpart et laccueil La rencontre interculturelle Solidarit internationale et action envisage Le retour de voyage 3. Un week-end de relecture (octobre, 20 40 participants): verbalisation de lexprience, identification de questionnements, de modifications en soi, dactions 4. Une soire commune de tmoignage (environ 40 jeunes de retour de sjour) ouverte au grand public (environ 500 personnes), avec des modes danimation trs interactives. La prparation de cette soire dbute lors du week-end de relecture.
ANNEXE N3 Fiche action Le Blitzkick: Aborder les reprsentations du monde travers une animation participative autour des cartes gographiques de la plante (GCo, Paris)
Personne prsentant laction: Rosie Westerveld, Prsidente (GCo, Paris) Auteur du jeu: Association Gnration Coopration / GCo Contact : Association GCo, 38-40, rue Eugne Oudin, 75013 Paris / info@gecoo.net /
www.gecoo.net / 01 53 61 37 87
Cadre et origine de laction: Laction peut se drouler dans diverses situations (actions
auprs de jeunes ou dtudiants); la plus adapte tant avec un groupe de 8 25 personnes, dans une salle comportant un vidoprojecteur et un ordinateur. Actions ralises dans le cadre de la Semaine de la Solidarit Internationale 2007 et dans le cadre dinterventions spontanes.
Finalits: sensibiliser aux reprsentations personnelles et sociales que lon se fait du
monde.
Descriptif de laction:
Public jeunes adultes
76
Dans une salle comportant un vidoprojecteur et un ordinateur, projeter avant larrive du public un planisphre sur un tableau blanc et y placer des capitales du monde, en les nommant. Arrter la projection lorsque le public est prsent, et demander aux participants de redfinir les contours des continents laide des villes mentionnes. Lorsque le planisphre est recompos, permettre aux uns et aux autres de corriger ou modifier la mappemonde ralise selon les apprciations personnelles de chacun, dans lapproche cooprative dune uvre de groupe. Une fois la recomposition termine, reprojeter le planisphre et entamer une rflexion sur le rsultat du travail en groupe: Pourquoi tel continent a-t-il t reprsent de tel sorte? Pourquoi est-il plac cet endroit? Quelles sont les impressions laisses par cette exprience?
Public adolescents
Dans une salle comportant un vidoprojecteur et un ordinateur, projeter sur un support vierge une mappemonde muette. Aprs un jeu dchauffement pendant lequel les participants numrent des noms de villes / capitales / lieux connus, inviter le public replacer ces noms sur la mappemonde muette. Jeu collectif et coopratif.
Poursuite du Blitzkick adolescents / jeunes adultes
Au-del du rsultat affich, approfondir la discussion sur les reprsentations sociales, politiques, culturelles
Orientation de la discussion
Lexistence des clichs catastrophes et pauvret freine lmergence de vritables relations rciproques et durables. La discussion saxe autour du rle des divers acteurs et reprsentants de la socit civile afin de proposer des pistes dactions concrtes que tous peuvent sapproprier au quotidien.
Questions aborder
1. Quelles sont les principales reprsentations que nous avons des pays du Sud (ou
du Nord pour les intervenants non europens)? Sont-elles toujours situes entre misre, catastrophisme et vision du bon sauvage? 2. Sur quoi sont-elles bases? Do proviennent-elles? Comment ces reprsentations / visions / ides se transmettent-elles? 3. Quels impacts ont nos reprsentations mutuelles des pays du Sud (du Nord) sur nos relations? Quels sont les effets sur les politiques trangres de nos pays? Sur les politiques daide au dveloppement (de coopration)? 4. Comment pouvons-nous faire voluer nos reprsentations et celles de nos concitoyens pour contribuer des relations (prives mais aussi entre Etats), plus quitable / justes? Quels moyens daction locale sont envisager? Comment passer dune vision culpabilisante une vision responsabilisante et constructive de nos pays rciproques? 5. En ce qui concerne les relations entre Etats, comment pouvons-nous envisager de faire passer ces rflexions? Quels moyens dactions pour quel plaidoyer? 6. Comment permettre lmergence dune reprsentation plus juste et complexe des pays hors Europe?
77
annexes
ANNEXE N4 Fiche action Le jeu de rle Le Village de Diambey pour dcouvrir certaines ralits dAfrique de lOuest
Personne prsentant laction : Marjorie LHostis, Charge de mission cration doutils pdagogiques (Starting-Block) Contact: Association Starting Block, 23 rue des Balkans 75020 Paris / info@sensi-
biliserensemble.org / www.starting-block.org / 01 53 26 79 25
Objectifs pdagogiques : Faire dcouvrir des jeunes de 9 13 ans les diffrents
enjeux lis au dveloppement dun village dun pays du Sud, et leur faire rencontrer des tudiants engags dans des associations de solidarit internationale.
Lieu de lintervention: en classe de CM1 et de CM2. Droul:
78
Le jeu des villageois est un jeu de rle qui invite les enfants incarner des villageois dun pays dAfrique de lOuest (selon le cas, Sngal, Burkina, Mali) durant une demi-journe. LAfrique de lOuest a t choisie comme lieu dimmersion car cest l que la plupart des associations partenaires mnent des projets de solidarit internationale. Ils en connaissent donc, au moins en partie, les ralits locales. Un conteur africain, le griot, envoie une lettre aux enfants pour annoncer sa venue, et donc lanimation. Quelques jours aprs avoir reu cette lettre, les jeunes, diviss en quipes reprsentant diffrentes composantes sociales du village (les notables du village, le groupement des femmes), se rassemblent pour fter la premire anne de cration de lassociation villageoise. Ils sont accueillis par le griot qui les invite rflchir la faon dont ils vont pouvoir utiliser largent rcolt durant lanne pour le bien de la communaut. Pour choisir en connaissance de cause, ils vont rendre visite plusieurs personnes du village pour aborder certaines thmatiques auxquelles peuvent tre confronts des villageois dans cette rgion : ducation, sant, accs leau, levage, architecture, commerce quitable Il sagit dune mise en situation concrte: les enfants reoivent des tuniques en tissu dAfrique de lOuest et ils reoivent un prnom fictif pour le droul du jeu. En outre, la salle et les ateliers sont dcors. En fin de jeu les enfants choisissent un projet mettre en place. Quelques semaines plus tard, les enfants sont invits participer un jeu de loie qui les interroge sur les diffrentes thmatiques abordes au cours du jeu de rle. Ce second temps danimation permet dvaluer le premier.
Evaluation:
Lvolution des reprsentations: Avant lanimation, avec lenseignant, et la fin de lanimation, les enfants sont invits crire sur un papier 3 mots quils associent au Sngal maintenant quils ont vcu lanimation, pour voir le changement de leurs reprsentations. Les connaissances et donc la pertinence des jeux: De 1 7 semaines aprs lanimation,
un ou plusieurs animateurs reviennent dans la structure pour faire une valuation de lanimation en les faisant jouer sur le Tour dAfrique (jeu de loie avec des questions-rponses concernant lanimation). La vision de lenseignant: A laide dun questionnaire. La vision des animateurs: A travers une discussion la fin de lanimation.
79
annexes
80
FICHES TECHNIQUES
Fiche Technique N2: Typologie des valuations
Fiche Technique N4: Les critres dvaluation
81
Fiche Technique N5: Les indicateurs dvaluation
Fiche Technique N6: La capitalisation
GLOSSAIRE
A
Acteur
C
Cadre logique
Celui qui joue un rle, qui participe une action et qui a des intrts communs pour cette action.
Attitude Le concept dattitude dsigne une virtualit dacte. troitement lie aux reprsentations, lattitude peut tre dcrite comme une propension adopter une conduite, face certains vnements possibles. Lattitude est donc un agir virtuel, susceptible de sactualiser (se raliser concrtement) ou sinhiber lorsque survient ou non un certain vnement agissant comme un dclencheur. Pour une valuation segmente, Thierry De Smedt.41 Audit/Contrle Laudit vise le contrle de lutilisation des moyens, de la gestion de lorganisation, des personnes et fait un diagnostic sur les potentialits oprationnelles de la structure. Le contrle est une action en continu, laudit intervient plutt quand des problmes de fonctionnement ou de gestion apparaissent, il est donc souvent le prcurseur dune action de redressement. Laudit nest pas une valuation. Il ne pose pas la question du sens de laction. Auto-valuation Dans une auto-valuation, ceux qui se prononcent sur une ralit sont ceux-l mme qui la vivent (voir aussi la Fiche Technique N2 du guide sur la typologie des valuations). Auto-valuation accompagne Lauto-valuation est dite accompagne lorsquune personne extrieure aux acteurs directement impliqus joue un rle de miroir, de catalyseur, de conseil mthodologique, appuie lauto-valuation sans y intervenir (voir aussi la Fiche Technique N2 du guide sur la typologie des valuations).
41. De Smedt, Thierry, in Mtho dologies dvaluation en EAD, pp 20-21 Pour une valuation segmente, Antipodes N156, avril 2002, ITECO.
Le cadre logique est un outil qui permet de planifier, de piloter, de suivre laction et den prparer lvaluation. Il dcrit et structure laction raliser. Il dcrit les conditions de russite de laction. Les indicateurs et sources de vrification permettant de suivre le droulement de laction. Dans le cadre logique on affiche clairement les objectifs et rsultats attendus. Il devient le document rfrence pour suivre laction tout au long de son droulement et lorsquon en ralisera lvaluation.
Capitalisation
La capitalisation sintresse aux savoir-faire mis en uvre pour raliser laction. Elle repre ce qui a bien fonctionn pour le valoriser et le transposer lors de la mise en uvre dactions futures. La capitalisation ninterroge pas le sens de laction en elle-mme. Contrairement lvaluation, la capitalisation nest pas une apprciation sur ce qui a t fait mais un retour sur notre capacit mener bien une action, une analyse du comment a t ralise laction.
82
D
Dmarche dvaluation La dmarche dvaluation repose sur une mthode rigoureuse, cest--dire une ou plusieurs mthodes programmes et amnages dans le temps. Dveloppement durable
B
Bailleur
Le concept de dveloppement durable fait rfrence un mode de dveloppement qui rpond aux besoins du prsent sans compromettre la capacit des gnrations futures satisfaire leurs propres besoins. Il vise amliorer les conditions de vie des individus tout en prservant leur milieu court, moyen et surtout long terme. Le dveloppement durable comporte un triple objectif: un dveloppement conomiquement efficace, socialement quitable et environnementalement soutenable.
Terme gnrique qui dsigne les organismes pourvoyeurs de fonds, publics ou privs.
Diagnostic Un diagnostic est un jugement port dans un temps court sur une situation ou un tat en vue de guider laction. Philippe Jouve (CNEARC / CIRAD)
E
Education au dveloppement et la solidarit internationale (ead-si) 42
Lducation au dveloppement et la solidarit internationale a pour finalit le changement des mentalits et des comportements de chacun dans le but de contribuer individuellement et collectivement la construction dun monde juste, solidaire et durable. Pour cela, elle a pour objectif de favoriser: La comprhension des mcanismes dinterdpendance et dexclusion dans le monde. La prise de conscience de limportance de la solidarit internationale comme facteur de changement social. Laction pour la construction dun monde solidaire. Eduquer au dveloppement et la solidarit internationale, cest simpliquer dans un processus ducatif global dont la dimension Nord/Sud est un lment constitutif dterminant. Cest un acte ducatif: Qui sappuie sur une dmarche pdagogique participative, interactive et rflexive. Qui part des reprsentations mentales des participants. Qui vise des objectifs de savoir, savoir-faire et dattitude (en particulier en favorisant lesprit critique). Qui sappuie sur une pdagogie adapte la diversit des publics. Qui intgre des mthodes dvaluation selon des critres de pertinence, de cohrence, defficacit, defficience et de dmultiplication. Cest un acte politique: Qui permet deffectuer des choix et de les argumenter. Qui en terme de message souligne la complexit du dveloppement, linterdpendance des pays et des peuples, la diversit et la crativit des organisations de la socit civile, le rle pivot du partenariat, le fait que la solidarit est une faon de mieux vivre ensemble et que chacun a les moyens dagir pour aller dans ce sens.
Qui permet chacun(e) de tenir une rflexion sur le modle de socit dans laquelle il (elle) vit, dapprhender la porte de ses actions quotidiennes et de devenir citoyen(ne) acteur du changement social au niveau local, national et mondial. Qui se dcline, au travers lorganisation en groupes, associations, collectifs, rseau... en initiatives et actions collectives (dbat, manifestation, lobbying...). Dont les acteurs partagent: Des valeurs communes: - La conviction de la ncessit de construire un monde socialement solidaire, culturellement diversifi, conomiquement viable, cologiquement durable et politiquement dmocratique. - La solidarit comme principe de partage et dchange dans un esprit de respect et de reconnaissance rciproque entre partenaires dcids agir ensemble pour mettre un terme aux violations des droits politiques, conomiques, sociaux et culturels. Des principes daction: - Le partenariat notamment avec les organisations du Sud toutes les tapes de prparation, de ralisation et dvaluation de laction. - Le partage dexprience comme ferment denrichissement de chacun au bnfice de tous. - Le principe de lacit associ la libert absolue de conscience. - La priorit donne lducation et au changement des comportements dans les relations Nord-Sud. Les propositions dactions de solidarit concrtes (le don, le voyage, les chantiers internationaux, la signature de ptition...), sans en tre lobjectif, peuvent faire partie du processus dducation au dveloppement et la solidarit internationale.
Effets
83
Il sagit des changements observs par rapport la situation de dpart. Cest lobservation des changements, qui va permettre de mesurer limpact de laction.
Effets immdiats Les premires ractions chaud des destinataires de laction ou les premiers effets induits par laction. Efficacit La notion defficacit permet dapprcier a posteriori les rsultats de laction. Elle consiste mesurer lcart entre les objectifs de laction et les
42. Plateforme Educasol, www.educasol.org, rubrique Notre charte.
glossaire
rsultats obtenus. Pour mesurer lefficacit dune action on compare les rsultats attendus et les rsultats obtenus. Cest le degr datteinte des rsultats prvus au dpart.
Efficience La notion defficience interroge les moyens mis disposition pour raliser laction: elle compare les rsultats obtenus par rapport aux moyens humains, financiers et matriels mis en uvre, aux dlais et aux mthodes. Cest une analyse des cots par rapport aux ralisations. Evaluation Opration par laquelle on prend parti, on se prononce sur une ralit donne la lumire dune grille de lecture exprimant, lgard de cette ralit, des exigences dtermines. Lvaluation intervient souvent la fin de laction, au moment o lon sarrte pour analyser ce quon a fait. Lvaluation porte une apprciation sur laction ralise et permet den tirer des leons pour lavenir. Lvaluation permet enfin de poser le sens de laction et de prendre des dcisions stratgiques sur la suite de laction, notamment de la rajuster lorsquon est situ dans un processus dactions en continu. Evaluation externe Apprciation porte sur une ralit par une personne extrieure celle-ci, en fonction dune grille de lecture propose par le commanditaire de lvaluation (voir aussi la Fiche Technique N2 du guide sur la typologie des valuations). Evaluation formative Evaluation dont lambition est de contribuer la formation. Elle cherche guider lapprenant pour faciliter ses progrs. Evaluation normative
par les rsultats de lvaluation. La dmarche peut impliquer les diffrents acteurs concerns par laction diffrents niveaux: laboration des termes de rfrence, construction dune mthodologie commune, collecte dinformations sur le droulement de laction et analyse des donnes recueillies, formulation des lments prospectifs et orientations stratgiques de laction. La dmarche dvaluation participative constitue souvent une exprience dapprentissage pour tous ceux qui sont impliqus dans laction (voir aussi la Fiche Technique N2 du guide sur la typologie des valuations).
I
Impact
84
Cest la situation issue de lensemble des changements, significatifs et durables, positifs ou ngatifs, prvus ou imprvus, dans la vie et lenvironnement des personnes. Semez, il en restera toujours quelque chose! Les plus anciens dentre nous ont gnralement en mmoire un ou deux cas de personnes rencontres au hasard de la vie et venant leur rappeler une animation ou une intervention ayant eu lieu plusieurs annes auparavant et qui leur disent je me souviens encore de votre intervention, cela ma marqu.
Indicateur Signe, indice objectivement vrifiable permettant dapprcier une ralit par rapport aux critres retenus. Il peut tre dordre quantitatif ou qualitatif. Le degr atteint par le thermomtre est un indicateur du niveau de la temprature, il
ne peut tre apprci que par rapport une norme qui permettra de juger si la temprature est acceptable ou pathologique.
Lvaluation normative exploite les observations recueillies en les confrontant des standards externes et en les prsentant dans un classement.
Evaluation participative Dans une dmarche dvaluation participative, lvaluation est ralise par un ou des valuateur(s) externe(s) en troite collaboration avec ceux qui ralisent laction et qui seront directement concerns
M
Media ducatif Moyen de communication servant transmettre un message but ducatif. Moyens Ce sont les ressources (matrielles et immatrielles) ncessaires dans la mise en uvre de laction pour excuter les activits prvues.
En valuation on apprcie les rsultats obtenus par rapport aux moyens utiliss (critre defficience).
N
Normes
Pr-requis Elments qui doivent tre clarifis avant de mettre en place une dmarche dauto-valuation: Quelle est la motivation valuer? Qui dcide de lvaluation? Qui dcide de lutilisation des rsultats de lvaluation? Qui est charg de choisir la dmarche valuative? Quand a lieu lvaluation?
Rgles, principes auxquels se rfre un jugement. Type de ce qui doit tre. Obligations sociales plus ou moins sanctionnes par le groupe, ce qui pour un groupe social et un moment donn est considr comme normal, modle culturel de conduite auquel nous sommes censs nous conformer. On prfrera en ead-si parler de rfrences.
Q
Question valuative
Question a laquelle nous cherchons rpondre a travers lvaluation.
O
Objectif global ou finalit
R
Rfrentiel Systme de rfrence, ensemble dlments jouant un tel rle (Robert). Il peut y avoir un ensemble dlments qui permette dapprcier des caractristiques dune exploitation agricole performante: degr dquipement, productivit du travail... Cest le rfrentiel qui va permettre de comparer les exploitations. Reprsentations
Cest lobjectif le plus gnral que le projet tente datteindre. Par exemple, promouvoir et sensibiliser au tourisme solidaire.
Objectif spcifique (ou objectif oprationnel)
Objectif sur lequel lintervention sengage avoir des effets durables et raisonns. Cest autour de cet objectif central que sengage lenchanement logique du projet ou de laction. Les objectifs spcifiques sont ordonns dans le temps et dans lespace. Par exemple, organiser sur un priode de six mois, 4 runions auprs de citoyens-clients visant augmenter leur comprhension de lutilit du tourisme solidaire.
Objet dvaluation
Manire de penser, systme plus ou moins cohrent dides de valeurs, de normes, de connaissances et de croyances communes un groupe ou une socit.
Rsultats
85
Ce sont les produits directs des activits du projet, ceux qui rsultent de laction. Lensemble de ces rsultats ralise lobjectif spcifique. Le critre defficacit prvoit de mesurer lcart entre les rsultats attendus et les rsultats obtenus.
Ce sur quoi porte lvaluation.
P
Pertinence Critre utilis pour apprcier ladquation des rsultats dune action par rapport aux objectifs poursuivis. Est-ce que ce que nous avons prvu au dpart de laction correspondait bien un besoin? Est-ce que le public que jai vis pour mon action de sensibilisation est le bon?
S
Suivi
Le suivi est un processus continu de collecte et de traitement dinformations permettant de reprer tout au long de laction les carts entre ce qui tait prvu de faire et ce qui est ralis. Il permet de corriger ces carts. Les lments collects tout au long de laction facilitent la ralisation de lvaluation finale de laction.
glossaire
Sources de vrification
Elles indiquent do et sous quelle forme proviennent les informations pour lvaluation. Si la source de vrification nest pas viable, lindicateur ne le sera pas non plus.
V
Valeur
T
Termes de rfrence Les termes de rfrence prcisent lobjet de lvaluation, ce quon va regarder, les questions valuatives, des lments de mthodologie, le calendrier et les moyens pour lvaluation (aprs avoir rflchi au pourquoi lon choisit de regarder tel ou tel lment).
Ce quun groupe social pose un moment donn comme idal atteindre, auquel il aspire et dont il sinspire pour agir et juger. Ce qui est vrai, ce qui est bien pour les personnes qui partagent ces valeurs. Systme de valeurs: Interdpendance entre les valeurs. Echelle de valeurs: Position relative des valeurs les unes par rapport aux autres dans une socit donne et un moment donn.
Viabilit Capacit, pour une action, durer, se dvelopper.
U
Utilit sociale Critre dvaluation des effets dune action en termes dintrt pour les catgories sociales que lon veut voir bnficier de laction entreprise.
En matire dducation, on vise plutt la rupture pdagogique pour lautonomisation du form.
86
Bibliographie
Ouvrages et documents ayant servi la rdaction de ce guide
CIEDEL: LEvaluation, un outil pour agir, document de cours (document interne) De Smedt Thierry ANTIPODES n156 Mthodologies dvaluation en EAD, pp 20-21 Pour une valuation segmente, ITECO, Bruxelles, 2002, http://www.iteco.be/ Educasol, Recueil dexpriences n10: Comment les acteurs valuent-ils leurs actions dducation au dveloppement et la solidarit internationale?, 2006/2007, www.educasol.org Graugnard Gilbert, Ndiaye Alioune Badara, Rakotondrazafy Jocelyne, Wendling Dominique: Lvaluation, construction, mise en uvre et exploitation dindicateurs, Aide et Action, 2003 Graugnard Gilbert, Quiblier Vronique (CIEDEL): Note de synthse du module de formation introduction la capitalisation dexpriences, F3E & Groupe Initiatives, 2006, www.f3e.asso.fr Neu Daniel (GRET, sous la direction de), avec la collaboration de Correze Annette (IRAM, prsidence), Mestre Christophe (CIEDEL), Robert Sylvie, (consultante indpendante), Pierrot Graldine (F3E): Amliorer lefficacit des valuations, F3E, 2004, www.f3e.asso.fr
glossaire
Pour aller plus loin

Ouvrages et documents mthodologiques
Alexander Titus, Kirby Bob, Mc Collum Ann, Mc Kenzie Aileen: Measuring our Effectiveness, The Improving Practice Series, Development Education Association ANTIPODES: Evaluer pour voluer, ITECO, Bruxelles, 2006, http://www.iteco.be/ ARADEL: Lvaluation du dveloppement conomique local: 12 bonnes questions se poser, in les Cahiers du dveloppement conomique, 1999 AVISE Culture et Promotion: Evaluer lutilit sociale de son activit, conduire une dmarche dauto-valuation, 2007, http://avise.org/us/, http://www.culture-et-promotion.org/ Bar J.F.: Lvaluation des politiques de dveloppement, Approches pluridisciplinaires, LHarmattan, 2001 Beaudoux Etienne et al: Cheminements dune action de dveloppement: de lidentification lvaluation, Paris, LHarmattan, 1992 Beaudoux Etienne, Guneau Marie-Christine (IRAM): Lvaluation un outil au service de laction, Guide mthodologique F3E, 1996, www.f3e.asso.fr Development Education Association: Evaluating development education, March 2002, 2003 (revised), www.dea.org.uk Estrella Marisol: Lvaluation et le suivi participatif: apprendre du changement, CRDI Karthala, 2004
87
GRAD: Cinq outils pour lauto-valuation, GRAD, actualisation 2007, www.grad-france.org Graugnard Gilbert, Heeren Nicolas (CIEDEL): Prise en compte de limpact et construction dindicateurs dimpact, F3E, 1999, www.f3e.asso.fr Grunewald Franois: Vous avez dit valuation?, Groupe URD Hadji Charles: Lvaluation, rgles du jeu, des intentions aux outils, 2me dition, Paris, ESF diteur, 1990 Hugues Christian, Krason Agnieszka, Pothin Lucie, De La Fuente Antonio: Lappui de la France aux actions dducation au dveloppement, Ministre des Affaires Etrangres et Europennes, 2004 ITECO et DEEEP: Atelier dchanges en valuation dactions dducation au dveloppement, Bruxelles, 6 et 7 Octobre 2005, www.iteco.be, www.deeep.org Mengin J.: Concept et valuation du dveloppement local, AEIS, 1993 Mercoiret Jacques: Dmarche et mthodes de restitution et dapports dinformations avec des dessins ralistes et symboliques, CIEPAC, 1996
Neu Daniel: Evaluer, apprcier la qualit pour faciliter la dcision, six notes pour contribuer lefficacit des valuations, GRET, Document Scientifique n21, 2001, www.gret.org OCDE: Glossaire des principaux termes relatifs lvaluation et la gestion axe sur les rsultats, Collection Evaluation and Aid effectiveness, n6, 2002 Quatrebarbes B. de: Guide pratique: lvaluation de la satisfaction des usagers / clients / citoyens des services publics, France Qualit publique, 2003 Willot Paul: Pdagogie de lauto-valuation anime, bibliographie, Vedrin (Belgique), 1985
88
Quelques sites Internet

DEEEP (Development Education Exchange in Europ Project, www.deeep.org): Textes de rfrences sur lead-si, documents dappui mthodologique aux ONG sur la mise en uvre dactions de plaidoyer ou dead-si. Educasol (Plate-forme franaise dducation au dveloppement et la solidarit internationale, www.educasol.org): Rfrentiel sur lead-si, documents de rfrence sur lead-si, base de donnes doutils pdagogiques, base de donnes dexpriences dead-si. F3E (Fonds pour la promotion des tudes pralables, des tudes transversales et des valuations, www.f3e.asso.fr): Actualits, formations, guides mthodologiques, ressources en ligne et rapports dtudes et dvaluations tlchargeables. GRET (Groupe de Recherches et dEchanges Technologiques, www.gret.org): Srie de documents tlchargeables dans la collection Documents scientifiques. ITECO (Centre de formation pour le dveloppement et la solidarit internationale, Belgique, www.iteco.be): Documents de rfrences sur lead-si et la communication interculturelle, publications, Revue Antipodes, outils pdagogiques destination des animateurs et des formateurs en ead-si, calendrier des formations en ead-si.
OIF (Organisation Internationale de la Francophonie, www.evaluation.francophonie. org): Portail consacr lvaluation dans lespace francophone (actualits, base de donnes de ressources documentaires, de lieux de formation lvaluation), coordonnes des socits nationales dvaluation dans diffrents pays. SFE (Socit franaise de lvaluation, www.sfe.asso.fr): Actualit de la SFE et de lvaluation en France, centre de ressources sur lvaluation.
89
glossaire
EDUCASOL
Educasol C/o CRID 14 passage Dubail, 75010 Paris Tl n01 44 72 89 71 Fax n01 44 72 06 84 www.educasol.org info@educasol.org
Cre en 2004 EDUCASOL est la plate-forme franaise dducation au dveloppement et la solidarit internationale (ead-si). En 2009, elle rassemble 30 associations ou campagnes qui consacrent toute ou partie de leurs activits des actions dead-si.
EDUCASOL travaille selon trois axes complmentaires: Un axe Echanges et renforcement mthodologique des acteurs de lead-si Cest dans ce cadre que les associations membres dEDUCASOL se sont impliques dans ce travail sur lvaluation des actions dead-si. Educasol propose des journes de rencontre et de dbat entre acteurs engags sur le champ de la solidarit internationale ou sur le champ ducatif et coordonne le catalogue annuel doutils pdagogiques Comprendre pour Agir (www.orcades-vpc.com). Un axe Plaidoyer EDUCASOL est linterlocuteur des pouvoirs publics pour les questions dead-si. Elle a plusieurs objectifs: Renforcer la place de lead-si dans les politiques franaises de coopration et dducation; Augmenter les financements ddis aux actions dead-si, pour que les citoyens soient mieux informs des ingalits et des interdpendances Nord-Sud. Un axe Europe EDUCASOL est reprsente au Forum EAD de CONCORD (la confdration europenne des ONG durgence et de dveloppement). Des changes continus ont lieu entre la plate-forme et le Forum EAD pour travailler en meilleure cohrence. Le F3E appuie ses membres pour les aider amliorer la qualit de leurs actions de coopration pour le dveloppement partir de lanalyse de leurs pratiques. Pour ce faire, il mne les activits suivantes: Accompagner et cofinancer des tudes, des valuations et des appuis mthodologiques. Il sagit du cur de mtier du F3E. Le cofinancement ventuellement apport se veut incitatif pour encourager le recours lexpertise externe. Promouvoir le bnfice collectif entre ses membres et au-del. Le F3E facilite la valorisation des tudes quil accompagne en diffusant les rsultats des tudes ralises sur son site Internet, en organisant des restitutions largies dtudes et des journes dchanges, en ralisant des travaux de capitalisation, en pilotant des travaux dtudes collectives. Assurer une fonction de veille pour faciliter laccs aux ressources mthodologiques les plus innovantes et contribuer la diffusion de repres utiles lensemble des acteurs du dveloppement. Proposer un ensemble de modules de formation relatifs aux mthodologies dtude, dvaluation, de gestion de projets, ainsi que des formations thmatiques (par exemple sur Genre et dveloppement). Elaborer et diffuser des guides mthodologiques, sur la base de formations ralises ou dtudes collectives menes. Le CIEDELse situe comme un mdiateur entre la rflexion et laction dans le champ du dveloppement local et privilgie lapproche par les acteurs une chelle o ils peuvent exercer un pouvoir organis.
F3E
32 rue Le Peletier, 75009 Paris Tl n01 44 83 03 55 Fax n01 44 83 03 25 www.f3e.asso.fr f3e@f3e.asso.fr
Cre en 1994, le F3E est une association loi 1901 qui rassemble en 2009 prs de 80 organisations de solidarit internationale et collectivits territoriales franaises engages en coopration pour le dveloppement.
CIEDEL
9 rue dEnghien, 69002 Lyon Tl N04 72 77 87 50 Fax N04 72 41 99 88 www.ciedel.org ciedel@univ-catholyon.fr
Institut universitaire, le CIEDEL: propose une formation universitaire et professionnelle en Ingnierie de Dveloppement Local Lyon, est oprateur dappui des actions de dveloppement en France et linternational. Autour de la formation, le CIEDEL met en uvre quatre champs daction complmentaires: Une expertise de terrain sur les questions de dveloppement local, de dcentralisation et de coopration internationale et dcentralise. La participation lappui aux acteurs de coopration et solidarit internationale en rgion Rhne-Alpes, dans le cadre du GIP RESACOOP. La mise en rseau au niveau international de centres de formation dagents de dveloppement local, PROFADEL. La production de connaissances sur des thmatiques lies au dveloppement local, la dcentralisation et la coopration dcentralise. Larticulation entre ces quatre champs et la formation favorise son ancrage oprationnel sur les problmes clefs rencontrs par les acteurs de dveloppement.
Le CIEDEL (Centre International dEtudes pour le Dveloppement Local), institut universitaire de lUniversit Catholique de Lyon cr en 1990, est constitu depuis 2005 en association loi 1901.
Ce guide est dabord un compagnon. Il sadresse aux acteurs de terrain, concepteurs et animateurs dactions dducation au dveloppement et la solidarit internationale. Il a pour objectif de vous aider entreprendre une dmarche dauto-valuation de vos actions. 8 tapes ponctuent cette dmarche. Elles sont dveloppes dans le cahier central du guide. Vous y trouverez aussi des lments de rponses des questions plus larges: Ca veut dire quoi, valuer? Pourquoi valuer nos actions? Suis-je prt-e entrer dans laventure de lvaluation? Que vais-je en retirer? Quelles sont les diffrentes formes dvaluation? Pourquoi choisir les dmarches dauto-valuation?... Ce guide sappuie sur les pratiques dacteurs de terrain, partages travers des fiches dexpriences, des entretiens, des formations et des journes dchanges consacres la question de lvaluation en ducation au dveloppement et la solidarit internationale. Rdig par deux personnes ressource du CIEDEL ayant une expertise en formation et en valuation, port par EDUCASOL et le F3E, ce guide est le fruit de la mutualisation de leurs comptences. Il est ainsi au croisement des champs de lducation au dveloppement et la solidarit internationale et de lvaluation.
Participation aux frais 8 euros N ISBN 978-2-9508301-9-7 Document imprim sur papier rpondant aux normes cologiques en vigueur
9 782950 830197
GraphismeAtelier des Grands Pchers ImpressionCorlet

Guide Educasol 4 Couleurs Final

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Guide Educasol 4 Couleurs Final

Diunggah oleh

Hak Cipta:

Format Tersedia

EDUCATION AU DEVELOPPEMENT ET A LA SOLIDARITE INTERNATIONALE COMMENT auto-EVALUER SES ACTIONS?

Gilbert Graugnard et Ana-Maria Oliveira (CIEDEL)

EDUCATION AU DEVELOPPEMENT ET A LA SOLIDARITE INTERNATIONALE

Gilbert Graugnard et Ana-Maria Oliveira (CIEDEL)

LES PRINCIPALES CARACTERISTIQUES DUNE DEMARCHE DAUTO-EVALUATION DES ACTIONS DEAD-SI......................19

LAUTO-EVALUATION DUNE ACTION DEAD-SI EN 8 ETAPES...23

GLOSSAIRE. ................................................................... 81 BIBLIOGRAPHIE..............................................................87

LAUTO-valuation des actions dEAD-SI

LAUTO-valuation des actions dEAD-SI

Pourquoi le choix de lauto-valuation?

Une dmarche de production collective qui sest droule en 5 tapes

1. Une analyse transversale1 des pratiques dvaluation des actions dducation au

du guide: Analyse transversale.

rendu de cette journe sur le site www.educasol.org.

rendu de cette journe sur le site www.educasol.org.

LAUTO-valuation des actions dEAD-SI

5. Voir les Annexes N2, 3 et 4 du guide. 6. Voir lAnnexe N1

Des fiches techniques

Des dfinitions et une bibliographie

LAUTO-valuation des actions dEAD-SI

Pourquoi valuer nos actions? Diffrents types dactions

Que peut-on valuer? En conclusion:

Lvaluation des actions dEAD-SI

LEVALUATION DES ACTIONS DEAD-SI

Pourquoi valuer nos actions?

Vous vous posez des questions sur votre action dEAD-SI?

Comptences mobilises, outils pdagogiques, fabrication et diffusion

Un exemple de terrain7: On a tout remis plat

Diffrents types dactions et diffrentes modalits dvaluation en ead-si

Lvaluation de campagnes nationales

LAUTO-valuation des actions dEAD-SI

Lvaluation des actions sur le terrain

Que peut-on valuer?

Un exemple de terrain9: Organisation dune confrence sur le tourisme solidaire

2. Les effets immdiats de laction10

Lvaluation des actions dEAD-SI

Lvolution des reprsentations des participants:

LAUTO-valuation des actions dEAD-SI

3. Les changements long terme

Un exemple de terrain12: Lutte contre les discriminations

Lvaluation des actions dEAD-SI

En conclusion: des choix effectuer

On na pas les moyens de tout valuer

LAUTO-valuation des actions dEAD-SI

On peut faire lvaluation soi-mme

Avantages et difficults dune Auto-valuation accompagne Vous tes motiv(e) et vous

LAUTO-valuation des actions dEAD-SI

LES PRINCIPALES CARACTERISTIQUES DUNE DEMARCHE DAUTO-EVALUATION DES ACTIONS DEAD-SI

Un pralable indispensable lvaluation, la motivation

Avantages et difficults dune dmarche dauto-valuation

La dmarche dauto-valuation prsente des avantages

Elle prsente aussi des difficults

Vous tes motiv-e et vous souhaitez commencer ?

ETAPE N1 Dfinir laction

Lvaluation des actions dEAD-SI

LAUTO-EVALUATION DUNE ACTION DEAD-SI EN 8 ETAPES

ETAPE N1 Dfinir laction que lon veut valuer

1.1 Svaluer ou valuer son action?

1.2 Avant de commencer, deux cueils viter

1.3 Nommer laction valuer

1.4 Dcrire laction

Contexte stratgique de laction

Prcisez le dbut et la fin de laction et sa priodicit

Un exemple de terrain21: Ensemble contre toutes les discriminations