Public Disclosure Authorized

Public Disclosure Authorized

Public Disclosure Authorized

Public Disclosure Authorized

La Evaluacin de Impacto y el Ciclo de Proyecto

Mayo 2006

37906

Agradecimientos
Este documento fue escrito por Tara Bedi, Sumeet Bhatti, Xavier Gine, Emanuela Galasso, Markus Goldstein y Arianna Legovini. Est basado en discusiones en una sesin de trabajo en un Grupo Temtico. El grupo de trabajo estuvo compuesto por Pedro Arizti, Judy Baker, Tara Bedi, Aline Coudouel, Ariel Fiszbein, Emanuela Galasso, Xavier Gine, Markus Goldstein, Arianna Legovini y Susana Snchez, y la facilitadora Sharon Hainsfurther. Este programa de trabajo ha sido financiado por subvenciones del Fondo Fiduciario para el Desarrollo Ecolgicamente y Socialmente Sostenible apoyado por Finlandia y Noruega y el Programa de Sociedad de los Pases Bajos y el Banco, financiado por los Pases Bajos. El gerente de tarea para esta nota fue Markus Goldstein.

Introduccin
La meta de una evaluacin de impacto es atribuir impactos a un proyecto y nicamente a ese proyecto. Para poder hacerlo, se necesita un grupo de comparacin para medir lo que hubiese sucedido a los beneficiarios si el proyecto no se hubiera llevado a cabo. El proceso de identificar ese grupo, recolectar los datos necesarios, y conducir los anlisis relevantes requiere de mucha y cuidadosa planificacin. Una buena evaluacin de impacto provee las bases para una slida formulacin de polticas. Nos ayuda a entender si el proyecto ha tenido impacto o no, cun grande es ese impacto, y quin se ha beneficiado (o no). Adems de proporcionar evidencia firme que puede utilizarse para sopesar y justificar prioridades de polticas, la evaluacin de impacto tambin puede utilizarse como una herramienta de gerenciamiento-porresultados. A medida que la evaluacin avanza a la par del proyecto, puede utilizarse para testear caractersticas del proyecto, para modificar el diseo y mejorar la efectividad en el tiempo. Entre otras cosas, las evaluaciones de impacto pueden ayudar quienes disean las polticas a examinar el efecto de un piloto, comparar diferentes modos de prestaciones, y examinar el impacto del proyecto para diferentes poblaciones. Sobre todo, la evaluacin de impacto nos permite apredender qu proyectos funcionan en qu contextos, y usar estas lecciones para informar a las generaciones siguientes acerca de polticas no slo en el pas de inters, sino tambin en otros pases. Finalmente, el ejercicio de llevar a cabo una evaluacin de impacto contribuye a construir y sostener capacidades nacionales para una formulacin de polticas basada en evidencia. No hay un enfoque estndar para conducir una evaluacin de impacto. Cada evaluacin debe ser diseada especficamente para el proyecto, el pas, el contexto institucional y los actores involucrados. Habiendo dicho esto, existen algunas cuestiones generales y acciones que influyen en el exito de cualquier evaluacin de impacto. El propsito de este documento es ayudar a los lderes de equipode tareas (TTLs) a saber qu hacer en distintas etapas en el ciclo del proyecto para asegurar una evaluacin exitosa. Antes de pasar a recomendaciones especficas para la integracin de la evaluacin al ciclo del proyecto, vale la pena considerar algunos temas que deberan ser abordados cuando se planea e implementa una evaluacin de impacto. Integrando a la evaluacin de impacto con el proyecto Una buena evaluacin de impacto no es un ejercicio independiente. De hecho, debera estar estrechamente vinculado al proyecto. Este es un proceso bilateral. Por un lado, el evaluador principal (LE) debera estar ntimamente familiarizado con el proyecto, pas, y contexto institucional, las opciones de diseo que estn siendo consideradas, y los detalles de despliegue y ejecucin. Por el otro lado, el TTL y el cliente deben estar convencidos de la lgica de la evaluacin para entender qu elementos de diseo e implementacin de proyectos son crticos para llevar a cabo una evaluacin que

contribuir al xito del proyecto. Idealmente, estas dos perspectivas deberan considerarse conjuntamente cuando el TTL, el evaluador principal, y las contrapartes consideranlas opciones de diseo del proyecto para identificar cules de esas opciones necesitan ser testeadas. Relevancia Para que una evaluacin sea relevante, debe ser diseada para responder a las cuestiones de polticas que son importantes para el cliente. Clarificar desde el principio qu es lo que el cliente quiere aprender y disear la evaluacin para ese fin ayudar a asegurar que las recomendaciones de la evaluacin sern introducidas en el diseo de polticas. Esto require que se estructure la evaluacin de manera tal que puedan contestarse las preguntas que se presenten y responderse en el momento en que los comentarios pueden ser incorporado. Para los proyectos del Banco, las recomendaciones pueden estar relacionadas en el tiempo con la evaluacin de medio y la finalizacin del proyecto. Para los gobiernos, pueden relacionarse con discusiones de presupuesto, preparaciones PRSP, o informes de progreso (rendimiento) que dependen del contexto y las necesidades. Esto lleva al prximo principio. Propiedad del Gobierno El hecho de que gobierno sea dueo del proyecto es clave para el xito. La participacin del gobierno es crucial para a) identificar preguntas relevantes para la formulacin de polticas, b) asegurar la integridad interna de la evaluacin ayudando a asegurar que la evaluacin se mantenga al tanto con la realidad de la implementacin, y c) para asegurar que los resultados sean incorporados en las decisiones de polticas futuras y utilizados para informar la asignacin de recursos entre los programas/sectores. Para poder asegurar esta participacin, el TTL y LE trabajarn con el gobierno desde el principio sobre las opciones de evaluacin, mtodos, y ejecucin. Esta ser una oportunidad para desarrollar an ms la capacidad domstica para la formulacin de polticas basada en evidencia. Flexibilidad y adaptabilidad La evaluacin debe ser diseada para el proyecto especfico. Debe adaptarse al contexto, y cuando sea posible, capitalizar sobre los cambios planificados en el ambiente circundante. Esto requiere de la cooperacin entre el TTL, el evaluador principal, y las contrapartes gubernamentales. Para asegurar flexibilidad, la evaluacin debe ser planificada lo antes posible (lo cual es antes de lo que Ud. piensa). Si bien es posible que haya una incertidumbre considerable acerca de las actividades del proyecto en las etapas tempranas, al entender el grupo potencialmente grande de opciones, el equipo de evaluacin estar en una mejor posicin para identificar las opciones de evaluacin. La flexibilidad tambin requiere que se preste mucha atencin al entorno poltico. El equipo de evaluacin debe identificar y comunicarse con los sectores relevantes que

puedan estar a favor o en contra de la evaluacin, y debe mantenerse al tanto de cmo estos sectores tal vez cambien durante la vida de la evaluacin. La tensin del tiempo (timing) Existe un potencial para la tensin entre los objetivos de la evaluacin y el marco de tiempo del proyecto. Mientras que algunos de los impactos podran ser visibles dentro de un marco de tiempo corto, otros podran ser observados slo despus de concludo el proyecto. La construccin de un marco de resultados adecuados que reconoce el tema del tiempo contribuir al diseo de una evaluacin realstica. Ser necesaria la seleccin de resultados e indicadores que reflejen el tiempo del proyecto y la evaluacin. Para resultados de ms largo plazo, ser necesaria una estrategia financiera que permita la evaluacin luego de la finalizacin del proyecto.

Gua para este documento

El propsito de este documento es proveer una gua para el personal del Banco en el proceso de diseo y ejecucin de evaluaciones de impacto. Este documento no es una gua tcnica acerca de mtodos de evaluacin de impacto, sino que presenta consideraciones prcticas para la conduccin de una evaluacin de impacto. Este documento est estructurado alrededor de tres perodos en la vida del proyecto. El primer perodo abarca desde la identificacin hasta el momento en que se escribe la Nota de Concepto del Proyecto (PCN). El segundo perodo cubre desde la preparacin hasta la evalaucin (appraisal). El tercer perodo va desde la evaluacin hasta la finalizacin de la evaluacin de impacto (que puede ser an despus de terminar el proyecto). Cada perodo del ciclo del proyecto est dividido en seis secciones para ayudar a identificar distintos tipos de actividades, especficamente: Actividades de evaluacin los temas centrales que tienen que ver con el diseo y la implementacin de la evaluacin Construccin y mantenimiento de relaciones con las partes/sectores, el dilogo con el gobierno y los directivos del Banco Consideraciones del proyecto - consideraciones logsticas del proyecto que tienen que ver con la evaluacin Datos - temas relacionados con la construccin de la base de datos necesaria para la evaluacin. Recursos financieros consideraciones y la falta de respuestas simples para conseguir fondos. Ayuda - recursos disponibles para TTLs para asistir en el proceso de evaluacin

Las tareas se dividen entre los miembros de un equipo de evaluacin de impacto (IET). Este equipo estar integrado por: El TTL, que es el responsable por el diseo del proyecto de parte del Banco (TTL); Un evaluador principal (LE), a cargo de coordinar el diseo y la implementacin de la evaluacin y el anlisis de los resultados. LE se refiere frecuentemente a un equipo de evaluadores y recolectores de datos; y Las contrapartes gubernamentales (GC).

Para ms informacin acerca de mtodos ver en la red la pgina Evaluacin de Impacto, en la que se enlistan una seire de documentos tiles: www.worldbank.org/impactevaluation

I. Identificacin al PCN
A. Actividades de Evaluacin
Preguntarse las razones para hacer una evaluacin del proyecto (TTL). El TTL debera cuestionar si la evaluacin ser til, cmo justificar los gastos, si existe suficiente evidencia como para medir la efectividad de ese tipo de proyecto, y si hay alguna razn para creer que la evaluacin puede mejorar la prestacin de ste o futuros proyectos en este pas y sector. Identificar las preguntas acerca de polticas que la evaluacin podra abordar (TTL/GC/LE). A esta altura, lo especfico del proyecto puede no estar definido an. Sin embargo, es crucial comenzar a identificar las preguntas acerca de la formulacin de polticas que este trabajo intentar abordar y por esto es til en esta etapa comenzar a pensar acerca de para cules de los componentes del proyecto es relevante y realizable la evaluacin de impacto. Efectivamente, es bastante posible que la evaluacin de impacto no sea capaz de examinar todas las intervenciones bajo un proyecto dado, pero en cambio, se concentrara en un grupo de componentes de inters. La identificacin de preguntas acerca de la formulacin de polticas y cules componentes deben evaluarse es un proceso interactivo que ir mano a mano con el diseo del proyecto. Formar el equipo de evaluacin (TTL). Esto requerira la identificacin de un equipo de evaluadores internacionales y/o locales. Debe prestarte especial atencin a la seleccin del evaluador principal, que se asegurar la calidad del producto final. La habilidad que un evaluador debe poseer es la familiaridad con, y la habilidad de aplicar, una gama de metodologas de evaluaciones de impacto. Esta persona puede surgir de adentro o fuera del Banco, dependiendo de las habilidades necesarias y la disponibilidad. El evaluador principal deber supervisar a un equipo conformado por colectores de datos y (posiblemente) otros evaluadores. El TTL debera entonces organizar una discusin entre las contrapartes gubernamentales, el equipo del proyecto, e investigadores a efectos de comenzar el dilogo. Pensar la forma de trabajo del equipo (TTL). Esto incluir asegurar que el LE participe en discusiones exploratorias y de seguimiento con el equipo del proyecto y la contraparte gubernamental; que el gobierno asigne a una persona que se vincular con el resto del equipo y facilitar actividades en el terreno, y que la probable empresa recolectora de datos est involucrada para asegurar que se compartan los datos disponibles y que las actividades de recoleccin de datos concuerden con los planes nacionales. sto tambin es un buen punto de partida para comenzar a pensar en construir capacidad para la evaluacin de impacto en el gobierno y en los acadmicos locales y planear para eso. Escribir un prrafor par ser incluido en el PCN que identifique la motivacin para la evaluacin de impacto (TTL).

B. Construyendo y Manteniendo Sectores de Apoyo

Identificar sectores potenciales de apoyo y ayude a construir un apoyo de base amplia para el impacto de la evaluacin. Identificar a un probable defensor del lado gubernamental (TTL/GC). (Ver Apndice 1 para sugerencias de estrategias para conseguir apoyo gubernamental). Informar a la Direccin (TTL). Asegurarse de que directores del pas y de los sectores estn informados e involucrados en las etapas tempranas de evaluacin. Esto ayudar cuando llegue el momento de identificar recursos financieros, el dilogo con el gobierno, y asegurar el apoyo del proyecto a medida que contine.

C. Consideraciones del proyecto

Trazar un enlace entre la evaluacin de impacto y la Estrategia de Asistencia al Pas (CAS) (TTL). Como el Banco ha implementado CASs basados en resultados, debe considerarse el tema de cmo los resultados de esta evaluacin proporcionarn evidencia sobre resultados existentes del CAS y ayudarn a informar al CAS las prioridades en el futuro. Entender cmo la evaluacin puede construir sobre el proyecto existente y la base de conocimientos del sector, y aportar a futuros proyectos en este sector y pas (TTL/LE). Esto require que se examine qu es lo que funciona y qu es lo que falta conocer. Adems de una revisin de literatura, es til organizar una reunin de profesionales en estas cuestiones.

D. Datos
Explorar qu datos existen y pueden ser relevantes para usar en la evaluacin (LE). Esto requiere de decisiones con las agencias del sistema nacional de estadsticas para identificar fuentes existentes de datos y planes de futuras recolecciones de datos. Tambin puede ser til ver qu datos estn recolectando los acadmicos y las ONGs. Comenzar a identificar la necesidad de recolectar datos adicionales (LE). Los recursos de datos y financieros siempre de inter-relacionan, pero este es un buen momento para comenzar a pensar en posibles escenarios de subvencin/datos (LE/TTL).

E. Recursos financieros

Identificar probables fuentes de subvencin (TTL/LE/GC). Comenzar a pensar en cmo se subvencionar la evaluacin y cul ser el monto probabable de los recursos totales. El alcance de la evaluacin depender en parte del presupuesto disponible. Pero una evaluacin de alcance significativo podra atraer fondos adicionales. La fuente puede ser interna del Banco y externa, como en el caso del gobierno y donantes. Las donaciones PHRD pueden ser una buena fuente para el trabajo preparatorio, incluyendo el apoyo para que el LE pueda desarrollar el marco de trabajo analtico e instrumentos de encuesta, y recoleccin de datos de lnea base. Definir bajo qu arreglos contractuales contratar al LE (TTL/GC). Recuerde que, bajo las reglas del Banco, si el LE es contratado a travs los fondos presupuestarios del Banco, l/ella no ser elegible para competir por contratos gubernamentales para la implementacin de la evaluacin. Esto significa que el LE podra ser contratado ya sea por el Banco o el Gobierno para la duracin del proyecto (diseo e implementacin).

F. Support
Identificar a la persona de contacto para la evaluacin de impacto en su unidad/red (TTL). Esta persona puede referirle a consultores, recursos financieros y/o proporcionarle una gua especfica para la evaluacin. Identificar a consultores (TTL). El Grupo Temtico de la Evaluacin de Impacto (TG) dispone de una lista de consultores de evaluacin internacionalmente reconocidos [http://ieexperts.worldbank.org]. Incluye sus CV, y su informacin de contacto. Entender los mtodos y aprender acerca de las evaluaciones existentes en su rea de proyecto y pas. Para informacin sobre la metodologa de evaluaciones de impacto ver el sitio de TG [www.worldbank.org/impactevaluation]. Para ms informacin acerca de evaluaciones previas, el TG mantiene una base de datos (organizados por sector y pas) de evaluaciones de impacto ya finalizadas en [http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm] que incluye un resumen de resultados y mtodos. Pedir apoyo especfico para el proyecto. Para apoyo acerca del diseo de una evaluacin de impacto, PRMPR y HDNVP imparten a pedido clnicas de evaluacin de impacto. Estas clnicas reunen a los expertos del sector y del rea de evaluacin de impacto para trabajar con el equipo del proyecto. Aunque Ud. pueda no estar listo para una clnica en esta etapa, comience a pensar acerca de esta posibilidad ahora - es mejor tener estas clnicas apenas se haya desarrollado una nocin aproximada de las actividades del proyecto y los beneficiarios pretendidos. Para ms informacin ver la pgina web para la inscripcin: http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm.

II. Preparacin durante la evalucin (appraisal)

A. Actividades de Evaluacin
Identificar las caractersticas del diseo del proyecto que afectarn el diseo de la evaluacin (TTL/GC). Estas incluyen: Proyectar la poblacin objetivo y las reglas de seleccin. Para el propsito de la evaluacin, es importante que el proyecto describa con detalle la poblacin objetivo para la intervencin y cmo los beneficiarios finales sern seleccionados. Esto proporcionar al evaluador las herramientas para desarrollar la estrategia inicial para identificar impactos del proyecto. Desplegar el plan. Tambin ser importante comenzar a pensar en cmo se desplegar la implementacin para el proyecto y sus componentes. Esto no slo proporcinar a la evaluacin un marco de tiempo factible para coordinar actividades de recoleccin de datos, sino que tambin ayudar en el desarrollo de una estrategia para identificar impactos del proyecto.

Comience a desarrollar una estrategia de identificacin (por ejemplo, cmo identificar el impacto del proyecto separado de los cambios que se deben a otras causas) (LE). El LE seleccionar la muestra de unidades (hogares, empresas; comunidades, dependiendo del proyecto) que mejor servirn como comparacin contra la cual medir resultados en la muestra seleccionada dentro del proyecto. El grupo de comparacin sera, en el peor de los casos, observacionalmente equivalente al grupo seleccionado dentro del proyecto, y, en el mejor de los casos, ser equivalente en caractersticas observadas y no observadas. El rigor con el que el grupo de comparacin es seleccionado al comienzo de la evaluacin determinar mucha de la calidad y fiabilidad de los estimativos del impacto obtenidos durante el anlisis. La manera en que se implemente el proyecto afectar la habilidad del LE para desarrollar una estrategia vlida de identificacin. En esta etapa vale la pensa examinar la posibilidad de refinamientos del proyecto que van a enriquecer la evaluacin - por ejemplo, la manera en que el proyecto ser introducido, la clarificacin del criterio de elegibilidad, y el procedimiento para la seleccin de reas piloto. El punto aqu no es cambiar el desarrollo de objetivos del proyecto o cambiar los beneficiarios pretendidos, sino explorar los cambios marginales para un diseo de proyecto que ayude a mejorar la calidad de la evaluacin. Idealmente, la estrategia de identificacin y la seleccin de proyecto se desarrollan de manera tal que alcancen tanto los objetivos del proyecto como los de la evaluacin. En algunos casos, la estrategia de identificacin tal vez sea capaz de capitalizar en la introduccin del proyecto e identificar el grupo de comparacin que se beneficiar del proyecto en la fase II o III. La evaluacin se har entonces dentro del marco de tiempo permitido por la ltima fase del proyecto y no estar diseada para examinar efectos a 8

largo plazo. Esta estrategia es particularmente atractiva cuando el proyecto planifica la cobertura nacional hacia el final del perodo del proyecto. El objetivo de la evaluacin podr entonces confirmar la efectividad de la intervencin antes de la implementacin a mayor escala. Como se identic anteriormente, el TTL y GC podran tener que trabajar con el LE para modificar la seleccin de unidades para el despliegue de las fases I y II y poder apoyar de esa manera los objetivos de la evaluacin. Desarrollar el marco para los resultados del proyecto (TTL, LE). Esta actividad clarificar la cadena de resultados para el proyecto, identificar los resultados de inters y los indicadores ms apropiados para medir los cambios en esos resultados, y el horizonte de tiempo esperado para cambios en esos resultados. Esto proporcionar al LE alguna de la informacin necesaria para desarrolar el cuestionario de la encuesta y coordinar en qu momento se llevar a cabo la recoleccin de datos. Desarrollar un punto de vista acerca de cules caractersticas del proyecto deberan ser testeadas en primer lugar (TTL, GC, LE). El testeo temprano del proyecto (unos 6 meses a 1 ao) puede proporcionar la informacin necesaria para que el equipo modifique el proyecto desde temprano en la direccin que ms asegure el xito. Las caractersticas pueden incluir modos alternativos de prestaciones (por ejemplo, prestacin basada en escuelas vs. vertical), paquetes alternativos de productos (por ejemplo, campaas de concientizacin vs. servicios legales), o distintos esquemas de precios (por ejemplo, niveles alternativos de subsidio). ste enfoque requerir un marco de tiempo diferente para la recoleccin de datos y una mejor comprensin de impactos de corto pazo, que una evaluacin diseada solamente para medir los impactos del proyecto a su finalizacin. Identificar otras intervenciones en el rea del proyecto (TTL, GC). Es importante estar al tanto de todos los planes existentes y planeados en las areas que reciben el proyecto y en las que Ud. planea usar como comparacin. stos incluyen no slo proyectos del Banco, sino tambin del gobierno, ONGs, y otras actividades de donantes. Si no se toman en cuenta, pueden ser peligrosas para la validez de parte de la evaluacin. Cuando se las toma en cuenta, pueden abrir la puerta para testear la sinergia de distintas intervenciones. Piense en los riesgos de la evaluacin de impacto. Estos incluyen amenazas a la validez, como proyectos existentes en el rea del programa, desgaste de la muestra, amenazas causadas por problemas o cambios inesperados en la implementacin del proyecto (por ejemplo, retrasos en desembolsos, problemas de logstica, falta de adherencia al criterio de elegibilidad), y amenazas a la ejecucin de la evaluacin (por ejemplo potenciales cambios polticos/administrativos, incertidumbre de fondos).

B. Construyendo y manteniendo sectores de apoyo

Mantener dilogo con el gobierno, construir una amplia base de apoyo, e incluir a las partes (TTL/LE). sto ser crtico para sostener el apoyo gubernamental a fin de llevar a cabo la evaluacin. Temas para la discusin incluyen: Decidir entre rigor y viabilidad (ver discusin anterior sobre la identificacin de la estrategia), por ejemplo, discuta el ms riguroso (en el sentido de atribucin de impactos) diseo que sea viable no slo administrativamente, sino tambin polticamente. ste es un paso crtico para llegar a un acuerdo con el gobierno acerca del diseo de la evaluacin y es importante para asegurar el apoyo del gobierno para la integridad del diseo de la evaluacin (IET). Plan de diseminacin. El plan debera acordarse con las contrapartes gubernamentales para maximizar la probabilidad de que los resultados de la evaluacin sean aplicados al desarollo de polticas. Incluir un acuerdo sobre cmo y cundo los resultados provisionales y finales sern diseminados y aportados al ciclo de formulacin de polticas. Debe prestarse especial atencin al proyecto y a los ciclos de polticas para identificar puntos de entrada para usar en resultados de la evaluacin (por ejemplo, de medio punto y de cierre, para un proyecto; informe de sector, CGs, MTEF, presupuesto, para el gobierno). Debera incluir la identificacin explcita de los mecanismos y procesos para aportar los resultados nuevamente al proceso de formulacin de polticas y el diseo del programa. Puede considerarse la diseminacin de resultados a los grupos de tratamiento y comparacin (IET).

Creacin de Capacidad (TTL/LE). Utilizar la colaboracin de funcionarios del gobierno y acadmicos locales a fin de construir capacidad local para realizar evaluaciones de impacto. Ms actividades pueden implementarse con la ayuda de su IE de contacto regional/sectorial o el IE TG (entrenamientos, talleres, clnicas). El objetivo es fomentar la aceptacin institucional para la cultura de evaluacin y el gerenciamientopor-resultados.

C. Consideraciones del Proyecto

Integrar la evaluacin de impacto al proyecto como mecanismo para incrementar la efectividad de la implementacin del proyecto. Por ejemplo, distintas etapas de recoleccin de datos proporcionarn aportes al proyecto. Los datos de la lnea de base pueden utilizarse para mejorar la eficiencia del objetivo. Los resultados tempranos de una evaluacin pueden utilizarse para motivar a un cambio en el diseo de un proyecto al momento de una revisin de medio trmino. (IET) Iniciar formalmente una actividad de IE (TTL). El cdigo IE en SAP es una manera de formalizar las actividades de una evaluacin. El cdigo IE reconoci la evaluacin con un producto AAA separado. Ver el Apndice 2 para ms detalles acerca del cdigo y cmo usarlo. (TTL) Escribir una Nota de Concepto para la evaluacin de impacto (LE).

10

Identificar pares de evaluadores (TTL/CE). Idealmente, stos deberan incluir a alguien bien versado en mtodos de evaluaciones de impacto as como alguien familiarizado con el sector (TTL/LE). Tenga una reunin para evaluar la NOTA DE CONCEPTO para la evaluacin de impacto, si es aplicable (IET). Trabaje la evaluacin de impacto en el Anexo 3 del documento del proyecto (TTL/LE). Incluir la evaluacin de impacto en la Revisin de Mejoramiento de Calidad (TTL).

D. Datos
Explorar fuentes de datos existentes y recolecciones de datos planificadas para identificar datos que puedan abordar las necesidades de la evaluacin de impacto (LE). Incluir: o Censos o Encuestas (hogares, empresass, instalaciones, etc) o Datos administrativos o Datos del sistema de monitoreo del proyecto Documentar datos periodicamente (incluyendo planes futuros), calidad, variables cubiertas y marco de prueba y tamao de prueba.

Investigar sinergias con otros proyectos para combinar evaluaciones o al menos los esfuerzos de evaluacin de recoleccin de datos (LE, TTL). Puede ser possible combinar los esfuerzos de recoleccin de datos para mltiples proyectos, por ejemplo, usando los mismos instrumentos de encuesta e infraestructura de recoleccin de datos. La colaboracin puede mejorar la eficiencia en el uso de recursos locales (por ejemplo, agencias de estadsticas), asegurar que se ahorre en costos de encuesta, y garantizar que otras actividades sean tomadas en cuenta adecuadamente en la evaluacin; pero la colaboracin puede ser costosa en cuento a la coordinacin entre proyectos. Desarrollar una estrategia de datos para la evaluacin de impacto (TTL/LE). En la mayora de los casos, la evaluacin requerir de una recoleccin de datos. El plan incluir:

11

El marco de tiempo de la recoleccin de datos relativo a la implementacin del proyecto (por ejemplo, cundo se recolect la lnea de base/cuando debe ser recolectada?) Las variables necesarias. Estas necesitan cubrir no slo los impactos de inters, sino tambin los controles potenciales (por ejemplo, demogrficas, consumo) y (si es aplicable) variables instrumentales. stas proporcionarn la base para el diseo del cuestionario si es que se van a recolectar nuevos datos. El tamao de la muestra (factible y suficiente) y el marco de la muestra. Integracin de datos de otras fuentes. Esfuerzos existentes de recoleccin de datos sobre los cuales la nueva recoleccin de datos puedan apoyarse (si es relevante). Esto podra incluir la suma de otro mdulo o ms observaciones a una encuesta que ya est planificada.

E. Recursos Econmicos
Desarrollar y finalizar un presupuesto y planes para el financiamiento de la evaluacin de impacto (TTL/IET). Los costos deberan cubrir costos del LE (desde el diseo hasta el anlisis), costos de supervisin, y costos de recoleccin de datos. El financiamiento puede incluir BB, fondo de fideicomiso, donaciones de fondos, fondos para investigacin y para proyectos. Las evaluaciones implementadas por el Banco utilizarn el cdigo IE en SAP para identificar el producto. La IE implementada por el gobierno verter todos sus costos en el presupuesto del proyecto. Las soluciones hbridas haran que el Banco financie el anlisis y que el gobierno financie la recoleccin de datos. Si la evaluacin va a ser incluida en el presupuesto del proyecto, Ud. debe asegurarse de identificar una manera de pagar por cualquier recoleccin de datos que caiga fuera de las fechas efectivas del proyecto. El Apndice 3 proporciona una lista de las actividades con algunas nociones de costos y algunas opciones de financiamiento.

F. Apoyo para la evaluacin

Para ms informacin sobre encuestas, fuentes de datos, y capacidad general estadstica para un pas dado ver el sitio web de DECDG (tipear datos en un navegador de internet). Las pginas tiles incluyen pginas estadsticas de los pases y la Plataforma de Desarrollo de Datos, entre otras. Agendar una clnica de evaluacin de impacto. Las clnicas renen a un grupo de expertos que a pedido -proporcionarn apoyo especfico para el proyecto, para el diseo de una evaluacin de impacto. Para ms informacin, ver la pgina de inscripcin: http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm.

12

III. De negociaciones a la finalizacin...y ms all

A. Actividades de Evaluacin
Aunque la evaluacin ya ha sido diseada, es crtico que el TTL y el EL monitoreen la implementacin del proyecto con un ojo puesto en las amenazas a la validez del diseo de evaluacin. Estas pueden incluir retrasos en la implementacin que conviertan en intiles a los datos de la lnea de base, cambios en el objetivo del programa, y/o cambios mayores en las actividades del proyecto. sto tambin debera extenderse a prestarle atencin al monitoreo de los efectos del proyecto (a travs del monitoreo del sistema y la observacin) para consecuencias no buscadas, como los efectos que se derraman sobre el grupo de comparacin. No todas son amenazas para la evaluacin. Algunas podran presentar la oportunidad de redisear la evaluacin, incrementar su alcance y efectividad, y/o reducir costos de datos (TTL/LE). Monitorear la implementacin de la evaluacin (LE con aportes del TTL). Asegurarse de que las tareas se completen a tiempo y que el anlisis comience en el tiempo en que fue previsto. Comenzar el anlisis a medida que los datos estn disponibles, y alimentar datos al (LE). Usar datos y resultados del anlisis para informar acerca de cambios en el proyecto (a medio trmino) y evaluacin del proyecto al terminar (ICR). Aportar los cambios en el proyecto al diseo de la evaluacin como corresponda. Diseminar los resultados para informar a la prxima generacin de proyecyos, as cooperar con el desarrollo de polticas gubernamentales (TTL). Continuar colaborando con el gobierno y los investigadores locales para desarrollar capacidades para evaluaciones de impacto (TTL/LE).

B. Construyendo y manteniendo sectores de apoyo

Presentar los resultados de la evaluacin antes de hacerlos pblicos ante una audiencia ms amplia (TTL/LE). Esto asegurar que los temas delicados sean presentados ante la audiencia ms amplia de una manera polticamente sensible. Los gobiernos no deberan sentirse amenazados por los resultados de una evaluacin, sino verlos como una oportunidad de usarlos para incrementar la efectividad. El enfoque ayudar a desarrollar apoyo para polticas de seguimiento para los resultados de la evaluacin, y tambin evitar problemas polticos y contragolpes. Anticipar los resultados tambin a la direccin del Banco (TTL/LE).

13

Trabajar estrechamente con el gobierno en la diseminacin de los resultados (IET). Asegurarse de que el mensaje no se distorsione. Asegurarse de que las advertencias sean claras y repetidas con frecuencia.

C. Consideraciones del proyecto

Involucrar e informar a la unidad de implementacin local del proyecto y a la persona responsable en la Unidad Ejecutra del Proyecto (PIU) de monitorear y evaluar (TTL/LE). Realizar los arreglos necesarios para lograr el funcionamiento y financiamiento de la evaluacin de impacto en el tiempo adecuado (TTL). Utilizar resultados de la evaluacin desde los comienzos del proyecto y durante la evaluacin de medio trmino para redisear las fases posteriores del proyecto (TTL). Incluir los resultados de la evaluacin en el Documento de Cierre ICR (TTL). Incluir los resultados de las evaluaciones en los documentos marco para la preparacin del CAS (TTL).

D. Datos
Implementar la recoleccin de datos (IET): Si esto involucra recolectar nuevos datos: Cumplir con la lnea de base antes de la implementacin (tomar nota de que sto puede o no ser antes de efectividad del proyecto). Dar pasos para asegurar la calidad de los datos, incluyendo una discusin explcita antes de la lnea de base acerca de los mecanismos que aseguren la calidad de los datos (IET). El TTL y el LE deberan monitorear de cerca la calidad de los datos de la lnea de base desde el principio hasta el fin, el ingreso de datos, y cualquier recoleccin de datos subsiguiente. Si esto incluye el uso de fuentes de datos existentes: el TTL y/o el LE necesitan vincularse con las agencias recolectoras de datos para asegurar que los planes de recoleccin de datos estn avanzando segn lo previsto. Si sto involucra la recoleccin de datos a travs de colaboracin (sto se aplica potencialmente a ambos casos arriba): el TTL necesita mantener contacto con las otras organizaciones involucradas, para evitar problemas inesperados. En casos cuando este esfuerzo coordinado involucra un nmero importante de actores, puede ser til establecer algn tipo de foro para que sto tenga lugar.

14

E. Recursos econmicos
Asegurarse de que haya fondos suficientes para la evaluacin, recaudar fondos en la medida necesaria (TTL). El TTL debera mantenerse en contacto con el LE durante el anlisis para asegurarse de que habr suficientes recursos para el anlisis.

15

F. Apoyo para la evaluacin

Solicitar el apoyo necesario de la persona contacto del IE en su regin/sector. Utilizar recursos de la web y recursos del Grup Temtico IE, como sea necesario:http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm proporciona ejemplos de trabajos similares en el pas/sector, si es que existen.

16

Apndice 1 Algunas sugerencias para incrementar el apoyo para una evaluacin de impacto
En este apndice proporcionamos algunas ideas y sugerencias sobre cmo fortalecer el apoyo para una evaluacin de impacto. Para una discusin ms detallada de la experiencia de un equipo con este tema, ver la nota siguiente en esta serie que analiza las experiencias en Argentina. Trabajar con las contrapartes gubernamentales desde el principio. Pasar un tiempo considerable explicando la motivacin/utilidad y mtodos. Comprender quines son los clientes y cules sus necesidades. Desarrollar una evaluacin de impacto que conteste las preguntas prioritarias de los clientes. Entender a las otras partes interesadas su posicin en los temas que rodean a la evaluacin, cmo podran afectar la evaluacin, y cmo podran reaccionar frente a los resultados. Pasar tiempo con estos grupos, explicando la motivacin/utilidad y mtodos. Identificar a alguien que abogue dentro del gobierno. Este defensor puede ayudar argumentando a favor de la evaluacin inicialmente, asegurndose de que se ejecute bien, y ayudando a asegurar el aprovechamiento de los resultados. Involucrar a investigadores locales. Un buen lugar para comenzar sera con aquellos involucrados en el PRSP, ya que es muy probable que tengan acceso al gobierno y comprendan los temas y el contexto. Desarrollar capacidad de evaluacin de impacto (especialmente en lo que respecta al trabajo analtico) dentro del gobierno no slo proporcionar beneficios en cuanto a la calidad de evaluacin (por ejemplo, un mejor entendimiento del contexto institucional y la implementacin) pero tambin ayudar a fomentar apoyo para evaluaciones futuras. Si es posible, conseguir participacin de individuos de alto perfil en el Banco que apoyen este dilogo con el gobierno. Facilitar acceso a recursos humanos de alta calidad - facilitar lo ms posible que las contrapartes puedan entregar una evaluacin de impacto de alta calidad. Si Ud. no puede identificar los recursos por s mismo, consulte algunas de las fuentes en las secciones sobre apoyo mencionadas anteriormente.

17

Investigue acerca de costos y opciones de fondos antes de hablar con el gobierno acerca de la evaluacin. Piense en los posibles derrames positivos que generar la evaluacin (por ejemplo, datos acerca de poblaciones de inters). Si es aplicable, proporcionar resultados provisionales a los clientes. Adems de manterner a tanto al cliente acerca de la direccin de la evaluacin, stos pueden ser utilizados para MID-TERM correcciones de polticas si se justifican.

Cuando los resultados estn listos... Hacer advertencias claras, directas, y repetidamente - sto ser importante para asegurar que los resultados sean interpretados correctamente. El momento en que se emiten los resultados es importante. Entienda el ciclo de toma de decisiones polticas domsticas y emita sus resultados en el momento en que sea til para maximizar el impacto sobre las polticas. No sorprenda a los actores claves. Es aconsejable anticiparles los resultados antes de que se divulguen ampliamente. Proporcionar orientacin constructiva en lo referente a polticas. La identificacin de la magnitud del impacto y los efectos en distintos grupos es slo el primer paso. La discusin sobre las implicancias de las polticas que provienen directamente de los resultados de la evaluacin ayudarn al gobierno a identificar las mejores formas de poner en uso los resultados de la evaluacin. Comunicar en distintos formatos (tcnicos, menos tcnicos) a diferentes audiencias, dentro y fuera del gobierno.

18

Apndice 2 Convirtiendo a una evaluacin de impacto en un producto del Banco

Notar que sta es una reimpresin del DEC-OPCS Implementando Evaluaciones de Impacto en el Banco Mundial: Nota de Gua Como parte de la agenda de resultados, el Banco ha hecho esfuerzos importantes por expandir y ahondar las evaluaciones de impacto. A travs de la iniciativa de Desarrollo de la Evaluacin de Impacto (DIME), ha proporcionado coordinacin y facilitacin a unidades y staff del Banco involucrados en actividades de evaluacin de impacto. En reconocimiento de esta nueva tendencia, OPCS estableci a la IE como una nueva lnea de producto. Esta nota proporciona orientacin al staff acerca de la implementacin de esta nueva lnea de producto. Trasfondo El nfasis realzado en el monitoreo y la evaluacin de programas es un aspecto clave de los enfoques de desarrollo asistencial basados en resultados ste es un desafo multifactico que involucra una amplia gama de actividades: desde el monitoreo y la evaluacin del progreso en la implementacin de programas, hasta la medicin de cambios en resultados y la evaluacin del impacto de intervenciones especficas sobre esos el Banco Mundial est tomando medidas para expandir y mejorar su propio enfoque sobre estas actividades de monitoreo y evaluacin. Entre el material acerca de los enfoques de evaluacin, las evaluaciones de impacto tienen un rol importante. Su objetivo es evaluar los resultados especficos atribuibles a una intervencin particular (por ejemplo, el incremento en el aprendizaje estudiantil como resultado de un cambio en el arreglo de contratos o mayores ingresos entre micro-emprendedores como resultado del mejoramiento en el acceso a crditos). Lo logran usando un contrafactual que representa el estado hipottico que hubieran experimentado los beneficiarios sin la intervencin. Desde ese punto de vista, las evaluaciones de impacto son un instrumento esencial para poner a prueba enfoques especficos que abordan desafos de desarrollo (por ejemplo, reducir la mortalidad infantil o incrementar la productividad de granjeros pobres). Las evaluaciones proporcionan un instrumento poderoso para determiner qu funciona y qu no, y constituyen as un medio fundamental para aprender acerca de intervenciones de desarrollo efectivas. Al mismo tiempo, particularmente cuando se llevan a cabo de manera comparable y consistente a travs de los pases, las evaluaciones de impacto pueden proporcionar puntos de referencia necesarios para el diseo de programas y monitoreo. En el pasado, dichas evaluaciones estaban limitadas por la falta de datos y los desafos tcnicos para desarrollar un contrafactual. Durante los ltimos aos, sin embargo, mejoras significativas en estas dos reas han hecho que las evaluaciones de impacto sean ms fciles de implementar de manera sistemtica: los mircro datos recogidos a travs de encuestas demogrficas, de salud, o de hogares se encuentran ms 19

disponibles y una se ha desarrollado una amplia gama de tcnicas de evaluacin para construir el contrafactual desde experimentos aleatorizados hasta tcnicas cuasi experimentales.
Box 1: Mtodos de evaluacin Existen dos enfoques bsicos para construir el contrafactual. Diseos experimentales (tambin llamados diseos de control aleatorizados) construyen el contrafactual a travs de una seleccin de tratamiento aleatorizada y grupos de control. Dados tamaos apropiados de muestras, el proceso de seleccin aleatorizada asegura la equivalencia entre el tratamiento y los grupos de control, tanto en caracteristicas observables como no observables. El otro enfoque, de diseos cuasiexperimentales (tambin llamados diseos no-experimentales), se basa en modelos estadsticos o caractersticas de diseo (que a veces generan experimentos naturales, no planeados) para construir un contrafactual e incluir enfoques tales como el diseo de discontinuidad en la regresin, pareo de propensin de resultados, y variables instrumentales. En la prctica, los mtodos cuasi-experimentales son mucho ms comunes que los diseos de control aleatorizados.

Gua para implementar actividades de evaluacin de impacto La Evaluacin de Impacto (IE) es una nueva lnea de productos que ha sido establecida bajo el paraguas de AAA. Otras lneas de producto en la familia AAA son: Trabajo Econmico y Sectorial, Asistencia Tcnica, Coordinacin de Donantes y Ayuda, Servicios de Investigacin, y el Informe Sobre el Desarrollo Mundial. Para calificar como IE, una actividad debe cumplir con el siguiente criterio: (i) Involucrar trabajo emprico para medir los efectos en un conjunto de resultados clave de una intervencin de desarrollo (que puede estar asociada por ejemplo a un gobierno o un programa/proyecto de una ONG o uno de sus componentes) relativo a un contra-factual bien especificado (por ejemplo, cul hubiera sido la evolucin de los resultados sin la intervencin). La intervencin a ser evaluada no necesita recibir apoyo econmico directo del Banco Mundial para calificar para ser una evaluacin de impacto apoyada por el Banco. (ii) Apuntar a informar a un cliente externo. Los clientes externos tpicamemte son los prestatarios del banco, pero tambin estn incluidos otros pases miembros, donantes, ONGs, organizaciones del sector privado en pases en desarrollo, u otros miembros de la comunidad de desarrollo. Los clientes externos no estn necesariamente basados en el pas donde el proyecto se est llevando a cabo. (iii) Conduce a un informe libre incluso cuando ste est unido a la preparacin y/o la supervisin de un proyecto/programa financiado por el Banco. El informe debe ser iniciado por una unidad especfica del Banco. Hay diferencias importantes entre la IE y otros productos existentes del Banco: Diferencia entre Trabajo Econmico y Sectorial (ESW) e IE: ESW es un anlisis emprendido expresamente con la intencin de influir en las polticas de un cliente 20

externo y programas. Por otra parte, la IE tiene el objetivo ms limitado de establecer, por un anlisis riguroso, los cambios de los resultados que pueden ser atribuidos a una intervencin especfica (el proyecto, el programa, o las polticas). Estos resultados eventualmente podran conducir a recomendaciones de polticas (a travs de otro instrumento del Banco) para el pas o para otros clientes externos, pero no es el objetivo de la IE. Diferencia entre IE y TA: En una TA no prestataria, el Banco puede apoyar una evaluacin de impacto conducida por un gobierno, proporcionando slo consejo tcnico sobre cmo conducir ciertos componentes de una evaluacin de impacto o desarrollando la capacidad del pas para conducir evaluaciones de impacto. Bajo una actividad codificada IE, el Banco est activamente comprometido con todos los aspectos de la IE, y provee un resultado final incluso cuando es realizado conjuntamente con otras agencias (incluyendo gobiernos). Diferencia entre las evaluaciones de IE e IEG: La responsabilidad primaria del IEG es evaluar las operaciones del Banc ex - post a lo largo de muchas dimensiones - por ejemplo, la importancia de cada operacin y su alineacin dentro de la estrategia de desarrollo de un pas, el grado al cual los objetivos de las operaciones han sido alcanzados y son sostenibles. Una IE procura evaluar el impacto de una intervencin sobre la base de un contrafactual slido, sin importar si la intervencin es apoyada econmicamente por un Banco o no. Se espera que el procesamiento de una IE incluya los siguientes pasos: (i) Crear el Resmen de Iniciacin de Actividad (AIS) en SAP. Los gerentes designados (tpicamente el Director de Pas y el Gerente de Sector) aprueban la actividad y la autoridad del VPU libera los fondos. En este momento la fecha de aprobacin del AIS se actualiza automticamente en SAP. En el resumen de Iniciacin de Actividad (AIS), los TTLs deben seleccionar al menos un Objetivo de Desarrollo (DO) que representa el objetivo al emprender una IE en particular y el/los indicador(es) del resultado relacionados, que especifican los resultados provisionales asociados con el objetivo de desarrollo. En general, cada evaluacin de impacto necesita una AIS separada. Sin embargo, donde un agrupamiento de varias evaluaciones se justifica (por ejemplo, la evaluacin de los componentes diferentes de un programa, o la evaluacin de impacto sobre varios resultados), ellos pueden ser agrupados bajo un solo AIS. Una IE es considerada un producto conjunto si (a) su preparacin involucra substanciales contribuciones financieras o en especie, cubriendo 10 por ciento o ms del costo del producto, de al menos un donante multi o bilateral y (b) esa agencia acepta el producto como tal junto con el Banco, como ha sido sealado en el documento de concepto y el informe eventual. El lder del equipo debe documentar la naturaleza al completar en la

El apoyo sustancial de un Fondo Fiduciario no califica automticamente al producto como una IE conjunta, a menos que el donante del Fondo Fiduciario tambin acepte el resultado como un producto conjunto. Este apoyo se seala en la tapa u otra parte del informe.

21

AAA conjunta en el AIS/AUS. OPCR evaluar regularmente todos los productos IE en la fase AIS/AUS y chequear que las actividades estn correctamente codificadas. El equipo OPCR podr contactar al lder del equipo de tareas para solicitar mayor informacin sobre la IE si es necesario. Preparar la Nota de Concepto. En general, una Nota de Concepto cubre: (a) el racional; (b) los objetivos y la metodologa; (c) el impacto que se espera del trabajo; (d) la composicin del equipo y los recursos (Banco, socios, cliente, incluyendo Fondos Fiduciarios); (e) la diseminacin/el plan de seguimiento, y (f) el cronograma. (iii) Evaluacin de Pares/mejoramiento de Calidad. La actividad de IE require de una evaluacin de pares/mejoramiento de calidad. Una lista de evaluadores pares recomendados estar a disposicin del staff. Se espera que los VPUs definan las especificaciones de los mecanismos de mejoramiento de calidad (esto es, naturalieza del proceso de evaluacin para los documentos de concepto e informes de evaluacin final y responsabilidades especficas), como para cualquier producto AAA. (iv) Documentar mojones claves. TTLs deben ingresar cada mojn (milestone). Comienzo de Implementacin de Actividad/Nota de concepto (esto es, la fecha cuando el equipo inicia el verdadero desarrollo del producto o la fecha cuando la nota de concepto sea evaluada o aprobada) en el Resmen de Actualizacin de Actividad (AUS) en SAP. Tambin deben actualizar el verdadero mojn de Entrega al Cliente y Entrega Final (esto es, la la fecha en que el informe de la evaluacin final es aprobado por el gerente designado y se la entrega para ser publicada). (v) Publicacin y Diseminacin. Al momento de la entrega final, el informe de evaluacin se presenta para publicacin en la Serie de Documentos de trabajo de Evaluacin de Impacto de Desarrollo del Banco Mundialcon pleno reconocimiento de la unidad que origin el trabajo y el equipo. Esta nueva serie ser coordinada por la oficina del Economista Jefe (DECVP) y tendr su propio comit asesor que ser responsable de evaluar la solidez de la metodologa de la IE antes de autorizar su publicacin. La diseminacin de los resultados del informe de evaluacin contina siendo la responsabilidad de los TTLs, quienes deben archivar en IRIS todo el material de diseminacin (lista de participantes, presentaciones, agenda, puntos de conversacin, minutas de la reunin, etc). (vi) Crear el Resmen de Finalizacin de Actividad (ACS) en SAP. Los procedimientos ACS requieren que el lder del equipo de tareas ingrese un ACS en SAP para la IE. El ACS debera completarse dentro de los seis meses desde la entrega al cliente, siempre que todas las tareas asociadas con la actividad se hayan completado. Los gerentes designados aprueban la ACS y la fecha actualizacin de ACS se llena automticamente en SAP. En el Resmen de Finalizacin de Actividad (ACS), los TTLs deben evaluar los indicadores de resultado para cada

22

DO seleccionado, reflejando en qu medida se logrado (plenamente, en gran parte, parcialmente, no). (vii) Recursos a disposicin del staff involucrado en actividades de IE. El staff involucrado en actividades de IE tiene acceso a una serie de iniciativas de apoyo: (i) una nmina de evaluadores pares recomendados; (ii) una nmina de consultores externos expertos en evaluaciones de impacto; (iii) una base de datos interactiva de evaluaciones de impacto de proyectos apoyados por el Banco, que cubre mtodos y resultados, (iv) recursos de aprendizaje (incluyendo materiales de guas tcnicas, notas sobre mtodos de evaluacin especficos del sector, material de entrenamiento, y otros recursos relevantes) y (v) clnicas de evaluacin. Todo esto puede accederse a travs de una pgina web (www.worldbank.org/impactevaluation)

23

Apndice 3 Costos ilustrativos de una evaluacin de impacto

Este anexo proporciona algunas nociones de cifras para la variedad de actividades que una evaluacin de impacto puede incluir. Finalmente, todos los costos y especialmente aquellos de la recoleccin de datos dependern del mtodo utilizado para la evaluacin de impacto. Tambin es probable que los fondos disponibles afecten la eleccin del mtodo. Ms an, la recoleccin de datos y los costos de consultores puede variar significativamente segn los pases. Estas cifras son puramente ilustrativas, y las experiencias individuales sern variadas. Algunos componentes bsicos sern: 1. Evaluador Lder (debe ser la misma persona desde la pre-preparacin hasta el anlisis posterior a la finalizacin). Este individuo ser responsable de evaluar el diseo de la evaluacin, del diseo del instrumento de encuesta, y el anlisis de datos. Si el LE es externo al banco: Para un investigador senior, alrededor de $50-100,000 para honorarios profesionales ms costos de viaje (se estima que constar de al menos tres viajes, uno de los cuales ser durante la preparacin). Si el investigador es interno al Banco: estimar unas 5-15 semanas de staff por ao. Un tema para considerer son los procedimientos que regulan la contratacin de los mismos consultores en la preparacin y durante la implementacin. El evaluador lder deber estar involucrado en todas las etapas del proyecto. 2. Experto en diseo de muestra, aproximadamente $3,000 en honorarios profesionales ms gastos de viaje (un viaje). Es muy probable que este costo ocurra durante la preparacin. 3. Recoleccin de datos: contratar a la agencia nacional de estadsticas o una empresa de encuestas. La eleccin depender de la capacidad de la empresa y la experiencia relativa al tamao de la muestra deseada. Si la evaluacin requiere de una encuesta aparte, el costo depender del tamao de la muestra, el largo del cuestionario, y la dispersin geogrfica de la muestra. Los costos por entrevista pueden variar entre $50 y $150 por persona que responde por entrevista. Por ejemplo, una muestra del tamao de 1,000 hogares costar, por dos vueltas de recoleccin de datos, desde $100,000 hasta $300,000. Si es posible apoyarse sobre una encuesta existente, el costo ser menor 4. Supervisin por la duracin de la evaluacin. Debera ser un consultor basado localmente, que cubra todos los aspectos de la implementacin de la evaluacin. Los costos pueden variar desde $12,000 hasta $20,000 por ao. 5. Los costos de supervisin provenientes del Presupuesto del Banco debern tenerse en cuenta. Esto probablemente incluir un viaje por ao, y podr combinarse con otras actividades, dependiendo de quin del equipo del Banco est supervisando la evaluacin.

24

6. Diseminacin de los resultados provisionales y finales. Esto incluir dos viajes, ya sea de las contrapartes a la sede, o del equipo de evaluacin al pas.

25

Fuentes de financiamiento: Los items 1 y 2 requerirn de fondos de preparacin de proyecto para todo el trabajo que tenga lugar antes de la aprobacin. El financiamiento por donaciones (o el uso del cdigo IE dentro del BB presupuesto del Banco) es necesario para proveer de fondos a las etapas posteriores del trabajo del Evaluador Lder (las cuales probablemente se extendern ms all del proyecto). Los items 3 y 4 pueden ser financiados a travs de fondos del proyecto para actividades dentro del ciclo del proyecto. En el caso de recoleccin de datos fuera del ciclo de proyecto, se debern usar otras fondos o donaciones del gobierno. El item 6 requiere de una donacin para financiaminto o presupuesto del Banco (posiblemente a travs del cdigo de IE).

26