Nmero 29
Lara Gonzlez
D.L.: Bi-1473-91
ISSN: 1130-9962
Impresin: LANKOPI, S.A.
NDICE
Introduccin 5
Bibliografa 47
3
Interior n 29 26/9/05 18:26 Pgina 4
Interior n 29 26/9/05 18:26 Pgina 5
INTRODUCCIN
Parece que en los ltimos tiempos hablar de eva- tras potencialidades?, o, es ms bien que no estn
luacin est de moda. Y lo cierto es que son gran- interiorizados o claros conceptos como evaluacin,
des los esfuerzos que las agencias internacionales, seguimiento, evaluacin ex-post o el impacto? o
las ONG y otras entidades estn realizando por resulta que ninguno de los modelos propuestos
mejorar la gestin y, sobre todo, el impacto que nos parece vlido ni prctico?
generan los proyectos de desarrollo en las pobla-
ciones, las comunidades y los pueblos beneficia- Con este documento, pretendemos principalmente
rios. En ese sentido, y en muchas ocasiones moti- presentar y clarificar el concepto de evaluacin ex-
vados por el aprendizaje de los fracasos, los orga- post dentro del mbito de la gestin de proyectos
nismos han invertido tiempo, esfuerzo y recursos de desarrollo, haciendo hincapi en la necesidad
en mejorar sus intervenciones y la gestin de las de su uso normalizado dentro del ciclo de vida de
mismas. Es por ello que, hoy en da, la mayora de los proyectos. Se trata de promover su uso al inte-
las agencias, ONG, etc., disponen de sistemas pro- rior de las instituciones, agencias y ONG, como
pios para la identificacin y la planificacin de las una tarea necesaria y sencilla que aporta ms ven-
acciones. tajas que desventajas para la toma de decisiones y
la gestin en general.
Pero no ocurre lo mismo en cuanto al seguimiento
y a la evaluacin ex-post. Si bien se ha avanzado Es por ello que en primer lugar, presentamos la
en las propuestas para realizar evaluaciones ex- evaluacin de una manera sencilla y pedaggica,
post o de impacto, todava son pocas las entidades como una accin constante en el ciclo de vida de
que lo asumen como una prctica generalizada, y, los proyectos de desarrollo, as como sus funciones
mucho menos, las experiencias sistematizadas y como una etapa propia y distinta del seguimiento.
pblicas que puedan servir de aprendizaje al resto. En la segunda parte, realizamos un repaso rpido a
las diversas propuestas que el medio ofrece en
Son varias las cuestiones que surgen en torno a relacin a los agentes, modelos y herramientas
este punto: por qu cuesta tanto asumir una cul- necesarias para evaluar, y presentamos una peque-
tura evaluativa, de revisin de lo realizado y de a propuesta de cmo articularlas de manera inte-
compartir los aprendizajes?, somos las ONG reti- grada y flexible. Por ltimo, me refiero al impacto,
centes al cambio, a poner sobre la mesa nuestros tema que suscita en la actualidad algunos debates
errores del pasado y permitir que otras entidades, en torno a su valoracin y que supone, desde lue-
seguramente con proyectos similares a los nuestros, go, un nuevo reto conceptual y metodolgico para
puedan aprender de los errores y aprovechar nues- evaluadores y gestores.
5
Interior n 29 26/9/05 18:26 Pgina 6
Interior n 29 26/9/05 18:26 Pgina 7
Cuadro 1
El concepto de proyecto
Un proyecto es un conjunto autnomo de inversiones, actividades polticas y medidas institucionales o de otra
ndole, diseado para lograr un objetivo especfico de desarrollo en un perodo determinado, en una regin
geogrfica delimitada y para un grupo predefinido de beneficiarios, que contina produciendo bienes y/o pres-
tando servicios tras la retirada del apoyo externo, y cuyos efectos perduran una vez finaliza su ejecucin.
7
Interior n 29 26/9/05 18:26 Pgina 8
Otra definicin, algo ms sencilla, es la de la Las ventajas del concepto de proyecto de desarro-
UNESCO, que define el proyecto como una activi- llo frente a otros (capacidad de generar impacto en
dad destinada a conseguir ciertos objetivos espec- el largo plazo, entrar en relacin directa con el
ficos con un presupuesto dado y en un perodo de colectivo beneficiario, etc.) no le exime de ciertos
tiempo determinado. inconvenientes o desviaciones que pueden produ-
cirse en la ejecucin de los mismos.
En resumen, se encuentran en la literatura varias
definiciones del trmino proyecto, aunque siempre Por ello, como seala el Instituto Latinoamericano y
hay algunos elementos que se repiten y que son del Caribe de Planificacin Econmica y Social-ILPES
los que mejor lo caracterizan. En primer lugar, (1998), se hace necesario incrementar la racionalidad
entendemos el proyecto como un instrumento, una de las polticas en general y, por consiguiente, de
herramienta o un medio que permitir alcanzar los programas (o proyectos)2, que permitan ir dismi-
unos objetivos propuestos o unas metas orientadas nuyendo las deficiencias que se han encontrado en
a cubrir unas necesidades y conseguir ciertos cam- numerosas intervenciones de desarrollo.
bios en la realidad de determinadas personas. As,
Aun siendo el objetivo ltimo de un proyecto apro-
los grupos beneficiarios son los protagonistas del vechar el pasado para actuar mejor en el futuro, es
proyecto, bien como objetos de la accin de cam- conveniente que el proyecto sea una intervencin
bio o bien como sujetos del proyecto que partici- sobre la realidad debidamente planificada y gestio-
pan en el mismo, aprovechando sus potencialida- nada que intente eliminar las principales deficien-
des y recursos para hacer sostenibles las iniciativas cias inherentes al propio modelo de cooperacin.
puestas en marcha. A estos elementos hay que As, un sistema de gestin de proyectos de desa-
sumar el tiempo y el lugar de realizacin del pro- rrollo es un conjunto de procedimientos explcitos,
yecto. cuya finalidad es mejorar la toma de decisiones en
Los proyectos son, adems, por definicin, unida- relacin con la asignacin de recursos para el logro
des operativas estructuradas con base en un con- de objetivos a travs de la movilizacin de medios
junto de procesos tcnicos que responden a una adecuados para su obtencin.
concepcin econmica y tecnolgica. Se trata de La Comisin de las Comunidades Europeas seala
una unidad operativa en relacin con otras catego- dos elementos claves en la mejora de la gestin de
ras mayores en las que se inserta. proyectos de desarrollo:
Es por ello que es necesario distinguir los proyec- Generar procesos que incorporen calidad en la
tos de los programas y de las polticas, puesto que gestin del propio proyecto; mejor y ms rea-
son de escala menor que stos. Se habla de polti- lista definicin de objetivos, identificacin rea-
cas, cuando se hace referencia a grandes objetivos lista de los medios y recursos disponibles,
de desarrollo insertados en una estrategia; de pro- incorporacin de modelos participativos, res-
gramas, cuando son intervenciones especficas de peto a los valores socioculturales, incorpora-
esas polticas, y de proyectos, cuando su actuacin cin de la perspectiva de gnero, refuerzo de
es referida a un nivel local, y se caracterizan por la capacidad gestora de los organismos que
interactuar directamente con el colectivo beneficia- ejecutan el proyecto, cuidado de la salud finan-
rio. Los proyectos son componentes, partes o ele- ciera de los proyectos, impactos no previstos,
mentos de programa. Son centros de asignacin de etc.
recursos para desarrollar un programa dentro de un Concebir el proyecto como un todo integrado
plan o poltica. Son unidades operativas que cana- que permita establecer cierta disciplina para la
lizan recursos e intervienen actores que alteran la toma de decisiones en los momentos oportunos:
situacin inicial. desechar ideas iniciales no vlidas, realizacin de
2
El ILPES prefiere referirse a programas, dada la mayor amplitud del trmino y su referencia a recursos de operacin, ms que a recursos de inversin, como es el caso
de los proyectos (Ver ILPES: Gua para la identificacin, preparacin y evaluacin de programas sociales. Direccin de proyectos y programacin de inversiones. Santia-
go de Chile. 1998. Pgs 11-14).
8
Interior n 29 26/9/05 18:26 Pgina 9
estudios de factibilidad, financiacin realista, mentos esenciales a lo largo del ciclo, desde la pri-
seguimiento sistematizado de la ejecucin del mera idea hasta la ltima evaluacin a posteriori,
proyecto, posibilidades de reorientacin del mis- efectuada tiempo despus de la realizacin del pro-
mo, evaluacin como acopio de informacin yecto. Esto es lo que se ha denominado el Enfoque
para la toma de decisiones futuras, etc. Integrado (Comisin de las Comunidades Europeas,
1993).
La concrecin de esto se verifica en el denomina-
do ciclo de gestin del proyecto, que supone una Por ltimo, es necesario ser conscientes de la con-
atencin detallada e integral de todos los pasos por cepcin de desarrollo que est detrs de la gestin
los que un proyecto transita, desde su concepcin de proyectos de desarrollo. En esta lnea, Alan Tho-
como idea hasta la evaluacin final o posterior, mas (Development in Practice; 1999) retoma el
pasando por todas las etapas correspondientes. debate en torno a la buena gestin y establece dife-
Este instrumento debe inducir a todas las personas rencias entre la gestin del desarrollo, la gestin en
responsables de la concepcin, ejecucin y evalua- el desarrollo y la gestin para el desarrollo como
cin de los proyectos a tener en cuenta los ele- acciones distintas que pueden ser combinadas.
Cuadro 2
La gestin del desarrollo
El desarrollo como:
Proceso de cambio histrico Gestin en el desarrollo
(gestin en el marco del desarrollo)
9
Interior n 29 26/9/05 18:26 Pgina 10
La Gestin del Ciclo del Proyecto es un mtodo de vida del proyecto. A pesar de la infinidad de apro-
trabajo que se aplica a las intervenciones de coo- ximaciones, el enfoque integrado y el marco lgico
peracin internacional para el desarrollo, extensible son los instrumentos ms utilizados por las agen-
a otras, y cuyo objetivo es definir un lenguaje cias y organizaciones europeas a la hora de abor-
comn para los organismos donantes y para los dar la gestin del ciclo de un proyecto3, sobre todo
que ejecutan, en relacin con las fases o etapas de en la planificacin y seguimiento del mismo.
Cuadro 3
El ciclo de vida del proyecto (The project cicle)
Preparacin
Todas las fases de la gestin de un proyecto pue- Al esquematizar el ciclo del proyecto, encontramos
den observarse desde dos puntos de vista claves: diversos trminos que se refieren a las etapas del mis-
mo, a veces subdividido en seis, siete o incluso ms,
Como una herramienta de trabajo que permite
dependiendo de los autores o agencias que lo han
conocer, analizar y actuar.
abordado. En este documento, y con la pretensin
Como un herramienta de aprendizaje que per- principal de simplificar el anlisis y ofrecer claridad
mite, a travs de la acumulacin de experien- en torno a la vida del proyecto, su gestin y las accio-
cias y conocimientos a lo largo de todo el pro- nes evaluativas que se realizan en cada una de sus
ceso, mejorar los futuros proyectos. etapas, optamos por una clasificacin en tres etapas.
Cuadro 4
Ciclo de vida de un proyecto de desarrollo en la cooperacin internacional
Etapas Preparacin Implementacin Evaluacin ex-post
Momentos Identificacin Formulacin Ejecucin Seguimiento Evaluacin de resultados o
Planificacin evolucin de impacto
Acciones - Anlisis de - Formulacin de - Ejecucin de - Control de la - Evaluacin del alcance de
participacin objetivos las actividades ejecucin de las las actividades y el logro
- Anlisis de - Definicin de - Ejecucin del actividades de los resultados
vulnerabilidad y resultados presupuesto - Control a la - Valoracin de la eficacia
capacidad - Programa de - Planes de ejecucin del - Valoracin de la eficiencia
actividades
- Anlisis institucional- trabajo presupuesto - Valoracin de la
DOFA - Elaboracin del - Grupos de - Seguimiento al sostenibilidad
presupuesto
- Anlisis de problemas trabajo equipo de trabajo - Valoracin de la
- Matriz de
- Anlisis de gnero - Reajustes en - Seguimiento de pertinencia
Planificacin con
- Estudios de viabilidad cronograma la poblacin - Evaluacin de la calidad
- Anlisis de EML beneficiaria - Valoracin del impacto en
alternativas - Establecimiento de - Reajustes y la poblacin beneficiaria
- Etc. indicadores de retroalmientacin directa e indirecta
progreso y de - Valoracin de los cambios
evaluacin en el largo plazo (gnero,
- Evaluacin de econmicos, sociales, etc.)
riesgos - Valoracin de efectos no
- Cronograma de previstos
ejecucin
- Etc.
Documentos Documento de Formato de Plan Operativo Informes de Informe de Evaluacin
diagnstico o de perfil Formulacin y Plan y planes Seguimiento ex-post
del proyecto Operativo semanales
Fuente: Elaboracin propia a partir de bibliografa.
3
Profundizamos dichos enfoques en la segunda parte de este documento.
10
Interior n 29 26/9/05 18:26 Pgina 11
Veamos a continuacin los tres momentos claves la situacin en la que se quiere intervenir, tomar
en la gestin de un proyecto de cooperacin inter- la foto de la situacin, evaluar antes de (ex-ante
nacional y las acciones evaluativas que se desarro- evaluation). Los elementos comprendidos en la
llan a lo largo del mismo, incluida la evaluacin ex- identificacin deben ser suficientes para valorar y
post o de impacto. poder tomar una decisin acerca de la conve-
niencia de pasar al siguiente momento, la formu-
1.2.1. La preparacin del proyecto lacin-planificacin.
(identificacin y formulacin-planificacin)
A lo largo de esta fase deben explorarse los pro-
La preparacin del proyecto es una etapa crucial blemas existentes, las personas afectadas por ellas,
destinada a sentar las bases del proyecto, estable- descubrir sus necesidades prioritarias y las poten-
ciendo la situacin ideal a la que se quiere llegar y cialidades o capacidades de que disponen para
concretando los elementos que configuran la reali- hacerles frente (CRE, 1997). El estudio del medio
dad que se quiere superar. (anlisis sociolgico donde se integran factores
polticos, sociales, culturales, econmicos, etc.)
Al hacer referencia a una primera etapa ms amplia debe ser un procedimiento para alimentar el pro-
de preparacin4 del proyecto se pone de manifies- ceso y ser til para la estrategia de determinacin
to la existencia de un proceso ms global que la de las acciones prioritarias (Beadoux, 1992).
identificacin, el diagnstico o la formulacin en s
mismas. Es decir, la preparacin aglutina estas Las herramientas utilizadas para la realizacin de
fases5, desde la idea inicial que da vida al proyec- este diagnstico o evaluacin ex-ante son, entre
to hasta la planificacin de todo el proceso, una otras, las siguientes:
vez aprobado el proyecto y establecido los indica-
dores de medicin del progreso del mismo. Cabe Anlisis de participacin: implicados en el pro-
resaltar la confusin que suele generar la literatura ceso, beneficiarios, donantes, ejecutores, otros.
existente en este aspecto, que suele utilizar indis-
Anlisis de vulnerabilidad y capacidad: anlisis
tintamente una terminologa u otra para referirse en
sistmico de los riesgos que amenazan a per-
la mayora de las ocasiones a la misma etapa inicial
sonas y comunidades y que les impiden llevar
del proyecto.6
vidas plenas.
Desde mi criterio, y segn las experiencias recogi- Comprender las causas de dichas amenazas, a
das en el marco de las ONGs de desarrollo, en la quines afectan en mayor grado y la evalua-
etapa de preparacin podemos considerar dos cin de la capacidad fsico-material, social,
fases o momentos: la identificacin y la formula- organizativa, actitudinal, etc. que permite esta-
cin-planificacin del proyecto. Existen numerosas blecer prioridades para la intervencin.
herramientas para la obtencin de informacin en
esta primera etapa, pero en la actualidad la Comu- Anlisis de problemas (rbol de problemas):
nidad Europea y las grandes agencias de coopera- anlisis causa-efecto de problemas y sus con-
cin optan por la aplicacin del ZOPP y el Enfo- secuencias en la poblacin estudiada.
que del Marco Lgico.
Anlisis institucional (DOFA): anlisis de debi-
Identificar un proyecto es perfilar una idea de lo lidades y fortalezas, as como de amenazas y
que se quiere hacer a partir del conocimiento de oportunidades de la institucin
4
Asumimos el trmino de preparacin del proyecto como la etapa que recoge toda la articulacin inicial del proyecto, antes de ser ejecutado. Para ello es necesario rea-
lizar un diagnstico o identificacin inicial que se presenta en el documento de formulacin (como solicitud de aprobacin ) y se detalla en la planificacin, una vez apro-
bado. Esta es la terminologa que utiliza el Banco Interamericano de Desarrollo (BID) en Evaluacin: Una herramienta de gestin para mejorar el desempeo de los pro-
yectos. Oficina de Evaluacin-EVO. Marzo 1997. http://www.iadb.org/cont/evo/spbook/evomain.htm (pg. 4)
5
En este punto nos referimos al trmino etapa como aquellos momentos principales de la vida del proyecto: La preparacin del proyecto, la implementacin y la evalua-
cin. Nos referiremos a fase como subdivisiones menores dentro de cada etapa.
6
Para mayor aclaracin sobre la terminologa, vase el Captulo sobre el ciclo de vida del proyecto en Gonzlez Gmez, Lara: La evaluacin en los proyectos de desarrollo.
Servicio de Publicaciones del Gobierno Vasco. Vitoria. 2001 (prximo a publicarse).
11
Interior n 29 26/9/05 18:26 Pgina 12
Anlisis de gnero: prestar atencin especial a cual simplifica la actividad, pero explicamos
las relaciones y roles de gnero, divisin del tra- ambos a continuacin:
bajo, el acceso a los recursos y el control sobre
El documento de formulacin (proposal en
los mismos, la posicin de las mujeres, etc.
ingls) es el formato que normalmente los
Es necesario que las personas implicadas (stake- organismos deben rellenar para presentar su
holders) estn identificadas y se haya precisado su propuesta de proyecto a una determinada enti-
papel futuro en el proyecto. En los perodos de dad, agencia o gobierno. Son estos ltimos los
identificacin suelen converger, al menos, tres ins- que establecen y facilitan el esquema y los
tancias bsicas: requisitos informativos solicitados a los propo-
nentes, que deben orientar el diseo del pro-
Las personas beneficiarias en general y sus yecto en esta direccin. En ese sentido, la
representantes. Unin Europea publica en internet los forma-
Las instituciones y agencias responsables de la tos para cada lnea financiable (por ejemplo,
organizacin y ejecucin del proyecto. Derechos Humanos y Democracia, Medio
Ambiente, Ayuda Humanitaria de Emergencia,
Las organizaciones o agencias responsables de
etc.) y los organismos demandantes deben ate-
apoyar y financiar la realizacin del proyecto.
nerse a dichos esquemas para presentar su
Las distintas posiciones de estas instancias, su propuesta de proyecto.
estructura organizativa y operacional y sus caracte-
En estos documentos inicialmente se solicitaba una
rsticas socioculturales contienen ya elementos sufi-
informacin general sobre la poblacin objetivo, la
cientes como para que sean entendidas sus caren-
entidad solicitante, el objetivo del proyecto, su jus-
cias, las posibles soluciones y las prioridades de
tificacin y unas actividades generales propuestas,
manera diferente.
seguidas de un presupuesto. En la actualidad, los
En el marco de la identificacin del proyecto tam- formatos han comenzado a integrar, en la mayora
bin se incluye el estudio de viabilidad. Reflexio- de las agencias internacionales, la Matriz de Plani-
nar sobre la viabilidad es interrogarse sobre las ficacin del Marco Lgico, estudios de viabilidad,
posibilidades de realizar la accin sin problemas, indicadores de seguimiento, planes de evaluacin,
y si se justifican los esfuerzos previstos para el etc. que requieren del documento de formulacin
logro de algn resultado. Dependiendo del tipo una planeacin operativa en toda regla.
de proyecto, habr que realizar un tipo u otro de El Plan operativo, plan de operaciones o docu-
anlisis de viabilidad. En las actividades de tipo mento de planeacin, es el documento de plani-
productivo, por ejemplo, hay que hacer un estu- ficacin por excelencia. En ste debe integrarse
dio econmico. Y en aquellas que consistan en el detalle de la accin programada, la matriz de
infraestructuras sern muy importantes las consi- planificacin del proyecto (con objetivos, resul-
deraciones tcnicas, la viabilidad organizativa, tados, actividades, indicadores, fuentes de verifi-
poltica, financiera, etc. cacin y riesgos) desde el enfoque del ZOPP o
del Marco Lgico. Este documento es el que, en
Una vez que han sido identificados los aspectos de
la prctica, gua toda la ejecucin del proyecto,
la situacin de partida que queremos modificar,
establece las actividades y las organiza en un
esbozado los objetivos que deseamos alcanzar y los
cronograma, detalla responsabilidades, tempora-
medios necesarios para obtenerlos, as como la via-
lidades en la ejecucin y, sobre todo, el plan de
bilidad de todo ello, es el momento para disear el
monitoreo y evaluacin durante la ejecucin.
proyecto y detallar la planificacin.
Un documento de formulacin-planeacin de pro-
En este segundo momento hay dos posibles
yecto debe reunir, al menos, tres caractersticas:
documentos que se manejan al interior de las
entidades. Uno es el documento de formulacin Servir de gua para la accin, de tal modo que
del proyecto y el otro es el plan operativo (pla- contenga las etapas de ejecucin, los recursos
nificacin). En ocasiones se maneja uno solo, lo disponibles, las temporalidades, etc.
12
Interior n 29 26/9/05 18:26 Pgina 13
Ser elemento de comunicacin, que exprese el cin del proyecto que tome las decisiones funda-
compromiso entre todos los grupos e institu- mentales frente a contingencias, reparto de las
ciones implicados en la puesta en marcha de la tareas y asignacin de recursos en el momento
accin. previsto; la constitucin de comisiones o grupos
Ser la base para la toma de decisiones, inclu- de trabajo para atender las tareas del proyecto; el
yendo la informacin necesaria que permita la conocimiento por parte de las personas intervi-
toma de decisiones, tanto con respecto al ini- nientes y beneficiarias de las actividades y accio-
cio del proyecto como en las posibles redefini- nes a realizar y la capacidad tcnica y financiera
ciones del mismo (MAE-SECIPI-AECI, 1998). de llevar a cabo lo planificado; y una comunica-
cin fluida, tanto entre las fuentes de financiacin
Hay dos ideas claves a tener en cuenta en la etapa del proyecto y el organismo que ejecuta el mis-
de preparacin (identificacin y formulacin) o de mo, como entre las diversas comisiones o grupos
la evaluacin ex-ante: de trabajo que se han creado y la poblacin
La pertinencia: es decir, si el proyecto es til y beneficiaria.
responde a las necesidades existentes. La per-
tinencia es bsicamente una cuestin de utili- La ONU se refiere al proceso de seguimiento como
dad, que sucesivamente conduce a decisiones ver/observar (watch or observe), donde el monito-
de ms alto nivel acerca de si se debe financiar reo y el control permiten observar el progreso del
el proyecto o permitir que ste contine. proyecto, anticipando posibles desviaciones de lo
planeado y realizar los ajustes necesarios. Se trata
La viabilidad: se dice que un proyecto es via- de un proceso continuo y metdico de recogida de
ble cuando el proyecto es capaz de procurar informacin y tratamiento de datos.
beneficios durante un largo perodo de tiempo,
despus de que lo esencial de la ayuda exte- La metodologa de evaluacin de la cooperacin
rior suministrada por los donantes haya llega- espaola define el seguimiento como aquella fase
do a su fin. del ciclo que se lleva a cabo de manera continua-
Reflexionar sobre la pertinencia y la viabilidad es da durante la ejecucin para controlar que la utili-
interrogarse sobre las posibilidades de realizar zacin de los recursos y la formalizacin de activi-
acciones necesarias que puedan mantenerse dades estn de acuerdo con el cronograma previs-
cuando la ayuda y los apoyos exteriores terminen. to (MAE-SECIPI, 1998: 36). Esto requiere que no se
pierda de vista el esquema dibujado en la formula-
cin, diseo y planificacin del proyecto, que de
1.2.2. La Implementacin del proyecto manera flexible pueda reorientar aquellos aspectos
(ejecucin y seguimiento) que aconseje la interpretacin de la evolucin del
La implementacin es la etapa de la realizacin del proyecto.
proyecto. Se refiere al durante del proyecto, y son
dos las acciones que se realizan: ejecucin y segui- El seguimiento es la etapa del ciclo de gestin que
miento. Son las dos caras de la misma moneda, no acompaa a la ejecucin de los proyectos, cuya
debiera existir la una sin la otra. Mientras ejecutar finalidad principal es mantener informadas a todas
el proyecto responde a la realizacin de las activi- las personas implicadas sobre el estado en que se
dades que estaban previstas en la planificacin, el encuentra la ejecucin y verificar en qu grado se
monitoreo es la realizacin del seguimiento a la estn realizando las actividades y alcanzado los
accin que se est desarrollando. resultados y objetivos previstos. Para ello, los pro-
cedimientos utilizados en el seguimiento debern
La ejecucin del proyecto presupone la existencia atender a un estudio comparado entre lo que esta-
de un plan operativo (planificacin) basado en la ba previsto y lo que se est realizando. Se estudia-
propuesta de financiacin, identificacin inicial y r la realizacin de las actividades segn lo planifi-
diagnstico. Para la ejecucin del mismo es nece- cado, y los resultados y objetivos en relacin con
sario una serie de requisitos, tales como: la exis- los indicadores que se establecieron para posibilitar
tencia de un organismo responsable de la ejecu- dicha medicin.
13
Interior n 29 26/9/05 18:26 Pgina 14
Cuadro 5
El proceso de ejecucin y seguimiento del proyecto
Ejecucin Seguimiento
Plan operativo de proyecto Plan de proyecto Informes de seguimiento
- Plan de trabajo. - Seguimiento externo (agencia).
- Recursos. - Seguimiento interno (local).
- Organismo responsable de la ejecucin. - Informe / Ficha de Seguimiento:
- Grupos de trabajo - Revisin de objetivos
- Actividades - Revisin de actividades
- Revisin de la planificacin: tiempo, costes, etc.
- Identificacin de cambios
- Establecimiento de previsiones
- Formulacin de recomendaciones
Cuadro 6
Concepto de evaluacin
La evaluacin es una funcin que consiste en hacer una apreciacin, tan sistemtica y objetiva como sea posible, sobre un pro-
yecto en curso o acabado, un programa o un conjunto de lneas de accin, su concepcin, su realizacin y sus resultados. Se tra-
ta de determinar la pertinencia de los objetivos y su grado de realizacin, la eficiencia en cuanto al desarrollo, la eficacia, el impac-
to y la viabilidad. Una evaluacin debe proporcionar unas intervenciones crebles y tiles, que permitan integrar las enseanzas
sacadas en los mecanismos de elaboracin de las decisiones, tanto de los pases de acogida como de los donantes.
Fuente: Comit de Ayuda al Desarrollo-OCDE: Manual de la ayuda al desarrollo. Principios del CAD para una ayuda eficaz. Mundi Prensa. Madrid. 1995. Pg 178.
14
Interior n 29 26/9/05 18:26 Pgina 15
Esta conceptualizacin opta por un tipo de evalua- zada la intervencin y su nivel de anlisis es ms
cin denominada intermedia o a posteriori, al refe- profundo, dado que valora con mayor certeza el
rirse al proyecto en curso o ya finalizado. Esta alcance de los resultados, si la accin result via-
denominacin responde a una de las clasificaciones ble, y analizando sus efectos una vez pasado el
posibles, pero es necesario poner de manifiesto la tiempo desde su finalizacin temporal (MAE,
diversidad de trminos existentes que se utilizan SECIPI, 1998).
para distinguir los diferentes tipos de evaluacin.
Una clasificacin interesante es la que ubica la eva- Seis son los elementos que se pueden tener en
luacin como integrante del ciclo de vida del pro- cuenta en el anlisis ex-post. Estos elementos con
yecto, desde una perspectiva de las etapas o fases frecuencia son confundidos en el lenguaje colo-
de intervencin del proyecto. quial, pero en la gestin de proyectos de desarro-
llo tiene sus diferencias etimolgicas y tcnicas. Se
La Evaluacin ex-post, que abordamos a continua-
trata del anlisis de eficacia, efectividad, eficiencia,
cin, es la que entraa un anlisis de efectos y
pertinencia, viabilidad e impacto8.
resultados del proyecto despus de haber sido eje-
cutado y finalizado. Es la llamada evaluacin suma-
tiva, tambin conocida como evaluacin de resulta- En resumen, la evaluacin puede ser entendida
dos o de impacto7, desarrollada una vez finalizado como una etapa propia (la evaluacin ex-post o a
el programa. posteriori), pero tambin como una accin que es
transversal a todas las etapas del ciclo del proyecto,
Una vez terminada la accin de desarrollo, dos al nutrirse constantemente de anlisis evaluativos,
tipos de evaluacin pueden realizarse: en primer tanto en la preparacin del proyecto, como en el
lugar, una evaluacin que consiste bsicamente seguimiento del mismo. La accin evaluadora es algo
en un anlisis de consecucin de resultados y, propio de todas las etapas del ciclo, dado que la pro-
eventualmente, del objetivo especfico de inter- pia naturaleza dinmica del proyecto y su perma-
vencin, acumulando toda la informacin produ- nente exigencia de toma de decisiones incorpora la
cida por el seguimiento, que se conoce como eva- necesidad de que stas se apoyen en consideracio-
luacin de fin de proyecto o de resultados (en nes bien fundadas. As, es necesario tener en cuenta
ingls, terminal o end of project evaluation). En la evaluacin dentro del ciclo de intervencin del
segundo lugar, y algo ms completa que sta, proyecto, junto con los distintos momentos en que
podemos encontrar la evaluacin ex-post o poste- pueden recogerse datos evaluativos y juicios valora-
rior, que se realiza tiempo despus de ser finali- tivos que de ella se derivan (ver cuadro).
Cuadro 7
Acciones evaluativas en el ciclo de vida del proyecto
Etapa Actividades propias Accin evaluativa Temporalidad
Preparacin Identificacin, Evaluacin de necesidades Evaluacin Ex-ante
(Antes del proyecto) Formulacin-Planificacin y potencialidades
Implementacin Ejecucin y Seguimiento Evaluacin de progreso Evaluacin intermedia
(Durante el proyecto)
Evaluacin Evaluacin posterior Evaluacin de resultados Evaluacin ex-post
(Despus del proyecto) e impacto
7
Francisco Alvira en Metodologa de la evaluacin de programas. Cuadernos Metodolgicos. N 2. CIS. Madrid. 1991. Pag.41 establece diferencias entre ambos tipos de eva-
luacin, con base en el tipo de poblacin objeto de las mismas. Seala que la evaluacin de resultados busca definir los resultados del programa sobre la poblacin bene-
ficiaria, mientras que la evaluacin de impacto trata de analizar los efectos del programa sobre una poblacin ms amplia: la comunidad o pueblo. Incluso, en la actuali-
dad, se tiende a hablar de evaluacin de impacto como otra accin diferenciada. En este documento no se tendr en cuenta dicha diferenciacin, dado que considera-
mos que el impacto es una medicin necesaria en la evaluacin de resultados o ex post , y en la prctica sus metodologas son muy similares, lo que hace difcil su dis-
tincin. Por ejemplo, en Espaa se utiliza ms evaluacin de resultados frente a Colombia, donde el trmino evaluacin de impacto es ms comn, pero ambas se refieren
a una evaluacin realizada despus de terminado el proyecto.
8
En la segunda parte de esta exposicin se desarrollan estos elementos.
15
Interior n 29 26/9/05 18:26 Pgina 16
1.3. Las funciones de la observar que, a pesar de ser dos acciones com-
evaluacin ex-post plementarias del ciclo de vida del proyecto, pose-
frente al seguimiento en funciones diferenciadas. Son mltiples los
organismos y entidades que sealan su necesaria
Hasta aqu hemos presentado la evaluacin como relacin, hasta el punto de haberse generalizado
una etapa crucial integrada en la vida del proyec- el trmino M + E o S + E.
to, pero tambin como una accin constante que
atraviesa la vida del mismo. An as, la pretensin
de este trabajo es resaltar la evaluacin ex-post Pero hay que resaltar la distincin obligatoria que
como prctica necesaria y til para el desarrollo del cabe establecer entre ellos. En ese sentido, la mis-
proyecto y para la toma de decisiones futuras, con ma GTZ, en un documento propio sobre el Segui-
funciones diferenciadas al seguimiento y a otras miento en la Cooperacin Tcnica (Klinger, Stei-
acciones evaluativas (diagnstico) ms comunes en gerwarld; 1998), subraya la superacin del binomio
la gestin de proyectos. M + E como una sola funcin y su sustitucin por
Seguimiento con el fin de evitar malentendidos.
Parece clara la diferencia entre la evaluacin ex-post Mientras el monitoreo o seguimiento es una valo-
y la evaluacin ex-ante (o valoracin previa), realiza- racin continua, tanto del funcionamiento de las
da al iniciar un proyecto cuando se identifica la actividades del proyecto en el contexto de los
poblacin y su contexto. Pero no es tan fcil sepa- calendarios de su ejecucin, como de la utilizacin
rarla de la evaluacin intermedia (o seguimiento), lo de los insumos del proyecto por parte de las pobla-
que conlleva en muchas ocasiones a su no realiza- ciones fijadas como objetivo en el contexto del
cin bajo el pretexto razonado: nosotros ya realiza- diseo (Casley, Kumar; 1990), la evaluacin ex-post
mos un seguimiento constante a las actividades. es una valoracin a posteriori sobre la pertinencia,
eficacia, eficiencia y efectos del proyecto en el con-
Si ponemos la atencin en estas dos acciones texto de sus objetivos declarados. Para ello se
evaluativas, seguimiento (S) o monitoreo (M) y la requiere informacin procedente de fuera del pro-
Evaluacin ex-post o de impacto (E), podemos yecto, en tiempo, zona y poblacin.
Cuadro 8
Principales diferencias entre el Seguimiento y la Evaluacin ex-post
Seguimiento Evaluacin ex-post
Objetivo Recoleccin de informacin para la ejecucin Recoleccin de informacin para el aprendizaje de lo
y toma de decisiones respecto al proyecto realizado, lo impactado (efectos) y la toma de
decisiones futuras
Periodo de Proyecto en ejecucin Finalizado el proyecto
referencia
Necesidades Cumplimiento de planes y calendarios Cumplimiento de objetivos (eficacia)
de anlisis Revisin de funciones, actividades y productos Revisin de resultados
Percepciones de la poblacin beneficiada Percepciones de la poblacin sobre el proyecto
sobre la ejecucin y sus logros (efectos)
Situacin financiera. Relacin Eficiencia (recursos-resultados)
gastos/ presupuesto Pertinencia (necesidades)
Sostenibilidad (autonomia de la Poblacin beneficiaria)
Impactos (efectos no esperados)
Usuarios Entidad ejecutora Entidad ejecutora
primarios Poblacin beneficiaria Entidad financiadora
Otras entidades y agentes
Poblacin beneficiada
Poblacin no beneficiada-entorno
Fuente: Elaboracin propia.
16
Interior n 29 26/9/05 18:26 Pgina 17
Esto no supone que, pese a sus funciones distintas, cios valorativos a posteriori sobre el impacto que el
no haya caractersticas comunes que realzan la rela- proyecto logr en una poblacin beneficiaria
cin existente entre ellas. Incluso, ocurre con fre- durante una temporalidad concreta.
cuencia que se da el seguimiento sin la evaluacin
final (es decir, la evaluacin de progreso sin la de La evaluacin ex-post puede tener tres funciones
resultados), que slo permite juzgar la ejecucin de principales:
la intervencin sin poder concluir nada sobre la - Apoyar los procesos de gestin
bondad de la misma y su efecto en la poblacin
beneficiaria. Por otro lado, la evaluacin expost La evaluacin posterior recoge como informacin
sin el seguimiento resulta casi inviable. La evalua- primaria todos los documentos que se han ido
cin posterior requiere de una buena informacin recopilando en forma de seguimiento a las acti-
generada por el monitoreo dado que para poder vidades como apoyo a la gestin del proyecto
juzgar la eficacia y eficiencia de unas determinadas que se est ejecutando, dado que han debido
acciones en el cumplimiento de sus objetivos, va a orientar y reorientar las acciones programadas.
ser indispensable conocer los aspectos cuantitativos Por otro lado, la evaluacin posterior recoge
y cualitativos de la ejecucin de dichas actividades informacin sobre la ejecucin una vez el pro-
(Mokate, K., 1998). As, deber utilizarse la infor- yecto se ha terminado, lo que permite sacar con-
macin recopilada durante el seguimiento para la clusiones -en fro- sobre lo realizado con anterio-
evaluacin, pues una evaluacin carente de infor- ridad y aportar recomendaciones claves en el
macin proveniente de un seguimiento constante cambio y reorientacin del proyecto en el futuro
durante la ejecucin del proyecto tiene una ausen- (si se ampla) o de otros proyectos.
cia importante ya no registra los avances del pro-
La evaluacin posterior permite medir la eficien-
yecto, los cambios necesarios realizados en la pla-
cia en el desarrollo del proyecto, as como mirar
nificacin inicial y las reacciones continuas de la
los costes y la eficiencia del uso de los recursos
poblacin frente a la intervencin.
y descubrir si es necesario mejorar el modo en
que la organizacin realiza las actividades y
La necesidad de evaluar despus se pone de mani-
tomar correctivos para el futuro.
fiesto a la hora de promocionar y disear nuevos
proyectos en la misma lnea de los anteriores, o tra- - Controlar
tar de realizar otros proyectos similares en el mar-
co de un programa ms amplio. Lo que si parece La evaluacin tiene una importante funcin de
claro, tras analizar algunas experiencias de proyec- control financiero y contable, as como de la rea-
tos ejecutados por ONG en Amrica Latina, es que lizacin de las acciones. Esta funcin normal-
de toda accin realizada siempre se aprende algo. mente responde a las demandas de las agencias
donantes que necesitan la justificacin de lo
Algunas de las preguntas que se hacen muchos invertido en el proyecto, o a los requerimientos
operadores de proyectos de organismos de desa- de los gobiernos. Esta funcin es necesaria, aun-
rrollo son: para qu realizar evaluaciones posterio- que frecuentemente es mal percibida por los
res y detectar cosas negativas, una vez terminado el actores del terreno que temen las sanciones que
proyecto?, qu sentido tiene encontrar fallas que puede acarrear. A travs de la evaluacin de
daan el ambiente y ya no se pueden remediar?, eficiencia econmica y financiera se puede cono-
no es suficiente entonces el seguimiento continuo cer el grado de rentabilidad de los capitales, bie-
a los proyectos y ahorrar tiempo y dinero en eva- nes y servicios, una vez se ha terminado el pro-
luar despus? yecto. Tal y como seala el CAD en sus reco-
mendaciones, esta funcin debe concebirse de
La respuesta a estas preguntas viene dada por la manera distinta a la obligacin de justificar la uti-
finalidad que se le otorgue a la evaluacin ex-post. lizacin de los fondos pblicos, en un sentido
Por ello, veamos cules son las principales funcio- nicamente contable y jurdico, siendo estas
nes a las que a mi parecer debe responder una cuestiones competencia de las auditoras (CAD,
evaluacin, entendida sta como la emisin de jui- 1995).
17
Interior n 29 26/9/05 18:26 Pgina 18
Cuadro 9
Concepto de evaluacin
La evaluacin se refiere tanto al futuro como al pasado: es una va para valorar los resultados de las acciones pasadas, en aras a
incorporar dicho aprendizaje en la planificacin futura. Manteniendo una mirada crtica de lo ocurrido, la evaluacin puede:
- Determinar hasta que punto se han encontrado los objetivos y las metas.
- Valorar la relevancia, la efectividad, la eficiencia, el impacto y la viabilidad de lo que se ha logrado.
- Reconsiderar , a la luz de la experiencia, la validez de los supuestos del plan original.
- Indicar que puntos de vistas internos pueden ser ofrecidos para mejorar una prctica y una poltica de desarrollo ms amplia.
Fuente: Eade, D. And Wiliams, S.: The Oxfam Handbook of Development and Relief. An Oxfam Publication. Volume I. Oxford. 1995. Pg 415.
Es importante resaltar que la evaluacin puede y En conclusin, la evaluacin puede mejorar la gestin
debe contribuir a la mejora de las acciones de de los programas y proyectos de desarrollo, ayudar a
desarrollo, como proveedora de informacin para la gente a aprender de las experiencias pasadas,
el control, ayuda a la gestin y sobre todo en la incrementar la responsabilidad de los donantes en sus
influencia que ejerza en la toma de decisiones futu- demandas de que los recursos sean utilizadas con
ras. La evaluacin por ello debe ser debidamente efectividad, eficiencia y de acuerdo con los objetivos
organizada y expresada en un informe que ojal establecidos y, por ltimo, proveer de informacin
sea de dominio pblico. para una buena comunicacin entre organizaciones
locales, beneficiarios y donantes (Rubin,F., 1995).
18
Interior n 29 26/9/05 18:26 Pgina 19
2. LA EVALUACIN EX-POST:
HACIA UNA PROPUESTA INTEGRADORA
DE AGENTES, MODELOS Y HERRAMIENTAS
19
Interior n 29 26/9/05 18:26 Pgina 20
- La evaluacin mixta o realizada por agentes exter- posibilidad de xito. Si no se tiene en cuenta a
nos e internos los grupos beneficiarios en el proceso, stos
Es aquella que en su diseo y aplicacin participan asumen un rol de meros portadores de infor-
personal responsable del proyecto y agentes exter- macin. Cuando la poblacin se siente partci-
nos al mismo. A veces se conforma un equipo mix- pe de lo realizado, las informaciones son de
mayor cantidad y calidad.
to que integra agentes externos e internos al pro-
yecto con una diferenciacin de funciones, donde - La metodologa utilizada: en la realidad de los
los internos se encargan de los aspectos locales y proyectos donde el evaluador es comunmente
de la organizacin del proyecto y los otros se dedi- externo, hay un predominio de metodologas
can a los aspectos ms tcnicos, estableciendo extranjeras que dejan un papel meramente pro-
mediciones ms estandarizadas y objetivas, incluso vedor a la poblacin beneficiaria. Por el contra-
sirviendo de facilitadores-formadores en la cons- rio, en la evaluacin participativa cuando la
truccin de capacidades internas y viabilidad del poblacin beneficiaria es parte integrante del
proceso de monitoreo y evaluacin. equipo evaluador, se utilizan herramientas senci-
llas y grficas para la recoleccin del informacin,
Es una modalidad ms integrada y participativa, tomando parte activa de los distintos pasos que
donde se forma un equipo evaluador mixto que el proceso evaluativo requiere. As, todas las per-
aprovecha las ventajas del trabajo conjunto, minimi- sonas implicadas pueden tomar parte en decidir
zando las desventajas de ambos tipos de evaluacin. cundo y cmo evaluar, en la seleccin de los
- La evaluacin participativa o integrada por todos mtodos que se usarn, recogiendo y analizando
los agentes implicados los hechos ocurridos y la informacin, preparan-
do informes, decidiendo como usar los resultados
Esta incluye, en el diseo y desarrollo de la eva- y poniendo las recomendaciones en prctica
luacin, a todas las partes implicadas en el proyec- (Feuerstein, M.T., 1986).
to: agencias u organismos donantes, departamentos - Los costes: en el caso de los costes de cada
gubernamentales y municipales, ONGs externas, la modalidad, cabe sealar que a medida que se
ONG local u organismo que implementa el proyec- avanza en la escala de la participacin el coste es
to y la poblacin beneficiaria o sus representantes. mayor, bien en sentido econmico o temporal.
Especial atencin se concede a la participacin de Cuantas ms personas forman el equipo, el coste
los grupos beneficiarios. laboral es mayor al tener que contratar a un
Esta modalidad, que en la actualidad est adquirien- mayor nmero de personas. Este coste puede ser
do una gran relevancia, espera lograr mayores acep- reducido si las personas que representan a la par-
taciones de la evaluacin, as como de sus potencia- te local y a los grupos beneficiarios son las mis-
lidades en el aprendizaje y la toma de decisiones mas que participaron en la identificacin y segui-
futuras. As mismo, trata de elevar la conciencia miento del proyecto. En cuanto al coste temporal,
social y los compromisos de la poblacin implicada hay que sealar que a primera vista trabajar en
con relacin a sus necesidades, as como el desarro- equipo frente a un nico agente, bien sea exter-
llo del dilogo y la bsqueda de consenso entre par- no o interno, requiere de una mayor disponibili-
tes con intereses distintos. dad de tiempo. Ambos costes pueden minimizar-
se si se realiza el proceso de manera eficiente.
Al comparar estas cuatro modalidades observamos - La veracidad, fiabilidad y validez de lo observa-
diferencias que giran en torno a cinco puntos: do: en el caso de la veracidad, es comnmente
- Lo objetivo frente a lo subjetivo: se piensa que lo reconocido por las agencias extranjeras que los
externo siempre es ms objetivo y lo interno est agentes evaluadores externos son ms suscepti-
cargado de subjetividad. Pero, frente a estos bles de ser engaados que el personal interno,
extremos, la opcin de combinar distintas mira- dado que en muchas ocasiones el agente externo
das de la realidad que, a su vez, es compleja sue- es extranjero y es visto como una persona exper-
le proporcionar mayores garantas. ta contratada por la organizacin donante, gene-
- El papel de la poblacin beneficiaria: cuanto rando con frecuencia ansiedad y recelos entre la
mas participativo es el grupo evaluativo, mayor poblacin beneficiaria.
20
Interior n 29 26/9/05 18:26 Pgina 21
21
Interior n 29 26/9/05 18:26 Pgina 22
Cuadro 11
Cuatro generaciones en evaluacin de proyectos
Guba y Lincon agrupan los modelos de evaluacin en cuatro generaciones:
1. Primera generacin: Nace en 1900 y se denomina evaluacin orientada a la medicin. Relacionada con la tradicin educati-
va y la gestin cientfica en la industria y los negocios. El rol del evaluador es tcnico para proporcionar instrumentos de
medida.
2. Segunda generacin: Se orienta a la descripcin del programa. Enfatiza el logro de los objetivos y analiza las fortalezas y
debilidades del programa para realizar revisiones. El evaluador es esencial para la descripcin, aunque todava son impor-
tantes sus funciones tcnicas.
3. Tercera generacin: El juicio es parte integral de la evaluacin. Este requiere que los objetivos se tomen como objeto de eva-
luacin, adems de las metas y el propio programa. El evaluador es considerado como juez y ayudante de los que toman
las decisiones y a establecer estndares para el juicio.
4. Cuarta generacin: Enfatiza la evaluacin como un proceso de negociacin que incorpora varios implicados. Reconoce que
las perspectivas de la gente y sus intereses toman mejor forma si se hace desde su sistema de valores. El evaluador tiene un
rol facilitador en el proceso negociador de los implicados, que participan en el diseo, implementacin e interpretacin de
la evaluacin.
Traducido de Guba, Egon y Lincon, Ivonne: "Fourth Generation Evaluation". Sage Publications. London 1989.
La economa ha desarrollado su propia evalua- Demos un repaso a las tres corrientes: el modelo
cin social de proyectos, que se ha aplicado a de Anlisis Costo Beneficio (ACB) y Coste Efecti-
programas y proyectos sociales. Por otro lado, y vidad (ACE) proveniente de la economa; el
de forma paralela, la cooperacin internacional modelo del Marco Lgico (EML), y los modelos
ha desarrollado especificamente el Enfoque del
participativos o de autogestin (DRP-PRA).
Marco Lgico o ZOPP, modelos evaluativos que,
si bien proceden de modelos de diagnstico y
planificacin, han interiorizado los elementos de 2.2.1. Los modelos de la economa
la tradicin evaluativa. Por ltimo, el creciente
desarrollo de los modelos participativos o de En el marco de la evaluacin cuantitativa, y sobre
autogestin merece dedicarles un apartado. todo en el campo de la economa, existen varios
22
Interior n 29 26/9/05 18:26 Pgina 23
modelos en lo que se conoce como evaluacin eco- mejor alternativa de la intervencin (antes de) o
nmica y social de proyectos (o evaluacin socioe- si la intervencin ha logrado los objetivos y ha
conmica de proyectos), algunos de los cuales se sido eficiente (Ex-post). Adems, si el proyecto
han tratado de aplicar en la evaluacin de grandes fue socialmente aceptado y aceptable, puede
proyectos de desarrollo social, sobre todo los medirse el rendimiento en trminos de resultados
implementados por la CEPAL, ILPES y el Banco e impacto en la poblacin beneficiaria.
Mundial.
Algunos de los modelos de evaluacin de la ren-
Tal como entienden los economistas la ciencia tabilidad econmica de los programas ha tratado
econmica, sta no se limita al anlisis de ganan- de aplicarse al mbito de proyectos sociales y de
cias financieras, sino que incorpora elementos desarrollo. Es el caso del Anlisis Costo-Beneficio
para la satisfaccin de necesidades (Castro, R y (ACB) y el Anlisis Costo-Eficacia (ACE).
Mokate, K., 1998). As, se puede entender la eva-
luacin econmica y social como el conjunto de Cualquier proyecto a realizar implica unos costos
herramientas que tiene el economista para poder a la espera de obtener unos beneficios. Si stos
analizar proyectos y polticas, con el propsito de pueden ser traducidos a unidades monetarias, es
destinar los recursos de tal manera que sea ms posible realizar la tcnica del Anlisis Costo-
benfica para la poblacin nacional. El problema Beneficio. El ACB se basa en el principio de com-
de la utilizacin de los recursos escasos pone en paracin: beneficios del proyecto con sus costos,
evidencia la necesidad de enfrentar dos grandes en el caso de que los primeros sean mayores que
retos: el primero, lograr asignar dichos recursos los segundos indica que el proyecto es rentable.
de una manera eficiente (lograr bienestar al Es importante tener en cuenta, que tanto costos
menor costo) y, por otro lado, asignar los recur- como beneficios se expresan en unidades mone-
sos de manera equitativa. As, segn sealan estos tarias.
autores, la evaluacin econmica pretende medir
en forma exhaustiva el aporte neto de un pro- As, puede entenderse por beneficio los resulta-
yecto al bienestar nacional, teniendo en cuenta dos netos, tangibles e intangibles, de un progra-
los objetivos de eficiencia y equidad. ma o proyecto, y por costo los recursos requeri-
dos para la implementacin de dicho proyecto
En los ltimos aos se ha tomado la conciencia (directos e indirectos). Si los costos y los benefi-
de la necesidad de aplicar los conceptos tericos cios de un proyecto se produjeran al mismo tiem-
convencionales del anlisis econmico a la polti- po no sera necesario tomar en cuenta la dimen-
ca social y, dentro de ella, a la prestacin de ser- sin temporal. Pero, seguramente, los costos del
vicios sociales y a los programas de accin social proyecto pueden extenderse durante varios aos
en general. Dado que el debate se centra en antes de que comiencen a darse beneficios. Esto
cmo asignar recursos escasos de manera que se plantea la necesidad de traducir los costos de hoy
pueda lograr una satisfaccin ptima de las nece- y los beneficios futuros a la misma unidad de
sidades humanas priorizadas, la evaluacin de la medida (Cohen, E., Franco, R., 1992). Esta opera-
eficiacia de los proyectos sociales tiene un com- cin se conoce como actualizacin a una Tasa de
ponente econmico claro (Aguilar, Ander-Egg, descuento.
1994).
Para comparar los costes y los beneficios de un
As, se hace necesario medir la rentabilidad eco- proyecto se consideran todos los ingresos y egre-
nmica y social de realizar inversiones en deter- sos del mismo, el valor relativo del dinero en el
minado campo, y sobre todo, se recupera la tiempo y la tasa de inters equivalente cuando se
importancia de la evaluacin econmica de los comparan magnitudes monetarias en momentos
programas sociales, tanto por razones de respon- distintos. Esto puede calcularse de varias formas,
sabilidad social de las instituciones y organismos pero las ms utilizadas son el valor actual neto
prestadores de servicios, como por criterios de (VAN), la tasa interna de retorno (TIR) y la rela-
rentabilidad que permitan analizar cul es la cin costo-beneficio.
23
Interior n 29 26/9/05 18:26 Pgina 24
Cuadro 12
Modelos de la evaluacin socioeconmica de proyectos
Medida de resultado
Modalidad Concepto Medida de costo Indicadores
o efecto
Anlisis Estudiar la relacin Unidad monetaria Unidad monetaria Valor presente neto
Costo-Beneficio entre los beneficios
del proyecto y su
costo
Anlisis Estudiar a qu costo Unidad monetaria Unidad de resultados Valor anual
Costo-Eficacia se logr el objetivo y equivalente (VAE)
(efectividad) si hubiera sido
posible lograrlo a un
coste menor
Anlisis Estudiar la utilidad del Unidad monetaria Unidades percibidas Ingresos Costos
Costo-Utilidad objetivo a un costo por el individuo de Costos
determinado forma subjetiva
Anlisis Estudiar los efectos Unidad monetaria Consumo de bienes y VPNE: Valor presente
Costo-Impacto del objetivo en el servicios neto econmico
consumo y el (numerario: canasta TIRE: Tasa interna de
bienestar de la de bienes y servicios retorno econmica
poblacin que se adquieren con (valoracin con
una unidad precios econmicos,
monetaria) no de mercado)
Fuente: Elaboracin propia a partir de la bibliografa.
Pero cuando los beneficios de los proyectos no La evaluacin econmica (eficiencia), desde el pun-
pueden ser expresados en trminos de unidades de to de vista terico, incluye todos los efectos, pero
moneda (lo cual ocurre en muchos proyectos de debido a la dificultad en la valoracin (determinar
cooperacin), una tcnica adecuada puede ser el el precio econmico) se recurre a realizar evalua-
Anlisis de Costo-Eficacia (Efectividad). Este mode- ciones especficas (por ejemplo, el componente
lo compara los costos con la potencialidad de ambiental) por fuera del modelo general. La eva-
alcanzar ms eficaz y eficientemente los objetivos luacin social (para considerar la equidad) es sub-
propuestos (en la evaluacin ex-ante) y analizar la jetiva y requiere de un organismo central que defi-
eficacia y la eficiencia del proyecto (en la evalua- na los parmetros a utilizar, de acuerdo con una
cin ex-post). El anlisis ACE puede proveer infor- poltica establecida en relacin con los aspectos
macin sobre los menores costos para alcanzar un distributivos. Adems, este tipo de evaluacin en la
objetivo y los datos sobre costes y precios de lograr prctica no permite la medicin de efectos sobre
diferentes objetivos. El ACE ex-post tiene una otras variables no econmicas (relaciones sociales,
secuencia lgica (Musto, S., 1975), cuyas etapas organizacin, liderazgo, etc.)
fundamentales son :
1. Identificar con precisin los objetivos del pro- 2.2.2. El Enfoque del Marco Lgico (EML)
yecto. y el Mtodo de Planificacin Orientada
2. Traducir los objetivos en dimensiones opera- por Objetivos (ZOPP)
cionales e indicadores.
El Enfoque del Marco Lgico (EML) o Logical Fra-
3. Especificar las alternativas que sern evaluadas. mework Approach (LFA) y el mtodo de Planifica-
4. Medir los recursos afectados en trminos cin Orientada por Objetivos o Ziel Orientierte Pro-
monetarios. jekt Planung (ZOPP) son dos mtodos ampliamen-
te utilizados en Europa que tienen sus orgenes, en
5. Medir el grado de logro de los objetivos. las agencias donantes de ayuda al desarrollo, en la
6. Comparar la alternativa de menor costo (entre necesidad de establecer pautas para la planificacin
las que alcanzan el objetivo) y la realizada. de los proyectos de desarrollo y mejorar su gestin,
24
Interior n 29 26/9/05 18:26 Pgina 25
permitiendo el seguimiento y la evaluacin de los y parte integral del ciclo de proyecto. Ms adelan-
mismos. te pas a ser el sello de fbrica de la GTZ en los
pases contrapartes donde desarrollaba proyectos.
En concreto, fue la Agencia Estadounidense de Coo-
peracin Internacional al Desarrollo (USAID) la que Aunque la mayora de los manuales consideran el
a finales de los sesenta (1969) elabor el primer ZOPP como una variante del EML (Toolkits,
Marco Lgico, tratando de reducir las deficiencias 1998), en Europa tiende a utilizarse como un mar-
de los proyectos de cooperacin, a partir de una co lgico especfico de los alemanes que le han
planificacin especfica y clara que pusiera las bases hecho aportes al inicial, pero que se trabaja de
para la evaluacin durante toda la vida del proyec- manera integrada. Ciertamente son metodologas
to. Se trata de una manera de estructurar los princi- que tienden a converger y puede decirse que se
pales elementos de un proyecto, subrayando los hacen entre s prstamos terminolgicos y de
lazos lgicos entre los insumos previstos, las activi- aplicacin9.
dades planeadas y los resultados esperados. Es una
forma de mejorar la lgica del plan de accin, ana- El EML, a nivel general, es una metodologa que
lizndolo en trminos de medios y fines. integra instrumentos y mtodos de anlisis que
permiten presentar de forma sistemtica y lgica
Fue entonces cuando comenz a extenderse entre los objetivos de un proyecto. Sus relaciones de
las agencias de cooperacin internacional de otros causalidad sirven para indicar si se han alcanzado
pases. La Agencia de Desarrollo Internacional de los objetivos y definir las hiptesis exteriores al
Canad (CIDA), la Administracin para el Desarro- proyecto o programa que pueden influir en su
llo de Ultramar Inglesa (ODA), la Agencia de Coo- consecucin, estableciendo los indicadores para
peracin Internacional Japonesa (JICA), la Agencia el seguimiento y la evaluacin. Es necesario pre-
para el Desarrollo Noruega (NORAD), etc. fueron cisar que ambos modelos fueron concebidos para
incluyendo en sus procesos marcos lgicos adapta- la planificacin de proyectos, pero tambin per-
dos a la manera de gestionar de cada pas. Lo mis- miten y facilitan el monitoreo y la evaluacin
mo ha ocurrido lentamente en las agencias de las posterior, al fijar los objetivos del proyecto de
Naciones Unidas como el PNUD, UNICEF y ms manera especfica, establecer los indicadores que
recientemente el ACNUR. Otros, como el Banco permitirn la comprobacin del alcance y las
Interamericano de Desarrollo (BID), han ido inte- fuentes de verificacin de los mismos. Veamos a
grando tambin en su gestin estas metodologas. continuacin sus caractersticas principales y la
metodologa propuesta para la evaluacin ex-
En esta lnea, la Agencia Alemana de Cooperacin post.
Tcnica (GTZ), tras poner a prueba el EML en los
setenta, desarroll a principios de los ochenta una El EML pone el nfasis en la estructuracin lgi-
ampliacin del mismo y en 1983 introdujo el mto- ca de los principales elementos de un proyecto,
do de planificacin ZOPP. Este modelo, basado en organizados en forma de matriz y subrayando los
el norteamericano, trataba de estructurar la planifi- lazos lgicos entre los insumos previstos, las acti-
cacin del proyecto con base en una serie de talle- vidades planeadas y los resultados esperados.
res (Zopp 1, Zopp 2... Zopp 5) a partir del trabajo Adems, se indican los factores externos o
en equipos interdisciplinarios e interculturales, don- supuestos que influyen en la realizacin satisfac-
de participaban las organizaciones contrapartes y toria de la intervencin. El ZOPP, por su lado,
los grupos destinatarios (Seufert, C.- GTZ, 1991). Si parte de la idea de que la cooperacin entre el
bien se introdujo provisionalmente en 1983, para personal del proyecto y las entidades contrapartes
1987 ya se haba incluido como norma obligatoria es ms fcil si se ponen previamente de acuerdo
9
En 1990, la Agencia Noruega de Cooperacin Internacional (NORAD) public El Enfoque del Marco Lgico: Manual para la planificacin de proyectos mediante objetivos,
advirtiendo que trata de integrar la metodologa desarrollada por las Naciones Unidas y la GTZ (IUDC, 1994). La propia Unin Europea lo asume en 1993, cuando la enton-
ces Comisin Europea publica La Gestin del ciclo de un proyecto: Enfoque integrado y el Marco Lgico, obligando a presentar proyectos bajo ese formato y aunando ambas
perspectivas. El Comit de Ayuda al Desarrollo de la OCDE lo promueve entre los pases europeos hasta el punto de estar totalmente ligado al ZOPP de la GTZ. Esta es la
razn principal por la que se expone de manera conjunta su metodologa.
25
Interior n 29 26/9/05 18:26 Pgina 26
en los objetivos. Abarca diferentes pasos de an- documentacin de todas las fases para apoyar la
lisis y de planificacin que sirven para determinar comunicacin y la toma de decisiones.
la situacin inicial, el sistema de objetivos y la
El EML-ZOPP se estructura a travs de dos grandes
concepcin del proyecto. Tal y como seala una etapas, subdividas en 5 momentos o pasos. La eta-
breve presentacin del mtodo, la propia GTZ pa analtica, que pone las bases para la planifica-
(Seufert, C., 1991), en la medida de lo posible, cin, y la etapa de construccin de la matriz de
dichos trabajos deben realizarse en equipo planificacin de proyecto-MPP, que trata de estruc-
mediante tcnicas de moderacin, visualizacin y turar el proyecto de manera lgica.
Cuadro 13
Metodologa del EML-ZOPP
Etapas Momentos
Etapa analtica - Anlisis de participacin
- Anlisis de problemas
- Anlisis de objetivos
- Anlisis de alternativas-Seleccin de estrategias
Etapa de construccin de la MMP - Construccin de la Matriz de Planificacin
- Lgica vertical: objetivo general, objetivo especfico, resultados y actividades
- Lgica horizontal: indicadores, fuentes y factores externos
Fuente: Elaboracin propia.
Dado que ya son conocidos los cinco pasos de esta La matriz de planificacin del proyecto (MPP) es un
metodologa, prestar atencin solamente a aquello conjunto de conceptos que se describen de modo
que est referido con la evaluacin ex-post: operativo en forma de matriz (cuadro de doble
1. Etapa analtica: se realizan todos los anlisis entrada), de tal forma que es posible verificar si la
referidos a la preparacin del proyecto (anli- intervencin ha sido instruida correctamente. Se
sis de participacin, problemas, objetivos y presentan de manera sistemtica y lgica los obje-
seleccin de estrategias)10. tivos, resultados y actividades de una intervencin
y sus relaciones causales (lgica vertical), detallan-
2. Etapa de construccin de la Matriz de Planifi- do los factores externos que pueden influir en el
cacin (MPP): determina la lgica de interven- desarrollo de esa lgica, los indicadores verificables
cin del proyecto, sus supuestos, indicadores, y sus fuentes para poder comprobar el cumpli-
fuentes de verificacin, insumos y costes. miento de los objetivos y sus resultados.
Cuadro 14
La matriz de planificacin
Indicadores objetivamente Fuentes de verificacin
Lgica de intervencin Hiptesis/Supuestos
verificables
Objetivo general
Objetivo
especfico
Resultados
Actividades Medios Costes
Fuente: Comisin de las Comunidades Europeas: Gestin del ciclo de un proyecto. Enfoque Integrado y Marco Lgico. Unidad de Evaluacin. Serie mtodos e instrumen-
tos par ala gestin del ciclo de un proyecto. N1. Febrero de 1993. Bruselas. Pg 23.
10
Toda la metodologa sobre esta primera parte se encuentra en los manuales sobre marco lgico y ZOPP. Revisar bibliografa y ver Gonzlez, Lara Enfoque del Marco Lgi-
co (EML) y el Mtodo de Planificacin Orientada por Objetivos (ZOPP): Metodologa para la gestin de proyectos desde la Cooperacin Internacional al Desarrollo en Revista
Tecnologa Administrativa. Departamento de Ciencias Administrativas y Centro de Investigaciones y Consultoras Administrativas. Universidad de Antioquia. Vol. XV. N35.
Enero- Marzo 2001. Medelln- Colombia.
26
Esta matriz concisa, fcilmente aplicable y utilizable La Agencia Noruega de Cooperacin Internacional
en los informes, disminuye la carga de trabajo de las propone un modelo evaluativo basado en el for-
partes que intervienen en las diversas fases de un pro- mato del EML. Se trata de realizar un anlisis a
yecto. (...) Es un instrumento que permite ver clara- nivel agregado, basados en unos criterios denomi-
mente cmo va a evolucionar la intervencin, qu nados componentes de evaluacin, que son cons-
estrategia se va a seguir y qu medios se van a utili- truidos directamente sobre los elementos de la
zar. Durante el seguimiento y la evaluacin, este mis- jerarqua de objetivos. Es un modelo que se orga-
mo marco lgico sirve de punto de referencia para niza en tres dimensiones: la jerarqua de objetivos,
analizar los resultados y el impacto de la intervencin el conjunto de componentes de la evaluacin y los
(Comisin de las Comunidades Europeas, 1993: 23). factores de desarrollo.
Cuadro 15
La evaluacin en el EML
Se propone un modelo tridemensional
Componentes de evaluacin
Factores de desarrollo
Jerarqua de objetvos
Fuente: IUDEC-UCM, Cedeal, Norad: Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Madrid. 1997. Pg 31.
27
Interior n 29 26/9/05 18:26 Pgina 28
Cuadro 16
Participacin: desde la colaboracin hasta la emancipacin
El significado de la participacin en un proyecto puede abarcar:
Desde la colaboracin en la ejecucin del proyecto Hasta la potencializacin de su capacidad poltica
- Colaborar en un proyecto definido y planificado por otras - Facilitar la autogestin del proyecto: diagnstico,
personas. planificacin, implementacin y evaluacin propias.
- Intervencin activa en el proyecto para garantizar - Participacin como capacitacin poltica y econmica.
la sostenibilidad.
- Iniciativa para la creacin de organizacin local,
- Consulta para conseguir informacin para el proyecto.
y fortalecimiento comunitario.
11
En la tercera parte se amplan estos conceptos.
28
Interior n 29 26/9/05 18:26 Pgina 29
La participacin representa una contribucin volun- a partir de la cooperacin en las actividades, com-
taria del individuo a un determinado proyecto, bien partiendo informaciones y beneficios del proyecto.
en forma de trabajo, dinero, etc., entendido como Esto supone usar las capacidades de la gente para
deberes de la poblacin beneficiaria. Pero la parti- evaluar su propio avance, de modo que puedan
cipacin debe contemplar tambin sus derechos y aprender sobre su propio proceso, conocer nuevas
participacin en las decisiones que corresponde tcnicas de organizacin y gestin y, en definitiva,
tomar en todas las fases del proyecto: identificacin aumentar el sentido de responsabilidad sobre su
de sus problemas, de sus potencialidades, en la desarrollo.
planificacin, en la ejecucin y seguimiento, la eva-
luacin y reparticin de beneficios. La evaluacin participativa se ha utilizado para
diferentes propsitos y en diferentes sectores; pero,
En los aos setenta ya se dan experiencias en el como recogen Gaventa, J. y Estrella, M. (1998) en
campo del desarrollo, y en los ochenta el concep- su revisin de la literatura existente sobre evalua-
to de evaluacin participativa haba entrado en cin participativa, la mayora de las experiencias
gran cantidad de agencias donantes. La partici- documentadas sobre monitoreo y evaluacin parti-
pacin popular estaba siendo gradualmente acepta- cipativa provienen de sectores agrcolas, medioam-
da como requisito para la planificacin e imple- bientales y de desarrollo rural.
mentacin exitosa de proyectos de desarrollo, y en
Son cinco las funciones claves de la gestin parti-
los noventa se convirti en un requisito indispen-
cipativa:
sable (Rudquist, A., 1991).
1. Valoracin del impacto.
Los mtodos y aproximaciones participativas que
2. Planificacin y gestin de proyectos.
se fueron desarrollando en los aos ochenta eran
ms apropiados para los trabajadores del desarrollo 3. Fortalecimiento organizacional y aprendizaje
y fciles de comprender a niveles comunitarios institucional.
(Feuerstein, M.T., 1986). La evaluacin participativa
4. Entendimiento y negociacin de las perspecti-
significa incluir a la gente en la toma de decisiones
vas de las partes implicadas.
en el proceso sobre lo que debe hacerse y en qu
manera, implicarles en el seguimiento del programa 5. Responsabilidad pblica.
Cuadro 17
Los cuatro principios de la evaluacin participativa
1. El principio de la participacin: enfatiza la participacin de las partes implicadas en los diferentes momentos de
la evaluacin (decisin, ejecucin y uso de resultados).
3. El principio de negociacin: se trata de un proceso social para la negociacin entre las diferentes necesidades
de la gente, sus expectativas y sus visiones del mundo.
4. El principio de la flexibilidad: los diseos evaluativos gozan de flexibilidad para ser adaptados a cada realidad
cambiante y las condiciones del contexto.
Fuente: Estrella, M., Gaventa, J.: Who Counts Reality? Participatory Monitoring and Evaluation: A Literature Review. Working Paper N 70. Institute of Development Studies.
(IDS). 1998.
29
Interior n 29 26/9/05 18:26 Pgina 30
Desde los aos setenta hasta hoy, los enfoques par- Se trata de una gran familia de enfoques y meto-
ticipativos han tenido una expansin creciente. Dos dologas que posibilitan el anlisis del conocimien-
de las razones principales, las recoge Ignacio Galle- to de las condiciones de vida de la comunidad, pla-
go (1999): una la inclusin de la participacin en la nificarla, ejecutarla, monitorearla y evaluarla.
evaluacin como prolongacin del modelo de
desarrollo centrado en la gente, por el cual es
necesario adaptar los diseos y la gestin de los Los modelos participativos, y sobre todo el DRP,
proyectos a la poblacin a la que van dirigidos; y, se construye sobre la base de la confluencia de
la otra, la reaccin de las agencias donantes y otras muchas fuentes y tradiciones participativas del
instituciones ante la necesidad de garantizar la sos- siglo XX. Cuatro son sus principales influencias
tenibilidad de los proyectos, una vez retirado el desarrolladas en su mayora en los setenta y
apoyo externo. ochenta, en torno a la investigacin-accin parti-
cipativa (Participatory action Research-PAR) de
Como recoge Robert Chambers, uno de los padres Paolo Freire en 1972 y la Participatory Research
del enfoque participativo, se fueron desarrollando de Fals Borda; los anlisis agroecolgicos (agro-
experiencias, enfoques y mtodos, sobre todo en ecosystems-analysis y field research on farming
pases del Sur, aunque de una manera dispersa, systems); la Antropologa aplicada (applied
que han confluido en el Participatory Rural Aprais- antrophology) y el Diagnstico Rural Rpido-DRR
sal (PRA) o Diagnstico Rural Participativo (DRP). (Rapid Rural Apraissal-RRA).
Cuadro 18
Principales contribuciones al Diagnstico Rural Participativo
Enfoque Principales aportes al DRP
Investigacin - accin - participacin - Se aprende haciendo.
- Los agentes externos tienen un papel facilitador y catalizador.
- Las personas pobres deben ser empoderadas.
- Las personas pobres pueden y deben hacer su propia investigacin,
anlisis, planificacin y evaluacin.
Anlisis agroecolgico - Conocimiento, profesionalismo y racionalidad de los pequeos granjeros.
- Tcnicas de visualizacin y representacin.
- Transectos (paseos sistemticos y observacin).
- Mapeo.
- Diagramas de estaciones, de flujo, causales, de barras, de Venn.
- Valoracin innovadora (puntuaciones y rankings).
Antropologa y Etnologa Social - -Idea de que el aprendizaje debe ser flexible.
- Valor de las observaciones y apreciaciones de la poblacin.
- Importancia de las actitudes y comportamientos.
- Diferenciacin entre lo emico y lo etico.
- Riqueza y validez del conocimiento tcnico indgena.
Diagnstico Rural Rpido - Conexin con la poblacin.
- Metodologa flexible y rpida.
Fuente: Basado en Chambers, Robert: Whose reality counts? Putting the first last. Intermediate Technology Publications. London. 1997. Pgs: 104- 112.
En la mitad de los ochenta el trmino participacin ron finalmente en el PRA o Diagnstico Participati-
entra en el vocabulario del RRA. La publicacin de vo Rpido. Su desarrollo ha alcanzado altos niveles
Michael Cernea (Putting the last first, 1985) pone durante los aos noventa, tanto en su aplicacin en
de manifiesto su experiencia de aos anteriores, y el Sur como su asuncin por gran parte de agen-
comienza a conectar participacin y metodologa cias financiadoras.
del RRA. A su vez, se realizaron avances en Kenya
y la India en ONG y en organizaciones guberna- La clave principal, en el caso de la evaluacin
mentales a finales de los ochenta, que desemboca- bajo DRP, es considerar a la informacin, el an-
30
Interior n 29 26/9/05 18:26 Pgina 31
lisis y las conclusiones de la misma como propie- cin de los mismos. El DRP pretende animar y per-
dad de los miembros de la comunidad. Esto per- mitir que ellos y ellas se renan, determinen su
mite que ellos analicen su propia situacin, agenda de trabajo, recojan la informacin, la expre-
tomen decisiones por ellos mismos y, en definiti- sen, compartan y analicen, para despus tomar
va, el proceso aporte mayor poder a la comuni- decisiones.
dad (empoderamiento).
As, esta metodologa aplicada a la evaluacin del
Tres son las principales caractersticas del modelo proyecto pretende poner el acento en:
DRP:
- La capacidad de la poblacin para evaluar su
1. La triangulacin: la informacin recogida se proyecto.
hace por diferentes medios para asegurar su
objetividad y mediante un grupo multidisci- - El valor de la compenetracin y el comporta-
plinario. miento facilitador de los agentes externos.
Cuadro 19
Tcnicas utilizadas por el PRA-DRP
Anlisis visual Mtodos de entrevista y muestreo Dinmicas de grupo
- Mapas - Entrevista semi-estructurada - Grupos contractuales
- Anlisis fotogrfico de reas - Observacin Directa - Sesiones de revisin
- Paseos grupales - Grupos focalizados - Guas de entrevista
- Calendarios de estaciones - Informantes clave - Redaccin de informes rpidos
- Perfiles de actividades - Historias de vida - Trabajo compartido
- Perfiles histricos y anlisis de tendencias - Mapas sociales - Presentaciones compartidas
- Cronologas y lneas temporales - Diarios y notas
- Matriz de puntuaciones y ranking de
preferencias
- Diagrama de Venn y trabajo en red
Fuente: Traducido de Cornwall, A., Guijt, I., and Welbourn, A.: "Aknowledging Process. Challenges for Agricultural Research and Extension Methodology". IDS Discussion
Paper n 333. Institute of development Studies. Brighton, 1993. Pg. 22.
2.3. La apuesta por un modelo rrollada a lo largo de la vida del proyecto, tanto en
integrador de agentes, la planificacin como en el seguimiento, sern fac-
modelos y herramientas tores que determinen, el modelo a elegir.
31
Interior n 29 26/9/05 18:26 Pgina 32
2.3.1.Algunas dificultades de la aplicacin por sepa- lita los procesos de sistematizacin de la informa-
rado de los modelos presentados cin, dada la dificultad de codificacin de los mis-
mos y su anlisis requiere finalmente una estructu-
Comparando con los modelos de la economa, en los racin con base en categoras que pueden estar
que a nivel conceptual parece claro y sencillo, no lo establecidas desde fuera. As, lo que puede parecer
es tanto a la hora de su aplicacin en proyectos un proceso participativo, se convierte en recogida
sociales o de desarrollo social. Porque lo que es una de informacin que no deriva en un empodera-
buena tcnica de anlisis para proyectos puramente miento real de la comunidad.
econmicos, no lo es tanto en el caso de que los
beneficios no pueden ser valorados en moneda, lo En relacin con la aplicacin del marco lgico, hay
cual en el mbito social es frecuente. que sealar que lo que son algunas virtudes del
modelo a nivel terico, en ocasiones se han ido
Para su aplicacin se requiere que alguien tenga desvirtuando en la prctica de gestin y evaluacin
experiencia en este tipo de anlisis, lo cual no siem- de los proyectos de desarrollo. As, tras haber
pre es fcil de encontrar en el mbito de las ONG. observado directamente algunas experiencias de
Adems, el ACB no siempre es relevante para pro- campo en Colombia y estudiado la sistematizacin
yectos de desarrollo social donde el logro de deter- de experiencias de otros pases, me permito sea-
minados objetivos es deseable y necesario, indepen- lar algunas de las debilidades de la aplicacin uni-
dientemente del costo, ya que existen razones polti- lateral de esta metodologa en la evaluacin de
cas, sociales o culturales por las que se considera proyectos de desarrollo.
que la realizacin del proyecto contribuye al logro de
unos objetivos generales en la sociedad. La rentabili- Si bien el marco permite realizar variantes y acomo-
dad no se puede circunscribir slo a criterios econ- daciones segn el contexto en el que se aplique, en
micos, si no que debe considerar tambin los socia- la realidad, esta metodologa puede generar rigideces
les o polticos. (Aguilar, Ander-Egg., 1994). cuando se toma de manera inflexible o se absoluti-
zan los objetivos. Y esto es lo que ocurre en innu-
Los modelos participativos o de autogestin no merables ocasiones. Como seala la GTZ, el modelo
estn exentos de algunos peligros en su aplicacin. se ha vuelto a veces un fin en s mismo, donde el
En ocasiones se da demasiada importancia a los objetivo es rellenar la matriz como sea y cumplir
mtodos y se olvida la relevancia del comporta- rigurosamente los pasos del marco, sin tener en
miento, tratando de dominar y meter prisa, olvi- cuenta las verdaderas necesidades de la poblacin y
dando que el rol de los facilitadores es orientar y sus ritmos de trabajo (Seufert, C.-GTZ, 1991).
acompaar. Adems, en muchos casos se contrata
Por otro lado, y tras la proliferacin de agencias
a expertos del Norte para ese anlisis, cuando las
que asumen el marco lgico como metodologa
personas mejor capacitadas estn, en ocasiones, en
nica de anlisis, su utilizacin se ha convertido
los pases llamados en desarrollo.
ms en una obligacin que en una propuesta
Los mayores detractores de este modelo sealan abierta y flexible. As, toda aquella organizacin
que no es vlido para la cooperacin internacional, que pretende acceder a recursos de la coopera-
dado que no permite generalizaciones, pues se cin internacional debe seguir los pasos de esta
centra en las especificidades de la comunidad del metodologa, aunque no la conozca en profundi-
proyecto analizado, y no responde a los estndares dad. Es por ello que en la mayora de oficinas de
de la cooperacin internacional. Adems, la subje- proyectos de ONG u otras entidades de pases en
tividad de las personas puede cruzar los resultados vas de desarrollo, o pases europeos que preten-
y dar una visin falsa de la realidad , sin que haya den presentar proyectos a instancias internaciona-
posibilidad de comprobar la fiabilidad y validez de les, asumen la utilizacin del marco casi por obli-
los datos al no ser estandarizados. gacin, disendose unilateralmente desde una
oficina, poniendo poco nfasis en la participacin
En otras ocasiones, la realizacin de estos modelos de la poblacin beneficiaria y realizando la matriz
de preponderancia cualitativa, con nfasis en la de planificacin directamente desde el escritorio
visin subjetiva y construida de la realidad, no faci- de los ejecutores o donantes. Por otro lado, el
32
Interior n 29 26/9/05 18:26 Pgina 33
diseo de los indicadores de seguimiento y eva- puestas en marcha en cada organizacin que sean
luacin, en la mayora de las ocasiones, es bas- capaces de incorporar los avances de unos y otros.
tante dbil. Bien haciendo posible integrar unas corrientes con
otras, bien combinando metodologas cuantitativas
A nivel operativo, la utilizacin del marco lgico y cualitativas, as como haciendo que dialoguen los
requiere de una previa capacitacin y entrenamien- diversos agentes del desarrollo. Todo ello en el
to en el manejo, pues la definicin de resultados y contexto del pas donde se desarrolle, su cultura de
de indicadores para su medicin no es tarea senci- la gestin y la evaluacin, as como el tipo de pro-
lla en la prctica. yecto de que se trate.
El uso del marco, sin complementarlo o combinar- Tres ideas caracterizan este modelo integrador:
lo con otras tcnicas ms sencillas resulta comple-
jo para organizaciones comunitarias o grupos de - La conformacin de un equipo de evaluacin
bajo perfil acadmico. Adems, se trata de una lgi- - La articulacin de diversas metodologas
ca occidentalista donde la relacin causa-efecto
- La triangulacin de mtodos
puede resultar rgida en ciertas culturas. La realidad
social es ms bien sistmica que de relaciones ver- 1. La conformacin de un equipo de evaluacin
ticales, donde los problemas se hallan interrelacio-
nados entre s de manera compleja. Adems, todo Siempre que sea posible, el equipo deben confor-
el proceso evaluativo tiende a centrarse en el an- marlo, al menos, tres personas. Una persona interna
lisis del progreso cuantitativo ms que sobre lo de la organizacin ejecutora que conozca bien el
cualitativo (y los efectos sobre los hbitos de la proyecto, sea responsable del seguimiento y los
poblacin beneficiaria), y no se incluye en la matriz indicadores de progreso, posea toda la documenta-
una columna que establezca las personas respon- cin del proyecto y tenga contactos con la poblacin
sables de la verificacin y la comprobacin de los beneficiaria. De otro lado, si se dispone de recursos
indicadores de progreso (lo cual deriva en que puede integrar a un consultor externo (nacional o
finalmente no se lleve a cabo). internacional) conocedor de herramientas cualifica-
das y que aporte una visin objetiva y externa al
En relacin con proyectos de corta duracin o de proceso. Por ltimo, pero no menos importante,
ayuda humanitaria (conflictos armados, terremotos, puede participar en el diseo y ejecucin de la
desastres, etc.) la matriz de planificacin resulta investigacin evaluativa algn representante de los
compleja y poco prctica si se establece con rigi- beneficiarios, bien de la comunidad o de organiza-
dez, dada la flexibilidad requerida por la emergen- ciones comunitarias ligadas a las mismas.
cia y la importancia que cobran los supuestos
externos que necesariamente obligan a realizar Las cualificaciones que tengan los miembros del
ajustes permanentes sobre lo planificado en cuanto equipo evaluador, en trminos profesionales,
a resultados y sus indicadores. humanos y de experiencia, es importante para el
xito del estudio evaluativo. La calidad humano-
Por ltimo, la valoracin de los cinco criterios personal es una caracterstica que no siempre se
esenciales (eficacia, eficiencia, pertinencia, viabili- considera y en ocasiones es la ms importante.
dad e impacto) ha tenido escasa difusin pblica y Cualidades como la capacidad de trabajar en
pocos son los organismos que priorizan los anlisis equipo, comunicacin, dilogo, entendimiento,
a posteriori, frente a la medicin de la realizacin compresin y empata con los otros miembros
de actividades. son vitales si se ha decidido trabajar en conjunto
y construir una evaluacin que pretenda ser hols-
2.3.2. Una propuesta flexible tica e integral.
En la propuesta de una nueva perspectiva integra- No es necesario que todas las personas implicadas
da que busca responder al conocimiento del (stakeholders) renan las mismas caractersticas,
impacto real de los proyectos en la poblacin sino que deben ser producto de las sinergias pro-
beneficiaria, es necesario fortalecer metodologas ducidas por los conocimientos y experiencias de
33
Interior n 29 26/9/05 18:26 Pgina 34
Cuadro 20
Equipo de evaluacin
El trabajo de evaluacin requiere que el equipo rena gran parte de las caractersticas que a continuacin se detallan:
- Conocimientos globales sobre desarrollo y, en concreto, desarrollo social y humano.
- Conocimientos bsicos de formulacin, gestin y seguimiento de proyectos de desarrollo.
- Conocimientos sobre mtodos y tcnicas bsicas de investigacin y evaluacin.
- Conocimientos sobre el rea profesional en la que se circunscribe el proyecto.
- Conocimiento del medio fsico, social y humano donde se contextualiza el proyecto.
- Carcter multidisciplinar entre las personas que conforman el equipo, as como equilibrio de gnero.
- Personal con capacidades de comunicacin, dilogo, negociacin y trabajo en equipo.
- Contacto cercano con el medio social y humano donde se desarrolla el proyecto.
- Experiencia acumulada de otros seguimientos y evaluaciones.
- ...
Fuente: Basado en NORAD: "Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores". Instituto de desarrollo y cooperacin IUDC. Universidad
Complutense de Madrid. CEDEAL . Madrid.1997.
cada miembro. As, el agente externo tal vez ver la competencia y el conflicto de las percepcio-
conozca mejor las tcnicas evaluativas del marco nes de los implicados, especialmente cuando gru-
lgico y tenga mayor experiencia en la realizacin pos particulares de implicados son impotentes fren-
de evaluaciones; las personas encargadas de la eje- te a otros (Estrella, M. y Gaventa, J., 1998). Es
cucin del proyecto lo conocen bien y se encuen- necesario, entonces, reconocer que lograr un buen
tran cercanas a su medio (mismo idioma, regin, trabajo de equipo es difcil de conseguir. El con-
etc.) y las representantes de los grupos beneficia- flicto de intereses y las desiguales relaciones de
rios son las mejores conocedoras de la problemti- poder de los grupos implicados puede hacer difcil
ca especfica de la comunidad, as como de sus el dilogo y el acuerdo. Pero tambin es importan-
propias potencialidades. te tener en cuenta que la participacin de todas las
partes, si se afrontan las dificultades y superan los
Las diferentes personas implicadas inicialmente no conflictos, garantiza una evaluacin productiva y
presentan los mismos intereses ni las mismas orientada a la toma de decisiones futuras.
expectativas sobre el proceso de evaluacin. Es
ms, las demandas de los grupos beneficiarios 2. La articulacin de diversas metodologas para la
pueden entrar en conflicto con las de los donantes. evaluacin
Todo ello expresa la complejidad del tejido forma- La propuesta global que se propone es que se rea-
do por el entramado de intereses que interactan licen las evaluaciones ex-post segn la metodologa
en toda intervencin social y que debern ser con- predominante a lo largo del proyecto, desde su
templados por el equipo evaluador desde los ini- planificacin, y utilizando herramientas propias de
cios. As, ser necesario identificar las partes impli- la institucin, si las tiene. En todo caso, si el pro-
cadas en el proceso, sus motivaciones, necesidades yecto fue formulado con el marco lgico (como es
e intereses y las relaciones existentes entre ellas. Si la tnica actual), la propuesta se orienta a la com-
esto no se realiza, puede generar posteriores con- binacin de la propuesta evaluativa del marco
flictos, inseguridades y ruptura de la comunicacin. (indicadores, factores de desarrollo y componentes)
Se trata de todo un proceso de negociacin y con- con las herramientas de la propuesta econmica y
certacin interinstitucional. la participativa.
Rajakutty (1991) elabor el concepto de evalua- Esto, que a primera vista, puede parecer una com-
cin basada en las personas implicadas, que des- binacin impracticable, ya ha tenido algunas expe-
cribe como un continuo dilogo y negociacin riencias en Colombia y con seguridad en otros pa-
entre las persona afectadas por el proyecto. Sin ses. En la prctica, la CEPAL ha desarrollado eva-
embargo, tambin seala las dificultades de resol- luaciones de corte econmico combinado con mar-
34
Interior n 29 26/9/05 18:26 Pgina 35
35
Interior n 29 26/9/05 18:26 Pgina 36
Cuadro 21
Tcnicas primarias cuantitativas y cualitativas utilizadas en evaluacin de proyectos
Tcnicas cuantitativas Tcnicas cualitativas
Medicin cuantificable (indicadores, estadsticas, escalas) Entrevista abierta a informantes claves o Historias de vida
Entrevista estructurada (encuesta) Grupos de discusin
Cuestionarios (autorrellenado) Observacin participante
36
Interior n 29 26/9/05 18:26 Pgina 37
37
Interior n 29 26/9/05 18:26 Pgina 38
humanos. Se trata de examinar si los resultados razn de ser una vez finalizado, en la evaluacin
podran haberse logrado haciendo una utilizacin ex-post, donde se disponen de mayores informa-
mejor de los insumos que se han puesto en juego ciones.
o usando otros menos costosos y que hubiesen
permitido alcanzar los mismos resultados. Si los otros elementos se preocupan del proyecto y
su desarrollo, el anlisis de viabilidad tiene una
Una valoracin de los medios utilizados requiere perspectiva del proceso de desarrollo orientado en
entenderlos en sentido amplio. Debern conside- el largo plazo. Cabe preguntarse, qu validez ha
rarse todo tipo de medios y su intervencin en el tenido un proyecto si una vez terminada la ayuda
proyecto; si se dio un buen uso a los bienes mate- exterior no es capaz de mantenerse de manera
riales disponibles para la realizacin del proyecto; autnoma?. As, la viabilidad depender en gran
si se tuvieron en cuenta los recursos humanos loca- medida de si el impacto positivo justifica que se
les y en qu medida contribuyeron a la obtencin hayan realizado numerosas inversiones y si la
de los resultados; y por ltimo, cules son los cos- poblacin beneficiaria valora el proyecto de mane-
tos econmicos, tcnicos y naturales que se reali- ra positiva como para desear dedicar sus escasos
zaron y si pudieron haber sido menores. recursos a continuarlo.
La pertinencia El impacto
La pertinencia es de vital importancia desde las pri- Realizar un anlisis de impacto, en ocasiones tam-
meras fases de la identificacin y la planificacin, bin llamado de efectividad, implica un estudio de
para saber si el proyecto es til y responde a las los efectos conseguidos ms all de los objetivos
necesidades que existan con anterioridad a su propuestos. Cuando dichos efectos son positivos es
puesta en marcha. La pertinencia se preocupa de cuando un proyecto es efectivo y, adems, es efi-
conocer si la razn de ser de un proyecto est de caz en caso de coincidir con el objetivo que nos
acuerdo con las prioridades de la comunidad local proponamos al planificar el proyecto.
y si se han respondido a sus necesidades (las per-
cibidas por la comunidad). La principal diferencia entre ambos conceptos es
que el anlisis de impacto es ms amplio, dado que
Bsicamente, en la evaluacin ex-post la pertinen-
incluye todos los efectos posibles, tanto positivos
cia es una cuestin de utilidad que debe conducir
como negativos, previstos o no previstos, locales,
a la pregunta de si el proyecto debe continuar,
regionales o nacionales. El impacto es el criterio
ampliarse o realizarse en otro lugar o contexto. En
ms amplio y difcil de medir dada su amplitud.
caso de continuar deber analizarse si existen otras
Supone recoger todos los efectos que la accin ha
intervenciones en el mismo sector, rea o comuni-
tenido sobre el medio: econmicos, tcnicos, socia-
dad que puedan afectar al proyecto.
les, culturales, polticos, ecolgicos, de gnero, de
La sostenibilidad salud, etc.
12
En ingls, normalmente el trmino utilizado es sustainability, pero tambin puede encontrarse como viability.
13
Desde mi perspectiva es ms correcto hablar de la medicin del impacto en la evaluacin ex-post como un criterio a valorar, ms que como una nueva modalidad de eva-
luacin. El impacto es un componente de la evaluacin ex-post que complementa la valoracin global del proyecto a partir de otros, como es la eficiacia, eficiencia, via-
bilidad, pertinencia, efectividad, calidad etc. Tal vez es el ms importante ya que permite valorar si los cambios en las condiciones de vida de la poblacin y sus com-
portamientos han sido sustanciosos y sostenibles en el tiempo.
38
Interior n 29 26/9/05 18:26 Pgina 39
39
Interior n 29 26/9/05 18:26 Pgina 40
14
Sobre este punto vase mi propuesta metodolgica anteriormente.
40
Interior n 29 26/9/05 18:26 Pgina 41
Las evaluaciones participativas incluyen a los hom- xito o fracaso para cada una de las partes, o lle-
bres y las mujeres que han desarrollado el proyec- gar a acuerdos sobre la modalidad de evaluacin
to, as como a las personas beneficiarias. Una ver- que se va a realizar, o las tcnicas a utilizar, etc. La
dadera evaluacin participativa, tiene en cuenta a bsqueda del consenso requiere en la mayora de
todas las personas integrantes del proyecto en la los casos una gran disponibilidad al dilogo por
toma de decisiones y en el control del mismo. todas las partes, as como de tiempo. Adems, no
Algunos riesgos pueden venir de lo que supone debe confundirse participacin con consulta.
Cuadro 22
Algunos problemas a enfrentar
Una clasificacin de los posibles problemas considera cuatro categoras:
1. Problemas institucionales: son problemas que se originan en los organismos ejecutores del proyecto. Existe en ocasiones
una gran resistencia al cambio, lo que genera en ocasiones que se desactiven los procesos evaluativos no introduciendo las
medidas correctoras para cambiar ciertas circunstancias.
2. Problemas de relaciones personales: tales como las diferencias de personalidad, o de desempeo de papeles que generan
conflictos de intereses y pueden alterar el curso del proyecto y de las evaluaciones.
3. Problemas tcnicos: para poder evaluar es preciso que se hayan establecido el marco de referencia para poder establecer
comparaciones. La debilidad tcnica con que se ejecute el proceso de diagnstico para la definicin de un proyecto, tiene
una decisiva incidencia en la calidad del proyecto. Si el diagnstico no es adecuado la evaluacin partir de premisas err-
neas, ya que se medir una situacin real con un marco de referencia equivocado. Otros problemas tcnicos que habr que
hacer frente sern posibles desajustes entre las necesidades de la evaluacin y el modelo que se emplee, o la insuficiencia
del equipo evaluador, etc.
4. Problemas operativos: En esta categora se sitan los problemas que aparecen durante la fase de ejecucin de la evaluacin
y, ms concretamente, en la recoleccin de informacin y su difusin. Por ejemplo, un mal uso de los datos y filtraciones
que provocan rumores en la comunidad y en ocasiones generan inestabilidad y perturbacin, o inoportunidad en las rendi-
ciones de informes donde en ocasiones las evaluaciones son entregadas una vez se han tomado las decisiones a las que
afecta.
Fuente: Espinoza, Mario: Evaluacin de proyectos sociales. Editorial Humanitas. Buenos Aries. 1983. Pg. 173- 190.
Si bien las dificultades operativas o metodolgicas Dificultades propias a la valoracin del impacto
a las que se enfrenta la evaluacin son relativa-
mente fciles de superar, en el caso de problemas El estudio del impacto debe tener en cuenta, no
conceptuales o de falta de entendimiento requie- slo los resultados del proyecto y los efectos a cor-
re de un fortalecimiento del conocimiento de la to plazo, sino que debe poner el nfasis en los
gestin de proyectos de desarrollo y del papel efectos sobre la poblacin (positivos y negativos,
esperados y no esperados) que se han dado en el
necesario que la evaluacin expost juega en los
medio-largo plazo.
mismos. As mismo, tal y como seala el profesor
Antonio Puerta (1997), la evaluacin de un pro- La evidencia sugiere que las agencias de desarrollo
yecto subsume el concepto mismo de desarrollo y las ONG se han vuelto, en general, ms fuertes
que lo soporta, al tiempo que se convierte en en la evaluacin de actividades, resultados fsico-
aporte fundamental al mismo. Por ello es preciso materiales y esfuerzos, pero menos fuertes cuando
entender la evaluacin expost como un proceso se trata de determinar los cambios resultantes en
integral del ciclo de vida de los proyectos de la poblacin. As, no es lo mismo hablar de resul-
desarrollo, erradicar la imagen de monstruo que tados que de efectos o de impacto. Mientras los pri-
ha imposibilitado visualizar la evaluacin como meros tienen que ver con la realizacin de las acti-
un verdadero aliado de la gestin que permite vidades (y tal vez con el logro del objetivo), los
aprender de las experiencias pasadas, positivas y efectos tienen que ver con la influencia inmediata
negativas, integrndolas en el futuro y, sobre de los resultados en el corto plazo de la realizacin
todo, integrarla en el proceso de construccin de dichas actividades y el impacto se refiere al an-
desde y para el desarrollo. lisis de todos los efectos (positivos y negativos,
41
Interior n 29 26/9/05 18:26 Pgina 42
15
En el caso de la corriente econmica de ACB y ACE, con la pretensin de medir el impacto de una intervencin desde una perspectiva monetaria, se pone de relieve la
falta de participacin y percepcin de la poblacin beneficiaria sobre lo que conciben como cambios sustanciales en su vida. En el caso del Marco Lgico y el ZOPP se
han desarrollado buenos sistemas de evaluacin ex post que permiten analizar, mediante indicadores para cada fase de la Matriz de Planificacin (MP) y a partir de con-
sultas a la poblacin (Fuentes de Verificacin) y otros anlisis, el cumplimiento de ciertas actividades y el logro de resultados previstos en la planificacin, pero que no
ponen nfasis en el impacto generado en la poblacin y los cambios que ha sufrido, y subestima la consecucin de objetivos de alto nivel por caminos no planificados y
los efectos no previstos tanto buenos como malos ( Des Gasper, en IUDC, 1999: 58).
42
Interior n 29 26/9/05 18:26 Pgina 43
Parecen ser las corrientes ms participativas tantes sobre los efectos generados a lo largo
(Feuerstein, 1986; Chambers, 1991) y de empodera- del proyecto, y de las que conformarn el
miento (Fetterman, 1996) las que han avanzado en equipo evaluativo ex-post.
tratar de evaluar los cambios cualitativos de las
intervenciones, as como la revisin de las expe- 5. Establecer los canales de informacin necesa-
riencias vividas por la poblacin beneficiaria. Basa- rios para la retroalimentacin y toma de deci-
das en la metodologa de la investigacin- accin y siones a lo largo del proyecto al interior de la
en los modelos de RRA y PRA, todava sus meto- organizacin ejecutora, la organizacin ejecu-
dologas para la evaluacin son criticadas por las tora y la poblacin beneficiaria; y la organi-
agencias donantes como poco rigurosas, al no res- zacin ejecutora y las otras entidades impli-
ponder a las lgicas planificadoras, y no ser gene- cadas (donantes, colaboradoras, etc.).
ralizables a todos los contextos. 6. Sistematizar los informes de seguimiento e
informe final y socializarlos para la toma de
decisiones.
3.3. El nuevo desafo:
propuestas para la 7. Fijar fechas pertinentes para la realizacin de
valoracin del impacto la evaluacin ex-post y la configuracin del
equipo evaluativo (ojal con fuerte partici-
As, como se seala en la propuesta de una nueva pacin de la poblacin beneficiaria y repre-
perspectiva integrada, es importante responder al sentantes de la organizacin ejecutora y
conocimiento del impacto real de los proyectos en donante como meros facilitadores).
la poblacin beneficiaria, y para ello ser necesario
fortalecer las metodologas puestas en marcha en 8. Analizar la eficacia, pertinencia, eficiencia y
cada organizacin, que sean capaces de incorporar sostenibilidad, con el fin de evaluar los resul-
los avances de unos y otros. Para la realizacin de tados esperados del proyecto y su funciona-
evaluaciones ex-post y la valoracin del impacto se miento en s, en aras a incorporar lo apren-
recomiendan los siguientes pasos: dido en la toma de decisiones futuras.
43
Interior n 29 26/9/05 18:26 Pgina 44
- Cambios observados en los ingresos y en los se estudi una muestra de municipios y se articu-
niveles de vida como repercusin directa del laron tcnicas de obtencin de datos cualitativas
proyecto, (consumos, nutricin, vivienda, edu- y cuantitativas. Se realizaron talleres de planea-
cacin, salud, servicios comunitarios, etc.). cin participativa de la evaluacin, donde se defi-
- Cambios en la participacin y empoderamien- nieron el qu, el cmo y el para qu de la eva-
to del grupo objetivo (aportes, apoyos y toma luacin , entrevistas abiertas, talleres de discusin
de decisiones en los distintos momentos de la y revisin de indicadores cuantitativos. He aqu
planificacin, ejecucin y evaluacin del pro- su testimonio:
yecto; organizaciones comunitarias antes y el hecho de derivar la evaluacin del efecto que
despus, estructura interna, capacidad de lide- las acciones del programa tuvieran en la comuni-
razgo, de interlocucin, independencia de la dad, y su cruce con la percepcin por parte del
ayuda y sostenibilidad, etc.). programa y con los datos y registros de tipo esta-
- Cambios respecto a la situacin y funciones dstico, conferan validez al proceso investigativo.
de las mujeres (repercusiones en la equidad Parte de los resultados saldran del anlisis de la
de gnero, participacin, empoderamiento, convergencia o divergencia entre las tres fuentes de
roles, acceso al proyecto y a la toma de deci- informacin: a una mayor convergencia correspon-
siones, etc.). dera una mayor grado de apropiacin y conoci-
- Cambios en torno al medio ambiente (impac- miento de las acciones del programa por parte de
tos en el ecosistema, productividad de la tie- la comunidad o viceversa. Otros de los resultados
rra, acceso a recursos naturales, proteccin a afloraran del anlisis de los resultados de cada una
minoras tnicas, enfermedades relacionadas de las fuentes por separado o de su interrelacin
con el hbitat, etc.). independientemente de su convergencia o diver-
gencia (UEC- CICI, 1998).
- ...
Esta es una experiencia de realizacin de la eva-
Estas son algunas de las reas donde debe poner- luacin de impacto que permite ir incorporando
se especial atencin a la hora de observar cambios elementos al aprendizaje de la evaluacin como
susceptibles del proyecto, tanto negativos como proceso integrador y facilitador para la mejora de la
positivos. Pero es necesario recordar que, depen- calidad de las intervenciones futuras. Son ya varios
diendo del rea en que se haya ejecutado el pro- los intentos, experiencias y avances que a nivel
yecto (productivo, educativo, juvenil, etc.) deber terico y prctico se estn desarrollando en Amri-
ponerse especial cuidado en desarrollar indicadores ca Latina, Europa y Estados Unidos. Todas ellas tra-
y alertas especficas para ese campo. tan de agilizar un debate abierto sobre la evalua-
En el caso de la experiencia de evaluacin de cin y, en concreto, sobre la evaluacin de impac-
impacto del Programa Agua Potable y Saneamien- to. Todava queda mucho por aprender.
to de la Costa Pacfica-Convenio ALA 92/39, el
anlisis prest especial atencin al impacto del
proyecto en la creacin, administracin y manejo
de empresas de servicios pblicos del agua y la
promocin de la participacin de la comunidad
respecto a la conciencia del recurso del agua, su
conservacin y racionalizacin del consumo
(UEC-CICCI, 1998). Para ello, la evaluacin se
centr en el impacto de las estrategias diseadas
y de la percepcin de la comunidad sobre la
intervencin, su papel en la gestin y su garanta
de sostenibilidad basada en la cogestin y auto-
gestin. Para el estudio del impacto se puso en
marcha toda una investigacin evaluativa, donde
44
Interior n 29 26/9/05 18:26 Pgina 45
Cuadro 23
Ejemplo de Matriz de Evaluacin de impacto
Categoras de anlisis Categoras descriptivas Indicadores Interpretacin de datos
(entrevistas individuales
y grupales)
Percepcin del recurso - identificacin del recurso - identifica disponibilidad de fuen-
del agua - conciencia del recurso tes de agua en el territorio
- conoce fuente abastecedora del
acueducto
- conoce diferencia de uso entre
agua cruda y potable
- est en disposicin de racionali-
zar el consumo
Percepcin de la realizacin - informacin sobre la - conoce que tipo de obra se
de la obra fsica ejecucin realiz
- percibe como se realiz la obra
fsica
Participacin comunitaria - conocimiento de los - conoce los criterios de
en relacin al proyecto de aspectos legales y determinacin de la tarifa
acueducto normativos - sabe que el pago del servicio
- funcionamiento de los est en funcin del consumo
mecanismos de control - conoce los mecanismos de
social control social
- identifica quien es el vocal de
control
Organizacin social para la - funcionamiento de la - conoce la tipologa de la ESP
gestin del servicio organizacin - valora estar asociado a la
- funcionamiento operativo organizacin
de la ESP - est disponible al pago del
servicio
- sabe que personal trabaja en la
ESP
Fuente: Universidad Externado De Colombia (UEC)- CICCI: "Evaluacin de impacto en el rea social. Programa de Agua Potable y Saneamiento Costa Pacfica". Convenio ALA
93/39. Colombia. Santiago de Cali. 1998. Pg. 29.
45
Interior n 29 26/9/05 18:26 Pgina 46
Interior n 29 26/9/05 18:26 Pgina 47
BIBLIOGRAFA
47
Interior n 29 26/9/05 18:26 Pgina 48
COMISIN DE LAS COMUNIDADES EUROPEAS Literature Review. En IDS Working Paper, n 70.
(CCE) (1993): Gestin del Ciclo de un Proyecto. FETTERMAN, D. M., KAFTARIAN, S. J. y A. WAN-
Enfoque Integrado y Marco Lgico. Bruselas: Serie DERSMAN(editors) (1996): Empowerment Evalua-
mtodos e instrumentos para la gestin del ciclo tion. Knowledge and Tools for Self- Assessment
de un proyecto, n 1. and Accountability. California: Sage Publications.
COOK, T.D. y CH.S. REICHARDT (1986): Mtodos FEUERSTEIN, M. T. (1986): Partners in Evaluation.
cualitativos y cuantitativos en investigacin eva- Evaluating Development and Community Pro-
luativa .Ediciones Morata. grammes with Participants. Hong Kong: Mac
CORREA, E. (1999): Impactos Socio- econmicos de Millan.
grandes proyectos. Evaluacin y manejo. Santa Fe GOMEZ GALN, M. (1995)Elementos Bsicos de los
de Bogot: Fondo FEN Colombia, Editora Guada- Proyectos en la Cooperacin para el Desarrollo.
lupe. Madrid: Cideal.
CORNWALL, A., GUIJT, I., and A. WELBOURN GONZLEZ, L. (2001): El Enfoque del Marco Lgi-
(1993): Aknowledging Process. Challenges for co (EML) y el Mtodo de Planificacin Orientada
Agricultural Research and Extension Methodo- por Objetivos (ZOPP): Metodologa para la ges-
logy. En IDS Discussion Paper, n 333, Brighton:: tin de proyectos desde la Cooperacin Interna-
Institute of development Studies. cional al Desarrollo. En Tecnologa Administra-
CRUZ ROJA ESPAOLA (CRE) (1997): Cooperacin tiva, vol. XV, n 35, Universidad de Antioquia,
Internacional. Delegados/as de proyectos de coo- Medelln.
peracin Internacional. Manual del Alumno/a. GONZLEZ, L. (2001): La evaluacin en los pro-
Madrid: CRE. yectos de desarrollo. Vitoria: Gobierno Vasco (en
DEUTSCHE GESESLLSCHAFT FR TECHNISCHE prensa).
ZUSAMMENARBEIT (GTZ) (1987): ZOOP Una GOSLING, L. y M. EDWARDS (1998): Toolkits. A
Introduccin al Mtodo. Frankfurt: GTZ (versin practical guide to assesment, monitoring, review
en castellano). and evaluation. En Development Manual , n 5,
DEUTSCHE GESELLSCHAFT FR TECHNISCHE London: Save the Children.
ZUSAMMENARBEIT (GTZ) (1992): Cuando la GUBA , E.G. y I.S.LINCON (1989): Fourth Genera-
participacin falta.... Conceptos bsicos, estrate- tion Evaluation. London: Sage Publications.
gias, estudios de caso, lo que debe hacerse y lo que
HAUSE, E.R. (1993): Professional Evaluation. Social
debe evitarse en el desarrollo rural. Asia. Escborn:
Impact and Political Consequences. California:
GTZ.
Sage Publications.
DEUTSCHE GESELLSCHAFT FR TECHNISCHE
INSTITUTO UNIVERSITARIO DE DESARROLLO Y
ZUSAMMENARBEIT (GTZ) (1996): Gestin del Ciclo
COOPERACIN (IUDC) (1999): La evaluacin
del Proyecto PMC y Planificacin de proyectos
de la ayuda al desarrollo. En Desarrollo y Coope-
orientada a Objetivos (ZOPP).Eschborn: GTZ.
racin, n extraordinario, n 4, Madrid: IUDC.
HELVINE, S. y M. GOBEL (1998): Planificacin de INSTITUTO LATINOAMERICANO Y DEL CARIBE
proyectos orientada a objetivos (ZOPP). Orienta-
DE PLANIFICACIN ECONMICA Y SOCIAL
ciones para la planificacin de proyectos y pro-
(ILPES) (1998): Gua para la Identificacin, Pre-
gramas nuevos y en curso. Eschborn: GTZ. paracin y Evaluacin de Programas Sociales.
EADE, D. and S. WILIAMS (1995): The Oxfam Santiago de Chile: ILPES.
Handbook of Development and Relief. Oxford: KLINGER, E. y V. STEIGERWARLD (1998): El segui-
Oxfam Publication, Volume I. miento en los proyectos de cooperacin tcnica.
ESPINOZA VERGARA, M. (1983): Evaluacin de Eschborn: GTZ.
proyectos sociales. Buenos Aires: Humanitas. LEVEVRE, P. And GARCIA, C. (1997): Experiences,
ESTRELLA, M. y J. GAVENTA (1998): Who Counts Perceptions and Expectations of Local Project
Reality? Participatory Monitoring and Evaluation: A Actors on Monitoring and Evaluation: A case
48
Interior n 29 26/9/05 18:26 Pgina 49
Study in the Philippines. En Journal of Interna- PATTON, M.Q. (1997): Utilization-focused Evalua-
tional development, volumen 9, n 1. tion. The New Century Text. USA: Sage Publica-
MADAUS, G. F. y SCRIVEN, M. y D.L. STUFFLE- tions.
BEAM ((1991): Evaluation Models. Viewpoints on PICHARDO, A. (1997): Evaluacin del impacto
Educational and Human Services Evaluation. USA social. El valor de lo humano ante la crisis y el
MARSDEN, D. y P. OAKLEY (editors) (1990): Eva- ajuste. Buenos Aires: Lumen- Humanitas.
luating Social Development Projects. En Develop- PUERTA; A.(1996): Evaluacin y sistematizacin de
ment guidelines, n 5, Oxford: Oxfam. Proyectos Sociales. Una metodologa de investiga-
MINISTERIO DE ASUNTOS EXTERIORES (MAE) cin. Medelln: Universidad de Antioquia. Facultad
(1998): Metodologa de la Gestin de Proyectos de de Ciencias Sociales y Humanas.
la Cooperacin Espaola. Madrid: AECI. RUBIN, F. (1995): A Basic Guide to Evaluation for
MINISTERIO DE ASUNTOS EXTERIORES (MAE) Development Workers. Oxford: Oxfam.
(1998): Metodologa de evaluacin de la Coopera- RUDQVIST, A.(1991): Pautas para consultas y Par-
cin Espaola. Madrid: Cyan, Proyectos y Produc- ticipacin Popular en Procesos y Proyectos de
ciones Editoriales. Desarrollo. Estocolomo: Universidad de Estocol-
MINISTERIO DE ASUNTOS EXTERIORES (MAE) mo. Departamento de Antropologa Social.
(1998): Informes de Evaluacin 3: Las Escuelas RUIZ OLABUENAGA, J. I. (1999) : Metodologa de
Taller en Iberoamrica. Madrid: Cyan. la Investigacin Cualitativa. Bilbao: Universidad
MOHR, L. B.(1995): Impact Analysis for Program de Deusto.
Evaluation. California: Sage Publications. SCHONHUTH, M. y U. KIEVELITZ (1994): Diag-
MOKATE, K. M. (1998): Documentacin del curso nstico Rural Rpido, Diagnstico Rural Parti-
para formadores en Gerencia Social: Convirtien- cipativo. Mtodos participativos de diagnstico y
do el monstruo en aliado: la evaluacin como planificacin en la cooperacin al desarrollo. Una
herramienta de la gerencia social. Washington: introduccin comentada. Eschborn: GTZ.
Banco Interamericano de Desarrollo (BID) e Ins-
SEGONE, M.(1998): Democratic evaluation. A pro-
tituto Interamericano para el Desarrollo Social
posal for Strengthing the evaluation function in
(INDES).
International Develpment organizations. En Wor-
MUSTO, S.A. (1975): Anlisis de eficiencia. Meto- king Paper, n 3, Bogot: UNICEF.
dologa de la evaluacin de proyectos sociales de
SIERRA, M. E. (1999): Lo estamos haciendo bien?
desarrollo. Madrid: Tecnos.
El seguimiento y la evaluacin en los proyectos
OAKLEY, P., PRATT, B. y A. CLAYTON (1998): sociales. En Juntos es Mejor, mdulo 4. Mdulos
Outcomes and Impact: Evaluating Change in de metodologas participativas para la gestin en
Social Development. En INTRAC NGO Manage- organizaciones sociales. Medelln: GTZ, Paisa
ment and Policy, series n 6. Oxford: INTRAC. Joven, Fundacin Corona, Secretaria de Bienestar
ONU (1993): Manging the Development Project. A de la Alcalda de Medelln.
Training Curriculum. New York: ONU. THOMAS, A. (1999): What makes good develop-
OVERSEAS DEVELOPMENT ADMINISTRATION ment management?. En Development in Practice,
(ODA) (1995): A Guide to Social Analysis for volumen 9, numbers 1 and 2.
Proyects in Developing Countries. London: HMSO. UNIVERSIDAD EXTERNADO DE COLOMBIA (UEC)
QUINTERO URIBE, V. M. (1995): Evaluacin de (1998): Evaluacin de impacto en el rea social.
Proyectos Sociales. Construccin de Indicadores. Programa de Agua Potable y Saneamiento Costa
Colombia: Fundacin para la Educacin Superior Pacfica. Santiago de Cali: UEC.
(FES). WEISS, C.H.(1990): Investigacin Evaluativa. Mto-
PATTON, M.Q. (1992): Practical Evaluation. USA: dos para determinar la eficiencia de los Programas
Sage Publications. de Accin. Mxico: Trillas.
49
Interior n 29 26/9/05 18:26 Pgina 50