evaluacin de resultados
P ROGRAMA DE LAS NACIONES UNIDAS PARA EL DESARRO L L O
OFICINA DE EVA L UACIN
Manual de seguimiento y
evaluacin de resultados
Prlogo
La creciente demanda de eficacia en la cooperacin para el desarrollo se basa fundamentalmente en que se ha tomado conciencia que no es suficiente producir productos. Los
proyectos eficientes o bien administrados y sus productos perderan su relevancia si no
lograra una mejora apreciable en las condiciones de desarrollo y en definitiva, en la
vida de la gente. Por esta razn, el Programa de las Naciones Unidas para el Desarrollo se
centra cada vez ms en resultados y en la mejor manera de contribuir para lograrlos.
Para apoyar este cambio de orientacin estratgico hacia el logro de resultados, el PNUD
requiere un marco de seguimiento y evaluacin slido y coherente, que promueva el
aprendizaje y la medicin del desempeo. Este marco debe ser suficientemente simple
y de uso accesible para todo el personal de proyectos, programas, oficinas de campo y
la sede para permitir que sea utilizado de modo flexible a fin de mejorar la eficacia
de la cooperacin para el desarrollo del PNUD en general. El marco de seguimiento
y evaluacin que se describe en este Manual se orienta, por consiguiente, hacia tres
objetivos igualmente importantes: alinear el sistema de seguimiento y de evaluacin
con la gestin basada en resultados, fomentar el conocimiento y el aprendizaje de
evaluaciones de resultados y simplificar las polticas y procedimientos.
Varios elementos de este marco requieren un cambio de mentalidad y de enfoque por
parte del personal, al enfatizar el planeamiento coherente y a largo plazo en torno a
resultados, la construccin de alianzas para el cambio en los procesos de desarrollo y
el fomento del conocimiento y el uso de la evidencia proporcionada por evaluaciones.
Por consiguiente, ser necesaria cierta capacitacin. Aunque confiamos plenamente en
aprender de este nuevo marco y actualizarlo a medida que evoluciona, es importante
subrayar que su introduccin representa un importante paso para el PNUD. Los
instrumentos y polticas que aqu se describen tienen por finalidad promover el uso
de la evidencia proporcionada por evaluaciones de modo que las decisiones de
gestin y la futura programacin incorporen las lecciones aprendidas. Ms an, se han
diseado para ayudar al PNUD y a sus socios de la cooperacin para el desarrollo a
hacer frente al desafo de elegir los resultados pertinentes, verificar la exactitud de
nuestras hiptesis de desarrollo y demostrar cmo y por qu ocurre el cambio donde
ms importa, es decir, la mejora de las condiciones de vida de los pobres.
Zphirin Diabr
Administrador Asociado
Junio de 2002
M A N UAL DE SEGUIMIENTO Y EVA L UACIN DE RESULTADOS
Khalid Malik
Director
Oficina de Evaluacin
iv
Prefacio
Desde 1999, el PNUD ha puesto en marcha un importante programa de reforma y de
renovacin, con un objetivo central: demostrar cmo y dnde la organizacin efecta
una contribucin mensurable a la erradicacin de la pobreza. Este esfuerzo depende
de la gestin basada en resultados (GBR), una metodologa en la que el desempeo
en cuanto a objetivos y logros en materia de desarrollo es objeto de una medicin y
mejora sistemticas y los recursos se administran estratgicamente y se asignan del
modo ms eficiente para aumentar la eficacia de la organizacin en la cooperacin
para el desarrollo1. Para el PNUD, este cambio hacia una cultura del desempeo
exige que todos los instrumentos de programacin incluyendo el seguimiento y la
evaluacin- utilicen la metodologa de la GBR.
En el futuro, el xito del PNUD ser evaluado por su contribucin hacia el logro de
efectos (los cambios en el desarrollo a los que se orienta el trabajo del PNUD, entre
otras cosas, sus proyectos, programas y alianzas). Resulta ms evidente que nunca que la
eficacia en las cuestiones de desarrollo se basa en el fortalecimiento de las instituciones,
la mejora de los marcos normativos de poltica y la construccin de alianzas estratgicas.
Las actividades de seguimiento y evaluacin del PNUD responden a una mayor
concentracin en efectos, cambiando hacia una medicin ms exacta del desempeo
y un seguimiento y presentacin de informes ms sistemticos; ms importante an,
dichas actividades fomentan una cultura organizacional de aprendizaje, transparencia
y responsabilidad.
Esta publicacin, Manual de seguimiento y evaluacin de resultados, trata los aspectos de
seguimiento y evaluacin de resultados en materia de desarrollo. Tiene por objetivo
ayudar a las oficinas de campo a alinear sus sistemas de seguimiento y evaluacin con
la metodologa de la GBR especficamente, identificar y medir la eficacia de las
intervenciones y estrategias del PNUD, as como su contribucin al logro de efectos2.
Se busca proporcionar instrumentos simples, flexibles y orientados al futuro.
1
En esta publicacin los trminos orientado hacia resultados y enfoque basado en resultados se utilizan de modo genrico
como referencia a la metodologa de gestin basada en resultados".
El Manual se refiere especficamente al seguimiento y evaluacin de resultados en materia de desarrollo. No abarca el
seguimiento de las actividades de gestin.No obstante,cuando las actividades de seguimiento y evaluacin a nivel de pas
tambin afectan la labor de gestin,esto se indica.
iii
ndice
Introduccin
PARTE I.
Captulo 1.
Captulo 2.
Propsitos y definiciones
El cambio hacia una gestin basada en resultados
5
9
PARTE II.
21
Captulo 3.
Captulo 4.
Captulo 5.
23
31
45
61
Captulo 6.
63
PARTE IV.
73
Conocimiento y aprendizaje:
Utilizacin de la evidencia proporcionada por la evaluacin
75
Captulo 7.
Conclusin
89
FUENTES Y A N E X O S
91
Siglas
Glosario
Documentos conexos y pginas Web
Instrumentos de seguimiento y evaluacin
Anexo A. Plan de evaluacin y de seguimiento
Anexo B. Trminos de referencia de la evaluacin
Anexo C. Informe anual de proyecto (IAP)
Anexo D. Informe de misiones de campo
Anexo E. Men de instrumentos de seguimiento
M A N UAL DE SEGUIMIENTO Y EVA L UACIN DE RESULTADOS
93
95
107
125
126
129
132
134
136
v
Introduccin
Propsito del Manual
El Manual de seguimiento y evaluacin de resultados tiene por objetivos:
n
Estructura y contenido
El Manual se ha organizado del modo siguiente:
Parte I expone el marco conceptual y operacional del seguimiento y la evaluacin en
el contexto basado en resultados. Introduce los elementos del nuevo marco, define
los conceptos claves de seguimiento de efectos y evaluacin de efectos y delimita su
alcance y propsitos.
3
Parte II es el cuerpo principal del Manual, concebido para uso cotidiano. Proporciona
orientacin prctica en materia de planificacin, organizacin y ejecucin de los procesos
de seguimiento y evaluacin, con base en los resultados de desarrollo (efectos y productos).
Provee enfoques y mtodos que pueden utilizarse para medir el desempeo mediante el
seguimiento y la evaluacin. Los instrumentos correspondientes se describen en los anexos.
Parte III trata la medicin del desempeo y el uso de indicadores en seguimiento y evaluacin.
Parte IV trata el papel de la evidencia proporcionada por la evaluacin en el aprendizaje
y la gestin del conocimiento a nivel organizacional.
En el Anexo figuran muestras y opciones de formato, flexibles, de instrumentos seleccionados de seguimiento y evaluacin, tales como modelos de trminos de referencia y
una gua anotada de informe de evaluacin a nivel de logros, que estar disponible en
versin electrnica para facilitar su uso. Figuran tambin en el anexo un glosario, una lista
de siglas y una bibliografa.
Srvase consultar la pgina Web de la Oficina de Evaluacin (OE) del PNUD
(http://www.undp.org/eo/) para obtener:
n
n
n
n
Entre las fuentes adicionales figuran las publicaciones de la Companion Series (Serie
complementaria), que provee una orientacin ms en profundidad para el seguimiento
y evaluacin en reas seleccionadas y para grupos especficos. Los ttulos incluyen
Guidelines for Outcome Evaluators (Guas para Evaluadores de Efectos) y Evaluation
Capacity Development ( Desarrollo de la Capacidad de Evaluacin).
Se solicita a todos los usuarios de este Manual que hagan conocer sus impresiones sobre
la publicacin, al igual que las lecciones aprendidas en su experiencia prctica a la Oficina
de Evaluacin, para ayudar de este modo a mejorar el marco de seguimiento y evaluacin
de una manera continua. Srvase consultar la pgina Web de la OE para acceder a una
informacin actualizada sobre la aplicacin del seguimiento y la evaluacin de resultados.
PARTE I
El marco
de seguimiento
y evaluacin
Captulo 1.
Propsitos y definiciones
A. Propsitos del seguimiento y la evaluacin
B. Definiciones de seguimiento y evaluacin
Captulo 2.
5
5
6
9
9
16
Cuadro 1:
Cuadro 2:
Cuadro 3:
Cuadro 4:
6
7
15
19
11
12
17
18
14
19
Propsitos
y definiciones
CAP TULO 1
efecto de desarrollo, incluyendo entre ellos los productos, alianzas, asesoramiento y dilogo
de polticas, promocin y mediacin/coordinacin. Se pide a los Gerentes de Programa que
apliquen activamente la informacin obtenida mediante el seguimiento y la evaluacin
para mejorar las estrategias, programas y otras actividades.
Los principales objetivos del seguimiento y la evaluacin, actualmente orientados a resultados son:
n
n
n
n
Crear
capacidades
aprendizaje durante el proceso de conseguir un determinado efecto. Todas las evaluaciones incluso las evaluaciones de proyectos que ponderan su relevancia, el desempeo
y otros criterios necesitan vincularse con efectos, en contraposicin a vincularse slo con
la implementacin o los productos inmediatos. (Vase captulo 5 sobre evaluacin.)
La presentacin de informes constituye una parte integrante del seguimiento y la
evaluacin. La presentacin de informes es la provisin sistemtica y oportuna de
informacin esencial a intervalos peridicos.
El seguimiento y la evaluacin intervienen en dos niveles distintos, aunque
estrechamente vinculados:
Un nivel se centra en los productos es decir, los productos y servicios especficos que surgen
del procesamiento de los insumos en el curso del programa, proyecto y otras actividades tales
como asistencia de apoyo ad hoc que se presta fuera del contexto de proyectos o programas.
El otro nivel se centra en los efectos de los esfuerzos de cooperacin para el desarrollo
por parte del PNUD es decir, el cambio en las condiciones de desarrollo que el PNUD se
propone obtener por medio de sus proyectos y programas. Los efectos incorporan la
produccin de productos, as como la contribucin de los socios.
Tradicionalmente, el personal del PNUD ha estado ms familiarizado con el primer nivel:
seguimiento y evaluacin basados en programas y proyectos, que contemplan el desempeo
en trminos de productos. Actualmente el reto consiste en ir ms all de este nivel y
vincular el desempeo con los efectos, con evaluaciones rigurosas y fidedignas del
progreso hacia los efectos y su realizacin.
En el Manual se presentan enfoques, tcnicas e instrumentos de seguimiento y evaluacin
que deben aplicarse en ambos niveles. El grfico 2 ilustra cmo se interrelacionan los
productos y efectos durante el proceso de consecucin de los resultados.
A continuacin se definen otros dos trminos que se citan frecuentemente en las funciones
de seguimiento y evaluacin:
La retroalimentacin es un proceso, en el marco de seguimiento y evaluacin,
mediante el cual se divulgan informacin y conocimientos que se utilizan para evaluar el
progreso general hacia el logro de resultados o para confirmar el logro de resultados.
La retroalimentacin puede consistir en hallazgos, conclusiones, recomendaciones y
lecciones extradas de la experiencia. Puede utilizarse para mejorar el desempeo y como
base para la toma de decisiones y para fomentar el aprendizaje en una organizacin.
(Vase el captulo 7 sobre conocimiento y aprendizaje.)
INSUMOS
Expertos
n Equipo
n Fondos
PRODUCTOS
n Estudios completados
n Personas
capacitadas
P RO P S I TOS Y DEFINICIONES
EFECTOS
n Aumento de
ingresos
n Creacin de
empleos
n
IMPACTO
Mejora de las
condiciones de salud
n Aumento de la
longevidad
El cambio hacia
la gestin basada
en resultados
CAP TULO 2
gestin dirigida a lograr cambios importantes en el modo en que los organismos funcionan,
siendo fundamental la mejora del desempeo y el logro de resultados, al definir de manera
realista los resultados que se espera obtener, siguiendo el progreso hacia el logro de los
resultados esperados, integrando las lecciones aprendidas en las decisiones de gerencia y
presentando informes sobre el desempeo.
S E G U I M I E N TO DE EFECTO S
Las intervenciones del PNUD consisten en proyectos, programas, alianzas y la asistencia
de apoyo, tal como la promocin que se lleva a cabo fuera de los proyectos o programas en
una actuacin concertada para lograr un efecto o un cambio en la situacin de desarrollo.
El seguimiento de estos efectos representa un cambio distintivo con respecto al pasado,
en que primaba el inters en efectuar el seguimiento de los productos de los proyectos.
Como se indica en el captulo 1, este cambio har posible determinar el xito de las
actividades del PNUD, al medir su contribucin a los cambios en materia de desarrollo.
El seguimiento de efectos es un proceso continuo y sistemtico de recoleccin y anlisis
de datos para medir el desempeo de las actividades del PNUD dirigidas al logro de efectos
a nivel nacional. Aunque el proceso de seguimiento de efectos es un proceso continuo, en
el sentido de que no es una actividad restringida a un perodo de tiempo, el seguimiento debe
ser peridico a fin de que los cambios puedan percibirse. En otras palabras, las oficinas de
campo acumularn informacin con carcter permanente sobre los progresos conseguidos en
funcin del logro de un efecto, compararn peridicamente la situacin actual con respecto
a la lnea de base de los indicadores de efectos y evaluarn y analizarn la situacin.
Para que la oficina de campo pueda efectuar el seguimiento de los efectos y los productos
con eficacia, debe determinar exactamente qu proyectos, programas y dems actividades
especficos contribuyen a un logro concreto. Las dems actividades pueden incluir asesoramiento y apoyo fuera del contexto de los proyectos.
El seguimiento de efectos se centra en las intervenciones y estrategias siguientes, as
como en sus consecuencias:
n
Proyectos;
n
n
n
Programas;
Alianzas;
Asistencia de apoyo en forma de asesoramiento en polticas, dilogo de polticas,
promocin, mediacin/coordinacin, provistos fuera de los proyectos o programas
establecidos;
Estrategias de implementacin.
Cmo llevan a cabo los Gerentes de Programa el seguimiento de efectos? Identifican los
productos y miden su contribucin a los efectos mediante una evaluacin de los cambios
con respecto a las condiciones de la lnea de base. Los Gerentes de Programa necesitan
vigilar los productos claves (los productos y servicios especficos que surgen del procesamiento de los insumos en las actividades de proyecto/programa o fuera de proyecto/
programa) porque pueden indicar si una estrategia es o no relevante y eficiente. La
relevancia, en un contexto basado en resultados, se refiere a si la intervencin del PNUD
contribuye o no a la realizacin de un efecto clave, apoya las prioridades nacionales de
desarrollo y beneficia a los grupos previstos.
10
n
n
Para efectuar un seguimiento eficaz de efectos, los Gerentes de Programa deben establecer
datos de lnea de base, seleccionar indicadores de efectos para medir el desempeo y
disear mecanismos que incluyan actividades planificadas, tales como misiones de
campo, reuniones de interesados y anlisis o informes sistemticos.
Es importante recordar que el seguimiento de efectos no es lo mismo que el seguimiento
de la implementacin, como se indica en el Cuadro 1. Los gerentes de proyecto, en particular,
deben continuar prestando atencin a la implementacin de sus proyectos. Este
seguimiento debe planificarse e integrarse con el seguimiento de efectos, a fin de evitar
duplicaciones y disminuir costos de transaccin.
E V A L UACIN DE EFECTO S
La evaluacin de efectos abarca un conjunto de proyectos, programas y estrategias
conexos cuyo objetivo es producir un determinado efecto. Estas evaluaciones analizan
cmo y por qu los efectos se consiguen o no, en el contexto de un pas determinado
y el papel que ha desempeado el PNUD. Tambin puede ayudar a aclarar los factores
subyacentes que afectan la situacin, destacar las consecuencias imprevistas (positivas y
negativas), recomendar acciones para mejorar el desempeo en la programacin futura y
generar lecciones aprendidas. Estas evaluaciones peridicas y en profundidad utilizan
datos de seguimiento correspondientes a antes y despus.
Las evaluaciones de efectos pueden satisfacer distintas necesidades en momentos diferentes
del ciclo de programacin. Si se las realiza temprano en el ciclo, pueden suministrar informacin
sobre los posibles impedimentos; se las realiza a mitad del ciclo, pueden sugerir ajustes;
y si se las realiza al final, pueden contribuir a que puedan extraerse lecciones aprendidas
que podran guiar el trabajo con respecto al efecto respectivo en el ciclo siguiente.
El objetivo de una evaluacin de efectos es extraer lecciones, conclusiones y recomendaciones analizando lo siguiente:
n
11
n
n
n
EVALUACIN DE EFECTOS
Objetivo
Foco
12
Aplicacin
Uso
informacin coherente a los Gerentes de Programa, gerentes del proyecto e interesados, para
mejorar las intervenciones y estrategias. Y ambos pueden poner de relieve la responsabilidad.
Sin embargo, difieren en sus objetivos especficos, foco de atencin y metodologa y en
la manera en que se conducen y utilizan, tal como se resume en el Cuadro 2.4
Las evaluaciones de efectos se basan en datos generados durante el proceso de seguimiento
de efectos, informacin de otras fuentes, tales como el Informe Anual Orientado a
Resultados (IAOR) del PNUD y la informacin producida por fuentes externas, tales como
encuestas independientes de clientes o los informes de los socios. De modo anlogo, la
evaluacin de efectos brinda apoyo al seguimiento de efectos. Por ejemplo, constituye
una fuente de lecciones que pueden aplicarse para la elaboracin de innovaciones
conceptuales y metodolgicas para ser utilizadas en el mejoramiento de la funcin de
seguimiento. Dichas innovaciones pueden incluir el establecimiento de resultados y
estrategias realistas, la elaboracin de indicadores adecuados en futuros proyectos, o la
demostracin de la eficacia de cierto tipo de instrumentos de seguimiento para determinado
tipo de intervenciones.
I M P O R TANCIA DE LAS A L I A N Z A S
Ningn cambio de desarrollo se logra de manera aislada, es por ello que el PNUD trabaja
en estrecho contacto con sus socios en el seguimiento y evaluacin de efectos. Entre los
socios del PNUD se incluyen otros organismos de las Naciones Unidas, gobiernos, organismos
donantes, organizaciones gubernamentales y no gubernamentales, y otras entidades con las
cuales el PNUD establece relaciones sustantivas con miras al logro de efectos comunes.
En condiciones ideales, al formular las intervenciones para lograr ciertos efectos, los
Gerentes de Programa deberan considerar cmo alentar la participacin de socios. Ello
requiere un conocimiento de las ventajas que cada socio puede aportar.
A efectos de seguimiento y evaluacin, los Gerentes de Programa pueden recurrir a los
socios de varias maneras:
n
n
n
Los Gerentes de Programa pueden encomendar a distintos tipos de socios una variedad
de actividades vinculadas con el ejercicio de seguimiento y de evaluacin. Los roles de
estos socios se describen en el Recuadro 1.5
13
14
CONDUCTO
Proyecto/programa
Asesores de polticas.
Servicio subregional de recursos
Representante Residente/
presencia del PNUD
Talleres ad hoc
n
n
n
n
n
PRODUCTOS
EFECTOS
Resultados
intermedios
Cambios de
desarrollo
EN ALIANZA CON
n
n
15
16
INSTRUMENTO
ANTES
AHORA
Evaluacin
Plan de
Evaluacin
Hoja
informativa
de evaluacin
del proyecto
Examen
tripartito
Informe
anual del
proyecto (IAP)
Informe final
Misiones
de campo
Examen anual
Por favor, srvase ver la Parte II, Captulo 5, para mayor informacin sobre el nmero mnimo de evaluaciones de efecto requeridos para cada pas.
17
cambian las funciones y responsabilidades del personal del PNUD y de los proyectos y
en tercer lugar, los Gerentes de Programa enfrentan nuevos desafos.
POR QU?
Para qu uso
n
n
n
n
n
n
n
Gerentes de Programa
de la oficina de campo
Principales responsabilidades:
n
Cartera de programas y
proyectos del PNUD en un
rea temtica, tal como
buena gobernabilidad
o pobreza o, en otras
palabras, la contribucin
del PNUD a los efectos.
n
n
n
n
n
Personal de proyecto
Principales responsabilidades:
n
Gestin de proyectos
que reciben asistencia
del PNUD para producir
resultados.
n
n
n
n
18
n
n
n
n
n
n
n
n
n
n
n
n
Con una gestin basada en resultados, resulta incluso ms importante integrar estrechamente
las funciones de seguimiento y de evaluacin en el ciclo de programacin. Ello permite a
la organizacin disear intervenciones de calidad y aplicar lo que ha aprendido de xitos
y fracasos anteriores. Es decir, que el seguimiento y la evaluacin deben estar presentes
en el ciclo de programacin, desde el principio hasta el fin.
FUNCIONES Y RESPONSABILIDADES
Las funciones y responsabilidades del personal del PNUD estn definidas con mayor
claridad en el enfoque actual de seguimiento y evaluacin con base en resultados, tal
como se presenta en el cuadro 4.
RESPONSABILIDADES
DE SEGUIMIENTO Y
EVALUACIN DEL GERENTE
DEL PROGRAMA
19
intervenciones de apoyo y las alianzas estratgicas, a los efectos. Ms que nunca, los
Gerentes de Programa deben trabajar rigurosamente a nivel de formulacin de proyectos
y de planificacin de los trabajos, a fin de asegurar que los proyectos cumplan las metas y
apliquen instrumentos en ese sentido. En el recuadro 2 se enumeran algunas de las
responsabilidades actuales.
Como se ilustra en el grfico 4, los Gerentes de Programa tienen dos niveles de
responsabilidad interrelacionados a efectos de seguimiento y evaluacin. En primer lugar,
deben captar los resultados intermedios (progreso hacia efectos) para el informe anual
orientado a resultados (IAOR). En segundo lugar, deben mejorar la produccin de productos,
por ejemplo, mediante el plan de trabajo, misiones de campo, apoyo a una toma de
decisiones efectiva y anlisis de la estrategia de implementacin ms efectiva y eficiente.
20
PARTE II
Cmo realizar
el seguimiento y
la evaluacin
Captulo 3.
23
23
25
Captulo 4.
31
32
45
45
56
58
Captulo 5.
37
Cuadro 1.
Cuadro 2.
Cuadro 3.
Cuadro 4.
Cuadro 5.
Cuadro 6.
Cuadro 7.
24
36
42
46
49
51
53
56
29
29
34
47
48
54
Planificacin
del seguimiento
y la evaluacin
CA P TULO 3
En este captulo se describe cmo elaborar un marco lgico de planificacin integral para el
seguimiento y la evaluacin vinculados con los programas de pases, el marco de resultados
estratgicos, las actividades a nivel de proyecto y otras actividades. Se brinda orientacin
sobre cmo formular un plan de seguimiento y evaluacin, adems de criterios para seleccionar
y planificar evaluaciones.El objetivo de este captulo es ayudar a los usuarios a planificar las
acciones de seguimiento y evaluacin de manera coherente, en funcin de las necesidades
del pas y de los resultados deseados.
Este captulo abarca:
A. Principios claves de planificacin
n Planificacin general de los trabajos.
n Requisitos mnimos.
n Planificacin a nivel del programa del pas.
B. El proceso de planificacin
n Planificacin del seguimiento.
n Planificacin de la evaluacin.
n Planificacin de los trabajos a nivel de proyecto.
23
Plan de trabajo de
seguimiento y evaluacin
Plan de trabajo
del proyecto
n
n
n
A nivel de la oficina de campo, el plan de trabajo refleja el cambio hacia la gestin basada
en resultados, poniendo un mayor nfasis en la planificacin del seguimiento y la evaluacin.
Para seguimiento y evaluacin orientados a resultados, las oficinas del PNUD deben planificar
considerando las necesidades especficas de la oficina, los socios, el proyecto o los efectos,
en lugar de seguir mecnicamente los procedimientos indicados.
R E Q U I S I TOS MNIMOS
Las oficinas de campo pueden integrar su planificacin del seguimiento y evaluacin
orientados a resultados a los sistemas y estructuras existentes, de distintas formas. Sin
embargo, como mnimo, las oficinas deberan:
1. Planificar simultneamente el seguimiento y la evaluacin: La evaluacin es un instrumento
importante de seguimiento y el seguimiento es un insumo importante para la evaluacin.
Debido a que ambos procesos estn interrelacionados, se recomienda que las oficinas
de campo planifiquen al mismo tiempo los procesos de seguimiento y evaluacin.
2. Captar los resultados (efectos y productos): Es necesario obtener informacin significativa
acerca de efectos y productos, independientemente de la unidad de anlisis utilizada
en el plan de seguimiento y evaluacin (por ejemplo, efectos, productos, proyectos,
actividades, temas, reas).
3. Formular un plan de evaluacin: Un plan de evaluacin cubre los efectos que se espera
obtener en el perodo del programa del pas. Todas las oficinas y unidades operativas
preparan un plan de evaluacin obligatorio dentro del primer trimestre de cada ciclo
del programa del pas. Se trata de un elemento clave para evaluar el desempeo.
4. Basar la planificacin en una opcin estratgica: Planificar no es fundamentalmente
programar actividades en el tiempo (seleccionar instrumentos y plazos); planificar
es determinar el mejor enfoque segn las necesidades y la naturaleza de lo que es
sujeto de seguimiento o evaluacin.
24
B. El proceso de planificacin
PLANIFICACIN DEL SEGUIMIENTO
El debate acerca de cmo y cundo se efecta el seguimiento del progreso de las actividades
del PNUD tiene lugar desde el comienzo y contina a intervalos regulares. La planificacin
del seguimiento se realiza generalmente durante la etapa de formulacin del programa
del pas, la etapa de formulacin del programa/proyecto y, luego, anualmente. Un plan de
P L A N I F I C ACIN DEL SEGUIMIENTO Y LA EVA L UAC I N
25
seguimiento puede centrarse en proyectos y programas, tanto como en los cambios resultantes
en la situacin de desarrollo (efectos).
Durante cada ciclo de programacin se formulan o inician proyectos, programas y nuevas
actividades. En ese momento, se trazan los planes para su seguimiento y evaluacin. Estos
planes son diseados de acuerdo con el marco de seguimiento y evaluacin existente en el
programa del pas. Los Gerentes de Programa del PNUD son responsables de disear
mecanismos de seguimiento adecuados a la naturaleza del efecto, programa y proyecto.
A continuacin se presentan algunos ejemplos de diferentes tipos de mecanismos
de seguimiento:
n
n
26
PLANIFICACIN DE LA EVALUACIN
La evaluacin es importante para aprender, para validar resultados y para la toma de
decisiones. Se espera que las oficinas de campo lleven a cabo un nmero limitado de
evaluaciones de efectos durante el ciclo de programacin y que formulen un plan para
estas evaluaciones y para cualquier otra evaluacin de proyectos, programas o temas que
la oficina desee llevar a cabo. (Vase el captulo 5 sobre evaluaciones).
La planificacin de evaluaciones se vincula con el ciclo de programacin del pas. Durante
el primer trimestre de cada programa del pas, las oficinas de campo preparan y presentan
el plan de evaluacin a la Oficina de Evaluacin8 (vase el anexo B para el formato).
Subsiguientemente, el plan se actualiza de manera continua, con carcter anual o peridico,
segn las necesidades locales, convirtindose esencialmente en un plan continuo. Por
ejemplo, si una oficina de campo planifica su primera evaluacin de efectos a los tres aos
de implementacin del programa del pas, la oficina tal vez no necesite examinar el plan
de evaluacin durante dos aos es decir, hasta el ao anterior a la evaluacin. Cualquier
revisin del plan que se efecte durante el transcurso del ciclo, la oficina de campo debe
presentarla primero a la Oficina de Evaluacin. A veces se requiere una revisin cuando
cambian las circunstancias, como por ejemplo, debido a prdidas o ganancias en los recursos
financieros o cuando se produce un cambio en el contexto nacional.
Un plan de evaluacin se basa en decisiones estratgicas y selectivas de las oficinas de
campo (en particular, las adoptadas por la gerencia principal de las oficinas) con respecto a
qu debe ser evaluado y cundo. Se utiliza entonces el plan para asegurar que las actividades
de evaluacin estn en el buen camino. Cuando se prepara una evaluacin, puede ser til
pensar en trminos de planificacin retrospectiva. Esto significa examinar las fechas
previstas para la evaluacin, estimando el tiempo necesario para preparar y llevar a acabo
la evaluacin y luego ir hacia atrs para anticipar en qu momento debe comenzar el
proceso de preparacin.
Al planificar las evaluaciones de efectos, en particular, las oficinas de campo pueden identificar
y elegir qu efectos deben evaluarse, abarcando por lo menos el nmero mnimo obligatorio de
efectos que deben evaluarse. Utilizando el marco de resultados estratgicos9 para el pas, las
oficinas de campo deben seleccionar qu efectos evaluar, considerando los siguientes criterios:
1. Propsito de la evaluacin de efectos: Las evaluaciones de efectos pueden responder a
varias necesidades, tales como proveer informacin temprana sobre si la estrategia de
8
Se est diseando un sistema colectivo de planificacin e informacin de evaluaciones para: a) planificar el modo de realizar
evaluaciones; b) registrar y analizar las lecciones aprendidas y las conclusiones de las evaluaciones y c) efectuar el seguimiento del
progreso de las recomendaciones de evaluacin.El sistema dar acceso a informacin proveniente de los planes de evaluacin y
las evaluaciones de las oficinas de campo a fines de aprendizaje corporativo y de responsabilidad colectiva.Las oficinas de campo
podrn formular sus planes de evaluacin y sistemas de seguimiento para uso electrnico a nivel del pas.
El marco de resultados estratgicos define un enfoque del desarrollo y el modo en que pueden lograrse los resultados deseados.
Incluye estrategias, objetivos y anlisis de problemas, y brinda una base para el seguimiento y la evaluacin orientadas hacia
resultados.En el PNUD, se presenta en un documento en el que se definen los efectos,productos,asociaciones e indicadores,con
especificacin de objetivos,subobjetivos y reas estratgicas de apoyo.
27
alianzas del PNUD es adecuada, identificar los impedimentos para el efecto, sugerir
ajustes a mitad de perodo y reunir las lecciones aprendidas para que puedan ser
utilizadas en el ciclo de programacin siguiente. Las oficinas de campo deben examinar
los efectos esperados del marco de resultados estratgicos y considerar para qu efectos
sera ms til una evaluacin, por qu y cundo la evaluacin debera realizarse para
producir una informacin ms relevante. Por ejemplo, podra ser til realizar una
evaluacin en el inicio cuando un efecto de gobernabilidad requiere asesoramiento de
polticas y de promocin importantes y la oficina de campo tiene relativamente poca
experiencia en proveer este tipo de servicios. Esta evaluacin al inicio (incluso en el
transcurso del primer ao) podra examinar cuestiones estratgicas de diseo y de
implementacin. En una situacin distinta, podra requerirse una evaluacin de efectos
a mitad de perodo si ha surgido la necesidad de efectuar un ajuste y de verificar
productos producidos en una primera etapa. (Vase el captulo 5 para ms detalles
sobre propsitos y opciones en materia de evaluaciones de efectos.)
2. El nivel de los recursos de la oficina de campo invertidos en el efecto: Al seleccionar un
efecto para evaluacin, debe considerarse aqul en el que la oficina de campo ha
invertido recursos importantes. Debe evitarse seleccionar slo los efectos para los que
se han invertido recursos muy pequeos.
3. La probabilidad de intervenciones futuras en la misma rea temtica: Una evaluacin de
efectos es un medio importante de generar recomendaciones que orienten trabajos
futuros. Permite a la oficina de campo comprobar si los productos han contribuido al
efecto y si el PNUD ha establecido una estrategia de alianzas efectiva. Al seleccionar
un efecto para evaluacin, debe buscarse en el rea en la que la oficina de campo
continuar brindando apoyo.
4. Problemas previstos: Las evaluaciones pueden ayudar a prevenir problemas y proveer
una perspectiva independiente sobre los problemas. Al seleccionar un efecto para
evaluacin, deben identificarse aquellos que tengan problemas o donde pueden
surgir complicaciones debido a que el efecto tiene lugar en un rea sensible y donde
hay muchos socios.
5. Necesidad de lecciones aprendidas: Qu tipo de lecciones se necesitan para ayudar a
orientar las actividades en ese pas o en otros pases de la regin? La evaluacin de
efectos en un rea temtica no es solo pertinente a esa rea, sino que tambin puede
revelar lecciones genricas para otras reas temticas. Las oficinas de campo deben
seleccionar efectos para evaluacin que produzcan lecciones que puedan utilizarse
en toda la organizacin. Por ejemplo, una evaluacin de efectos que se centre en el
diseo e implementacin de polticas o marcos regulatorios un rea relativamente
nueva para el PNUD proveer un conocimiento muy necesario en un rea en la que
el PNUD ha tenido escasa experiencia.
6. Calendario: La oficina de campo determina el momento de las evaluaciones basndose
en su carga de trabajo en un ao determinado. Tambin trata de repartir equitativamente
las evaluaciones en el curso del programa del pas, tanto en trminos de calendario
como de alcance, con una combinacin de ejercicios tempranos y tardos, ligeros e
intensos, dependiendo de las necesidades. En el Recuadro 1 se ofrece un ejemplo de
cmo podra utilizarse el programa del pas para propsitos de planificacin de evaluaciones.
Una vez que se ha seleccionado el efecto para la evaluacin, la oficina de campo identifica
los proyectos y programas que pueden contribuir al efecto. Estos proyectos y programas se
consignan en el plan de evaluacin. Ello informa a los programas y proyectos correspondientes
28
Ao 1
Ao 2
Ao 3
Ao 4
Ao 5
n
n
n
Effet 3
y les permite tener en cuenta la evaluacin del efecto en sus tareas de seguimiento y
planes de trabajo. Tambin ayuda al Gerente del Programa en el seguimiento de efectos
y asegura que las contribuciones del proyecto se incluyan en el alcance de la evaluacin.
Otro aspecto de la planificacin de evaluaciones es el cumplimiento de evaluaciones. El
cumplimiento se basa en las evaluaciones de efectos que la oficina de campo se compromete
a realizar durante el ciclo de un programa del pas determinado. En la sede del PNUD se
utiliza el plan de evaluacin presentado por la oficina de campo como base para evaluar
el cumplimiento. Ms all de las evaluaciones de efectos, la oficina de campo puede
realizar otras evaluaciones que no figurarn en las tasas de cumplimiento. La Oficina de
RECUADRO 2. CUMPLIMIENTO DE EVALUACIONES
Para determinar el cumplimiento de evaluaciones, los pases se clasifican segn niveles de recursos y se les requiere
que realicen un cierto nmero de evaluaciones de efectos durante el ciclo del programa del pas, utilizando como
base los recursos totales (bsicos y no bsicos) que se espera que la oficina de campo tenga a su disposicin y
teniendo en cuenta el volumen de trabajo de evaluacin anterior Vase http://intra.undp.org/eo para una lista de
evaluaciones previstas por pas. Los niveles para el cumplimiento de evaluaciones obligatorias son los siguientes:
Categora
Nivel de recursos
(en millones de dlares EE.UU.)
<2
Opcional, 1
2<5
1a2
5 < 10
2a3
10 < 20
3a4
20 < 70
4a5
70 <
Ejemplo: El pas Z se clasifica en el margen superior de la categora E para el ciclo siguiente de programacin.
Por consiguiente,deber efectuar cinco evaluaciones de efectos durante el curso del prximo programa del
pas. Esta carga de trabajo es ms ligera que la que debi realizar anteriormente, ya que el pas Z debi
evaluar 19 proyectos de ms de 1 milln de dlares.
29
30
El proceso
de seguimiento
(Cmo...)
C AP TULO 4
31
32
10
El formato simplificado del documento de proyecto alineado con la GBR debe facilitar el seguimiento,apoyado por indicadores de
productos de los proyectos,cuando corresponda y el documento del proyecto debe referirse a los efectos pertienentes del marco de
resultados estratgicos.
33
Las oficinas pueden aadir elementos adicionales de gestin o de anlisis, cuando resulte
necesario, manteniendo siempre un enfoque realista, considerando la capacidad
disponible, como se explica en el recuadro 1 sobre implementacin.
El seguimiento hace ms que comprobar lo que los proyectos producen. Su alcance
incluye el anlisis del avance de los proyectos, programas, alianzas y la asistencia de apoyo
con relacin a los efectos, adems de proporcionar informacin a los gerentes, que ser
utilizada como base para tomar decisiones y realizar acciones. En el marco de la GBR, el
seguimiento adquiere mayor importancia an como instrumento de toma de decisiones y
de aprendizaje y es indispensable en la provisin de datos para las evaluaciones.
Deben asignarse recursos presupuestarios adecuados al seguimiento. La oficina de
campo puede cargar directamente al presupuesto del proyecto el costo de las misiones de
seguimiento para informar a la institucin designada. El presupuesto del proyecto tambin
puede cubrir la participacin de socios nacionales en las misiones de seguimiento, cuando
lo acuerde el Representante Residente.
35
VALIDACIN
n
n
n
Misiones de campo
Misiones de
reconocimiento rpido
Anlisis/seguimiento
externo
Encuestas de clientes
Evaluaciones
PARTICIPACIN
n
n
n
n
n
n
Participacin
Grupos de efectos
Comits/mecanismos
directivos
Reuniones de interesados
Reuniones de grupos focales
Examen anual.
36
MISIONES DE CAMPO
Las misiones de campo se utilizan frecuentemente como mecanismo de seguimiento.
Realizar misiones de campo regulares es una poltica comn. Debe prestarse atencin al
momento fijado para la misin, su propsito en trminos de seguimiento y qu se trata de
verificar para medir avances.
Poltica del PNUD: Un representante de la oficina del PNUD debe visitar cada programa
y proyecto que contribuye a los resultados estratgicos del marco de resultados estratgicos,
por lo menos una vez al ao. Las misiones de campo pueden ser realizadas por el Gerente
de Programa, el asesor de polticas o un equipo de la oficina de campo (especialmente
cuando se trata de un efecto complejo). El Representante Residente y el personal de
gerencia de la oficina de campo deben tambin ser alentados a realizar misiones de campo.
Fecha de la visita: La misin de campo puede planearse para cualquier momento del
ao. Si se realiza en la primera parte del ao, inmediatamente despus del informe anual
orientado a resultados, puede centrarse en la validacin de resultados. Si se lleva a cabo
en la ltima parte del ao, la misin debe proveer la informacin ms reciente sobre los
progresos para la preparacin del informe anual orientado a resultados. Los informes de
las misiones de campo son breves y orientados a la accin y se presentan dentro de la
semana siguiente de regresar a la oficina.
Propsito: Las misiones de campo tienen por objeto la validacin. Validan los resultados
que informan los programas y proyectos, en particular cuando se trata de programas y
proyectos claves y grandes que son esenciales para los efectos del marco de resultados
estratgicos. Incluyen un anlisis de los progresos, resultados y problemas y tambin
pueden incluir visitas a la gerencia o direccin de proyecto.
EL PROCESO DE SEGUIMIENTO (CMO. . . )
37
Las misiones son cada vez ms esfuerzos conjuntos de varios socios, que involucran
grupos de programas y proyectos con relacin a un determinado efecto. Por ejemplo, un
equipo de gerentes de programa puede realizar una serie de visitas a proyectos que
contribuyen a un efecto determinado. Varios socios pueden tambin reunirse para visitar
todas las actividades del PNUD que se llevan a cabo en un rea geogrfica especfica.
Estos esfuerzos conjuntos representan a menudo una manera eficiente de obtener una
visin integral de los progresos. No todos los proyectos justifican el tiempo y el esfuerzo
que demandan las misiones de campo, como ocurre en los siguientes ejemplos:
n
El seguimiento cotidiano puede ser suficiente para proyectos que tratan cuestiones
puramente administrativas, tales como proyectos de apoyo logstico al Programa,
centros de negocios o ciertos proyectos paraguas, que no tienen resultados
previstos en materia de desarrollo;
38
proyecto. Debe proveer una actualizacin exacta de los resultados del proyecto, identificar
las principales restricciones y proponer orientaciones futuras. El IAP provee insumos al
proceso de presentacin de informes de la oficina de campo y al informe anual orientado
a resultados. Analiza los factores subyacentes que contribuyen a cualquier posible falta de
progreso, de modo que la gerencia de proyecto pueda aprender de la experiencia y mejorar
el desempeo.
Preparacin: El IAP es preparado por la gerencia de proyecto responsable de la administracin cotidiana del proyecto (el asesor tcnico principal, el coordinador del proyecto,
el director nacional o equivalente). El Gerente de Programa del PNUD se vincula a
menudo con la gerencia de proyecto para transmitir sus preocupaciones claves como
insumos al informe. El IAP es un informe del proyecto al PNUD y dems interesados y
no se espera que sea un instrumento participativo o generador de consenso. El Gerente
de Proyecto y el Gerente del Programa ponderan el logro de productos en el IAP. Adems,
el Gerente del Programa tambin pondera el logro de efectos.
El informe anual de proyecto puede prepararse peridicamente o puede abolirse para
proyectos pequeos o proyectos que no tienen productos estratgicos en el marco de
resultados estratgicos de resultados/informe anual orientado a resultados, tales como:
n
Uso del informe anual del proyecto: Este informe forma parte de las funciones de
supervisin, seguimiento y gestin de proyectos de la oficina de campo del PNUD y es
un elemento esencial del examen anual y del informe anual orientado a resultados. Una
vez que el informe ha sido distribuido, el prximo paso es celebrar consultas, que pueden
tener lugar en el comit directivo o mediante observaciones escritas de los socios, por
ejemplo. Dependiendo de su contenido y enfoque, la oficina de campo utiliza el informe
anual del proyecto para:
n
39
Toma de decisiones: Los socios pueden utilizar el informe anual de proyecto para
planificar actividades futuras y estrategias de implementacin, seguir los progresos
en el efecto de productos, examinar las intervenciones de apoyo y establecer
alianzas. El IAP permite al PNUD, a los comits directivos y a los socios buscar
soluciones para los principales obstculos que se oponen al logro de los resultados.
El Gerente de Programa identifica las cuestiones y las seala a la gerencia de la
oficina de campo para que tome medidas o sirvan de insumo para el examen anual
del pas, contribuyendo a la discusin sobre los resultados obtenidos, los problemas
claves y los prximos pasos.
Un anlisis del desempeo del proyecto durante el periodo que cubre el informe,
incluyendo los productos producidos y cuando es posible, informacin sobre la
situacin en materia de efectos;
n
n
n
n
Adems del contenido mnimo, pueden aadirse elementos segn lo requiera el PNUD,
la gerencia de proyecto o los socios. Por ejemplo, algunas oficinas pueden incluir cuestiones
de administracin tales como los gastos relacionados con productos, problemas de implementacin (por ejemplo, cmo funcionan los arreglos de gestin), la adecuacin de
enfoques y estrategias de implementacin, los factores externos que afectan la relevancia,
cuestiones relativas al personal y el trabajo en equipo. Sin embargo, cuanto ms elementos
se agreguen ms difcil resultar centrarse en las cuestiones claves. A fin de armonizar,
tambin pueden utilizarse los formatos de informe de los donantes siempre que se
incluya informacin sobre efectos, productos y estrategias de alianzas (vase el anexo C
un formato de informe anual de proyecto).
GRUPOS DE EFECTO S
Otra forma importante de seguimiento es el uso de mecanismos de coordinacin que agrupan
a los socios con fines de examen y anlisis. Este mecanismo se conoce generalmente como
utilizacin de grupos de efectos.
40
Poltica del PNUD: Las oficinas de campo necesitan emplear mecanismos que involucren
a los socios y faciliten la discusin y los anlisis peridicos en torno a efectos. Para facilitar
la referencia, los mecanismos de coordinacin que efectan el seguimiento de efectos se
denominan grupos de efectos. Dichos grupos centran su atencin en el seguimiento de
efectos y en la contribucin de los productos a los efectos; no se ocupan del intercambio
general de informacin ni de los detalles del proyecto. Idealmente, los grupos de efectos
deben utilizar los mecanismos existentes, tales como comits directivos de programa, grupos
temticos o grupos de coordinacin sectorial. Si no existen mecanismos regulares, la oficina
de campo puede reunir a los socios claves en reuniones peridicas. Los proyectos deben
ser incluidos en la discusin del grupo de efectos, porque necesitan tener una visin del
efecto al que en ltima instancia, contribuirn sus distintos productos.
Propsito: Los grupos de efectos aseguran un anlisis continuo de los efectos que sirve
de base para el marco de resultados estratgico y el informe anual orientado a resultados,
a la vez que mejora el avance hacia los resultados. Tambin promueven alianzas. La
coordinacin entre distintos proyectos vinculados con un mismo efecto compartido puede
contribuir a producir sinergia y a reforzar una estrategia comn entre los proyectos del
PNUD y los socios, hacia resultados.
Participacin: Los participantes en los grupos de efectos incluyen a los Gerentes de Programa
y los Directores de Proyecto del PNUD. En los grupos de efectos interviene tambin el
Representante Residente Auxiliar o el Representante Residente Adjunto, as como el
personal de contraparte del gobierno a nivel tcnico. Los socios externos pueden tambin
participar, por lo menos una vez al ao, aunque tal vez no deseen asistir a todas las reuniones.
Foco de atencin: Qu se examina en los grupos de efectos? El grupo de efectos analiza
el estado de los productos estratgicos y las iniciativas vinculadas de los socios, todo lo
cual contribuye a un efecto buscado. Lo hace examinando informacin de proyectos,
informes nacionales, informes de donantes y otras fuentes. Al reunir a los socios ayuda a
definir el enfoque estratgico para el efecto y apoya su formulacin. La tarea central es
acordar un plan de seguimiento del efecto y supervisar su implementacin. Tambin sirve
como equipo focal para las evaluaciones de efectos. El grupo de efectos debe ser un medio
para documentar y difundir las lecciones aprendidas. Cuando participan los socios, el grupo
de efectos puede formar parte del examen anual, donde tienen lugar las consultas principales
sobre el efecto de que se trata. Esto permite alertar a la Gerencia de la oficina de campo
sobre problemas o cuestiones comunes entre resultados o reas. Los grupos de efectos no
deben incrementar los costos de transaccin examinando todos los detalles de los proyectos.
Organizacin: El Gerente de Programa es responsable de asegurar que se realicen consultas
y anlisis para apoyar el seguimiento de efectos. Por razones prcticas, las oficinas de
campo utilizan por lo general los foros existentes, si existen. Si los efectos del marco
de resultados estratgicos son numerosos, algunas oficinas de campo pueden querer
agruparlos segn las reas estratgicas de apoyo o reas temticas.
EXAMEN A N UAL
Poltica del PNUD: El examen anual (EA) vincula la presentacin de informes, la
retroalimentacin, la evaluacin y el aprendizaje para ponderar el desempeo, como base
para informe anual orientado a resultados. Es esencial que el IAOR se prepare a partir del
anlisis basado en las consultas con socios. El examen anual se organiza hacia el final del
ao (octubre-diciembre) para alimentar la preparacin del informe anual orientado a
EL PROCESO DE SEGUIMIENTO (CMO...)
41
SI LA SITUACIN ES
Qu queremos
conseguir con
el examen
anual?
Quin debe
intervenir?
En qu
debemos
centrar la
atencin y
en qu no?
42
43
44
El proceso
de evaluacin
(Cmo)
CAP TULO 5
Cmo se prepara y gestiona una evaluacin en las oficinas de campo? Y cmo procede un
equipo de evaluacin para realizarla? El presente captulo presenta la metodologa de evaluacin
de efectos y provee sugerencias para mejorar las evaluaciones de proyectos. Tambin ayuda
a los usuarios a administrar un proceso de evaluacin y establecer normas para evaluaciones
de calidad orientadas a resultados. (Las guas para evaluadores completas figuran en la
serie complementaria del presente Manual).
Este captulo abarca:
A. Preparacin de una evaluacin
n Propsito y calendario de la evaluacin
n Participacin de socios e interesados
n Reconsideracin del efecto
n Definicin del alcance
n Elaboracin de los trminos de referencia
n Presupuesto
n Organizacin de la documentacin pertinente
n Constitucin del equipo focal de evaluacin en la oficina de campo del PNUD
n Seleccin del equipo de evaluacin
B. Gestin de una evaluacin
n Recoleccin y anlisis de datos
n Apoyo y retroalimentacin
n Presentacin de informes
n Seguimiento
C. Evaluaciones conjuntas
45
P R O P S I TO Y CALENDARIO
Decidir precisamente por qu y cundo llevar a cabo una evaluacin de efectos es un proceso
que comienza a principios del ciclo de programacin. Como se explica en el captulo 3,
los planes de evaluacin se elaboran sobre la base de un cierto nmero (que vara) de efectos
que las oficinas de campo debe evaluar en el ciclo de un programa de pas determinado.
Se llevar a cabo una variedad de evaluaciones de resultados cada una con diferente
propsito, alcance y calendario durante el ciclo del programa del pas. Las oficinas de campo
deben esforzarse en identificar, al menos de modo general, el propsito y calendario de sus
evaluaciones de una manera integral y coherente y hacerlo tan pronto como ressulte posible.
La oportunidad de una evaluacin de efectos debe estar directamente vinculada con su
propsito (como se indica en el captulo 3). Si, por ejemplo, se espera que la evaluacin
de efectos contribuya al aprendizaje y a un cambio del tipo de productos o de la estrategia
de alianzas, debe llevarse a cabo con suficiente antelacin para que el cambio pueda ser
considerado en la programacin. Esto significa que si el PNUD comienza a trabajar en pos de
un efecto en el primer ao del ciclo del programa del pas, la evaluacin de ese efecto podra
ubicarse, por razones estratgicas, a fin del tercer ao, ya que entonces habr transcurrido
tiempo suficiente para que se haya producido algo que evaluar, y sin embargo, quedara
suficiente tiempo para aplicar las lecciones aprendidas de la evaluacin. Por otra parte,
puede ser ms estratgico ubicar una evaluacin a principios del quinto ao, si la oficina de
campo quiere extraer lecciones aprendidas con respecto a la calidad de los productos y la
estrategia de alianzas empleada con miras a un efecto y cmo cada uno contribuy a su
logro. El mismo principio se aplica a las evaluaciones de proyecto (si las oficinas de campo
optan por llevarlas a cabo): el propsito de la evaluacin debe dictar su momento y alcance.
En el cuadro 3 se presenta ms informacin sobre el momento, el propsito y la duracin
de las evaluaciones de efectos (vase tambin el anexo B.)
CUADRO 3. MOMENTO, PROPSITO Y DURACIN POSIBLES DE LAS EVALUACIONES DE EFECTOS
MOMENTO
EJEMPLOS DE PROPSITO
DURACIN
Corto plazo
Mediano plazo
Largo plazo
46
iniciales del equipo de evaluacin. A menudo, aunque no siempre, los socios e interesados
estarn representados por los mismos actores y organismos. En efecto, socios, interesados
y beneficiarios son a menudo trminos intercambiables, ya que tienen los mismos
intereses. Sin embargo, ello no siempre es as por lo que es importante distinguir entre los
tres trminos ya que, en un contexto determinado un actor puede ser un socio, otro un
beneficiario y un tercero un interesado. En un proyecto para fortalecer el poder de
promocin de la sociedad civil en el parlamento, por ejemplo, el parlamento puede ser un
interesado; un organismo gubernamental donante puede ser tanto socio como interesado
y las organizaciones de la sociedad civil pueden ser socios, interesados y beneficiarios.
El grado en que distintos socios e interesados se
involucran en diferentes niveles del proceso, ser
distinto. Algunos requieren nicamente que se les
Autioridades nacionales.
informe del proceso, mientras que para otros sera
Organizaciones de la sociedad civil.
importante intervenir en la toma de decisiones.
Organizaciones no gubernamentales,
Como
la evaluacin tiene importantes dimensiones
nacionales e internacionales.
de
desarrollo
de la capacidad y de aprendizaje, las
Organismos de las Naciones Unidas.
Sector privado.
decisiones sobre quin participa y en qu grado influirn
Otros donantes.
sobre los resultados. En general, cuanto mayor sea
Instituciones acadmicas.
el nivel de participacin mayor probabilidad habr
de que se utilice el conocimiento producido por las
evaluaciones. Es importante destacar que una mayor participacin de socios o interesados,
o de ambos a la vez, con frecuencia presupone incurrir en ms gastos y, a veces, puede llevar
a una disminucin de la eficiencia. Sin embargo, al involucrar estratgicamente a interesados
y socios, la evaluacin participativa puede influenciar positivamente el sentido de
propiedad con respecto a los resultados de la evaluacin y la sostenibilidad.
RECUADRO 4. SOCIOS
E INTERESADOS CLAVES
n
n
47
DEFINICIN DEL A L C A N C E
Por lo general, el alcance de una evaluacin de proyecto se autodefine en el documento
de proyecto. En la mayora de los casos 11 el alcance de una evaluacin de efecto ser ms
amplio que el de una evaluacin de proyecto. La gerencia principal de la oficina de
campo, el personal de programa, el personal del informe nacional sobre el desarrollo
humano (que puede proveer un importante anlisis contextual sobre el efecto), los socios
principales y, de ser posible, el jefe del equipo de evaluacin, deberan participar en la
definicin del alcance de la evaluacin del efecto.
Como mnimo, el alcance de una evaluacin de efecto debe incorporar las cuatro
categoras de anlisis siguientes, ya sea total o parcialmente:
1. Situacin de los efectos: Si el efecto se ha logrado o no y en este ltimo caso si se han
registrado progresos;
2. Factores subyacentes: Un anlisis de los factores subyacentes que escapan al control del
PNUD e influyen sobre el efecto;
3. Contribucin del PNUD: Determinar si los productos y dems intervenciones del PNUD
pueden ser crebles en cuando a su contribucin al efecto, incluyendo los productos,
programas, proyectos y la asistencia de apoyo y otras que contribuyeron al efecto
(vase el Recuadro 5);
4. Estrategia de alianzas: Si la estrategia de alianzas del PNUD ha sido adecuada y efectiva.
RECUADRO 5. YEDIDA, ATRIBUCIN Y VNCULOS CREBLES
Las evaluaciones de efectos demuestran la existencia de vnculos crebles entre toda la gama de actividades
realizadas por el PNUD, en alianza con otros y el logro de resultados o de progreso hacia los efectos.
Por ejemplo: una oficina de campo define el efecto en trminos de disposiciones legales ms eficaces para la
descentralizacin municipal. La oficina de campo consigna en el marco de resultados estratgicos/informe
anual orientado a resultados que est ayudando al pas a 1) facilitar el proceso de discusin sobre las
disposiciones legales de descentralizacin; 2) realizar pruebas piloto en los municipios para obtener experiencia sobre la ejecucin descentralizada de presupuestos y 3) promover el fortalecimiento de la comunidad
en la planificacin del desarrollo local. Estos productos han hecho una clara contribucin a un proceso ms
efectivo de descentralizacin y cabe pretender que son conducentes al logro del efecto. Por el contrario,
el PNUD no puede atribuirse mrito por la aprobacin de la ley (que es una atribucin del Parlamento) ni
tampoco por su implementacin efectiva (que es atribucin de los municipios).
Fuente: Adaptado en parte del Informe del Administrador sobre el marco de financiacin multianual, 1998
11
48
Puede haber excepciones a esta regla. Por ejemplo, es concebible que la evaluacin de un proyecto estimadamente grande,
complejo y a muy largo plazo tenga un alcance mayor que el de una evaluacin inicial y ligera de un efecto realizada durante el
primer o segundo ao del ciclo del programa del pas.
Las oficinas de campo pueden querer enfatizar ms una categora de anlisis que otras,
influyendo de este modo en el alcance de la evaluacin. En el Cuadro 4, la dimensin de
alcance se ha incorporado a la lista ya presentada en el Cuadro 3, a fin de ilustrar las
maneras en que se interrelacionan el momento, el propsito, la duracin y el alcance de
una evaluacin de efectos.
Adems de las cuatro categoras de anlisis que deben incluirse en el alcance de una evaluacin, la evaluacin de efectos tambin podra incluir:
n
n
n
n
Nivel de participacin de interesados en el logro de un efecto, por ejemplo, determinar si la ayuda brindada por el PNUD fue de carcter participativo ( s la
sociedad civil y los representantes de los grupos de base fueron consultados en el
diseo de una poltica de inversin social);
Identificacin de beneficiarios directos e indirectos, as como su percepcin del
modo en que se han beneficiado de la asistencia del PNUD;
Cuestiones de implementacin o de gestin, si se sospecha la existencia de algn
problema en esta rea, incluso la oportunidad de los productos, el grado de
involucramiento de interesados y socios en la produccin de los productos y el
modo en que los procesos se administraron o se llevaron a cabo (por ejemplo,
tuvieron los procesos un carcter transparente y participativo?).
EJEMPLOS DE PROPSITO
DURACIN
A principios
del ciclo del
programa
del pas:
Aos 12
Corto plazo
A mediados
del ciclo del
programa
del pas:
Aos 23
Medio plazo
Finales del
ciclo del
programa
del pas:
Aos 4-5
Largo plazo
49
n
n
n
Los trminos de referencia deben mantener la suficiente flexibilidad para que el equipo
de evaluacin pueda determinar el mejor enfoque para recolectar y analizar los datos.
Los trminos de referencia, por ejemplo, podran sugerir un enfoque combinado de
cuestionarios, misiones de campo y entrevistas, pero el equipo de evaluacin debera
poder revisar este enfoque, segn lo crea conveniente.
Los trminos de referencia incluyen elecciones estratgicas sobre qu concentrar la
atencin y por lo tanto deberan ser examinados por los interesados claves en la evaluacin
y, en caso de evaluaciones de efectos, deberan involucrar los socios en el proceso de
redaccin (vase el anexo B para informacin especfica sobre los trminos de referencia
de evaluaciones, incluyendo guas detalladas sobre las evaluaciones de efectos).
P R E S U P U E S TO
El presupuesto de una evaluacin depende de la complejidad del proyecto o efecto que
ha de evaluarse, as como del propsito del ejercicio. Estos factores dictan el calendario y
el nmero de evaluadores necesarios. Para los proyectos, los recursos correspondientes
se adjudican de las partidas de seguimiento y evaluacin del presupuesto de proyecto.
Del mismo modo, las evaluaciones de efectos se financian mediante las respectivas
asignaciones de recursos para seguimiento y evaluacin de los proyectos y programas que
contribuyen al efecto de que se trata.
Al confeccionar el presupuesto de una evaluacin de efectos la oficina de campo del
PNUD debe considerar los siguientes factores:
n
50
AL PRINCIPIO DEL
PROGRAMA DEL
PAS: AOS1-2
MEDIADOS DEL
PROGRAMA DEL
PAS: AOS 2-3
FINAL DEL
PROGRAMA DEL
PAS: AOS 4-5
1 da
3 das
1 semana
Exmenes en oficina
4 das
1 y 1/2 das
2 a 3 semanas
Misin de evaluacin
11/2 a 2 semanas,
incluyendo:
n 1/2 a 1 semana
3 semanas,
incluyendo:
n 1 semana
4 semanas,
incluyendo:
n 2 semanas
n
n
2 das
n
3 das
n
1 semana
3 a 7 das
1 a 2 semanas
2 semanas
TOTAL
3 A 4 SEMANAS
6 A 7 SEMANAS
9 A 10 SEMANAS
Consultores nacionales
investigacin
1 por 1 semanas
2 por 2 semanas
2 por 6 y 7 semanas
1 por 1 a 2 semanas
1 por 2 a 3 semanas
2 por 3 semanas
1 por 3 a 4 semanas
1 por 4 semanas
1 por 6 semanas
Gastos de viaje
51
52
Programa del pas (o marco de cooperacin del pas): Trata los efectos
claves que el PNUD ha planeado obtener en un periodo de 3 a 5 aos. Tambin
provee informacin de antecedentes y la perspectiva del PNUD sobre el desarrollo
en un pas determinado.
Marco de resultados estratgicos e informe anual orientado a resultados
de la oficina de campo: El marco estratgico de resultados y el informe anual
orientado a resultados presentan algunos de los proyectos y programas agrupados
en torno al efecto de que se trata e idealmente deberan identificar todos los
proyectos, programas, subprogramas y actividades de asistencia de apoyo que
contribuyen al efecto. Tambin se incluye informacin sobre productos claves, los
aliados estratgicos, la estrategia de alianzas, los progresos de que se ha informado
en aos anteriores, la calidad de los indicadores de efectos, la necesidad de ms
trabajo e informacin de la lnea de base.
Informe del anlisis conjunto de pas y marco de asistencia de las
Naciones Unidas para el desarrollo: Estos documentos incluyen informacin
de base sobre la situacin de desarrollo del pas, alianzas y actividades conjuntas
del PNUD y otros organismos de las Naciones Unidas.
M A N UAL DE SEGUIMIENTO Y EVA L UACIN DE RESULTADOS
Se espera que las fuentes citadas proporcionen informacin sobre las cuatro categoras de
anlisis (situacin en materia de efectos, factores subyacentes, contribucin del PNUD y
estrategia de alianzas) en una evaluacin de efectos. En el Cuadro 6 se indica cmo la
documentacin pertinente puede apoyar el anlisis de estos cuatro factores.
CUADRO 6: FUENTES DE DOCUMENTACIN Y CATEGORAS CORRESPONDIENTES DE ANLISIS
FUENTES DE
INFORMACIN
Marco de cooperacin/
programa del pas
Marco de resultados
estratgicos/Informe anual
orientado a resultados
Anlisis conjunto
del pas/ marco
de asistencia para
el desarrollo
Informes de seguimiento
y de evaluacin
DE QU LE PUEDE INFORMAR
Situacin
de efectos
Factores
subyacentes
Contribucin
del PNUD
Estrategia
de alianzas
Informes regionales/
subregionales
Informes de socios
Datos de fuentes oficiales
X
X
X
X
Informes de investigacin
53
programacin, tal como se describe en el Cuadro 6. Este equipo, integrado por un nmero
de 2 a 4 miembros, asume la responsabilidad primordial de organizar la evaluacin de
efectos y trabaja activamente en apoyo del trabajo del equipo independiente de evaluacin
de efectos.
Trabajar como equipo focal de evaluacin es ms eficiente que hacerlo individualmente,
ya que las evaluaciones de efectos inciden sobre una amplia gama de cuestiones. Dado el
nfasis que pone el PNUD en resultados, se requiere que un equipo pequeo intervenga
en el proceso. Esto contrasta con lo que sucede en las evaluaciones de proyecto, donde el
Gerente de Proyecto asuma la responsabilidad de planificar y asegurar que el ejercicio
se emprendiera en el marco de los trminos de referencia.
Idealmente, la preparacin de una evaluacin de efecto se vincula con proceso de
seguimiento de efectos y no es independiente de l. El mismo personal de programa debe
intervenir en el seguimiento del progreso hacia un efecto dado y tambin en preparar la
evaluacin. Estos miembros del personal, junto con los socios en un grupo de efectos (si
hubiere), son responsables de la preparacin.
El equipo focal de evaluacin cumple una funcin til al conectar el equipo de evaluacin
con la unidad de programa, la gerencia principal y los socios. Adems, el equipo focal de
evaluacin es responsable de concertar los arreglos sustantivos y logsticos, tales como
redactar los trminos de referencia del equipo de evaluacin, identificar candidatos
adecuados (individuos o empresas) para el equipo de evaluacin, contratar el equipo, asegurar
un proceso participativo de evaluacin, ponerse en contacto con socios, apoyar al equipo
de evaluacin y formular observaciones sobre el informe preliminar de evaluacin.
El equipo focal de evaluacin garantiza un alto nivel de participacin en la oficina de campo
y de los socios en todas las etapas del proceso de evaluacin. La participacin contribuye
a que todas las partes interesadas se mantengan informadas de los progresos de la evaluacin
y contribuye a asegurar la credibilidad y la calidad del ejercicio. Algunos de los insumos
ms pertinentes para el proceso de evaluacin pueden provenir de las partes siguientes:
n
La Gerencia principal: La gerencia principal confiere direccin y perspectiva
al ejercicio de evaluacin; proporciona informacin sobre la posicin estratgica de
la oficina, la asistencia de apoyo y el marco de resultados estratgicos y contribuye
con informacin de primera mano sobre la asistencia prevista o potencial (por
ejemplo, discusiones preliminares con autoridades de alto nivel sobre asistencia o
servicios especficos y tramitacin de actividades de asistencia de apoyo).
54
Conocimiento tcnico y experiencia en las reas temticas del PNUD, con conocimientos especficos que dependen del foco de atencin especfico de la evaluacin;
55
Los conocimientos en GBR son cada vez ms importantes, a medida que las evaluciones
tienden a situar en primer plano los principios y metodologa de la GBR. Los evaluadores
necesitan saber cmo establecer un vnculo entre la asistencia del PNUD y el papel que
desempea en producir cambios en materia de desarrollo.
B. Gestin de la evaluacin
Esta breve resea de las tareas involucradas en la gestin de una evaluacin abarca las
cuestiones de recoleccin y anlisis de datos, apoyo y retroalimentacin, presentacin de
informes y seguimiento. Dichas responsabilidades corresponden al personal de la oficina
de campo del PNUD por lo general el Gerente del Programa, el grupo de efectos,
o el equipo focal de evaluacin. En una publicacin de la serie complementaria del
presente Manual titulada Gua para evaluadores figura una orientacin detallada para
los evaluadores de efectos.
A P OYO Y RETROALIMENTA C I N
El personal de la oficina de campo del PNUD o el equipo focal de evaluacin es responsable
de establecer enlaces con los socios, brindar apoyo y facilitar retroalimentacin tcnica al
CUADRO 7. EJEMPLOS DE UNA COMBINACIN DE ENFOQUES EN LA EVALUACIN DE EFECTOS
EFECTOS
ANLISIS CUANTITATIVO
ANLISIS CUALITATIVO
Mejora de
la capacidad
legislativa.
56
P R E S E N TACIN DE INFORMES
Los orgenes de las conclusiones y recomendaciones del informe de evaluacin se
encuentran en los trminos de referencia de la evaluacin. Los trminos de referencia
para una evaluacin de efectos, por ejemplo, incluirn el efecto que ha de estudiarse y por
qu fue seleccionado, el alcance de la misin y la estrategia de recoleccin y anlisis
de datos. Se espera que el informe de la evaluacin tambin incluya estos elementos.
El equipo de evaluacin est obligado por los trminos de referencia a asegurar que las
cuestiones seleccionadas se tratan de manera adecuada en el informe, aunque el equipo
dispondr de cierta flexibilidad para aadir cuestiones que, a su juicio, sean especialmente
pertinentes. Por lo general, el jefe de equipo elabora un ndice en la primera etapa de la
evaluacin, basado en los requisitos del PNUD, los trminos de referencia y las discusiones
con las partes interesadas y socios.
Este ndice provisional sirve como marco adecuado para organizar la informacin a medida
que avanzan los trabajos. El ndice ayuda a centrar el trabajo de campo necesario para
recolectar la informacin que falta, verificar informacin y extraer y discutir conclusiones
y recomendaciones. (Vase el anexo D para el informe de una misin de campo.)
Una vez que se ha presentado el primer borrador del informe de evaluacin, el equipo
focal de evaluacin o el personal pertinentes de la oficina de campo del PNUD (por ejemplo,
el punto focal para la evaluacin, el personal del proyecto o la gerencia principal de la
oficina) deben analizar y formular observaciones. Una vez que las observaciones se han
incorporado, la versin final debe distribuirse entre los socios para obtener su valiosa
contribucin. El jefe del equipo de evaluacin es responsable de incorporar las observaciones a la versin final del informe y de presentarlo a la gerencia principal de la oficina
de campo. Dependiendo de la complejidad de las conclusiones de la evaluacin, la
oficina de campo debe considerar la organizacin de una reunin de interesados, de
medio da de duracin, para hacer una presentacin a los socios e interesados. Esto ayuda
a asegurar una comprensin comn de las conclusiones de la evaluacin y facilita la
retroalimentacin del informe preliminar.
TAREAS POSTERIORES
El proceso de evaluacin no termina con la presentacin y la aceptacin del informe
correspondiente. Las constataciones, conclusiones, recomendaciones y lecciones aprendidas
necesitan ser asimiladas e integradas en acciones. Por consiguiente, el paso final en la
gestin y conduccin de una evaluacin es la realizacin de actividades que resultan del
informe y la implementacin de cambios. Este paso est estrechamente vinculado con los
procesos de conocimiento y aprendizaje, que se tratan con ms detalle en el captulo 7.
EL PROCESO DE EVA L UACIN (CMO...)
57
C. Evaluaciones conjuntas
12
58
Las evaluaciones conjuntas sern estudiadas con mayor profundidad en otro nmero de la serie en la cual se incluye este Manual.
ser discutido y acordado por las instituciones asociadas. El tipo ptimo de trminos
de referencia es aquel que satisface los intereses de todas las partes. Sin embargo, esto
no siempre es posible, dada la gama de motivaciones que llevan a efectuar una
evaluacin, tales como identificar las lecciones aprendidas, establecer una base
emprica para la reorientacin sustantiva o revisin del financiamiento, satisfacer
al electorado poltico en los pases donantes o cumplir requisitos institucionales
caractersticos de proyectos grandes. Debera darse consideracin a la creacin de un
programa comn que equilibre lo que quiere cada uno y lo que es factible.
5. Seleccin de expertos: Existen varios modos de resolver la seleccin de expertos para
una evaluacin conjunta. Una primera opcin es encargar a uno de los socios que
contrate al equipo de evaluacin, en consulta con los dems socios. Otra opcin es
que cada uno de los socios aporte sus propios expertos. En algunos casos, el enfoque
adoptado para la seleccin de expertos podra estar supeditado a la modalidad de
financiacin que se utilice. Por ejemplo, si se utiliza el modelo de financiacin
paralela, cada asociado podra aportar al equipo sus propios expertos. En aquellos
casos en que cada una de las partes proporciona sus propios evaluadores al equipo, los
evaluadores pueden tener dificultades en informar a una de las partes y al mismo
tiempo ser miembro de un equipo conjunto. Para resolver esta cuestin, los gerentes
de la evaluacin de todas las instituciones participantes deben indicar claramente a
los evaluadores que se respetar el principio de independencia del equipo.
Como mnimo, la organizacin de al menos una sesin de planificacin, en la que
participen personalmente todos los expertos, debera resultar de utilidad antes de
efectuar misiones de campo. En otras palabras, no debera mezclarse la presentacin
personal inicial entre los expertos con un ejercicio de recoleccin de datos. En
ciertos casos, los expertos deberan reunirse con los respectivos interesados para
obtener una visin general del contexto del proyecto o efecto antes de efectuar
misiones de campo. Esto se aplica especialmente a situaciones en que los expertos
son seleccionados tanto por el PNUD como por las contrapartes.
6. Realizar la evaluacin: Los expertos contratados separadamente por el PNUD y las
instituciones de contraparte deben realizar misiones de campo conjuntas en la medida
de lo posible. Por ejemplo, un grupo de cuatro evaluadores dos seleccionados por el
PNUD y dos por un pas donante- pueden trabajar en pareja para optimizar el tiempo
en un pas o regin determinados, pero es mejor que cada pareja incluya un experto
de cada lado. Del mismo modo, la participacin en el equipo de evaluacin de
un representante del PNUD o de la institucin de contraparte puede mejorar las
oportunidades para capacitar al personal del PNUD. Esto puede ser especialmente
til durante la fase de bsqueda de constataciones, sobre una base puramente de
observacin, pero probablemente sea un arreglo de naturaleza delicada que requiere
una comunicacin cuidadosa con todas las partes que intervienen en la evaluacin.
7. Preparacin del informe: Tan slo el equipo de evaluacin debe intervenir en el anlisis
de las conclusiones y la redaccin del informe de la evaluacin conjunta. Ello no
implica necesariamente que todos los miembros del equipo estn de acuerdo en la
manera en que debera dejarse constancia de las conclusiones y recomendaciones,
especialmente cuando el equipo de evaluacin est integrado por representantes de
diferentes instituciones. Por consiguiente, la redaccin del informe puede exigir cierto
proceso de negociacin entre los miembros del equipo. Una vez redactado el borrador
de informe, debe compartirse con el PNUD y las instituciones asociadas, para recibir
observaciones. El informe puede entonces seguir los procedimientos normales de
examen y terminacin.
EL PROCESO DE EVA L UACIN (CMO...)
59
60
PARTE III
Seguimiento
y evaluacin del
desempeo
Captulo 6.
63
63
66
71
Cuadro 1.
Cuadro 2.
Cuadro 3.
64
72
71
Medicin del
desempeo
C AP TULO 6
Este captulo trata los mtodos utilizados para medir el desempeo. Presenta la utilizacin
de indicadores incluyendo la utilizacin de lneas de base,determinacin de metas, sistemas
de recoleccin de datos y anlisis cuantitativo y cualitativo. El captulo ayudar a los usuarios
a utilizar indicadores de modo que mejoren su capacidad de evaluar el progreso hacia
resultados y el desempeo mediante el seguimiento y evaluacin de la asistencia brindada
por el PNUD.13
Este captulo comprende:
A. Medicin del desempeo
n Sistema de calificacin
B. Seleccin de indicadores
n Etapas claves en la seleccin de indicadores
n Planificacin de indicadores
C. Utilizacin de indicadores
n Participacin de los interesados
n Utilizacin de indicadores en el seguimiento
Los indicadores de desempeo para la planificacin de iniciativas empresariales en el PNUD no se incluyen en el presente Manual.
63
Medicin
del desempeo
Calificacin
Indicadores
Verificacin: si ha habido progreso hacia resultados.
En todas las oficinas de campo, la gestin basada en resultados tambin puede abarcar la
valoracin del desempeo de proyectos, programas, sectores de programas y grupos de
personal o personas, si la oficina de campo lo considera til. En el grfico 1 se muestran
los vnculos entre la medicin del desempeo, la calificacin y los indicadores como
elementos propios de estas valoraciones.
SISTEMA DE CALIFICACIN
La incorporacin cada vez mayor de la gestin basada en resultados en el PNUD est
gradualmente permitiendo generalizar la utilizacin de resultados de desempeo informados,
en las funciones internas de gerencia y de supervisin. Un rea clave de este empleo
generalizado es la formulacin de un sistema comn de calificacin de todos los resultados
que informa la organizacin en el marco de la gestin basada en resultados. Un sistema
de este tipo permite al PNUD calificar el desempeo a nivel de resultados y analizar y
comparar las tendencias segn categoras temticas (por ejemplo, gobernabilidad,
pobreza, o medio ambiente); nivel de intervencin (por ejemplo, proyecto, producto, o efecto);
rea geogrfica (por ejemplo, frica, Asia o Amrica Latina); o unidad organizacional (por
ejemplo, oficina de campo, direcciones regionales u oficinas funcionales). El sistema
comn de calificacin se basara en el sistema de calificacin de tres puntos del IAOR.15
Puede utilizarse un sistema comn de calificacin para todos los instrumentos claves de
seguimiento y evaluacin (IAOR, IAP, misiones de campo y evaluaciones de efectos) para
comparar desempeos y resultados. Con este enfoque existen dos tipos de calificacin:
auto calificacin (como en el IAP) y calificacin independiente (como en las evaluaciones
de efectos). La utilizacin de dos tipos de calificacin que utilizan los mismos criterios
permite obtener un cuadro ms completo de cmo las oficinas del PNUD, la sede del
PNUD y asesores independientes perciben el progreso hacia resultados. Tambin provee
una base de dilogo en la oficina de campo, en la sede y entre ambos, en el caso de que
sus calificaciones de los mismos productos o efectos sean diferentes.
Elementos claves del sistema comn de calificacin:
Para los efectos, el sistema de calificacin tiene tres puntos: cambio positivo, cambio
negativo y sin cambios. Las tres calificaciones reflejan los progresos hacia efectos sin
14
64
Al principio,se elabor para el IAOR un sistema de calificacin de tres puntos para efectos (cambio positivo,cambio negativo,sin
cambios) y para metas anuales de producto (logrado,no logrado,parcialmente logrado).Este sistema permiti al PNUD determinar
las tasas de desempeo en productos y efectos y compararlas entre pases,regiones,objetivos,objetivos secundarios y as sucesivamente.El sistema fue formulado por expertos de la sede, tpicamente no se comparti con las oficinas de campo y no se compar con las calificaciones de los mismos cambios hechas por stas.
atribuir el progreso a ninguno de los socios. Se prev que las tres calificaciones reflejen el
grado en que se ha acercado o alejado del efecto. La metodologa para las tres calificaciones
consiste en comparar (segn lo medido por los indicadores de efecto) la evidencia de un
avance o retroceso desde la lnea de base con respecto a la meta final del MRE.
n
Cambio positivoavance positivo desde la lnea de base hacia la meta del MRE,
medido por los indicadores de efecto;
n
Cambio negativoretroceso desde la lnea de base, medido por los indicadores
de efecto;
n
Sin cambiosno hay cambio perceptible entre la lnea de base y la meta del
MRE, medido por los indicadores de efecto.
Para los productos, el sistema de calificacin tambin tiene tres puntos: no, parcial, y
s. Las tres calificaciones reflejan el grado de cumplimiento de las metas de productos.
Esto sirve como valoracin aproximada del grado de xito de una unidad organizativa en
alcanzar sus productos del MRE. Las tres calificaciones apuntan a reflejar el grado de
logro de productos, comparando las lneas de base (producto inexistente) con la meta
(producto producido). Se entiende que la categora parcialmente alcanzado refleja los
productos en ejecucin o especialmente ambiciosos que requieren muchos insumos y
tiempo para realizarlos.
n
Nono logrado;
n
Parcialsolamente si se alcanzan las dos terceras partes (o ms) de una meta cuantitativa;
n
Slogrado.
Este sistema de calificacin de resultados es aplicable al IAOR, a evaluaciones y a ciertos
informes de la oficina de campo.
El IAOR pondera los avances hacia el logro de productos y efectos. La calificacin es
anual y es realizada por un equipo de analistas del IAOR de la sede. La calificacin se
utiliza para informar a los interesados externos sobre tendencias y progresos y para
determinar reas dbiles que la organizacin puede mejorar. La retroalimentacin a las
oficinas de campo sobre la calificacin debera estimular discusiones sobre los avances y
las acciones necesarias. Dado que las oficinas de campo reciben informacin por medio de
otras fuentes (evaluaciones de efectos e instrumentos claves de seguimiento) que utilizan
el mismo tipo de calificacin, tendrn una base para discutir con la sede los resultados y
las percepciones de los avances realizados.
Las evaluaciones, como mnimo, juzgan el progreso en cuanto a productos y efectos.
Las evaluaciones de efectos, realizadas por equipos de asesores independientes, tambin
pueden calificar otros aspectos importantes del desempeo, tales como la sostenibilidad,
la relevancia y la eficiencia. Otros tipos de anlisis tambin deben proveer calificaciones, si
corresponde, tales como por ejemplo, examen de los resultados en trminos de desarrollo
realizadas por la Oficina de Evaluacin. Las calificaciones se utilizarn para efectuar anlisis
de tendencias y para lecciones aprendidas a nivel corporativo, as como para validar resultados
y discutir el desempeo a nivel nacional. (Vase Guidelines for Evaluators (Guas para
evaluadores) en la serie complementaria del presente Manual para obtener ms informacin
sobre el sistema de calificacin a ser utilizado por evaluadores de efectos.)
Algunos informes seleccionados de seguimiento a nivel nacional ponderan, a ttulo
voluntario, el progreso de los proyectos hacia efectos y productos. Para el Informe anual
de proyecto (IAP), la calificacin del progreso hacia productos es realizada anualmente por
el Gerente de proyecto y el Gerente de programa. Constituye una base de discusin para
lograr un consenso sobre la calificacin de los productos. Si hay desacuerdo entre el personal
de proyecto y el personal de programa en la calificacin, ambas calificaciones se incluyen en
MEDICIN DEL DESEMPEO
65
Discutir y determinar el uso que har de los resultados que se obtendrn del sistema
de valoracin del desempeo, tales como anlisis de tendencias, identificacin
de proyectos a mejorar, contribuciones a calificaciones en el Anlisis de
Competencia de Resultados y prrroga de contratos del personal de proyecto;
(Vase Guidelines for Outcome Evaluators -Guas para evaluadores- en la serie que
complementa el presente Manual, para obtener informacin ms detallada sobre la
utilizacin de la calificacin para instrumentos pertinentes de seguimiento y evaluacin;
especficamente, el IAP, la misin de campo y la evaluacin de efectos.)
B. Seleccin de indicadores
Gran parte de la informacin que sigue es ms aplicable a los Gerentes de Programa y a la
Gerencia de Oficinas de Campo que a Gerentes de Proyecto, que se ocupan principalmente de los indicadores de producto cuyas lneas de base, metas y requerimientos de
informacin son bastante claros. Los Gerentes de Programa y la Gerencia superior de las
oficinas de campo se ocupan de indicadores ms complejos, que reflejan el progreso hacia
efectos. A continuacin se describen algunos pasos claves en el trabajo con indicadores
para gerentes del PNUD.
66
Entre las lneas de base y la meta puede haber varios hitos de referencia que
correspondan a resultados intermedios previstos para intervalos peridicos.
Las lneas de base proveen informacin que puede ser utilizada para disear e implementar
intervenciones. Tambin proveen un importante conjunto de datos con cuya comparacin
se puede determinar el xito (o, al menos, el cambio), lo cual permite medir el grado de
progreso hacia un resultado. La verificacin de resultados depende del conocimiento
del cambio que se producir en el tiempo. Antes de iniciar una intervencin, se requiere
comprender claramente el problema de desarrollo que se quiere abordar. El anlisis
exhaustivo de los factores claves que influyen en un problema de desarrollo complementa
la formulacin de datos de lneas de base y la determinacin de metas.
Cmo proceder cuando no se han identificado lneas de base? Las lneas de base
pueden existir an cuando no hubiesen sido especificadas cuando se formul el programa
o proyecto. En algunos casos es posible estimar de modo aproximado cul era la lnea de
base al inicio del programa recurriendo a los ejercicios de anlisis conjunto del pas o de
examen anual o a fuentes administrativas nacionales.
n
Allen, John R.,Performance Measurement: How to Do It,How to Use It(Medicin del desempeo: Cmo proceder, cmo utilizarlo),
documento presentado en un curso prctico patrocinado por la American Evaluation Association,de Atlanta,noviembre de 1996.
67
Por ejemplo, para el efecto marco jurdico y poltico eficaz para descentralizacin,
el indicador proporcin de ingresos pblicos totales asignados y administrados a
nivel subnacional puede demostrar que ha aumentado la distribucin general de
recursos hacia el nivel local, pero ocultar grandes disparidades en el porcentaje de
distribucin a ciertas regiones.
INDICADORES
DE DESEMPEO
CLASIFICACIN DE INDICADORES
A
Impacto
Si hubiere -
Efecto 1
Indicador 1
Indicador 2
Producto 1
Indicador 1
Indicador 2
PUNTAJE
TOTAL
SELECCIN
68
PLANIFICACIN DE INDICADORES
La prueba crtica de la validez de un indicador es si es prctico para efectuar el seguimiento de resultados, es decir, si es fcil obtener y analizar datos para el indicador. La obtencin de datos vlidos y representativos puede ser una tarea grande, compleja y cara.
Por ejemplo, pocas veces se puede pedir la opinin de todas las partes en una encuesta y
es ms fcil obtener una muestra ms reducida pero representativa de entrevistados. Por
tanto, los indicadores deben ser sencillos y su nmero reducido, pero deben indicar cierto grado de progreso o la magnitud del cambio. Si los indicadores seleccionados son
demasiado complejos, ser difcil entenderlos o analizarlos debidamente.
El principal responsable de recolectar y analizar datos es el Gerente de programa quien, si
es necesario, consulta con la Gerencia de la oficina de campo y los Gerentes de Proyecto.
En cuanto a los efectos, el Gerente de programa es responsable, entre otras cosas, de:
n
Asegurar que en la etapa de elaboracin del programa se disponga de lneas de
base o de datos de situacin de los efectos. Esto permitir que los datos cronolgicos
se puedan comparar con las lneas de base para evaluar los logros en los efectos
deseados. Debern utilizarse fuentes y procesos tales como el INDH y el ACP.
La mayora de los resultados se determinarn en la etapa de formulacin del
programa del pas o del MRE. Sin embargo, algunos podrn formularse de manera
algo distinta en programas y proyectos especficos. Los indicadores de ciertos
efectos pueden variar ligeramente, o bien puede haber indicadores adicionales a
los que se utilizan en el MRE: lo ms importante es asegurar que se disponga de
datos apropiados de lnea de base o de situacin cuando se seleccionen el efecto
y los indicadores, independientemente de sus caractersticas especficas.
n
69
Asegurar que se recolecten datos por conducto de los propios proyectos y que los
Gerentes de Proyecto sepan cules son sus responsabilidades. Asimismo, debern
recolectarse datos de diversas fuentes administrativas y de sistemas nacionales.
16
70
Mtodo de
recoleccin/
anlisis
de datos
Periodicidad de Quin es
recoleccin/
responsable
anlisis
de datos
Usuario de la
informacin
C. Utilizacin de indicadores
PA R T I C I PACIN DE INTERESADOS
La oficina de campo (especficamente el Gerente de programa, en consulta directa con la
Gerencia de la Oficina) establecer mecanismos de intercambio de la informacin generada
por los indicadores con los principales interesados. Esto es especialmente cierto en el caso
de indicadores de efectos, ya que asegura que el anlisis de los avances sea til al utilizar
conocimientos locales, al mismo tiempo que fomenta el sentido de propiedad y se
crean conocimientos de toma de decisiones en grupo. Sin embargo, cabe sealar que la
participacin de interesados o socios en el anlisis de los datos de indicadores puede
modificar bastante la interpretacin de esa informacin.
La observacin participativa y los estudios participativos en profundidad con beneficiarios
y socios forman parte de la verificacin visual in situ de los resultados, que es una modalidad
confiable de evaluacin. Puede recurrirse a enfoques ms dirigidos y menos participativos
para alcanzar rigor analtico, independencia, calidad tcnica, uniformidad y comparabilidad.
Por supuesto, en ltima instancia la informacin adquirida mediante el anlisis de indicadores
alimentar las evaluaciones. Esos datos coadyuvan a evaluar los progresos hacia el logro
de productos y efectos y dan la medida del grado de satisfaccin de los interesados en
cuanto a los resultados.
71
INDICADORES
NIVEL PRINCIPAL
DE UTILIZACIN
Producto
Implementacin de
actividades
Gerencia de proyecto
Efecto
Utilizacin de
resultados y
produccin
sostenible de
beneficios
Gerencia de programa
Impacto
Utilizacin de
efectos y cambio
positivo sostenible
de desarrollo
Gerencia principal de
la oficina de campo
El Cuadro 3 muestra cmo se utilizan indicadores para cada tipo de resultado, y quines
son los usuarios principales del indicador.
GRFICO 2:
PROGRESOS HACIA RESULTADOS
u
Progreso
previsto
meta a
fin del
perodo
Progreso
real
u
1
lnea de base
2
tiempo/ao
72
PARTE IV
Utilizacin de la
informacin obtenida del
seguimiento y la evaluacin
Captulo 7.
Conocimiento y aprendizaje:
Utilizacin de la evidencia obtenida de la evaluacin
A. Introduccin
B. Conocimiento y aprendizaje obtenidos de la experiencia
C. Retroalimentacin del seguimiento y la evaluacin
Conclusin
75
75
77
78
89
76
78
81
83
84
86
87
87
Conocimiento y
aprendizaje: Utilizacin
de la evidencia obtenida
en la evaluacin
CAPT ULO 7
El objetivo de este captulo es ayudar a los usuarios a que utilicen de modo efectivo la informacin
obtenida del seguimiento y la evaluacin para mejorar el desempeo, la toma de decisiones
y el aprendizaje. El captulo trata de la utilizacin de la evidencia en la evaluacin, de la
informacin de seguimiento y evaluacin y los propsitos de la evaluacin. Describe la manera
de asegurar una retroalimentacin efectiva de los resultados del seguimiento y la evaluacin,
aborda brevemente la evidencia en la evaluacin y analiza las lecciones aprendidas.
A. IIntroduccin
B. Conocimiento y aprendizaje obtenido de la experiencia
n Definiciones
n Gestin basada en resultados y gestin del conocimiento
C. Retroalimentacin del seguimiento y la evaluacin
n El proceso de retroalimentacin
n Instrumentos y mtodos para obtener informacin
n Aplicacin de las recomendaciones derivadas de la retroalimentacin
n Publicacin de la evidencia obtenida en la evaluacin y del material
de retroalimentacin
A. Introduccin
El conocimiento obtenido del seguimiento y la evaluacin es el ncleo del proceso de
aprendizaje estructural del PNUD. El seguimiento y la evaluacin proveen informacin
y datos que, una vez aceptados e incorporados, se convierten en conocimientos que
promueven el aprendizaje. Por tanto, el aprendizaje debe integrarse en el ciclo general
de programacin a travs de un sistema eficaz de retroalimentacin. La informacin
debe difundirse y estar disponible para los posibles usuarios, a fin de convertirse en
conocimiento aplicado.
A nivel de las oficinas de campo, el PNUD utiliza y aplica el aprendizaje obtenido del
seguimiento y la evaluacin para mejorar la calidad y el desempeo general de los
M A N UAL DE SEGUIMIENTO Y EVA L UACIN DE RESULTADOS
75
76
Dado que foco de atencin est puesto en los efectos, el aprendizaje a travs del
seguimiento y la evaluacin ofrece posibilidades ms amplias de aplicacin a nivel de toda
la organizacin y para fines de poltica y operacionales. Las lecciones aprendidas de un
efecto del MRE que buscan alcanzar muchas oficinas de campo tienen ms probabilidades
de ser aplicadas en otros pases que las experiencias de contexto ms limitado, restringidas
a un solo proyecto. Las evaluaciones de efectos pueden contribuir a establecer vnculos
entre los socios de la cooperacin para el desarrollo. De esta manera, el aprendizaje
derivado de los conocimientos adquiridos de las evaluaciones tiene un alcance mayor
que simplemente un aprendizaje de la organizacin y abarca el aprendizaje orientado al
desarrollo. Este tipo de aprendizaje permite comprobar de modo sistemtico la validez,
adecuacin y progresos de las hiptesis relacionadas con el desarrollo. Para potenciar al
mximo el aprendizaje, las oficinas de campo deben planificar y organizar evaluaciones
para asegurar que cubran los efectos ms importantes, que se realicen a tiempo y que se
genere suficiente informacin sobre lecciones aprendidas.
Un seguimiento eficaz puede detectar a tiempo signos de problemas potenciales y reas
de xito. Los Gerentes de Programa deben adoptar medidas basndose en las conclusiones,
aplicando las lecciones aprendidas para modificar el programa o el proyecto en cuestin.
Este aprendizaje prctico satisface las necesidades inmediatas del programa o proyecto y
tambin puede proveer retroalimentacin para la programacin futura.
Senge, Peter y al., The Fifth Discipline Fieldbook: Strategies and Tools for Building a Learning Organization, Nueva York,Doubleday, 1994.
77
El anlisis de una observacin directa y detallada del contexto del desarrollo por
investigadores, que forma parte de la evidencia emprica;
n
n
n
n
18
78
n
n
Vase http://groups.undp.org/km-strategy/workshop/km_annotated_agenda.html
79
Al concentrarse en los efectos, el PNUD trata con los socios (gobiernos y organismos
donantes, organizaciones no gubernamentales, parlamentos) cuyas actividades en pro del
desarrollo, al igual que las del PNUD, dependen en cuanto a su xito del desempeo de
otros organismos supeditados a distintas entidades de control. A menudo, tales organismos
acumulan un gran acervo de informacin cualitativa que podra alterar la percepcin de
los resultados del desarrollo, si se los tuviera en cuenta debidamente. En su calidad de
socios, se los puede incorporar para que presten asistencia y faciliten el proceso de
seguimiento y evaluacin, pero no para que establezcan o decidan lo que debe hacerse.
Este involucramiento de los socios posiblemente permita promover un mayor intercambio
en materia de aprendizaje y creacin de conocimiento.
Sin una retroalimentacin confiable y peridica, el seguimiento y la evaluacin no pueden
cumplir sus propsitos. En particular, debe prestarse atencin a las experiencias que tengan
potencialmente una aplicacin ms amplia; lecciones que no slo son tiles para un
programa o proyecto en particular, sino tambin contextos de desarrollo ms amplios.
Si bien el aprendizaje depende de contar con una retroalimentacin organizada
sistemticamente (por ejemplo, resultados de evaluacin, estudios piloto, datos para
supervisar productos e indicadores de efectos y conocimiento autctono), la informacin
que las oficinas de campo debe organizar y administrar para satisfacer sus requerimientos
especficos es compleja y a menudo trasciende las divisiones sectoriales convencionales.
En este caso, se podr solicitar a los socios de Gobiernos e instituciones de investigacin
que analicen cuestiones emergentes relativas al seguimiento y la evaluacin (por ejemplo
metodologas de recoleccin de datos, anlisis, promocin y dilogo entre polticas) y que
asesoren al PNUD para identificar deficiencias y duplicaciones.
EL PROCESO DE RETROALIMENTA C I N
El proceso de retroalimentacin de las oficinas de campo, al seguimiento y la evaluacin
sigue varias etapas bsicas:
1.
n
n
Hacer que los recursos utilizados sean rentables considerando el monto de recursos
asignados e identificar los requerimientos principales de recursos para evaluacin
para la futura programacin;
n
80
n
n
2.
Formular preguntas
n
n
n
3.
Compartir conocimientos
n
n
4.
Generar informacin que sea adecuada para diversos usuarios y oportuna para la
toma de decisiones y requerimientos de responsabilidad;
n
n
5.
RECUADRO 3: PROCESO
DE RETROALIMENTACIN DEL
SEGUIMIENTO Y LA EVALUACIN
n
n
n
n
n
81
82
83
n
n
84
Cules son las razones y enfoques claves utilizados para justificar las recomendaciones?
85
Cul es el plazo?
El anlisis de estas preguntas ayudar a identificar una serie de acciones concretas con las
que se podrn evaluar, mejorar e implementar las recomendaciones. Aunque algunas de
esas acciones se realizarn a corto plazo, otras (especialmente las que requieran decisiones
polticas, afecten a estructuras institucionales o exijan grandes recursos financieros) slo
se realizarn a mediano o largo plazo.
Para todas las recomendaciones sobre seguimiento y evaluacin es importante que haya una
respuesta de la gerencia a las cuestiones sustantivas y de implementacin planteadas. Sobre
todo para las evaluaciones de efectos, la respuesta de la gerencia debe determinar cules
recomendaciones se aceptan y cules no y por qu y cmo se implementarn y se supervisarn
las recomendaciones aceptadas. (Vase el Plan de evaluacin y seguimiento, Anexo A.)
Los cursos y talleres de capacitacin destinados al personal del PNUD son una forma eficaz
de difundir la retroalimentacin. Estas lecciones sustantivas obtenidas de la experiencia
son tiles en varias etapas de la gestin de proyectos o programas, incluyendo la evaluacin
misma. La capacitacin debe centrarse en reas tales como la mejora de la calidad de los
programas y proyectos del PNUD. La capacitacin tambin debe desarrollar destrezas en
innovaciones metodolgicas tales como evaluacin participativa, seleccin de indicadores,
RECUADRO 6. CARACTERSTICAS
utilizacin y presentacin de informacin y
DE UN BUEN PRODUCTO PARA
PRESENTAR CONOCIMIENTOS
conocimiento en reas no habituales como la
asistencia de apoyo.
n
n
n
n
n
n
n
n
n
86
PUBLICACIN DE LA EVIDENCIA
OBTENIDA DE EVALUACIONES Y
MATERIAL DE RETROALIMENTACIN
La publicacin de los resultados de las
evaluaciones debe seguir un formato claro
para tratar la evidencia de modo equilibrado,
a fin de producir conclusiones analticas
firmes y descartar ambigedades. Se podr
presentar la informacin mediante diversas
tcnicas analticas. Lo principal, sin
embargo, es que la informacin obtenida
de evaluaciones y seguimiento sea de fcil
utilizacin y acceso y ventajosa para el
usuario. En el Recuadro 6 se enumeran las
M A N UAL DE SEGUIMIENTO Y EVA L UACIN DE RESULTADOS
n
n
n
n
n
Comprender cmo tiene lugar el proceso de aprendizaje dentro y fuera de la organizacin (identificar
bloqueos);
Analizar la forma de mejorar la pertinencia y la oportunidad de la retroalimentacin de la evaluacin y
asegurar que las mejoras se implementen;
Ser explcito en determinar los destinatarios claves de la retroalimentacin de la evaluacin y las razones
para querer alcanzarlos, tanto en general como en casos especficos;
Mejorar el conocimiento de los grupos de destinatarios para conocer qu esperan de las evaluaciones,
cmo utilizan la informacin de las mismas y de qu forma los sistemas de retroalimentacin pueden
mejorar su respuesta a estas expectativas;
Desarrollar una visin ms estratgica de la forma en que los enfoques de retroalimentacin se pueden
adaptar a las necesidades de audiencias diferentes;
Velar por que la calidad de los productos de la evaluacin sean adecuados, especialmente en cuanto a
su concisin, claridad y presentacin;
Estudiar una diversificacin de los enfoques utilizados para comunicarse con los destinatarios,
introduciendo mtodos innovadores si corresponde;
Mejorar los sitios Web e Intranet dedicados a evaluacin,reconociendo que la facilidad de acceso y de
utilizacin son factores claves;
Asegurar que se sistematice la plena publicacin de los informes de evaluacin y que haya procesos
adecuados de aprobacin y notificacin para que los niveles administrativos superiores o socios claves
no se vean sorprendidos por resultados controversiales;
Dedicar ms atencin a mejorar la participacin de los interesados nacionales en las tareas de
evaluacin, entre otras la retroalimentacin sobre lecciones aprendidas de evaluaciones y el
reconocimiento de que las diferencias idiomticas son una limitacin importante;
Si corresponde, contratar personal especializado para cubrir dficit de tcnicos, especialmente en las
tareas de comunicaciones.
87
en un mbito ms amplio que aqullas que slo ataen a un solo programa o proyecto.
Este desafo se puede abordar mediante la institucionalizacin del aprendizaje derivado
de la retroalimentacin del seguimiento y la evaluacin. La institucionalizacin del
proceso de aprendizaje se puede lograr en parte mediante una mejor integracin del
aprendizaje en los procesos e instrumentos existentes, como la formulacin de documentos
de programas y proyectos, el IAOR y el IAP. El Recuadro 8 presenta ejemplos de formas
de integrar el aprendizaje obtenido de evaluaciones en el PNUD como institucin.
88
Conclusin
El marco para el seguimiento y la evaluacin presentado en el presente Manual no es
inamovible, sino que se prev que evolucione y mejore a medida que los interesados
que lo utilicen adquieran experiencia mediante su uso. Algunos elementos requieren
un cambio de mentalidad y de conducta del personal y por lo tanto cabe esperar que
el PNUD siga aprendiendo del nuevo marco durante los prximos aos.
La pgina Web de la Oficina de Evaluacin (http://www.undp.org/eo/) pondr a
disposicin recursos actualizados relativos a metodologas de seguimiento y evaluacin
y la Oficina alienta a las oficinas de campo y a las dependencias de la sede a utilizar
el sitio Web, compartiendo lecciones aprendidas y preocupaciones. El sitio Web incluir
preguntas ms frecuentes (PMF), un desarrollo y una actualizacin constante de todas
las metodologas en materia de seguimiento y evaluacin dentro del PNUD, referencias
a otros recursos, mdulos de aprendizaje, ejemplos de informes y de instrumentos y
modelos de trminos de referencia. Tambin incluir una serie de publicaciones relacionadas
con el Manual. Cada una de estas entregas tratar un tema relacionado al seguimiento
y la evaluacin, como por ejemplo, guas para evaluadores de resultados; seguimiento
y evaluacin en situaciones de post-crisis y desarrollo de la capacidad de evaluacin).
Tambin se alienta a los fondos y programas administrados por las Naciones Unidas a
que utilicen el sitio Web. El sitio Web y este Manual tendrn relevancia para stos
porque sus actividades de seguimiento y evaluacin se desarrollan dentro del marco general
de resultados de las guas establecidas por el PNUD para seguimiento y evaluacin.
Sin embargo, estos organismos tambin pueden necesitar referirse a sus propios
documentos como gua para reflejar su contribucin especfica a los efectos.19
El marco presentado en este Manual representa cambios innovadores tanto en cuanto
a simplificacin como en cuanto a metodologas de seguimiento y evaluacin basadas
en resultados. Especialmente, se ha intentado pasar de procedimientos basados en
requerimientos orientados a detalles para el seguimiento y la evaluacin a un sistema
que permite un foco ms riguroso sobre resultados, aprendizaje y aplicacin real de
conocimientos adquiridos del seguimiento y la evaluacin.
19
Por ejemplo,el Programa de Voluntarios de las Naciones Unidas (VNU) ayuda a lograr resultados a nivel de comunidades de
base que pueden y deben ser tiles para el trabajo en polticas a alto nivel del PNUD. De este modo,lVNU complementa los
esfuerzos del PNUD en promover un desarrollo participativo y orientado a la gente.Las oficinas de campo deben velar por que
los resultados conseguidos con esas alianzas sean captados y reflejados plenamente en sus informes.
89
Fuentes y Anexos
Siglas
93
Glosario
95
107
108
108
125
126
129
132
134
136
110
113
117
118
119
112
121
122
122
123
124
Siglas
Muchas de las siguientes siglas figuran en el presente Manual. Otras se consignan en este Manual
porque se utilizan a menudo en documentos relacionados con el seguimiento y la evaluacin.
ACDI
ACP
AEA
AG
ATP
BID
BM
CAD
CDP
CR
CRE
DANIDA
DERP
DG
DHS
DPD
DR
EFE
ED
EN
ENUP
FAO
FIDA
FNUAP
FNUDC
93
94
GBR
GTP
HIEP
IAOR
IAP
ICE
IDDH
IDH
INDH
IEP
IPH
JE
Junta Ejecutiva
MANUD
MCP
MRE
OCDE
OE
OIT
ONG
OC
OSC
OSCDI
PALP
PGOC
PMA
PMF
PNUD
PP
RR
Representante Residente
SAO
SGBR
SIDA
SyE
TIC
UNICEF
UNOPS
USAID
VIH
Glosario
La mayora de las definiciones que figuran en el presente Manual son corrientes en la
comunidad de entidades dedicadas al desarrollo y de evaluadores. En esta publicacin,todos
los trminos se definen en el marco del seguimiento y la evaluacin, aunque puedan tener
significados adicionales en otros contextos. Trminos de Referencia,por ejemplo, siempre
se refiere especficamente al mandato correspondiente a una actividad de evaluacin.
Las definiciones del Glosario se han formulado con la intencin de uniformar la utilizacin
de trminos en toda la comunidad que trabaja en pro del desarrollo. Las definiciones han
sido elaboradas por la Oficina de Evaluacin del PNUD, o bien se han adaptado de las
siguientes fuentes:
n
PNUD, Manual de Programacin del PNUD, http://intra.undp.org/bdp/pm
n
n
n
n
n
n
n
95
A
Actividades: Las acciones en el marco de la programacin, que son necesarias y
suficientes y a travs de las cuales se movilizan las contribuciones (recursos financieros,
humanos, tcnicos y materiales) para obtener productos especficos o contribuir a lograr
un efecto dado. Las actividades tambin se pueden denominar intervenciones para
el desarrollo.
Analisis Conjunto del Pas: Proceso nacional de examen y anlisis de la situacin del
pas en materia de desarrollo y la identificacin de cuestiones claves como base para la
promocin, el dilogo sobre polticas y la preparacin del MANUD. Los resultados de
este ejercicio se describen en un documento de la ACA.
Alcance de una evaluacin: El foco de una evaluacin considerando las cuestiones a
tratar, las limitaciones, lo que debe y no debe analizarse.
Alianza: Colaboracin entre instituciones para alcanzar objetivos y metas comunes y
acordados, por la cual se aprovechan las ventajas de cada parte y se potencia al mximo
la sinergia de sus componentes. Cuando existe una perfecta comprensin de cul es la
contribucin de cada socio a los efectos acordados, las alianzas eficientes son clave para
lograr resultados.
Atribucin: Vnculo causal entre los cambios observados (o anticipados) y una intervencin
especfica teniendo presentes los efectos de otras intervenciones o factores que podran
tener incidencia. En lo que respecta a la atribucin del logro de efectos, las evaluaciones
tienen por objetivo demostrar que hay un vnculo creble entre los productos del PNUD
y los esfuerzos realizados en alianza con otros y los cambios en materia de desarrollo (efectos).
Auditora: Examen o valoracin que juzga e informa sobre la medida en que una
circunstancia, un proceso o un desempeo se ajusta a criterios o normas, poltica y
procedimientos preestablecidos. Debe ser una actividad objetiva e independiente concebida
para valorizar y mejorar las operaciones de la organizacin. Ayuda a una organizacin a
lograr sus objetivos al utilizar un enfoque sistemtico y disciplinado para analizar y mejorar
la eficacia de la gestin de riesgos, los procesos de control y gobernabilidad.
Autoevaluacin: Evaluacin realizada por quines administran un programa o proyecto
en el campo.
Asistencia de Apoyo: Promocin, dilogo y asesoramiento en polticas y facilitacin/
mediacin de informacin, alianzas o compromiso poltico. Los asesores de polticas, el
personal de programa y el personal principal de las oficinas de campo del PNUD son los
principales generadores de la asistencia de apoyo, ya sea a travs de proyectos y programas
o fuera de stos, de modo ad hoc o por solicitud. Se suele prestar asistencia de apoyo en
el nivel alto, donde se discuten, formulan y aplican las polticas nacionales que afectan
el desarrollo humano, aunque tambin puede prestarse a nivel local a cargo del personal
de proyecto.
B
Beneficiarios: Personas y/o instituciones cuya situacin se pretende mejorar (los destinatarios) y otros cuya situacin puede mejorar. Asimismo, se aplica a un grupo limitado de
interesados que se beneficiarn directa o indirectamente de un proyecto.
96
C
Conclusin: Juicio razonado basado en una sntesis de conclusiones empricas o
enunciados fcticos correspondientes a una circunstancia especfica. Ejemplo: el programa de investigacin y desarrollo del Instituto de Ciencia y Tecnologa Agrcola es slido
en sus aspectos tcnicos pero dbil en sus vinculaciones con los beneficiarios (Vase
constatacin para ver la diferencia entre una conclusin y una constatacin.)
Confiabilidad: Coherencia y fiabilidad de los datos recogidos mediante la utilizacin de
un instrumento cientfico o un procedimiento de recoleccin de datos en varias ocasiones
y en las mismas condiciones. Es difcil lograr que los datos de una evaluacin sean totalmente
fidedignos. Sin embargo, las listas de control y la capacitacin de los evaluadores pueden
mejorar tanto el nivel de fiabilidad de los datos como su validez. Una fiabilidad slida
requiere una recoleccin de datos exhaustiva y que las preguntas a travs de las cuales se
realiza la evaluacin sean pertinentes.
Constatacin: Enunciado fctico de un programa o proyecto, basado en la evidencia
emprica obtenida a travs de actividades de seguimiento y evaluacin. Ejemplo: Aunque
los ensayos iniciales de una nueva tecnologa para prevenir la erosin del suelo han sido
positivos, la iniciativa del Instituto de Ciencia y Tecnologa Agrcola ha generado una
reaccin poco entusiasta por parte de los agricultores beneficiarios, que no conocen las
consecuencias de dicha tecnologa en materia de costes. (Vase conclusin para
apreciar la diferencia entre una constatacin y una conclusin.)
Costo-eficacia: Relacin entre los costos (insumos) y los resultados producidos por un
proyecto. Un proyecto es ms costo-eficaz cuando logra sus resultados con el menor costo
posible, comparado con proyectos alternativos con los mismos resultados previstos.
D
Datos: Informacin especfica cuantitativa y cualitativa o hechos que se han recolectado.
Desarrollo de capacidades: Proceso por el cual personas, grupos, organizaciones y pases
desarrollan, mejoran y organizan sus sistemas, recursos y conocimientos, todo ello reflejado
en sus capacidades (individuales y colectivas), de desempear funciones, resolver problemas,
establecer objetivos y cumplirlos. Tambin se lo denomina construccin o fortalecimiento
de la capacidad.
Diagnstico de impacto a nivel de pas: Estudio de toda la contribucin del PNUD
en un pas, incluyendo la asistencia de apoyo, las contribuciones del PNUD que han
producido resultados finales y recientes independientemente de un ciclo determinado de
programa en los ltimos cinco aos y las interacciones del PNUD con los socios de la
cooperacin para el desarrollo para alcanzar objetivos nacionales. Por definicin, es una
evaluacin ex post. Ver tambin Evaluacin de impacto.
Diagnstico del desempeo: Estudio externo o autoevaluacin por parte de las
unidades de programa, comprendiendo los efectos, el programa, el seguimiento de
proyecto o individual, examenes, informe anual, informes final de proyecto, anlisis
institucionales y/o estudios especiales.
GLOSARIO
97
E
Efecto: Cambio real o buscado en las condiciones de desarrollo que las intervenciones
del PNUD tratan de apoyar. Describe un cambio en las condiciones de desarrollo entre
el momento en que los productos se han completado y el momento de impacto.
Ejemplos: aumento del rendimiento del arroz, aumento de los ingresos de los agricultores.
Vase resultados.
Eficacia: Grado en el que se logra un efecto en materia de desarrollo mediante intervenciones. Grado en el que un programa o proyecto logra sus resultados planeados, es
decir, objetivos, propsitos y productos, y en qu medida contribuye a los efectos.
Eficacia de desarrollo: Grado en el que una institucin o intervencin ha producido
cambios en un pas o en la vida de un beneficiario individual. Es influenciada por diversos
factores, desde la calidad del diseo de proyecto hasta la pertinencia y sustentabilidad de
los resultados deseados.
Eficiencia: Transformacin ptima de insumos en productos.
Encuesta: Recoleccin sistemtica de datos de una poblacin determinada, normalmente
a travs de entrevistas o cuestionarios administrados a una muestra representativa de la
poblacin (por ejemplo personas, beneficiarios, adultos).
Enfoque de marco lgico: Metodologa que establece una relacin lgica entre los
elementos principales del diseo de un programa o proyecto y ayuda a asegurar que la
intervencin tenga probabilidades de lograr resultados medibles. La matriz de marco
lgico se puede utilizar para resumir y armonizar los resultados, productos, actividades e
insumos y para identificar los riesgos o supuestos importantes. Tambin se conoce como
metodologa de gestin y de planificacin de programas orientados a resultados. Este
enfoque ayuda a identificar elementos estratgicos (insumos, productos, propsitos,
objetivos) de un programa, sus relaciones causales y los factores externos que pueden
influir en el xito o fracaso del programa. El enfoque abarca el establecimiento de
indicadores de desempeo que se utilizarn para efectuar el seguimiento y evaluar el
logro de los objetivos de un programa.
Equipo de evaluacin: Grupo de especialistas responsable de la planificacin detallada y
la realizacin de una evaluacin. El equipo de evaluacin redacta el informe de evaluacin.
Evaluacin: Ejercicio sujeta a un plazo determinado dirigido a evaluar sistemtica y
objetivamente la relevancia, desempeo y xito de proyectos y programas en curso y
terminados. La evaluacin tambin puede tratar efectos u otras cuestiones de desarrollo.
La evaluacin se realiza selectivamente para responder preguntas especficas para guiar a
los responsables de tomar decisiones o gerentes de programas y proveer informacin
acerca de la validez de teoras y supuestos utilizados en programas de desarrollo, qu ha
funcionado y qu no y por qu. Normalmente, la evaluacin apunta a determinar la
relevancia, eficiencia, eficacia, impacto y sustentabilidad. La evaluacin es un medio
de obtener lecciones intersectoriales de la experiencia de las unidades operativas y
determinar la necesidad de modificar el marco de resultados estratgicos. La evaluacin
debe proveer informacin fidedigna y til y permitir la integracin de las lecciones
aprendidas en el proceso de toma de decisiones. Vase asimismo evaluacin de
proyectos y evaluacin de efectos.
98
99
Evaluacin ex-post: Tipo de evaluacin resumen de una intervencin que normalmente se realiza dos aos o ms despus que ha sido terminada. Su propsito es estudiar
en qu medida la intervencin (o el programa o proyecto) cumpli sus objetivos y extraer
conclusiones que sirvan para intervenciones anlogas en el futuro.
Evaluacin externa: Evaluacin realizada por personas que no participan en la
formulacin, implementacin y/o gestin del objeto de la evaluacin. Normalmente la
llevan a cabo personas ajenas a las organizaciones interesadas (Sinnimo: evaluacin
independiente.)
Evaluacin final: Evaluacin realizada en la etapa final de un proyecto o programa, para
medir los efectos, demostrar la eficacia y pertinencia de las intervenciones y estrategias,
indicar las seales iniciales de impacto y recomendar qu intervenciones deben promoverse
o abandonarse.
Evaluacin independiente: Evaluacin realizada por personas distintas de las que son
responsables de la gestin, la toma de decisiones o la implementacin del proyecto.
Puede incluir grupos dentro de la organizacin donante. La credibilidad de una evaluacin
depende en parte del grado de independencia con que se ha llevado a cabo, es decir, el
grado de autonoma, y la capacidad de acceder a informacin, realizar investigaciones e
informar las constataciones libre de influencias polticas o presiones de la organizacin.
Evaluacin interna: Evaluacin realizada por quines administan un proyecto o programa
en el campo. Vase asimismo auto-evaluacin.
Evaluacin participativa: Examen y valoracin colectiva de un programa o proyecto
por parte de los interesados y los beneficiarios. Las evaluaciones participativas son
reflexivas, orientadas a la accon y al fortalecimiento de capacidades. Las evaluaciones
participativas estn orientadas principalmente a las necesidades de informacin de los
interesados ms que del donante que acta como facilitador.
Evaluacin temtica: Evaluacin de aspectos seleccionados o de cuestiones multisectoriales en diversos tipos de intervencin. Puede abarcar una evaluacin de un conjunto
de proyectos o programas que tratan un tema especfico que supera los lmites de un
sector o lmite geogrfico. Es anloga a la evaluacin estratgica. Ejemplo: Evaluacin
de la ejecucin a nivel nacional; evaluacin de la colaboracin con la sociedad civil.
Evaluador: Persona que participa en todas las etapas del proceso de evaluacin, desde
la definicin de los trminos de referencia y la recoleccin y el anlisis de datos hasta la
formulacin de recomendaciones y la aplicacin de medidas de correccin o de mejora.
F
Fuentes secundarias: Fuentes tales como informes peridicos de progreso, informes
anuales, memorandos, estudios sectoriales y datos de lnea de base. Sirven como material
de referencia y de base para realizar una evaluacin.
G
Gestin basada en resultados (GBR): Estrategia o enfoque de gestin por el cual una
organizacin se asegura que sus procesos, productos y servicios contribuyen al logro de
100
H
Hito de referencia: Norma o punto de referencia que sirve para comparar los progresos
o logros, es decir, qu se ha logrado en el pasado, cules son los xitos de otras
organizaciones comparables, tales como socios de la cooperacin para el desarrollo, qu
objetivos se haban establecido o presupuestado y qu podra haberse razonablemente
alcanzado en las circunstancias dadas. Tambin se aplica a una meta intermedia que sirve
para medir los avances en un perodo dado.
I
Impacto: El efecto global y a largo plazo de una intervencin. El impacto es el resultado
final o a largo plazo, atribuible a una intervencin para el desarrollo, a diferencia del
producto y el efecto, que reflejan resultados ms inmediatos de la intervencin. El
concepto de impacto se aproxima al de eficacia de desarrollo. Ejemplos: mayor
nivel de vida, mayor seguridad alimentaria, mayores ingresos de exportaciones, mayor
nivel de ahorro debido a una disminucin de importaciones. Vase resultados.
Indicador: Seal que revela progresos (o su falta) hacia los objetivos; medio para medir
lo que realmente sucede y compararlo con lo que se ha planificado en cuanto a cantidad,
calidad y oportunidad. Es una variable cuantitativa o cualitativa que provee una base
simple y confiable para valorar los logros, el cambio o el desempeo.
Indicador de desempeo: Caracterstica o dimensin especfica que se utiliza para medir
cambios planificados, definidos en el marco de resultados de una unidad organizativa. Los
indicadores de desempeo se utilizan para observar los avances y medir los resultados
reales comparados con los previstos. Sirven para deducir cmo avanza una unidad
hacia sus objetivos (y si avanza o no hacia ellos) ms que para averiguar por qu o por
qu no se logra ese progreso. Normalmente los indicadores de desempeo se expresan
cuantitativamente y deben ser objetivos y medibles (por ejemplo, valores numricos,
porcentajes, puntajes e ndices).
GLOSARIO
101
L
Leccin aprendida: Aprendizaje basado en la experiencia y aplicable a una situacin
general ms que a una circunstancia especfica. Ejemplo: Para una institucin que
se ocupa de investigacin y desarrollo es esencial disponer de un centro slido de informacin como canal para difundir los resultados de sus programas de investigacin
a los destinatarios y generar retroalimentacin de los mismos sobre la utilidad de sus
resultados de investigacin y desarrollo.
Lnea de base: Datos que describen la situacin que abordar un programa o proyecto y
que sirven como punto de partida para medir el desempeo de dicho programa o proyecto.
Un estudio de lnea de base sera un anlisis que describe la situacin anterior a la
asistencia. Se utiliza para determinar los resultados y logros de una actividad y sirve como
de referencia importante para la evaluacin.
M
Marco de Asistencia de las Naciones Unidas para el Desarrollo (MANUD): Marco
de planificacin y de recursos para los programas de pases y proyectos de los organismos
del sistema de Naciones Unidas. Se desarrolla sobre la base del anlisis conjunto del pas.
Marco de resultados estratgicos (MRE): Como concepto genrico, representa las
hiptesis de desarrollo, que incluyen los resultados necesarios para lograr un objetivo
estratgico y sus relaciones causales y premisas subyacentes. El marco establece una base
organizativa para medir, analizar e informar los resultados de la unidad operativa. Tambin
es til como instrumento de gestin y, como tal, se centra en los resultados claves que son
objeto de seguimiento para verificar si hay progresos. Tambin puede constituir el conjunto
de objetivos y fines amplios de la poltica de desarrollo de un pas, basados en el anlisis de
los problemas existentes e incluyendo el enunciado de prioridades. Para el PNUD, el
102
MRE es el documento que describe los resultados para las unidades operativas en cuanto
a efectos, productos, alianzas e indicadores con especificacin de objetivos, sub-objetivos
y reas estratgicas de apoyo.
Mediacin: Actuar como intermediario imparcial entre interesados, beneficiarios, actores
del desarrollo y otros, algunas veces en cuestiones delicadas. La mediacin adopta muchas
formas, por ejemplo poltica, de informacin y de alianzas. Es parte de la asistencia de apoyo.
Medicin del desempeo: Recoleccin, interpretacin e informacin sobre datos de
indicadores de desempeo que miden en qu grado los programas o proyectos generan
productos y contribuyen a lograr objetivos superiores (propsitos y objetivos). Las medidas
de desempeo son especialmente tiles para realizar comparaciones a lo largo de un
perodo o entre varias unidades que desempean actividades anlogas. Es un sistema para
evaluar el desempeo de las iniciativas de desarrollo en comparacin con los objetivos
declarados. Tambin se ha descrito como el proceso de medicin objetiva del grado en
que un organismo cumple con sus fines u objetivos declarados.
Medida o indicador aproximado: Variable utilizada para reemplazar a otra difcil de
medir directamente.
Mejores prcticas: Prcticas de planificacin u operativas que han probado tener xito en
circunstancias determinadas. Las mejores prcticas se utilizan para demostrar qu funciona
y qu no y para acumular y aplicar conocimientos sobre cmo y por qu son eficaces en
diferentes situaciones y contextos. Vase asimismo lecciones aprendidas.
P
Pertinencia: Grado en que los objetivos de un programa o proyecto siguen siendo
vlidos y adecuados segn lo planificado originariamente o segn las modificaciones
posteriores introducidas debido a la evolucin de las circunstancias en el contexto
inmediato y el ambiente externo de dicho programa o proyecto. Referida a un efecto, es
el grado en que el efecto refleja las prioridades nacionales claves y recibe apoyo de los
socios claves.
Plan de trabajo: Resumen anual o multianual de tareas, calendarios y responsabilidades.
Se utiliza como instrumento de seguimiento para asegurar la produccin de productos y
el logro de efectos.
Productos: Productos tangibles (incluidos servicios) de un programa o proyecto,
necesarios para lograr los objetivos de un programa o proyecto. Los productos se refieren
a la finalizacin de actividades, ms que a su realizacin y los gerentes ejercen una
gran influencia sobre este tipo de resultados. Ejemplo: servicios de extensin agrcola
provistos a cultivadores de arroz. Vase resultados.
Promocin: Recomendar, apoyar, o abogar por algo o por alguien. La funcin de
promocin del PNUD consiste en promover el desarrollo humano a nivel mundial,
regional y nacional a travs de cuestiones tan diversas como alivio de la deuda, igualdad
de gnero, erradicacin de la pobreza, cambio climtico y gobernabilidad. Es parte de la
asistencia de apoyo.
GLOSARIO
103
R
Recomendacin: Propuesta de accin a emprender en una circunstancia especfica,
incluyendo las partes responsables de llevarla a cabo. Ejemplo: Como estrategia para
asegurar que los destinatarios acepten los resultados de sus investigaciones, el Instituto de
Ciencia y Tecnologa Agrcola debe establecer un centro de intercambio de informacin
entre el Instituto y los destinatarios; a travs de un programa de intercambio sistemtico de
informacin, el Instituto debe proveer a los destinatarios informacin sobre el desarrollo
de nuevas tecnologas y escuchar sus opiniones sobre la forma de perfeccionarlas.
Relevancia: Grado en que los objetivos de un programa o proyecto son significativos o
importantes y reflejan las prioridades nacionales y reciben apoyo de los socios claves.
Responsabilidad: La responsabilidad en cuanto a la justificacin de los gastos,
decisiones o resultados de ejercer autoridad y deberes oficiales, incluyendo los deberes
delegados a una unidad subordinada o individuo. En lo que respecta a los gerentes de
programa y de proyecto, se refiere a la responsabilidad de proveer a los interesados
evidencia de que un programa o proyecto se realiza y que se ajusta a los resultados
planificados y los requisitos legales y fiscales. En organizaciones que promueven el
aprendizaje, la responsabilidad tambin se puede medir por el grado en que los gerentes
utilizan las conclusiones del seguimiento y la evaluacin. La responsabilidad es tambin
la obligacin de proporcionar una visin fidedigna y justa del desempeo y de los
resultados de las operaciones. Tiene que ver con las obligaciones de los socios de la
cooperacin para el desarrollo de actuar conforme a responsabilidades claramente
definidas, roles y expectativas de desempeo y asegurar que el seguimiento, la evaluacin
y presentacin de informes son fidedignos.
Resultado: Trmino amplio utilizado para referirse a las consecuencias de un programa
o de un proyecto y/o actividades. Los trminos productos, efectos e impacto
describen de modo ms preciso los diversos tipos de resultados a niveles distintos de la
jerarquia del marco lgico.
Retroalimentacin: Como proceso la retroalimentacin consiste en la organizacin y
presentacin de modo adecuado de la informacin pertinente de las actividades de
seguimiento y evaluacin, la difusin de esa informacin a los destinatarios y, lo ms
importante, la utilizacin de la informacin como base para la toma de decisiones y la
promocin del aprendizaje en una organizacin. Como producto, la retroalimentacin se
refiere a la informacin generada por el seguimiento y la evaluacin y transmitida a las
partes para las que es pertinente y til. Puede abarcar constataciones, conclusiones,
recomendaciones y lecciones de la experiencia.
S
Seguimiento: Funcin permanente que apunta primordialmente a proveer a los
gerentes y a los principales interesados informacin peridica y seales oportunas de
progreso (o de falta de progreso) en el logro de los resultados buscados. El seguimiento
compara el desempeo o situacin real con lo que fue planificado o previsto de acuerdo
con normas preestablecidas. En general, implica recolectar y analizar datos sobre
procesos de implementacin, estrategias y resultados y recomendar medidas correctivas.
104
T
Terminos de Referencia: Definicin del trabajo y el calendario que debe llevar a cabo
el equipo de evaluacin. Remite al contexto de la evaluacin y especifica su alcance,
enuncia las razones principales para realizar la evaluacin y las preguntas que se formularn.
Resea el conocimiento disponible, presenta los lineamientos del mtodo de evaluacin
y describe la distribucin de tareas, el calendario y la asignacin de responsabilidades
entre las personas que participan en el proceso de evaluacin. Especifica las calificaciones
requeridas a los equipos o personas candidatos para realizar la evaluacin, as como los
criterios que se utilizarn para seleccionar el equipo de evaluacin.
V
Validez: Grado de precisin con que una medida o prueba miden un objeto dado.
Una evaluacin vlida tiene en cuenta todos los factores pertinentes, considerando todo
el contexto de la evaluacin y los pondera adecuadamente al formular conclusiones
y recomendaciones.
GLOSARIO
105
Pginas Web y
documentos conexos
Los siguientes documentos, pginas Web y otros recursos han sido valiosos para desarrollar
el marco de seguimiento y evaluacin del PNUD. Proveen informacin ms detallada sobre
temas especficos presentados en este manual. A fin de ayudar a los usuarios a encontrar
informacin pertinente, la mayora de las referencias estn acompaadas por una breve
descripcin del contenido.
Para acceder a estos recursos:
1. Visite la pgina Web, si existe; o bien
2. Visite la pgina Web de la Oficina de Evaluacin del PNUD
(http://www.undp.org/eo) y siga los enlaces a los documentos, si existen; o bien
3. Encargue un ejemplar impreso a la Oficina de Evaluacin del PNUD.
La lista de documentos se ha organizado segn los siguientes temas:
A. Programacin e informes en el PNUD
B. Gestin basada en resultados
C. Guas de seguimiento y evaluacin en organismos de Naciones Unidas/donantes
D. Mtodos e instrumentos de seguimiento y evaluacin
E. Indicadores y medicin
F. Alianzas
G. Gestin de conocimiento y aprendizaje
H. Desarrollo de capacidades de evaluacin
I.
J.
K. Gnero
L. Democracia y gobernabilidad
M. Otras referencias
107
108
109
110
111
112
113
114
115
116
E. Indicadores y medicin
UNDP, Selecting Key Results Indicators (Seleccin de principales indicadores de
resultados, http://stone.undp.org/undpweb/eo/evalnet/docstore1/index_final/
methodology/documents/indicators.PDF
OECD, DAC, Development indicators (Indicadores de desarrollo),
http://www.OECD.org/dac/Indicators/
Este sitio explica los principales indicadores desarrollados por OCDE/CAD para
efectuar el seguimiento de las estrategias y resultados del desarrollo. Contiene
mapas, tablas y enlaces con fuentes de datos para todos los indicadores
principales. Presenta una panormica mundial integral del bienestar humano, en
sus aspectos econmico, social y medioambiental.
ELDIS Participatory Monitoring and Evaluation Guide: Indicators
(Gua de seguimiento y evaluacin participativos: Indicadores),
http://nt1.ids.ac.uk/eldis/hot/pm4.htm
Este sitio contiene enlaces e informacin sobre una serie de obras que tratan del
desarrollo participativo de indicadores. En estos documentos se encuentran
ejemplos de indicadores.
World Bank, Operations Evaluation Department (OED),
Performance Monitoring Indicators: A handbook for task managers, 1996
(Indicadores de seguimiento del desempeo: Manual para gerentes de tareas),
http://www.worldbank.org/html/oed/evaluation/
Este manual presenta informacin sobre el marco lgico y la tipologa de
indicadores. Describe la forma en que se elaboran indicadores y se aplican en la
concepcin de proyectos, su seguimiento y evaluacin. Trata temas importantes
relativos al uso coherente de los indicadores. Tambin contiene ejemplos de
indicadores de desempeo o resultados desarrollados para proyectos financiados
por el Banco y muestra la forma en que se elaboran indicadores sobre la base de
los objetivos de desarrollo de cada proyecto.
Funnell, Sue C., Developing and Using a Program Theory Matrix for Program
Evaluation and Performance Monitoring, New Directions for Evaluation, no. 87
(Elaboracin y utilizacin de una matriz terica de programa, para la evaluacin
de programas y seguimiento del desempeo) Otoo de 2000.
Este artculo trata las caractersticas bsicas del enfoque de la teora de programas
y la forma en que puede reforzarse su utilidad para el seguimiento y la evaluacin,
mediante la incorporacin de informacin sobre el contexto en el que funciona el
programa, la identificacin de criterios de xito y comparaciones para interpretar
y juzgar la informacin sobre resultados, as como mediante la identificacin de
fuentes de informacin sobre desempeo.
Holzer, Mark., National Center for Public Productivity, USA. Public Performance
Evaluation and Improvement: A review of experience, Evaluation Capacity
Development in Asia (Evaluacin y mejora del desempeo pblico: Anlisis de la
experiencia, Desarrollo de la capacidad de evaluacin en Asia) PNUD, 2000,
http://intra.undp.org/eo/documents/evaluation_cap_dev_china.pdf
PGINAS WEB Y DOCUMENTOS CONEXOS
117
F. Alianzas
Institute for Development Research, http://www.jsi.com/idr
El Instituto para la Investigacin del Desarrollo se dedica a fomentar la participacin
de grupos empobrecidos y subrepresentados en el desarrollo social, poltico y
econmico. En el rea de la asociacin intersectorial, el IDR ayuda a identificar
estrategias y aumentar las capacidades de los representantes de la sociedad civil
para trabajar con los dirigentes de los sectores empresariales y gubernamentales a
fin de desarrollar polticas eficaces.
Knowledge Resource Group (Grupo de recursos del conocimiento),
http://www.civicus.org/krg/html
El KRG tiene por objetivo reunir, analizar, enlazar y difundir las lecciones aprendidas
de alianzas entre el mundo de los negocios, los gobiernos y la sociedad civil. El
KRG utiliza la base de conocimientos existentes sobre la formacin de alianzas,
as como la experiencia existente en el desarrollo de herramientas y programas
que pueden acelerar el proceso de aprendizaje y aumentar la sostenibilidad de las
alianzas gracias al aprendizaje y aplicacin de las lecciones aprendidas.
Partnerships for Poverty Reduction (Alianzas para la reduccin de la pobreza)
http://www.worldbank.org/ppr/english/ppr_eng.html
Este sitio est patrocinado por la Fundacin Interamericana, el PNUD y el Banco
Mundial. El sitio contiene todo el conocimiento de un grupo de investigadores y
profesionales sobre el efecto de las alianzas en la reduccin de la pobreza en
Amrica Latina y el Caribe.
Strengthen Partnerships and Improve Aid Effectiveness (Fortalecimiento de alianzas
y mejora de la eficacia de la ayuda), http://www.OECD.org/dac/htm/devpart.htm
Este sitio ofrece informes peridicos de seguimiento y de progreso que reflejan
una firme colaboracin estratgica con otras instituciones multilaterales. El sitio
tiene enlaces a otros sitios de informacin sobre el fortalecimiento de las alianzas
y sobre la mejora del aumento de la eficacia de la ayuda.
USAID, Partnering for Results: Assessing the Impact of Inter-Sectoral Partnering
(Alianzas para resultados: valoracin del impacto de alianzas intersectoriales)
1999, http://www.info.usaid.gov/pubs/isp/
Esta gua abarca la seleccin de indicadores, el seguimiento del progreso y la
documentacin de los resultados de alianzas intersectoriales entre protagonistas
del sector gubernamental, empresarial y de la sociedad civil. Tambin examina
algunos de los retos concretos que presenta la valoracin de alianzas intersectoriales.
Por ltimo, propone un marco para seleccionar indicadores aptos para medir el
impacto de alianzas intersectoriales y analiza los indicadores existentes que se
ajustan a este marco. Es una gua flexible, que permite a los usuarios elegir de un
men de indicadores, a fin de que los indicadores seleccionados satisfagan los
requisitos singulares de una asociacin especfica.
USAID, New Partnerships Initiative (NPI): Resource Guide (Nueva iniciativa de
alianzas: Gua de recursos), http://www.usaid.gov/pubs/npi/npiresrc.htm
La NPI es un enfoque integrado para el desarrollo sostenible que utiliza alianzas
estratgicas y la participacin activa de la sociedad civil, la comunidad empresarial
y las instituciones de gobierno local democrtico para reforzar la capacidad de las
comunidades locales a fin de que puedan desempear un papel lder en su propio
desarrollo. La gua de recursos NPI agrupa los resultados de pruebas piloto realizadas
118
119
120
121
J. Pobreza
World Bank, Evaluating the Impact of Projects on Poverty: A Handbook, 2000
(Evaluacin del impacto de proyectos sobre la pobreza: Manual),
http://www.worldbank.org/evaluation/toolkits/
Este manual provee a gerentes de proyectos y analistas de polticas las herramientas necesarias para evaluar el impacto a nivel de proyecto. Est dirigido a
lectores que poseen un conocimiento general de estadstica. El Manual consta de
cuatro captulos y de una serie de monografas que abarcan una amplia gama de
pases, tipos de proyecto y mtodos de evaluacin.
World Bank, Monitoring and Evaluation for Poverty Reduction Strategies, 2000
(Seguimiento y evaluacin de estrategias de reduccin de la pobreza),
http://www.worldbank.org/evaluation/toolkits/
El Manual de Referencia de Estrategias de Reduccin de la Pobreza es un documento
en evolucin destinado a ayudar a los pases a desarrollar y fortalecer sus estrategias
de reduccin de la pobreza. El captulo sobre seguimiento y evaluacin contiene
orientaciones para elaborar sistemas de seguimiento de resultados y estrategias de
evaluacin de impacto. Adems, trata de la forma de utilizar los resultados del
seguimiento y evaluacin para crear un proceso de retroalimentacin y la manera
de fomentar la participacin en las actividades de seguimiento y evaluacin, as
como la forma de aumentar la capacidad institucional de evaluacin de impacto y
de seguimiento de efectos.
K. Gnero
World Bank, Evaluating Gender and Development at the World Bank, OED
Precis No. 200, 2000 (Evaluacin de gnero y desarrollo en el Banco Mundial),
www.worldbank.org/evaluation/lessons/
122
L. Democracia y gobernabilidad
Department for International Development (DFID), Strategies for Achieving the
International Development Targets: Making Government Work for Poor People,
junio de 2000 (Estrategias para lograr las metas del desarrollo internacional: hacer
que los gobiernos trabajen para los pobres), http://www.dfid.gov.uk
Este es un documento interno del Departamento para Desarrollo Internacional
del Reino Unido. Presenta una estrategia para hacer que los Gobiernos trabajen
en favor de los pobres. El documento examina las capacidades necesarias para los
Gobiernos que trabajan en favor de los pobres y las inquietudes que los pobres
tienen respecto al tratamiento que reciben de las instituciones del Gobierno.
Identifica y promueve siete capacidades claves de los Gobiernos, que stos necesitan
desarrollar en asociacin con el sector privado y la sociedad civil, a fin de poder
alcanzar las metas del desarrollo internacional.
OECD, Public Management and Governance (Gestin pblica y gobernabilidad),
http://www.OECD.org/puma
Este sitio est dividido en seis reas claves relacionadas con la gobernabilidad
en pases de la OCDE: los presupuestos del sector pblico, la participacin
ciudadana, tica y corrupcin, gestin de recursos humanos, reforma regulatoria,
formulacin de polticas estratgicas. Para cada una de las reas se definen los
principales problemas y se proveen documentos y enlaces adicionales. Tambin
contiene estadsticas del sector pblico e informacin sobre iniciativas de gestin
pblica para cada pas miembro.
Sida, The Evaluability of Democracy and Human Rights Projects, 1997
(La posibilidad de evaluar proyectos de derechos humanos y democracia),
http://www.sida.org/Sida/jsp/Crosslink.jsp?d=520
PGINAS WEB Y DOCUMENTOS CONEXOS
123
M. Otras referencias
UNDP, Simplification Task Force, Simplification Report to the Executive Team
(Informe de simplificacin para el equipo ejecutivo), http://intra.undp.org/eo
UNDP, Evaluation Office, Impact Assessment of UNDP Country Interventions,
Methodology for CLIA Phase I (version 2.1) (Evaluacin del impacto de
intervenciones en pases del PNUD, metodologa para CLIA, fase I),
http://intra.undp.org/eo/methodology/methodology.html
UNDP, Alex Rusita, Evalnet, End of mission report (Informe final de misin) 2001.
UNDP, Netnarumon Sirimonthon, Evalnet, Tripartite meetings (Reuniones tripartitas),
http://intra.undp.org/eo
UNDP, Siv Tokle, PowerPoint Presentation to the Associate Administrator
(Presentacin Powerpoint ante el Administrador Adjunto) 2000.
UNDP, Siv Tokle, IAWG Presentation on RBM and M&E (Presentacin del IAWG
sobre GBR y S&E) Ginebra, 2001.
UNDP, Uzbekistan, New Approach to Monitoring in Uzbekistan (Nuevo enfoque
sobre seguimiento en Uzbekistn) RBEC best practice newsletter no.4, Nov-Dec
2000, http://intra.undp.org/rbec
UNFPA, Linda Sherry-Cloonan, IAWG Presentation on RBM and M&E
(Presentacin del IAWG sobre GBR y S&E) Ginebra, 2001.
World Food Programme, Strategy for 2002-2005 (Estrategia para 2002-2005)
WFP/EB.A/2001/5-B/1.
World Food Programme, Notes on the development of RBM in WFP (Notas sobre el
desarrollo de la GBR en el PMA) 18 de julio de 2001.
World Bank, Aid and Reform in Africa, A World Bank Study (Ayuda y reforma en
frica) diciembre de 1999.
124
Anexo:
Instrumentos
de seguimiento
y evaluacin
En los siguientes Anexos se presentan los principales instrumentos para el seguimiento y la
evaluacin orientados a resultados. Estos instrumentos complementan los Captulos 4 y 5
sobre los procesos de seguimiento y evaluacin. Aqu se presentan cuatro instrumentos
especficos: ejemplos de un plan de evaluacin y seguimiento; una ejemplo de trminos de
referencia de una evaluacin; un formato para informes anuales de proyecto; y un formato
para un informe de misin de campo. El manual concluye con un cuadro integral que muestra
la manera en la que los gerentes de proyecto, los gerentes de programa y el personal superior
de gerencia podran utilizar el men flexible de instrumentos de seguimiento en una oficina
de campo mediana o grande.
Anexo A.
Plan de evaluacin y seguimiento
Anexo B.
Anexo C.
Anexo D.
Anexo E.
Los formularios poseen notas que indican dnde y cmo pueden adaptarse para ajustarse
para servir a diferentes propsitos. Los anexos pueden ayudar a los usuarios a aplicar de
forma flexibles los instrumentos y formatos que se centran en resultados y en el logro de efectos.
Estos Anexos estn disponibles por va electrnica en la pgina Web de la Oficina de Evaluacin
del PNUD: http://intra.undp.org/eo. En el futuro, algunos o todos estos instrumentos,
tambin podrn estar disponibles a travs de un sistema informtico integrado.
125
P R E PARACIN Y PRESENTACIN
Las oficinas de campo preparan su plan de evaluaciones al comienzo de cada ciclo de
programacin, y lo presentan por va electrnica (o en copia sobre papel) a la Oficina de
Evaluacin del PNUD.20 Esto involucra decisiones estratgicas y selectivas por parte de
la gerencia y el personal del programa, sobre qu debe evaluarse y cundo.
Posteriormente, la OC utiliza el plan para asegurar que las actividades de planificacin de
las evaluaciones siguen su curso correcto.
Una vez realizadas las evaluaciones, la OC introduce electrnicamente la informacin, o
enva o carga en la red el informe completo a la Oficina de Evaluacin (y lo introduce en
el sistema una vez que est listo). La Oficina de Evaluacin es responsable de supervisar
el cumplimiento de las evaluaciones y analizar sistemticamente la informacin generada,
para promover el aprendizaje. La OC tambin introduce en el cuadro resmenes,
incluyendo recomendaciones. Esto sirve de base para el seguimiento y la investigacin
sobre las conclusiones, lecciones y recomendaciones de las evaluaciones. La OC efecta el
seguimiento de la implementacin de las recomendaciones de las evaluaciones, registrando
las decisiones referidas a las recomendaciones de las evaluaciones y a las acciones
complementarias realizadas para su implementacin.
CALENDARIO
La oficina de campo presenta el plan de evaluacin a la Oficina de Evaluacin durante el
primer trimestre de cada ciclo de programa del pas. Posteriormente, puede lo puede
actualizar de forma continua, anualmente o peridicamente, segn las necesidades
locales. Por ejemplo, si se prev la primera evaluacin de un efecto despus de transcurridos
tres aos del programa del pas, la OC no necesitar revisar la planificacin hasta un ao
antes de la evaluacin.
FLEXIBILIDAD
Las oficinas de campo que no deben realizar una evaluacin obligatoria no necesitan formular
un plan de evaluacin. Las evaluaciones de proyecto son voluntarias y se registran en el
plan una vez convenidas a nivel de pas. Las OC pueden aadir elementos que describen
la planificacin para todas sus actividades de seguimiento y evaluacin, si as lo desean.
20
126
Previamente,el Plan de Evaluacin se ha preparado electrnicamente y se ha hecho accesible en la pgina Web intranet de la Oficina
de Evaluacin.En el futuro,el plan funcionar en interfaz con el sistema corporativo del SGBR.Entretanto,las OE elaboran el plan
en programa Word.En el cuadro inferior se indican los servicios electrnicos en el futuro.
Modle rempli
127
128
1. INTRODUCCIN
Breve descripcin del contexto del pas del programa, incluyendo sus prioridades y
necesidades de desarrollo. Tambin se sitan en este contexto el efecto, el programa,
el proyecto, el grupo de proyectos y otros elementos a evaluar y se identifican los
principales interesados, socios y beneficiarios.
Para una evaluacin de efecto, debe incluirse la siguiente informacin:
Breve descripcin del efecto (linea de base y situacin actual del efecto);
n
Motivos de la participacin del PNUD con respecto al efecto y por qu est est
siendo evaluado ahora;
n
Breve descripcin de los principales productos e iniciativas del PNUD que se
espera contribuyan al efecto;
n
Principales socios involucrados en el efecto;
n
Destacar el progreso hacia o logro del efecto.
n
2 . OBJETIVOS DE LA EVALUA C I N
Breve descripcin de la forma en que se identific la necesidad de una evaluacin, as
como quines son los principales interesados en la evaluacin y una descripcin del
motivo por el que la evaluacin se lleva a cabo y por qu se realiza en este momento.
3 . ALCANCE DE LA EVALUA C I N
Describe cul es el foco de atencin (e, implcitamente, lo que no se trata).
Para una evaluacin de proyecto, el alcance debera incluir:
n
Cobertura geogrfica del proyecto;
n
Calendario del proyecto que cubrir la evaluacin;
n
Cuestiones relativas a la importancia, desempeo y xito del proyecto o proyectos
cubiertos por la evaluacin.
Para una evaluation de efecto, deberan incluirse las mismas reas, adaptadas a
efectos. El alcance de la evaluacin tambin debera incluir como mnimo las
lecciones aprendidas, las conclusiones y recomendaciones en las siguientes reas:
n
Indicacin de si se ha conseguido el efecto y en caso contrario, si se ha progresado
hacia su consecucin;
n
Anlisis de los factores subyacentes que estn fuera del control del PNUD y que
influyen en el efecto (incluyendo las oportunidades y amenazas que afectan
ellogro del efecto);
n
Indicacin de si los productos y otras intervenciones del PNUD pueden ser
verosmilmente vinculados con el logro del efecto, incluyendo los principales
productos, programas, proyectos y la asistencia de apoyo y otras que han
contribuido al efecto;
n
Indicacin de si la estrategia de alianzas del PNUD ha sido adecuada y eficaz.
I N S T RU M E N TOS DE SEGUIMIENTO Y EVA L UAC I N
129
6 . EQUIPO DE EVALUA C I N
Detalla el nmero de evaluadores y sus reas de experiencia, as como sus respectivas
responsabilidades. El Jefe de Equipo siempre es responsable de la terminar el
informe. Los evaluadores pueden ser internos o externos, nacionales o internacionales,
personas o empresas. Puede ser muy ventajoso utilizar empresas en lugar de personas en
las evaluaciones. El siguiente cuadro muestra algunas de las ventajas (e inconvenientes)
de cada uno de los enfoques.
7 . DISPOSICIONES DE IMPLEMENTA C I N
Informacin sobre las siguientes arreglos:
n
Arreglos de gestin, especficamente el papel de la oficina de campo del PNUD
y de los socios.
n
130
PERSONAS
Ventajas
Inconvenientes
1. La identificacin de consultores
individuales lleva mucho tiempo.
2. Formar un equipo de profesionales que
no han trabajado juntos puede afectar
la cohesin y la coherencia del trabajo
y aumentar el riesgo de conflictos que
perjudican el progreso.
3. Todo cambio del calendario genera
costos adicionales de honorarios,
viticos y gastos de viaje.
4. La logstica debe ser proporcionada
por la oficina de campo.
131
OBJETIVO MRE:
[del MRE]
[del MRE]
[del MRE]
Efectos
Actualizacin
de efecto
Productos
anuales
Actualizacin
de productos
Motivos,
si el progreso
es menor de
lo previsto
Actualizacin Recomendaciones
de estrategias y acciones
de alianza
propuestas
Efecto
[del MRE]
Breve anlisis
de la situacin
y cualquier
cambio
observado,
cualquier
contribucin
al proyecto.
Para productos
del MRE,
utilizar
metas MRE.
Para otros
productos,
utilizar el
documento
de proyecto
o el plan
de trabajo.
Logros del
proyecto en
productos
(indicar si son
estratgicos).
Cuando no
hay fijadas
metas en el
MRE,utilizar
datos del plan
de trabajo.
Si es
aplicable.
Analiza los
factores
subyacentes
y los motivos
de brechas
en productos
y metas.
Breve
informacin
sobre
cualquier
logro o
problema
(informe de
excepcin).
Acciones sobre
cualquier asunto
relacionado con el
efecto,progreso de
productos,o alianzas.
Medidas correctivas.
Responsabilidades.
Enumere los tres problemas principales (como mximo, si los hubiere) observados durante la
ejecucin y proponga soluciones. Indique cualquier medida ya adoptada para resolver los problemas.
1. _____________________________________________________________________________________________________
2. _____________________________________________________________________________________________________
3. _____________________________________________________________________________________________________
132
PARA EFECTOS:
o Cambio positivo (determinado por pruebas de un cambio de la lnea base hacia la meta final
MRE medido por un indicador de efecto)
o Cambio negativo (descenso a un nivel inferior a la lnea base, medido por un indicador de efecto)
o Sin cambios
PARA PRODUCTOS: Aplicado a cada objetivo de producto
[Solamente para productos estratgicos. Si las partes desean calificaciones de todos los productos,los que no estn en el
MRE se basarn en el documento de proyecto,el plan de trabajo o cualquier otro acuerdo sobre resultados esperados.]
o
o
No (no logrado)
Parcialmente (solo si se han logrado las dos terceras partes de un objetivo cuantitativo,o ms.)
Si (logrado)
Actividades ms importantes de asistencia de apoyo (si las hubiere) emprendidas por el proyecto
_______________________________________________________________________________________________________
Principales obstculos al progreso hacia el efecto que requieren asistencia de apoyo adicional
1. _____________________________________________________________________________________________________
2. _____________________________________________________________________________________________________
3. _____________________________________________________________________________________________________
LECCIONES APRENDIDAS
[Las lecciones aprendidas del IAP debern servir como contribucin al anlisis de desempeo del IAOR y a la memoria anual,
que permite a los socios compilar e intercambiar las lecciones aprendidas de todos los proyectos e IAPs.]
133
134
OBJETIVO MRE:
[del MRE]
[del MRE]
[del MRE]
Efectos
Actualizacin
de efecto
Productos
anuales
Actualizacin
de productos
Motivos,
si el progreso
es menor de
lo previsto
Actualizacin Recommandations
de estrategias et mesures
de alianza
proposes
Efecto
No. 1
[del MRE]
Breve anlisis
de la situacin
y cualquier
cambio
observado,
cualquier
contribucin
al proyecto.
Para productos
del MRE,
utilizar
metas MRE.
Para otros
productos,
utilizar el
documento
de proyecto
o el plan
de trabajo.
Resultados
del proyecto
en productos
(indicar si son
estratgicos).
Cuando no
hay fijadas
metas en el
MRE,usar
datos del plan
de trabajo.
Si es
aplicable.
Breve
informacin
sobre
cualquier
logro o
problema
(informe de
excepcin).
Efecto
No. 2
En caso
de que el
proyecto
contribuya
a ms de
un efecto.
Acciones sobre
cualquier asunto
relacionado con
efectos,progreso de
productos,o alianzas.
Medidas correctivas.
Responsabilidades/
plazos.
Enumere los tres problemas principales (como mximo, si los hubiere) observados durante la
implementacin y proponga soluciones.
1. _____________________________________________________________________________________________________
2. _____________________________________________________________________________________________________
3. _____________________________________________________________________________________________________
PARA EFECTOS:
o Cambio positivo (determinado por pruebas de un cambio de la lnea base hacia la meta final
MRE medido por un indicador de efectos)
o Cambio negativo (descenso a un nivel inferior a la lnea base, medido por un indicador de efectos)
o Sin cambios
PARA PRODUCTOS: Aplicado a cada resultado de producto
[Solamente para productos estratgicos. Si las partes desean calificaciones de todos los productos,los que no estn en el
MRE se basarn en el documento de proyecto,el plan de trabajo o cualquier otro acuerdo sobre resultados esperados.]
o
o
o
No (no logrado)
Parcialmente (solo si se han logrado las dos terceras partes de un objetivo cuantitativo,o ms.)
Si (logrado)
LECCIONES APRENDIDAS
[Esta seccin podr llenarse cuando en la discusin con la gerencia del proyecto o con los beneficiarios surjan durante la
visita lecciones aprendidas,o cuando el Gerente de Programa directamente observe una leccin.]
ANEXOS
Lista de personas con las que se ha reunido [Opcional]
Otros anexos
I N S T RU M E N TOS DE SEGUIMIENTO Y EVA L UAC I N
135
136
INSTRUMENTO/ GERENTE
MECANISMO DE DE PROYECTO
SEGUIMIENTO
GERENTE
DE PROGRAMA DEL PNUD
GERENCIA PRINCIPAL
DE LA OFICINA DE
CAMPO/PNUD
Informe
de Entrega
Consolidado
(IEC),Informe
de Entrega de
Proyecto (IEP)
Preparar y usar
el IEP para preparar
presupuestos y
calcular gastos.
No utilizado,salvo en
caso de problemas
importantes,deficiencias
de entrega o sobregastos.
Planes
de trabajo
de proyecto
Participar en el establecimiento de
hitos de referencia en el plan de trabajo.
Revisarlo para acordar resultados claves
y asegurar que los resultados contribuyen
al MRE. Tambin puede ser utilizado
para discutir actividades,insumos
correspondientes y presupuestos.Utiliza
hitos crticos para supervisar alerta
temprana sobre progreso insuficiente.
Informes de
progreso o
trimestrales
Preparar segn lo
convenido en documentos
de proyecto o con el
PNUD. Compartirlo con
personal de proyecto,OC
y mecanismo directivo
(si hubiere).Utilizarlo
para presentar progreso
y problemas.
No utilizado (salvo
que surjan problemas
importantes sobre los
que el GP alerta a
los gerentes).
Reuniones de
grupos focales
Puede organizarlas
peridicamente con
beneficiarios del proyecto.
Lo ideal es planificarlas
en el documento de
proyecto.Usarlas para
adaptar la estrategia.
Compartir resultados.
No utilizado.Slo
alerta por GP si surgen
problemas polticos o
descontento.
Reuniones
bilaterales/
tripartitas
Puede convocarlas.
Utilizar para resolver
problemas y discutir
estrategia.
Normalmente slo
participar si involucra
cuestiones de poltica o
toma de decisiones, y
cuando participa la
contraparte del Gobierno.
INSTRUMENTO/ GERENTE
MECANISMO DE DE PROYECTO
SEGUIMIENTO
GERENTE
DE PROGRAMA DEL PNUD
GERENCIA PRINCIPAL
DE LA OFICINA DE
CAMPO/PNUD
Documentaci
n sustantiva
del proyecto
No utilizado. Normalmente
recibir los informes
principales slo para temas
claves,o ser alertado
sobre problemas por GP.
Informe anual
de proyecto
(IAP)*
Evaluacin
de proyecto
Puede solicitarla
(normalmente prevista en
documento de proyecto).
Podr pedrsele que ayude
a organizar la evaluacin.
Proporciona apoyo e
informacin.Acta.
Misiones de
campo
Da apoyo e informacin
a la misin visitante.
Visitar operaciones
de implementacin
en el campo.
Se anima al representante
residente y a los gerentes de
la OC a que realicen visitas
de campo seleccionadas.
Adopta decisiones sobre
temas de poltica o seguimiento si GP informa que
hay problemas importantes.
Visitas
puntuales de
comprobacin
Normalmente no utilizadas,
aunque puede realizar
comprobaciones puntuales
a los contratistas. Asegura
que funcionan los sistemas
para comprobaciones
puntuales de OC.
Encuestas
de clientes
Valoracin/
Seguimiento
externa
No utilizado.
137
138
INSTRUMENTO/ GERENTE
MECANISMO DE DE PROYECTO
SEGUIMIENTO
GERENTE
DE PROGRAMA DEL PNUD
GERENCIA PRINCIPAL
DE LA OFICINA DE
CAMPO/PNUD
Evaluacin
de efecto
Da informacin y apoyo a
la evaluacin.Seguimiento,
si el progreso hacia el
efecto es lento.
Mecanismos/
comits
directivos
Comparte IAP/otros
documentos.Normalmente
organiza reuniones.
Acta sobre decisiones
y adapta estrategia.
Reunin/
taller de
interesados
Seguimiento de temas de
poltica.Promocin de cambios
como resultado del taller.
Utilizado para generar consenso
sobre prioridades.Utilizado
como insumo para examen
anual y evaluaciones.
Grupo
de efecto
Participa.Da informacin
sobre resultados/
actividades del proyecto,
en cuanto a productos y
efecto.Cambia enfoque
segn retroalimentacin
del grupo.
Lo organiza y participa,puede
dirigirlo. Valora la situacin de
productos y efectos estratgicos,
asegura la ejecucin del
seguimiento de efectos.Formula
y comparte lecciones.Define
el enfoque estratgico orientado
a efectos.Provee insumos a
la evaluacin de efectos.
Examen
anual
Grupos de
coordinacin
de donantes
CCA/UNDAF
(ACP/MANUD)
Dirige/participa en grupos
de alto nivel de organismos.
Asegura atencin a resultados.
Evaluaciones
temticas/
evaluaciones
de impacto
IAOR
Proveer informacin a
travs del IAP. Podr
recibirlo como reaccin.
Lo prepara en equipo,basado
en IAPs y examen anual.Aporta
a proyecto.