SIEF- Fondo Espaol de Evaluacion de Impacto

GESTIN POR RESULTADOS

CREAND0 EVIDENCIA
EVALUANDO IMPACTO

Madrid, 23-27 de Junio, 2008

Rosala Rodriguez-Garca, MSc, PhD,

Human Development, The World Bank 1
 Objetivos de esta Sesin

I. Contexto de la agenda por resultados

II. Definir la gestin por resultados
III. Definir e identificar los elementos para
construir una cadena de resultados
IV. Vincular el seguimiento (monitoring) y la
evaluacin y
~~Usar los datos y hallazgos (findings)
para una gestin por resultados

2
 Terminologa

Un Resultado se define como:

El efecto o impacto directo,

~~ intencionado o no,
~~ positivo y/o negativo)
~~ de una intervencin, de una poltica o de
un programa

3
I. Contexto de la Agenda por Resultados

4
 II. Definicin de
la Gestin por Resultados
La gestin por resultados hace uso de
varios instrumentos y procesos
para generar datos e informacin que
puedan usarse
para mejorar las polticas, la planificacin,
la gestin,
el seguimiento, la evaluacin y
el suministro de bienes y servicios.
5
Qu se requiere para una Gestin por Resultados?

Elementos:
Enfocarse en los resultados que se desean no en los insumos
Establecer metas claras y concretas
Construir una cadena logica que muestre los resultados deseados
a diferente niveles
Usar indicadores de monitoreo para mejorar la implementacin
Usar la evidencia de evaluaciones para mejorar la toma de
decisiones
Gestin tradicional de Gestin por Resultados
los Programas
Enfocado en resultados obtenidos
Enfocado en insumos, y no solo en insumos o actividades
actividades y productos realizadas

6
 Instrumentos para la Gestin por
Resultados

1. Una planificacin que es estratgica

2. Una cadena lgica de resultados

3. El seguimiento

4. La evaluacin
7
La planificacin Estratgica esta basada en
Evidencia

8
 III. Definicin de
la Cadena de Resultados

La cadena de resultados es un instrumento

que ayuda a identificar la lgica --las
relaciones causales de las polticas, las
estrategias y los programas.

La cadena de resultados postula que los

insumos y los procesos son necesarios para
proveer servicios, actividades o productos y
que stos conducen lgicamente al logro
de los efectos directos y de los impactos. 9
 Base terica de
la Cadena de Resultados

La cadena de resultados describe una

teora de lgica: Si , entonces

que se refiere a la progresin lgica de que

si se hace X o sucede Y, entonces Z
sera la consecuencia o el resultado.

10
 Ejemplos

1. Si se entrenan a los 2. Si se da educacin

profesores, si se para la salud a las
ponen al da los libros familias, si se dan
de texto y de servicios y si se
enseanza y si se hacen las pruebas
mejora la pedagoga necesarias
.entonces.habra
entonces .entonces.
entonces Se
un aumento en el reducira la incidencia
aprendizaje y se de la tuberculosis y
mejorara el bajara la tasa de
rendimiento escolar. mortalidad.
11
 Construyendo una
Cadena de Resultados

Una cadena de resultados responde a 3

preguntas.

Cales son los resultados deseados del

programa?

Cmo se alcanzarn estos resultados?

Cmo se sabr que se han alcanzado estos

resultados?

12
 Elementos de la Cadena de Resultados

Metas a
Insumos Actividades Productos Resultados Largo
Plazo

Ejecucin
Implementacin Resultados

Insumos comprometidos Cambios producidos en la

Recursos utilizados sociedad, los hogares, la
comunidad, o las
Servicios, actividades y instituciones a corto,
productos entegrados medio or largo plazo

Gestin por Resultados

Gestin por Resultados 13
La Cadena de Resultados en un Programa Tpo

Metas a
Insumos Actividades Productos Resultados Largo
Plazo

Acciones o Uso de los productos por

Recursos Productos bajo el Resultados
trabajos los beneficiarios
humanos,finacieros, control de la
etc. movilizados
ejecutados para Fuera del control de derivados de
transformar agencia ejecutora la agencia ejecutora
para lanzar varias cadenas
actividades
insumos en Por el LADO Por el LADO DE
productos de resultados
especficos
DE OFERTA LA DEMANDA

Nuevas prcticas Reduccin de la

Capacitacin Plan de capacitacin pobreza
Presupuesto terminado adoptadas
Personal Estudios Los caminos son Reduccin de la
Transferencia desigualdad de ingreso
Construccin condicionada entregada usados
Mejora de la
Caminos construidos Los nios aprenden ms productividad laboral
Escuelas construidas

Implementacin Resultados 14
La Cadena de Resultados para Prevencin
Ejemplo: VIH/SIDA

15
 La Cadena de Resultados en Sectores

Ejemplos Metas a Largo

Productos Resultados Plazo
Profesores Aumento de la Alfabetizacin y
capacitados tasa de empoderamiento
Educacin Textos graduacin Productividad
entregados Aumento del laboral
aprendizaje aumentada

Mdicos Aumento del Reduccin de

contratados uso de la mortalidad
Salud
Matronas puestos de maternal e
capacitadas salud infantil

Proteccin Transferencias Aumento del Disminucin de

social y condicionadas consumo la pobreza
mercado entregadas a Aumento de la Nios mejor
laboral los hogares matrcula preparados
16
para trabajar
 Identifique la Secuencia Lgica de Insumos,
Actividades, Productos y Resultados

A. Informacin disponible para los padres sobre

la importancia de la lactancia materna

B. Nios ms sanos en la comunidad

C. Reduccin del nmero de nios con diarrea

D. Madres amamantando en vez de usar leche en

polvo
Ejemplo de
una Cadena E. Fondos disponibles para la implementacin de
de Resultados un proyecto de salud que reduzca la
mortalidad infantil
(Sector Salud)
F. Diseo de campaas sobre la importancia de
la lactancia materna
17
 Secuencia lgica de Insumos,
Actividades, Productos y Resultados

1. Proyecto de salud que reduzca la mortalidad

infantil - INSUMO

2. Diseo de campaas sobre la importancia de la

lactancia materna ACTIVIDAD
Ejemplo
del 3. Informacin disponible para los padres sobre la
Sector importancia de la lactancia materna - PRODUCTO
Salud
4. Madres amamantando en vez de usar leche en
polvo RESULTADO a corto plazo

5. Reduccin del nmero de nios con diarrea

RESULTADO a medio plazo

6. Nios ms sanos en la comunidad META a largo

plazo
18
 Construyendo una Cadena de Resultados desde
los Resutados que se quieren alcanzar
Planificacin por resultados

Resultados
1. 2. 3. 4. 5. 6.
Insumos Actividades Productos A Corto A Mediano A Largo
Plazo Plazo Plazo

Recursos Recursos Productos y Cambios en los beneficios para hogares,

comprometi- utilizados servicios comunidades, empresas u organizaciones
dos para el para generar entregados
programa productos y
servicios

Beneficios para los

La Agencia ejecutora
usuarios (Demanda)
(Oferta)

Eficiencia
Efectividad
19
 En un Programa, la jerarqua de objetivos involucra a
varias Cadenas de Resultados.
~~Cada resultado se mide con uno o ms indicadores~~

Reduccion en la mortalidad infantil

Sistema expandido Mejora de la Incidencia reducida

de salud nutricion de enfermedades
transmisibles

Mejora de las Aumento de

prcticas de salud en immunizaciones
la familia
DISEO. El xito del proyecto
depende de las suposiciones y Conciencia Disponibilidad
de vacunas
actividades correctas publica
Fortalecimiento
de las
regulaciones
EJECUCIN. Mltiples cadenas de
Contratacion de
resultados contribuyen al logro del auxiliares de
salud
PDO (Objetivos de Desarrollo del
Fondos
Proyecto) o metas a largo plazo 20
entregados
 Indicadores de Seguimiento y Evaluacin

Un buen indicador debe ser SMART:

Specific; Measurable; Attributable; Realistic; Targeted
(Especifico; Medible; Atribuible; Realista; Preciso)

9Specific (espcifico): mide lo mas cercano posible lo que se

intenta medir
Resultado Indicador Qu
Los padres se aseguran que 1. Mayor uso de puestos de salud indicador es
ms especifico
los nios sean tratados contra
?
la malaria 2. Mayor uso de medicamentos
antimalaria
9Measurable (medible): claro y no ambiguo en relacin con
lo que se mide
1. % de puestos de salud sin existencias de medicamentos
x,y,z por ms de una semana al mismo tiempo Qu indicador es
ms medible ?
2. % de puestos de salud con medicamentos disponibles
21
Source: Khatouri and Kusek, 2006
 Indicadores de Seguimiento y Evaluacin

Un buen indicador debe ser SMART SMART

9Attributable (atribuible): que se puede atribuir lgicamente
al proyecto o programa
1. Esperanza de vida
2. % de nios completamente inmunizados a la Qu indicador es
edad de 1 ao ms atribuible ?

9Realistic (realista): se puede obtener este dato con la

frecuencia necesaria a un coste razonable
1. La prevalencia del SIDA entre las mujeres embarazadas Qu
indicador es
entre 15-24 aos de edad ms
2. La prevalencia del SIDA en el total de la realista?
poblacin
9Targeted (preciso): debe ser especfico con respecto a la
Qu indicador
poblacin o rea geogrfica
es ms
1. Aumento de la tasa de empleo especfico?
2. Tasa de empleo de los titulados por el centro tcnico X dentro
de un ao despus de la finalizacin del curso de capacitacin
22
8
 IV.1 Vinculando el Seguimiento y la Evaluacin
Traduce productos y resultados en
indicadores precisos de desempeo

Seguimiento Sigue los parmetros actuales para

compararlos con los indicadores deseados

Establece si el programa llega a los

beneficiarios deseados

Identifica cuellos de botella y otros

problemas de ejecucin para su solucin
Indicador
La recogida
continua de datos 50%
sobre actividades y
resultados es 40% 20 %
necesaria para dar
seguimiento a la 30%
ejecucin
1 2 3 4 5 Ao23
IV.2 Vinculando el Seguimiento y la Evaluacion

Evaluacin Establece la causalidad

de
Valida las hiptesis
Impacto Permite entender los resultados no-
intencionales
Es una medida precisa de los
resultados causados por el programa
Crea evidencia para mejorar las
polticas
Indicador C on e l
proyecto
Anlisis ex-post 50%
para explicar 15 %
cmo fueron 40%
conseguidos o no Si n e l
to
los resultados 30% p r o ye c

1 2 3 4 5 Ao
24
La Evaluacin empieza con las interrogantes
fundamentales identificadas de acuerdo a la
Cadena de Resultados

25
 Un buen sistema de seguimiento facilita la
evaluacin
Seguimiento Evaluacin de impacto
Recogida continua
de datos para: Evaluacin ex post de
Mejorar la gestin interna resultados para:
Explicar los caminos Confirmar o no las hiptesis
de la cadena de resultados
hacia los resultados
Establecer la causalidad
Ofrecer una base de
Dar una base de clculos de
clculos coste/eficiencia
coste-efectividad
(coste unitario por (eficacia)(coste/resultado)
producto)
El programa est
alcanzando
El programa es efectivo?
eficientemente los 26
resultados?
 La evaluacin cualitativa tambin
complementa la evaluacin
Ejemplos de evaluacin cualitativa que no
requiere grupos de control:
Testimonios
Estudios de casos
Observaciones y anlisis (filmacin de profesores)

Pero que ayudan a explicar los caminos hacia los

resultados:
Por qu los padres no participaron en los consejos
escolares?
Por qu algunos nios no usaron mosquiteras
antimalaria para dormir?
27
 Qu preguntas pueden ser respondidas por
el seguimiento y cules por la evaluacin ?
Qu porcentaje de absentismo laboral existe
entre los profesores ?
La tasa de graduacin en la educacin primaria
est aumentando?
La contratacin de profesores a tiempo parcial
aumenta el aprendizaje escolar?
Las becas llegan a las nias provenientes de
familias de bajos ingresos?
El uso de anti-parasitarios aumenta la asistencia
escolar ?
La gestin descentralizada de las escuelas
aumenta el aprendizaje escolar?
Est mejorando el rendimiento escolar?
28
Qu preguntas pueden ser respondidas por
el seguimientoy cules por la evaluacin?
Qu porcentaje de absentismo laboral existe S
entre los profesores ?
La tasa de finalizacin de la educacin primaria S
esta aumentando?
La contratacin de profesores a tiempo parcial
EI
aumenta el aprendizaje escolar?
S
Las becas llegan a las nias provenientes de
familias de bajos ingresos? EI
El uso de anti-parasitarios aumenta la asistencia
escolar ?
La gestin descentralizada de las escuelas EI
aumenta el aprendizaje escolar?
Est mejorando el rendimiento escolar? S
29
Elige los Mtodos de Recogida de Datos

Rigor/Dificultad m as
d os s Censos
(Coste/tiempo y to le
M orma Evaluacin del
sofisticacin) f Impacto con
diseo
m as Observacin Encuestas experimental
d os directa peridicas
to os Encuesta
M pid Entrevistas nica
r en la Uso de
Entrevista comunidad archivos
de un oficiales
grupo focal
Validez
Entrevista
particular Fiabilidad
Credibilidad

nfasis estadstico
1. El asunto a analizar
La eleccin 2. La calidad de la informacin necesaria
depende de: 3. El plazo disponible
4. Costes 30
CONCLUSIN:
La gestin por resultados utiliza la planificacin estratgica,
la cadena de resultados, el seguimiento y la evaluacin
como instrumentos para generar evidencia y nuevos
conocimientos.

Este conocimiento se usa

para tomar decisiones e
identificar buenas prcticas
que mejoren las polticas y
la gestin de los
programas de manera a
incrementar los beneficios
a la poblacin y la
effecrividad de la
asistencia.
31
 Terminologa bsica sobre los resultados

Insumos Recursos financieros, humanos y materiales usados en

una intervencin
Productos Productos, bienes y servicios resultantes de una
intervencin
Efectos Efectos o cambios de conducta probables o logrados que
directos resultan de una intervencin
Desempeo Grado en que el funcionamiento de una intervencin o un
asociado se ajusta a normas o criterios especficos
Resultado El efecto directo o impacto de una intervencin. Puede
comprender a los productos.
Cadena de La secuencia causal necesaria para que una intervencin
resultados logre producir impactos, pasando de los insumos y
actividades a los productos, efectos directos e impactos.

Fuente: OCDE, IEG. Para ms definiciones, remitirse al ONUSIDA. 32

 GRACIAS

www.worldbank.org/asap

rrodriguezgarcia@worldbank.org

33