¿Por qué aleatorizar?

Dan Levy
Profesor Afiliado J-PAL
Senior Lecturer in Public Policy Harvard Kennedy School
 Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del curso en línea JPAL101SPAx Evaluación de
Impacto de Programas Sociales y no debe ser utilizado
para otros medios sin la autorización expresa de J-PAL.
Evaluaciones de impacto

Evaluación

Evaluación de
programas

Evaluación de
impacto

Evaluaciones
aleatorizadas
Esquema de la presentación

I. ¿Qué es impacto?

II. Métodos de evaluación de impacto

III. Evaluaciones aleatorizadas

IV. Las ventajas de la aleatorización

V. Críticas y limitaciones

VI. Conclusiones
¿Qué es impacto?
Resultado

Inicio programa

Tiempo
 ¿Cuál es el impacto del programa?
Resultado
Inicio programa

Impacto

Tiempo
 ¿Qué es impacto?
Resultado
Inicio programa Impacto

Tiempo
 ¿Qué es impacto?
Resultado
Inicio programa

Impacto

Tiempo
¿Qué es impacto?

Resultados que los participantes del

programa obtienen un tiempo
Factual después de participar en el
programa

Resultados que esos mismos

participantes hubieran obtenido en
ese mismo momento en el caso
hipotético de no haber participado
en el programa

IMPACTO
Contrafactual
 El problema con el contrafactual

• El contrafactual es hipotético: representa el estado del

mundo que se habría experimentado si no se hubiera
implementado el programa.

• Nunca podremos observarlo.

Impacto del
programa

Resultado Resultado
con sin
programa programa
Construir el contrafactual

Para poder estimar impacto, necesitamos construir un

contrafactual.

• Se suele seleccionar un grupo de individuos que no

participó en el programa

• A este grupo se le llama grupo de comparación o

grupo de control
Seleccionar el grupo de comparación

• Idea: Comparabilidad

• Objetivo: Atribución
Métodos de evaluación de
impacto
Métodos de evaluación de impacto

Métodos no Métodos cuasi Método

experimentales experimentales experimental
• Antes y después • Regresión • Selección
• Diferencia simple multivariada aleatoria del
• Diferencias en grupo de
diferencias control
• Matching
• Regresión
discontinua

La principal diferencia entre los distintos métodos es cómo

se estima el contrafactual: cómo definimos quién
conforma el grupo de control.
 Ejemplo: Programa Balsakhi
(reforzamiento educacional)
Programa Balsakhi: antecedentes

• Implementado por Pratham, una ONG de la India

• El programa dispuso tutores (Balsakhi) para ayudar a

niños atrasados en su aprendizaje en matemáticas y
lenguaje (de acuerdo a su profesor).

• En Vadodara, fue implementado en escuelas primarias

públicas.
Programa Balsakhi: resultados

• Los niños rindieron una prueba al comienzo y otra al final

del año escolar.

• PREGUNTA: ¿Cómo podemos estimar el impacto del

programa Balsakhi en los puntajes de las pruebas?
Antes y después
Antes y después

• Descripción: mide cómo los participantes del programa

cambian a lo largo del tiempo.

• Grupo de control: los mismos participantes, antes de

entrar al programa.
Antes y después: Programa Balsakhi

Calcular el cambio
promedio entre las dos
pruebas para los niños
que recibieron apoyo de
un Balsakhi
Antes y después: programa Balsakhi

Al final del año escolar 51.22

(niños con Balsakhi)
Puntaje Al comienzo del año escolar 24.80
promedio (niños con Balsakhi)

Diferencia 26.42
¿Qué hubiera pasado sin Balsakhi?

Método 1: Antes y Después

Impacto = ¿26.42 puntos?

Puntaje
75

50
26.42 puntos?
25

0 Año
2002 2003
Antes y después: supuesto

• Descripción: mide cómo los participantes del programa

cambian a lo largo del tiempo.

• Grupo de control: los mismos participantes, antes de

entrar al programa.

• Supuesto: no hay factores relevantes en el tiempo que

afecten al resultado además del mismo programa.
Diferencia simple
Diferencia simple

• Descripción: Mide la diferencia entre los participantes y

los no participantes después del programa.

• Grupo de Control: no participantes sobre los cuales se

recolectó datos después del programa.
Diferencia simple: Programa Balsakhi

Comparar los puntajes de los niños

Que recibieron Balsakhi Que no recibieron

Balsakhi
Diferencia simple: programa Balsakhi

Niños con Balsakhi 51.22

(Al final del año escolar)
Puntaje Niños sin Balsakhi 56.27
promedio (Al final del año escolar)

Diferencia -5.05
¿Qué hubiera pasado sin Balsakhi?

Método 2: Diferencia simple

Impacto = ¿-5.05 puntos?

Puntaje
75
-5.05 puntos?
50

25

0 Año
2002 2003
Diferencia simple: Supuesto

• Descripción: Mide la diferencia entre los participantes y

los no participantes después del programa.

• Grupo de Control: no participantes sobre los cuales se

recolectó datos después del programa.

• Supuesto: la única diferencia entre los participantes y no

participantes es el programa. Ambos grupos tienen la
misma probabilidad de participar antes del inicio del
programa.
Diferencia en diferencias
Diferencia en Diferencias

Descripción:
• Combina el método de antes y después con el
método de diferencia simple.
• Compara el cambio en el tiempo de la variable de
resultado entre el grupo que recibe y el grupo que
no recibe el programa.
• Corrige por diferencias pre-existentes en los dos
grupos (observables y no observables)

• Grupo de control: no participantes sobre los cuales

se recolectó datos antes y después del programa.
Diferencia en diferencias: programa
Balsakhi
Comparar el cambio en el puntajes de los niños

Que recibieron Balsakhi Que no recibieron

Balsakhi
Diferencia en diferencias: programa
Balsakhi
Comienzo Final del Diferencia
del año año
Puntaje promedio 24.80 51.22 26.42
niños con Balsakhi
Diferencia en diferencias: programa
Balsakhi
Comienzo Final del Diferencia
del año año
Puntaje promedio 24.80 51.22 26.42
niños con Balsakhi
Puntaje promedio 36.67 56.27 19.60
niños sin Balsakhi
Diferencia en diferencias: programa
Balsakhi
Comienzo Final del Diferencia
del año año
Puntaje promedio 24.80 51.22 26.42
niños con Balsakhi
Puntaje promedio 36.67 56.27 19.60
niños sin Balsakhi
Diferencia 6.82
¿Qué hubiera pasado sin Balsakhi?

Puntaje
75

50 6.82 puntos?

25

0 Año
2002 2003
Diferencia en Diferencias: Supuesto

• Descripción: Compara el cambio en el tiempo de

la variable de resultado entre el grupo que recibe
y el grupo que no recibe el programa.

• Grupo de control: no participantes sobre los

cuales se recolectó datos antes y después del
programa.

• Supuesto: en ausencia del programa, las

tendencias entre participantes y no-participantes
se mantendrían paralelas.
Otros métodos

• Existen otros métodos cuasi experimentales para

estimar el impacto de un programa
– Regresión multivariada
– Matching
– Variables instrumentales
– Regresión discontinua

• Estos métodos también construyen un contrafactual

bajo ciertos supuestos

• Problema: estos supuestos no se pueden comprobar

Evaluaciones aleatorizadas
Evaluación aleatorizada
• Se usa un sorteo para asignar unidades a grupo de
tratamiento y grupo de control.

Grupo
tratamiento

Grupo
control
¿Por qué aleatorizar?

• Si la asignación aleatoria está bien diseñada e

implementada, los grupos de tratamiento y de control
no son sistemáticamente diferentes antes de que inicie
el programa.

Cualquier diferencia que observamos entre estos dos

grupos en sus indicadores de resultados después del
programa puede ser atribuida al programa
(y no a otros factores).
Evaluación aleatorizada

• Descripción: Se usa un sorteo para asignar unidades

a grupo de tratamiento y grupo de control.

• Grupo de control: la parte de la población elegible

que, de manera aleatoria, es asignada al grupo de
control.

• Supuestos: la aleatorización está bien hecha y

genera dos grupos estadísticamente idénticos
Test de balance (programa Balsakhi)
Grupo de Grupo de
Variable Diferencia
tratamiento control
Vadodora
-0.007
Puntaje matemática -0.007 0.000
(0.059)
0.025
Puntaje lenguaje 0.025 0.000
(0.061)
Mumbai
0.002
Puntaje matemática 0.002 0.000
(0.108)
0.100
Puntaje lenguaje 0.100 0.000
(0.108)

Puntajes promedios normalizados. Errores estándar en paréntesis.

*/*/***: Estadísticamente significativo al nivel de 10% / 5% / 1%
Fuente: Banerjee, Abhijit, Shawn Cole, Esther Duflo, and Leigh Linden. 2007.
Pasos principales de una evaluación
aleatorizada

1. Diseñar el estudio cuidadosamente

2. Asignar de manera aleatoria a grupo de tratamiento y
control
3. Recolectar datos para grupos tratamiento y control
antes que el programa sea implementado (línea base)
4. Verificar que la asignación está balanceada
5. Monitorear el proceso para asegurar que la integridad
de la evaluación no se vea negativamente afectada
Pasos principales de una evaluación
aleatorizada

6. Recolectar datos para grupos de tratamiento y control

después que el programa ha sido implementado

7. Estimar el impacto comparando resultados promedios

de grupo de tratamiento y control

8. Evaluar si el impacto del programa es estadísticamente

y prácticamente significativo
Las ventajas de la
aleatorización
Ventajas

• Si son correctamente diseñadas e implementadas, las

evaluaciones aleatorizadas son el método más
confiable para estimar impacto:
– La aleatorización hace que los grupos sean comparables
en variables observables y no observables.
– Cualquier diferencia observable en indicadores de
resultados puede ser atribuida al programa

• Los resultados son fáciles de interpretar

¡Importante para evaluación de políticas públicas!
Case Ejemplo
2: Remedial Education
#1 – Programa in India
Balsakhi
Evaluating the Balsakhi Program
Comparación de métodos para
Programa Balsakhi

Método Impacto

(1) Antes y después 26.42*

(2) Diferencia simple -5.05*
(3) Diferencia en diferencias 6.82*
(4) Regresión 1.92
(5) Evaluación aleatorizada 5.87*
*: Estadísticamente significativo con nivel del significancia del 5%
 Ejemplo #2
Programa Read India de Pratham
Comparación de métodos para
Read India de Pratham

Método Impacto

(1) Antes y después 0.60*

(2) Diferencia simple -0.90*
(3) Diferencia en diferencias 0.31*
(4) Regresión 0.06
(5) Evaluación aleatorizada 0.88*
*: Estadísticamente significativo con nivel del significancia del 5%
Conclusión

¡El método importa!

Criticas y limitaciones
a la aleatorización
Críticas frecuentes

• Los experimentos aleatorizados son el método más

confiable y son más fáciles de entender.

• Pero…

¿son éticos?
¿son viables?
¿son generalizables?
¿Son éticos?
¿Son éticos?

“Hay un grupo de control que no se beneficia del

programa.”

• En la mayoría de los programas sociales el presupuesto

no alcanza para cubrir a todos.

• Muchas veces el programa no puede ser

implementado al mismo tiempo para todos.

• No es ético desperdiciar el dinero en programas que

no funcionan.
¿Son viables?
¿Son viables por sus costos?

“Las evaluaciones aleatorizadas son muy costosas.”

• Lo caro es un buen levantamiento de datos.

• Las políticas no probadas pueden resultar mucho

más caras.

• Las lecciones extraídas son un bien público.

¿Son viables por su duración?

“Crítica: las evaluaciones aleatorizadas duran

demasiado tiempo.”

• Ocurre lo mismo con otros métodos de evaluación

de impacto: es necesario esperar que la
intervención produzca sus resultados.
¿Son generalizables?
¿Son generalizables?

“Las evaluaciones aleatorizadas no tienen validez

externa”

• Son tan válidos externamente como otros

métodos de evaluación de impacto.

• Es posible (y se debe) hacer replicaciones.

Conclusiones
Conclusiones
• Existen muchos métodos para estimar el impacto de
un programa

• Este curso aboga por uno de ellos: las evaluaciones

aleatorizadas
– Argumento conceptual: Si son correctamente
diseñadas e implementadas, constituyen el
método más confiable para estimar el impacto de
un programa.
– Argumento empírico: Diferentes métodos pueden
generar diferentes estimaciones del impacto.