Claudio Ferraz
Professor PUC-Rio
Pesquisador afiliado do J-PAL
Estrutura
1. Inferência causal
2. O que é impacto?
4. Avaliações aleatorizadas
5. Críticas e limitações
2
Introdução
• Correlação acontece quando duas coisas andam juntas, mas isso não
implica que uma é causa da outra
3
Consumo de sorvete Qualidade da educação dos países
per capita (litros por
ano)
5
O problema da inferência causal
6
O problema da inferência causal
7
O problema da inferência causal
8
O que é impacto?
O que queremos medir?
• Para isso, devemos separar o efeito do programa do efeito que outras variáveis
podem ter nos resultados observados
10
Problema da atribuição causal
• As pessoas que decidem realizar uma ação têm características diferentes das
pessoas que não o fazem
• As pessoas escolhidas para receber um benefício têm características
diferentes das pessoas que não foram escolhidas
11
O que é impacto?
Resultados que os
participantes do programa
obtêm um tempo depois de
participar do programa
IMPACTO
13
O problema da inferência causal
Impacto do
programa
Resultado Resultado
com o sem o
programa programa
13
Qual é o impacto do programa?
Resultado
Início do
programa
Tempo
14
Qual é o impacto do programa?
Resultado
Início do
programa
Impacto
Tempo
15
O que é impacto?
Resultado
Início do Impacto
programa
Tempo
16
O que é impacto?
Resultado
Início do
programa
Impacto
Tempo
17
Como medir impacto?
18
Métodos de avaliação de impacto
Métodos de avaliação de impacto
A principal diferença entre os distintos métodos é como
se estima o contrafactual: como definimos quem forma
o grupo de controle
• Pareamento
• Regressão
descontínua
20
Exemplo
21
Fonte: J-PAL
Capacitações de jovens na Colômbia
22
Capacitações de jovens na Colômbia
• Como medimos?
23
Antes e depois
24
Antes e depois
25
Antes e depois
Capacitação de jovens na Colômbia
Média
Taxa de
Antes 47%
emprego
Depois 70%
Diferença (p.p.) 23. p.p.
70%
Mudança % 50%
47%
Concluímos que o
programa teve um
efeito positivo de
50%
Antes da Depois da Tempo
capacitação capacitação
28
Antes e depois: qual é o impacto?
Grupo de
Taxa de tratamento
emprego
IMPACTO
POSITIVO
+50%
CONTRAFACTUAL
Tempo
2001
INÍCIO DO
PROGRAMA 27
Diferença simples
28
Diferença simples
29
Diferença simples
Capacitação de jovens na Colômbia
Média
Taxa de
emprego Não participaram 64%
Participaram 70%
70%
Diferença (p.p.) 6 p.p.**
Aumento
~10%
(Mudança %)
64%
Concluímos que o
programa teve um impacto
positivo de ~10% nos jovens
que participaram
Não participantes Participantes
32
Diferenças em diferenças
31
Diferenças em diferenças
Descrição:
• Combina o método de antes e depois com o método de diferença simples
• Compara a mudança no tempo da variável de resultado entre o grupo
que recebe e o grupo que não recebe o programa
• Corrige por diferenças pré-existentes nos dois grupos (observáveis e não
observáveis)
35
Diferenças em diferenças
Capacitações de jovens na Colômbia
Taxa de
emprego Participaram
Participaron Não
No participaram
participaron
80(%)
70,2
63,8
60
46,9
41,9
40
A B C D
20
0
Antes
Antes deda
la capacitação
capacitación Después de
Depoisde
Después la
dala capacitación
capacitação
capacitacisón
36
Diferenças em diferenças
Capacitação de jovens na Colômbia
Antes da Depois da
capacitação capacitação
Antes da Depois da
Diferença
capacitação capacitação
38
Diferenças em diferenças
A
de emprego
Impacto = (A-B) – (C-D)
Consumo
Contrafactual
Taxa
Participou do B
Programa C
D
Não participou
do Programa
40
Regressão multivariada
38
Regressão multivariada
39
Regressão multivariada
40
Regressão multivariada
41
Pareamento
42
Pareamento
47
Capacitação de jovens na Colômbia
Buscamos pares idênticos
Tratamento Controle
Mostra não tratada
(potenciais controles)
Taxa de
65% 63,2%
emprego
Diferença + 2,7p.p.
48
Pareamento
49
Regressão descontínua
46
Regressão descontínua
51
Capacitação de jovens na Colômbia
Taxa de Linha
emprego de corte
Não elegível
para Elegível para
capacitação capacitação
Índice de vulnerabilidade
52
Capacitação de jovens na Colômbia
Taxa de Linha
emprego de corte
Impacto
Vulnerabilidade
53
Regressão descontínua
• Grupo de controle: as pessoas logo abaixo do limite (e que por isso não
recebem o programa)
• Premissas:
− A linha de corte é um limite estrito de entrada ou não no programa
− Efetivamente não existem diferenças significativas entre as pessoas
acima e abaixo do corte
54
Avaliações aleatorizadas
O que é uma avaliação aleatorizada
• Objetivo:
Selecionar um grupo que tenha características iguais ao grupo de
participantes em todas as dimensões, exceto em receber ou não o
programa
52
Por que aleatorizar?
• Uma escolha aleatória bem feita elimina o viés de seleção antes que o
programa se inicie
53
Na ausência do programa, grupos de tratamento e controle
são comparáveis
em variáveis observáveis e não observáveis
Grupo de
tratamento
Grupo de
controle
População elegível
54
Avaliação aleatorizada
Fora da
avaliação
População População
total alvo
Tratamento
Amostra
Alocação
da
aleatória
avaliação
Controle
55
Premissas
56
Avaliação aleatorizada
62
Críticas e limitações à avaliação
aleatorizada
Críticas frequentes
• Mas...
são éticas?
são viáveis por seus custos e sua duração?
são generalizáveis?
64
São éticas?
65
São éticas?
66
Quando aleatorizar?
67
Quando não aleatorizar?
63
São viáveis por seus custos?
69
São viáveis por seus custos?
70
São viáveis por sua duração?
• Depende do que queremos medir, e não do tempo de avaliação
71
São generalizáveis?
72
As vantagens de uma avaliação
aleatorizada
Vantagens
75
Exemplo: Programa Balsakhi
Fonte: J-PAL
Comparação de métodos de avaliação para o
Programa Balsakhi
Método Impacto
(1) Antes e depois 26.42*
(2) Diferença simples -5.05*
(3) Diferenças em diferenças 6.82*
(4) Regressão multivariada 1.92
(5) Avaliação aleatorizada 5.87*
* Estatisticamente significativo a 5%
77
Fonte: J-PAL
Método Impacto
(1) Antes e depois 0.60*
(2) Diferença simples -0.90*
(3) Diferenças em diferenças 0.31*
(4) Regresssão multivariada 0.06
79
Conclusão
Em resumo
O método importa!
81
Métodos de avaliação de impacto
Método Suposições
Não há fatores relevantes no tempo que afetam o resultado além
Antes e depois
do próprio programa
A única diferença entre os participantes e não participantes é o
Diferença simples programa. Ambos os grupos têm a mesma probabilidade de
participar antes do início do programa
Diferenças em Na ausência do programa, tendências entre participantes e não
diferenças participantes se manteriam paralelas
83