Orientaes gerais
Construir um modelo terico/intuitivo Observar literatura Identificar tipo de plano (experimental, quase-experimental, ou no experimental). No modelo emprico observar:
Tipo de modelo (linear, probabilstico, de contagem...) Unidade de referncia (pessoas, famlias, escolas, municpios, estados, pases) Identificar variveis (dependentes e explicativas) Identificar o mtodo de estimao e/ou correo das propriedades estatsticas. Interpretar os resultados encontrados.
Viso insumo-produto da economia, aplicados a funes de produo de sade, educao... Distinguir entre varivel de resultado (endgena) e varivel de controle. Varivel de controle indica disponibilidade de recursos (nmero de mdicos disponveis para prnatal, etc) Varivel de resultado indica modificaes no comportamento ou uso dos recursos (demanda por pr-natal das mes).
Exemplo de modelo de efeitos do PSF apenas com tratados (efeito do nvel da poltica)
H = Varivel de Resultado (TMI, desnutrio) Y = Varivel endgena de comportamento (pr-natal, aleitamento) X = Variveis exgenas de controle (poltica (PSF), condies scio-econmicas, estrutura de sade) Z = Variveis exgenas definidoras de comportamento (cultura, localizao)
Quando temos uma varivel que resultado de uma poltica no lado direito da equao, esta varivel endgena e, portanto, no podemos estimar o modelo hbrido por MQO. Alternativa 1 Estimamos equaes reduzidas, com todas as variveis explicativas exgenas includas no modelo. Alternativa 2 Estimamos equaes estruturais via Mnimos quadrados ordinrios em dois estgios (MQO2E).
Ex. TMI = f(PSF, estrutura scio-econmica, estrutura de sade, localizao) Ex. Pre-natal = f(PSF, estrutura scio-econmica, estrutura de sade, localizao) Podemos utilizar MQO sendo as variveis explicativas exgenas. Em caso de possibilidade de causalidade reversa entre a varivel dependente e a varivel de poltica, podemos utilizar a varivel dependente defasada para minorar este problema. Seus coeficientes mostram o efeito direto das variveis de poltica nas variveis de resultado.
Y = W(X,Z)
TMI = f(pr-natal) Ex. Pre-natal = f(PSF, estrutura scio-econmica, estrutura de sade, localizao)
Y* = G(X, Z)
Devemos utilizar o MQ2E. Provem o efeito direto e indireto das variveis de poltica. ***Exerccio Prtico****
Convenes
Algorismo 1 representa a situao de tratado. Algorismo 0 representa a situao de no tratado. Y a varivel de resultado sobre a qual o programa/poltica deve ter influncia. Yi, significa o valor da varivel Y para o indivduo i. Ento: Yi(1) representa o valor da varivel de resultado para o indivduo i, se o mesmo estiver na situao de tratado. O valor Yi(0) portanto o quanto este mesmo indivduo alcanaria caso ele no tivesse sido tratado (participado do programa). Se fosse possvel observar o indivduo nas duas situaes, a diferena i = Yi(1) Yi(0), forneceria o impacto do programa para este indivduo.
Convenes Cada indivduo i possui um par de resultados potenciais (Yi(1), Yi(0)) e caractersticas observadas pelo avaliador, denotadas por meio do vetor Xi (ex. gnero, idade, escolaridades,...). Assumindo uma funo de produo linear na formao dos resultados potenciais, temos:
Onde i o componente de erro aleatrio. Seja Ti, uma varivel dummy que assume o valor um se o indivduo participar efetivamente do programa e zero caso contrrio, ento a equao de resultados potenciais ser:
Esta uma equao de regresso linear, com uma nica diferena que o parmetro que captaria o efeito do programa, i, varia entre os indivduos. Se, adicionarmos a hiptese que o efeito do programa igual (ou muito parecido) entre os indivduos, ento o modelo se tornaria:
O maior problema em estimar corretamente o impacto do programa por meio da equao 5, que a varivel T potencialmente correlacionada com o componente no observado . Isto ocorre, por exemplo, quando a condio de ser tratado foi uma escolha do indivduo. Ex. Indivduos mais motivados seriam aqueles que demandariam programas de treinamento. Esta motivao seria uma caracterstica que afetaria tambm o desempenho do indivduo, e que no seria observada pelo pesquisador.
As avaliaes de impacto normalmente esto interessadas em estimar o EMT que dado por:
No entanto, somente D11 e D00 podem ser computados a partir dos dados.
Como se observa, D no igual ao EMPT, sendo o diferencial V = E(Yi(0)|T=1) E(Yi(0)|T=0), o chamado vis de autosseleo. Os modelos de avaliao se desenvolvem na tentativa de solucionar este vis de seleo.
Considerado o padro ouro dos mtodos de avaliao de impacto. A aleatorizao confere um balanceamento de caractersticas entre os dois grupos formados (tratamento e controle). A entrada/participao no programa independente das caractersticas no indivduo. Desta forma, o vis de autosseleo eliminado.
A aleatorizao garante que no modelo economtrico do tipo: Ns temos que: Portanto, o parmetro , neste caso, tornase o indicador de impacto. Ou seja, este parmetro o Efeito Mdio de Tratamento.
Dificuldades do Mtodo de Aleatorizao A seleo aleatria de pessoas, geralmente pobres, para receber um benefcio social pode ser questionada eticamente. Em pelo menos duas situaes, no entanto, esta compreenso pode ser revertida.
Quando existe escassez de vagas para atender toda a demanda do pblico alvo. Incluso de todo pblico alvo, mas em etapas distintas
Pode comprometer a estimao do EMT se os desistentes tiverem caractersticas comuns (menos motivao, por exemplo). Neste caso, para encontrar o EMT pode-se utilizar a tcnica de variveis instrumentais.
Pode comprometer a estimao do EMT se o grupo de controle comear a ser tratado por programas parecidos. Neste caso, para encontrar o EMT pode-se utilizar a tcnica de variveis instrumentais, identificando aqueles que passaram a receber o programa.
Tambm pode comprometer a estimao do EMT, principalmente se a taxa de atrito dos grupos de controle e tratamento forem diferentes. Neste caso, para encontrar o EMT pode-se utilizar a tcnica de variveis instrumentais ou estimar um sistema de equao incluindo o atrito.
Contaminao dos no tratados pelos tratados. Ex. Programa de combate a obesidade infantil dentro um escola. Neste caso, deve-se tomar o cuidado para que o grupo de controle tenha pouca possibilidade de contgio comportamental, ou definir nveis de exposio ao tratamento. Efeito de equilbrio geral. Ex. Bolsa Famlia representando mais de 50% da renda municipal. Alteraes compromentem toda a estrutura de preos local, gerando um efeito indireto nos no-beneficirios.
Procura mimetizar o mtodo experimental Mtodo bastante utilizado em avaliaes de programas/polticas, podendo ser utilizado em isolado ou em combinao com outros mtodos. Aplicao recorrente em experimentos naturais, que ocorrem quando um evento fortuito (muitas vezes imprevisto) permite formar grupos de tratamento e controle. Estes eventos podem ocorrer:
Na prpria natureza (terremotos, enchentes, etc). Nas condies institucionais (modificaes inesperadas nas leis ou programas) Por fatores de imprevistos tcnicos ou circusntanciais (problemas operacionais na gesto do programa ou especulaes sobre o fim do mesmo)
Necessidade de informaes para grupos de tratados e controle, antes e depois da interveno do programa/poltica. Comparado com os mtodos ingnuos que possuem informaes ou para o grupo de tratado em dois perodos de tempo, ou para tratados e controle em apenas um perodo, o mtodo de dif-dif procura identificar o impacto do programa capturando as virtudes destes dois.
Modelo de Diferena-da-Diferena
D C e B A, representam, respectivamente, como os grupos de tratamento e controle se alteram depois da mudana poltica. C A e B D, representam as diferenas inerentes entre grupos de controle e tratamento. Subtraindo D-C e B A (ou D-B de C A), temos: (D-C) (B-A) que o indicador de diferena-da-diferena.
Trajetria temporal da varivel de resultado para o grupo de controle representa o que ocorreria com o grupo tratado caso no houvesse interveno. Grupos podem ser diferentes mas devem ter a mesma tendncia temporal. Esta condio pode ser aproximada por uma anlise antes do programa.
Hipteses do Modelo de dif-dif 2. A composio dos grupos de tratamento e controle no deve se alterar de forma significativa entre os perodos anterior e posterior interveo. 3. Os grupos de tratamento e controle no devem ser afetados de forma heterognea por mudanas de qualquer natureza aps o programa. Ou seja, outros fatores (polticas, fenmemos econmicos) no devem afetar de forma diferente os dois grupos.
Possibilidades/Vantagens do modelo
Obedecendo as hipteses o modelo consegue identificar impacto com uma simples especificao de modelo economtrico. Pode ser utilizado com planos experimentais ou quaseexperimentais. possvel utilizar o mtodo com diferentes tipos de modelos economtricos (linear, no linear, contagem, etc). Pode ser utilizado com dados em painel ou com dados transversais repetidos. Pode ser utilizado com unidades de informao ao nvel de indivduos/famlias ou com dados mais agregados (municpios, estados, por exemplo) Permite controlar para fatores no observados dos indivduos invariantes no tempo (no caso de dados em painel)
Onde Tit uma varivel binria que assume o valor 1 se o indivduo tratado, e 0 de outra forma. tit uma varivel binria que assume o valor 1 se o perodo da informao posterior ao programa e 0 para o perodo anterior ao programa. X uma matriz de variveis explicativas que potencialmente afetam a varivel de resultado. Caractersticas observadas dos indivduos como idade, educao, sexo, etc... Tittit o cruzamento (multiplicao) das variveis Tit e tit. , , e so parmetros estimados para as variveis do modelo e o erro aleatrio do modelo.
o parmetro indicador de impacto. Se a estimao do mesmo for estatisticamente significante uma evidncia de impacto do programa investigado. A magnitude e direo do parmetro informa o tamanho do Impacto. tratados antes do programa (A) tratados depois do programa (B) no tratados antes do programa (C) no tratados aps o programa (D)
O mtodo de pareamento procura construir um grupo de controle semelhante ao grupo de tratamento, olhando para as caractersticas observadas dos indivduos. Cada indivduo no grupo de tratamento possui pelo menos um par no grupo de controle que possui caractersticas parecidas com as suas. O desempenho deste par, portanto, seria o contrafactual desejado.
Seleo nos observveis: o vetor de caractersticas observadas (X) possui todas as informaes sobre o resultado potencial (Y(0)) na ausncia de tratamento.
Sobreposio das caractersticas dos indivduos: As caractersticas dos indivduos do grupo de controle no podem ser muito diferentes daquelas dos indivduos tratados. (H2)
A implementao do estimador de pareamento torna-se cada vez mais difcil quanto maior for o nmero de variveis observadas (X). Em vez de parearmos os indivduos por todo o conjunto de X, podemos parear com uma funo de X que resume toda a informao contida neste vetor. Esta funo a probabilidade de receber o tratamento que chamamos de escore de propenso.
Se as hipteses H1 e H2 forem atendidas, e se conhecermos os escores de propenso para todos os indivduos, podemos estimar o EMT fazendo o pareamento entre indivduos tratados e no tratados com base neste escore de propenso.
Na prtica no conhecemos o escore de propenso, e precisamos estim-lo. A forma mais utilizada para gerar os escores a estimao de modelos paramtricos como o Logit ou Probit.
Dois estgios
Estgio 1 Clculo dos propensity scores que determinado por um modelo logit (ou probit) de probabilidade de recebimento do financiamento dado as caractersticas da firma. P(y=1/x) = F(X). Se o modelo estiver bem especificado, as probabilidades sero adequadas, e tanto o problema de comparao espria quanto de seleo adversa sero minimizados. Estgio 2 Comparao (estratificao, funo kernel, outros), ou regresso ponderada.
Torna comparvel os desempenhos das empresas recebedoras (tratamento) e no recebedores (controle) do financiamento a partir de seus escores de propenso. Compara os desempenhos de empresas com escores parecidos (pareamento por estratificao). O estimados de EMT igual:
B Y i NB Y j
Se
iS ( e ) B e
jS ( e ) NB e
B m N e S S e B e 1 N
Tambm possvel utilizar o escore de propenso junto com regresso linear para estimar o Efeito Mdio de Tratamento. Neste caso, o modelo estimado por Mnimos Quadrados Ponderados, onde o peso dado por:
Pode-se dizer que o mtodo da regresso descontinuada tambm passa por um processo de seleo amostral como no pareamento por escore de propenso. Usa-se a hiptese que existe uma relao contnua entre os determinantes da varivel de resultado e uma varivel Z - que determina a participao em um programa a partir de um determinado valor (c) -, e uma relao descontnua entre a participao no tratamento e Z.
Onde R o indicador de corrupo, Z a diferena percentual de votos do prefeito para o mais prximo, I o indicador de eleito, X um conjunto de caractersticas do municpio, W, um conjunto de caractersticas que podem afetar o nvel de corrupo . Na estimao do modelo utilizou-se uma seleo amostral apenas para aqueles prefeitos com margem de votos muito prximo de 50%. Isso selecionou prefeitos parecidos, pelo menos em impresso popular.
A avaliao do retorno econmico do projeto visa a mensurao da viabilidade econmica de um projeto. Mesmo que um projeto tenha impacto positivo, pode acontecer do seu custo ser to alto que inviabilizaria sua replicao. A aplicao do conceito de viabilidade econmica em projetos sociais exige uma viso mais ampla do seu significado. Isso porque o mesmo envolve benefcios privados (para os participantes do programa) e benefcios pblicos (efeitos indiretos na sociedade).
O benefcio do projeto social o valor do impacto expresso em termos monetrios. Portanto, necessariamente, a avaliao de impacto antecede a avaliao de retorno econmico. A transformao do impacto em benefcio monetrio uma das maiores dificuldades da avaliao de retorno econmico. preciso fazer hipteses que permitam a valorao, e estas valem para cada estudo de caso. O avaliador precisa conhecer a literatura a respeito do indicador de impacto, e precisa saber quanto a mudana causada neste indicador pelo programa economiza para a sociedade e quanto aumenta o bem estar. possvel e usual que a mensurao (valorao) dos benefcios sejam sub-estimadas, dado que nem benefcio social pode ser medido em termos econmicos.
Os benefcios normalmente se extendem por mais de um perodo de tempo. Ele pode perdurara a vida toda (projetos de qualificao profissional, por exemplo), ou podem ter um efeito muito grande de curto prazo, e depois, se dissiparem rapidamente (campanhas contra a dengue, por exemplo). Se os benefcios so recebidos em momentos diferentes, ento preciso considerar o tempo no clculo do benefcio total. Monta-se ento o fluxo de caixa dos benefcios e utiliza-se a taxa de desconto intertemporal para deduzir o valor presente de todos os fluxos somados.
O Valor Presente Total do Benefcio (VPTB) dado por: Onde, VBt0 o valor do benefcio no tempo inicial (se ocorrer de o benefcio ser imediato implementao), VFBtn o valor do benefcio recebido nos n perodos t, e i a taxa de desconto intertemporal.
Pelo lado dos custos, devem ser considerados os fluxos relacionados no apenas aos custos contbeis, mas tambm, os custos de oportunidade devem ser includos. Custo econmico = custo contbil + custo de oportunidade. O custo contbel todo desembolso monetrio que aparece nos demonstrativos contbeis (Ex. pessoal, gua, luz, aquisio de material, etc) O custo de oportunidade o ganho alternativo que se poderia obter utilizando o recurso para outro fim. (Ex. Mo de obra voluntria, doaes de recursos, uso de espaos/aluguel no pago, etc.).
Como os custos tambm aparecem em fluxos de tempo preciso descontar intertemporalmente os seus valores. O Valor Presente do Custo Total (VPTC) dado por:
Onde VCt0 o valor do custo no tempo inicial, e VFCtn o valor do custo incorrido nos n perodos t. Novamente, i a taxa de desconto intertemporal.
Valor Presente Lquido (VPL) Taxa Interna de Retorno (TIR) Razo Custo-Benefcio Razo Custo-Efetividade
Valor Presente Lquido: estima o retorno do projeto por meio da subtrao do valor presente dos benefcios e dos custos. Se os benefcios so maiores que os custos, ento o projeto vivel.
Se VPL > 0, retorno positivo (projeto vivel economicamente), se VPL < 0, retorno negativo (projeto invivel), e se VPL = 0, retorno neutro.
Para interpretarmos a TIR necessria a comparao desta com uma Taxa de Mnima de Atratividade (TMA), que a taxa de juros mnima que o investidor exigiria. Se TIR > TMA, projeto vivel, Se TIR < TMA, projeto invivel, se TIR = TMA, zona de indiferena.
Razo Custo-Benefcio = VPTBt0/VPTCt0 Se a razo Custo-Benefcio for 1,5, por exemplo, isso significa que para cada real investido o retorno ser de um real e cinquenta centavos. Se quisermos saber o retorno em termos percentuais: Retorno(%) =(Razo Custo-Benefcio 1)*100. No caso, acima, por exemplo, o retorno de 50%.
Razo Custo-Efetividade uma alternativa quando no se deseja, ou no possvel valorar monetariamente os benefcios. Razo Custo-Efetividade = impacto estimado/VPTCt0 Mais utilizado em estudos comparativos. Qual dos seguintes tratamentos mais custo-efetivo? Os custos so medidos em unidades monetrias (custos diretos e indiretos), e os benefcios so normalmente medidos em grau de sucesso de uma determinada interveno (programa): Exs. 90% de alcance da meta, ou ndices padronizados de condies de sade.
Anlise de sensibilidade: Como os resultados mudam quando os parmetros so alterados. Os principais parmetros dos estudos so: a taxa de desconto (i), o perodo de tempo (t), as informaes dos custos, e dos benefcios.
Exemplo: Nome do projeto: Trabalha Brasil Objetivo: inserir jovens no mercado de trabalho. Pblico alvo: jovens nos dois ultimos anos do ensino medio. Aes: curso profissionalizante com duracao de dois anos, oferecido no contraturno escolar. Nmero de beneficirios: 150 individuos. Indicador de impacto: empregabilidade dos jovens. Resultado da estimao de impacto um ano aps o fim do projeto: em media, 10% dos tratados conseguiram emprego por causa do projeto
Para transformar o impacto em benefcio consideramos as seguintes hipteses: i. O beneficio de colocar o jovem no mercado de trabalho e o salario que ele recebe. Esse equivale ao que ele produz para a sociedade; ii. Na media os beneficiarios empregados recebem R$ 1.000,00. Esse valor foi calculado com base nas informacoes de salario informadas pelos jovens.
Para calcular o benefico do projeto por um ano multiplicamos o numero de jovens que estao empregados por causa do projeto (15) pelo salario medio que recebem por mes (R$ 1.000,00) por 12 meses perfazendo um total de R$ 180.000,00 por ano.
Para elaborarmos o fluxo de caixa consideramos que: iii. Se nao fosse o projeto, os jovens beneficiarios entrariam no mercado de trabalho, de qualquer forma, cinco anos apos o fim do projeto. Entao, o beneficio perdura durante cinco anos. iv. A taxa de desconto intertemporal e de 5%.
Custo econmico = custo contbil + custo de oportunidade = 137.000 + 220.450 = 357.450 Este custo se repete pelos dois anos do projeto.