Curso distncia

Di s c ip l in a 11
aes integradas de urbanizao de assentamentos precrios

Mdulo 3

Operacionalizao das Intervenes Integradasem Assentamentos Precrios

Monitoramento e Avaliao de Programas de Ao Integrada em Assentamentos Precrios

Prof Dr Francesco di Villarosa Prof Dr Alex Abiko

Mdulo 3

Disciplina 11 MONITORAMENTO E AVALIAO DE PROGRAMAS DE AO INTEGRADA EM ASSENTAMENTOS PRECRIOS

Prof Dr Francesco di Villarosa Prof Dr Alex Abiko

1. Introduo
O monitoramento e avaliao (M& A) de projetos vm adquirindo relevncia crescente na agenda dos gestores pblicos e dos financiadores internacionais. Entretanto, h dificuldades em transformar as intenes em interesses reais, e estes em prticas estabelecidas: frequentemente, o M& A continua sendo uma atividade residual, no institucionalizada na gesto dos projetos, e desarticulada dos momentos de tomada de decises (internos e externos aos projetos); frequentemente limita-se a um acompanhamento de atividades, eventualmente de produtos, e raramente extende-se mensurao de resultados e impactos. Consequentemente, o efeito de retroalimentao sobre o desempenho dos projetos tende a ser mnimo. Tais problemas que tendem a ser mais graves em projetos integrados, onde as informaes so multi-setoriais - tm origem (a) tcnica: os gestores tm um conhecimento superficial dos mtodos e ferramentas de M& A preciso de capacitao para melhorar a oferta de dados adequadamente produzidos e analisados; (b) institucional: no h demanda sustentada para informaes de M& A pelos tomadores de decises em diferentes nveis preciso implementar arranjos capazes de gerar incentivos ao M& A. A partir de tais consideraes, a presente apostila est estruturada da forma seguinte: na seo 2 so apresentadas algumas consideraes preliminares sobre aspectos institucionais relevantes para o efetivo funcionamento do M& A. A seo 3 dedicada s definies do que monitoramento e o que avaliao; aos tipos de M& A e aos critrios mais utilizados no M& A; discusso de algumas metodologias peculiares de M& A, como a avaliao de impacto, o M& A participativo, e o diagnstico rpido participativo. A seo 4 trata do Marco Lgico, instrumento que fundamenta todo o processo de M& A. Na seo 5 so apresentadas algumas indicaes didticas e certamente no exaustivas de como fazer M& A. Enfim, a seo 6 trata do modelo de M& A proposto pelo Ministrio das Cidades especificamente para projetos de urbanizao de favelas.
2

Metas de Aprendizagem:
Capacitar nos principais instrumentos de M & A de projetos Motivar a inserir o M & A na gesto de projetos, como um componente essencial Gerar demandas que levem a institucionalizar o M & A nos projetos de urbanizao de assentamentos precrios

2. Consideraes Preliminares
O Monitoramento e Avaliao (M&A) um instrumento de gesto de projetos, programas ou polticas1. Como tal, no pode funcionar num vcuo organizacional um arranjo institucional apropriado essencial para que haja M& A. Tipicamente, o M& A sofre das seguintes deficincias: baixa demanda para M& A dos policy-makers e, de reflexo, dos tcnicos; problemas com a relevncia, o formato, a fragmentao, os fluxos e os prazos das informaes a serem produzidas rotineiramente; dficit na capacidade de anlise dos dados obtidos; difuso insuficiente e no calibrada para audincias distintas; coordenao inefetiva; responsabilidades incertas e diludas; procedimentos indefinidos e pouco transparentes. Cabem, portanto, as seguintes recomendaes:

Fortalecer a coordenao entre os atores evitando estruturas pesadas e duplicadas Racionalizar os processos evitando acrescentar novas funes de M&A sem simplificar as existentes Focar produtos e simplificar procedimentos Minimizar o peso de novas tarefas nos atores que esto s margens do processo e que portanto recebem incentivos menores (ex. as linhas funcionais das Secretarias s quais pertence o projeto). Mas, ao mesmo tempo, alguns pontos focais das Secretarias devem estar plenamente envolvidos e articulados importante o envolvimento dos rgos produtores de estatsticas Reforar e institucionalizar a capacidade analtica um ponto absolutamente crtico. Apoio externo constante, por perodos, ou ad hoc por produtos pode ser imprescindvel.

1. Daqui para frente, ser utilizado genericamente o termo projeto para indicar projetos, programas ou polticas. Quando a referncia for a um projeto, programa ou poltica especfico, ser usado o termo apropriado com letra inicial maiscula.

Destacam-se aqui os seguintes aspectos, enquanto especialmente relevantes:

A) Liderana e comprometimento: o M& A um processo poltico com dimenses tcnicas no o contrrio. fundamental que o impulso para iniciar, implementar e sustentar o M& A venha de um nvel hierrquico com capacidade efetiva de tomar decises, mobilizar os recursos necessrios, e motivar os atores envolvidos o gerente do projeto, quando este tiver autonomia e poder suficientes; o secretrio, ou melhor ainda, o prefeito/governador; os financiadores, no caso de projetos dotados de recursos externos. O comprometimento das lideranas crucial: precisa de uma combinao de capacidade institucional e vontade poltica. A liderana deve se dar no somente na inteno mas tambm enquanto interesse real nos detalhes necessrios para a implementao do arranjo proposto (Banco Mundial 2004). B) Demandas efetivas: os produtos do M& A devem ser originados de demandas que tenham capacidade de influenciar os eventos. Quando os produtos do M& A conseguem chegar perto do centro do governo e do processo oramentrio, o M& A ganha autoridade. Onde a informao oriunda do M& A pode ser influente: em pontoschave do processo de policy-making, como o oramento, os ciclos de planejamento, as sesses legislativas, os momentos de dilogo pblico, a elaborao de estratgias com os financiadores (Lucas et al. 2004). Um calendrio institucionalizado de produtos peridicos (ex. relatrios) do M& A fundamental. C) Estrutura de incentivos: para que a vontade poltica e as demandas institucionais se tornem eficazes na implementao do M& A, necessria uma estrutura adequada de incentivos. Essa pode resultar de uma variedade de dispositivos, como, por exemplo: um sistema de premiao para gestores que produzem resultados fundamentados em slidas informaes; condicionalidades que tornam a liberao de recursos dependente de indicadores de desempenho (e no somente da prestao de contas); mecanismos participativos que visam aumentar a transparncia e o controle social no somente sobre a alocao de recursos, mas tambm sobre os resultados do uso desses ltimos; e, talvez acima de tudo, um crculo virtuoso que torne explcita a ligao entre M& A e a melhoria do desempenho do projeto, assim levando institucionalizao do primeiro. Tambm contribuem para o sucesso do M& A: a articulao do M& A com procedimentos, sistemas de informao, bases de dados j existentes e rotineiramente alimentadas; e a necessidade de comparabilidade dos resultados do projeto em nvel regional, nacional ou internacional.
4

3. Conceitos Bsicos
Monitorar e avaliar significa mensurar, atravs de indicadores, o desempenho do projeto e os seus resultados sobre os beneficirios. No nosso dia-a-dia, o uso de instrumentos de M& A algo imprescindvel: por exemplo, ningum pensaria em medir o efeito de um remdio contra a febre sem utilizar um termmetro vrias vezes ao dia, ou os resultados de uma dieta sem se pesar numa balana. O M& A deveria ser to imprescindvel tambm na gesto de um projeto.

Definies
Para finalidades didticas, aqui oportuno estabelecer algumas definies. Monitoramento um processo contnuo de coleta e anlise de informao para saber o quo bem um projeto est sendo implementado, basicamente em relao s atividades e aos produtos esperados. uma atividade gerencial, que busca determinar se os recursos materiais, humanos e financeiros so adequados; se as atividades esto sendo implementadas conforme o cronograma; se o plano de trabalho foi executado e se os produtos previstos foram efetivamente elaborados.

Avaliao a averiguao mais episdica do que o Monitoramento de uma interveno planejada, em andamento ou concluda, para determinar a sua relevncia, eficincia, efetividade, impacto e sustentabilidade. O objetivo incorporar lies aprendidas ao processo de tomada de deciso. Documenta e mede no somente o quanto um projeto foi bem sucedido, mas tambm de que maneira e porque o que fez ele funcionar? Explora tambm resultados inesperados, alternativas possveis.
(Banco Mundial 2004, Raupp e Reichle 2003)

De fato, espera-se que o Monitoramento mensure o desempenho do projeto contra os objetivos do projeto. Com essa base, espera-se que a Avaliao responda a perguntas que vo alm de um simples registro do que aconteceu (USDOL 2004). A avaliao, por sua vez, pode ser Formativa (ao longo do projeto) ou Sumativa (no final do projeto).
5

O seguinte quadro resume as principais caractersticas do Monitoramento e dos dois tipos citados de Avaliao.
Monitoramento, Avaliao Formativa e Avaliao Sumativa

Tabela 1
Monitoramento FREQUNCIA Constante, diria AVALIAO FORMATIVA Ao longo do projeto AVALIAO SUMATIVA Episdica; ao final do projeto Determinar se os objetivos foram alcanados; documentar os resultados; descrever a repercusso e impacto Exame dos resultados Observaes de campo, questionrios, entrevistas, levantamentos, estudos Avaliadores externos Medem os resultados obtidos na clientela do projeto e no universo

OBJETIVO PRINCIPAL

Melhoria da eficincia, documentao do que foi realizado vs planejado Documentao de insumos e produtos Registros administrativos

Melhoria da eficcia

FOCO FONTES DE INFORMAO

Exame dos processos Observaes de campo, questionrios, entrevistas, levantamentos, estudos Equipes do projeto e avaliadores internos e externos Medem o progresso em relao aos objetivos acordados

RESPONSVEIS

Gerentes e equipes do projeto Medem o nmero de atividades e produtos realizados

INDICADORES

(Raupp e Reichle 2003)

Critrios
O M& A frequentemente mede o desempenho de um projeto na base de determinados critrios; apresentamos a seguir os principais. Eficcia: o grau em que o projeto atinge os seus objetivos especficos Eficincia: relao custo/benefcio Impacto (ou efetividade): se o projeto tem efeitos no ambiente externo; se est contribuindo para o alcance do fim (ou objetivo) geral Sustentabilidade: a capacidade de continuidade dos efeitos do projeto aps o seu trmino Custo-efetividade (ou custo-oportunidade): comparao de formas alternativas de ao para atender ao mesmo objetivo com o menor custo. (Raupp e Reichle 2003)
6

s vezes, tambm relevante medir o grau de Focalizao de um projeto se o projeto concentra os recursos e as aes onde a necessidade maior; se a clientela prioritria (normalmente os mais vulnerveis) identificada e efetivamente alcanada. O uso de sistemas (simplificados) de geoprocessamento nesse caso de grande ajuda, pois mapas de pobreza ou vulnerabilidade, normalmente construdos a partir de dados censitrios, permitem identificar onde esto localizados os grupos em maior risco, assim direcionando as intervenes em prol dos mesmos (Di Villarosa 1993).

Figura 1: reas de vulnerabilidade social e clientela do PETI e Bolsa Escola, Olinda.

Na figura acima (produto de uma consultoria do docente para USAID), as reas hachuriadas representam micro-regies de alta vulnerabilidade social. Os quadradinhos representam os beneficirios do projeto. Observe-se que, numa das reas de alta vulnerabilidade (indicada com uma seta), s foi beneficiada uma famlia. Nesse caso, h um erro evidente de focalizao.

Tipos de M & A
Existem diferentes tipos de M& A, que dependem, basicamente, do estgio do projeto no qual o M& A realizado: Diagnstico: precede o desenho de um projeto identifica um problema, e desenha um projeto para solucion-lo Formativo: referente aos processos implementados comprova que as atividades esto sendo desenvolvidas de acordo com o planejado, documenta como esto ocorrendo, quais produtos so elaborados, aponta sucessos e fracassos, identifica reas problemticas, faz recomendaes Sumativo: referente aos resultados finais obtidos. Outra tipologia parecida a seguinte: Ex-ante: anlise da relevncia e viabilidade poltica, tcnica, financeira e institucional do projeto; construo da linha de base Durante: anlise dos produtos, eficcia, repercusso Ex-post: anlise do impacto e eficcia; lies aprendidas.
(Raupp e Reichle 2003)

Observe-se que a Avaliao de Impacto propriamente dita representa um tipo de avaliao diferente na metodologia e nas finalidades. Seu objetivo mensurar os efeitos do projeto sobre os beneficirios, isolando-os dos efeitos de outros fatores do contexto ex.: em que medida o aumento observado da renda de um grupo de beneficirios devido a aes de capacitao profissional feitas pelo projeto, e em que medida devido melhora generalizada do quadro macro-econmico. A avaliao de impacto visa estabelecer relaes de causa-efeito especficas e exclusivas entre as atividades e produtos do projeto e os resultados observados sobre os beneficirios. Para tanto, utiliza slidos instrumentos contra-factuais, ou grupos de controle (grupos com caractersticas semelhantes quelas dos beneficirios mas que no receberam intervenes do projeto), uma linha de base ou marco zero dos grupos de tratamento (beneficirios) e de controle (no beneficirios) antes do incio do projeto, e atualizaes peridicas de tal linha de base para ambos os grupos. As diferenas detectveis entre os dois grupos representam os efeitos especficos e exclusivos do projeto, conforme o exemplo a seguir, que utiliza um dos mtodos possveis de medio do impacto (difference-in-difference).

exemplo de dados para avaliao de impacto

Tabela 2
Renda antes do projeto (linha de base) Beneficirios (grupo de tratamento) No beneficirios (grupo de controle) 100 Renda aps o projeto (atualizao da linha de base) 130 (+30%) Efeito atribuvel ao projeto (diferena-em-diferena) 20%

100

110 (+10%)

A avaliao de impacto um tipo de avaliao sofisticado, que exige elevado rigor cientfico, competncias especializadas e um notvel investimento (na coleta e tratamento dos dados). Normalmente, poucos projetos renem condies para realizar esse tipo de avaliao. Isso no quer dizer que outros tipos de avaliao sejam menos vlidos ou menos importantes: simplesmente, eles no podem definir, com um grau de certeza mensurvel, se em que medida os resultados observados so causados pelo projeto ou por outros fatores externos; mesmo assim, podem dizer se em que medida o projeto atingiu os resultados esperados, enquanto a influncia especfica do projeto nisso ser objeto de argumentao e interpretao, inclusive na base de outras informaes, mais ou menos sistematizadas ou intuitivas, sobre o contexto.

M & A Participativo
Na opinio de muitos, inclusive a minha, qualquer tipo de M&A deve conter elementos de participao dos atores envolvidos no projeto (stakeholders), inclusive os beneficirios, embora em medida varivel de acordo com a natureza do projeto e outras circunstncias. De qualquer forma, o termo M&A Participativo tende a indicar um modelo especfico de M&A, que pode ser sintetizado da forma seguinte: Envolve mais ativamente os stakeholders na anlise do projeto. Eles deixam de ser objetos para se tornarem atores do processo de M& A. O envolvimento se d em todas as fases o qu vai ser avaliado, com que mtodos de coleta e anlise, quem ser envolvido, e na discusso dos resultados e das recomendaes. Participao, aprendizagem e ao esto integradas. No abre mo de triangulao e amostragem aleatria, para garantir validade e confiabilidade dos dados. Os stakeholders so treinados para serem facilitadores doM& A. Os seus propsitos so os seguintes: construir localmente capacidade de refletir, analisar, propor solues e empreender aes (capacity-building); aprender e fazer ajustes para garantir que os objetivos do projeto sejam alcanados (flexibilidade); gerar controle (accountability) em todos os nveis comunidade beneficiria, equipe responsvel pela implementao, e financiadores; celebrar e construir a partir do que descobre-se estar funcionando bem. As suas caractersticas principais: desenho simples, sustentvel e adequado aos recursos disponveis; os instrumentos so veculos para a discusso, anlise, busca de solues e empreendimento de aes coletivas; deve dar voz s necessidades, prioridades, aspiraes e capacidades locais; constri sobre a criao participativa de resultados esperados; pode ser complementar a outros mtodos de M& A; usa tcnicas como entrevistas semi-estruturadas, anlise de stakeholders, mapeamento, anlise de tendncias, desenhos, etc.; mais do que capacitao: um processo contnuo que cria condies para a ao, ao invs de uma atividade discreta; enfatiza uma abordagem positiva aprendizagem e melhora do desempenho, na base do compromisso, inovao e flexibilidade vs julgamento ou punio.
(Cupal 2001)

Diagnstico Rpido Participativo (DRP)

Normalmente, qualquer projeto de urbanizao de assentamentos precrios inicia com um diagnstico das reas e das comunidades locais. Existem, obviamente, inmeras formas de realizar esse diagnstico. Nessa seo apresentada uma metodologia que eu desenvolvi e apliquei em dezenas de municpios, no Brasil e em outros pases. Por razes de espao, a apresentao aqui necessariamente sinttica. Quem quiser aprofundar essa metodologia, pode consultar o Manual DRP (Di Villarosa 1993) na Bibliografia Complementar desse curso. Trata-se de uma metodologia de diagnstico, e atravs de atualizaes peridicas de monitoramento e avaliao, aplicvel no mbito dos assentamentos urbanos precrios. A sua principal peculiaridade dada pela referncia geogrfica das informaes, que permite no somente construir um conhecimento sistematizado de tais assentamentos, mas tambm dividir o territrio dos mesmos em reas menores (micro-reas) de acordo com as condies de vida dos seus residentes. Dessa forma, o territrio de interveno de um projeto de urbanizao integrada de favelas esquadrinhado em micro-reas, que tornam-se unidades de planejamento e ao mais facilmente manuseveis, e que podem ser priorizadas conforme as suas caractersticas, assim apoiando a focalizao das intervenes em prol das comunidades mais vulnerveis. Os produtos do DRP so informaes sistematizadas em mapas georeferenciados por microreas, com bases de dados associadas a estas ltimas, de fcil manuseio e portanto voltadas a apoiar de maneira efetiva a tomada de decises.

Metodologia
O DRP inicia com um reconhecimento da rea do projeto, que percorrida de carro e a p pela equipe de campo, tendo o mapa da rea como referncia. No mapa so anotadas informaes referentes a aspectos visveis do territrio (ex. tipologia habitacional, declividade, adensamento, pavimentao, presena de lixo acumulado, esgoto a cu aberto, alagamentos, iluminao etc.), de forma que, no final do primeiro dia de trabalho, possvel traar uma hiptese preliminar de diviso do territrio (identificao das micro-reas). Com base nessa hiptese inicial, a equipe identifica e entrevista (de acordo com um questionrio-roteiro previamente elaborado) informantes-chave. So esses moradores da comunidade, que pela posio social, redes de contato, vivncia etc. possuem um bom conhecimento da rea ex. lderes mas tambm simples membros de associaes, funcionrios dos servios pblicos locais (especialmente agentes de sade), padres, mesde-santo, comercirios, moradores antigos etc. Os informantes-chave fornecem aos entrevistadores informaes, que so rigorosamente referenciadas ao mapa (ex. aqui no tem esgoto exatamente aqui onde? entre a rua A e a rua B). fundamental que a equipe selecione um leque amplo e diferenciado de informantes-chave, de forma a obter um quadro o mais objetivo possvel. A cada dia, os novos informantes so escolhidos na base de indicaes dadas pelos informantes j entrevistados.
10

Com base nas informaes fornecidas pelos informantes-chave, e da observao contnua da rea, a hiptese preliminar de diviso em micro-reas vem sendo gradualmente aperfeioada, ao mesmo tempo em que aprofundado o conhecimento de cada microrea. Diferentemente das pesquisas tradicionais, a informao coletada imediatamente analisada, num processo contnuo de planejamento do trabalho de campo (quem entrevistar e onde) levantamento dos dados anlise e sistematizao dos mesmos. A coleta de dados termina quando novas entrevistas e observaes no acrescentam mais novas informaes quelas j levantadas e sistematizadas. A ltima etapa do DRP representada pela sistematizao dos dados em tabelas onde as linhas so representadas pelos indicadores utilizados, e as colunas pelas micro-reas identificadas. Ou seja, para cada varivel pesquisada so disponibilizadas informaes detalhadas por micro-rea. O conjunto das micro-reas, por sua vez, cobre a totalidade da rea do projeto. Sucessivamente, aos dados que so de cunho basicamente qualitativo so atribudas pontuaes que facilitam a hierarquizao e portanto a priorizao das situaes identificadas. Enfim, os dados so sistematizados em mapas geoprocessados, onde os limites das micro-reas so desenhados acima do mapa da rea, e em bases de dados associadas s prprias microreas. O software GIS (que no precisa ser sofisticado pode se tratar de software livre) permite assim gerar mapas temticos por caracterstica das microreas; as micro-reas mais precrias so facilmente identificadas, e as suas caractersticas so facilmente consultadas nas bases de dados associadas. O DRP assim elaborado pode ser complementado (a) por uma pesquisa quantitativa amostral estratificada (tendo as micro-reas como estratos) para aprofundar temas dificilmente capturveis por mtodos qualitativos (ex. renda, nvel educacional apesar de que estes temas j esto implcitos nos demais dados coletados: por exemplo, evidente que nas piores micro-reas a renda mais baixa, assim como o nvel de educao a esta associado); (b) por grupos focais caso deseje-se aprofundar temas (ex. segurana) ou grupos (ex. jovens, idosos, mulheres) especficos.

Organizao
Normalmente uma equipe de mediamente dez/quinze pessoas treinada no DRP em cinco dias. O treinamento essencialmente prtico, e consiste na aplicao em campo de todas as etapas da metodologia acima descrita, tendo no final do quinto dia um produto completo da rea pesquisada; mediamente, uma rea de 20.000 pessoas pode ser pesquisada em uma semana. Na equipe devem constar supervisores (que devero se tornar gradualmente especialistas no DRP) e pesquisadores, na razo de 1 supervisor a cada cinco/seis pesquisadores. Idealmente, os supervisores sero membros da equipe do projeto (com nvel superior e experincia de pesquisa/ trabalho em assentamentos informais), enquanto os pesquisadores podero ser estagirios. Para agilizar o deslocamento na rea, recomendvel dispor de um veculo tipo Kombi. essencial dispor de uma base fsica no local.
11

Figura 2: micro-reas identificadas no DRP (fonte: consultoria do docente)

Na figura acima, so identificadas, por meio do DRP, as reas de maior vulnerabilidade. Para cada rea disponibilizada uma janela com as informaes do banco de dados.

4. O M &A no Desenho e na Gesto dos Projetos: o Marco Lgico

Um projeto uma sequncia estruturada de atividades, que devem levar soluo de um problema previamente identificado. No desenho do projeto, tal problema transformado num objetivo geral. Para alcanar tal objetivo, necessrio estruturar uma hierarquia organizada de objetivos cada vez menores, que, se forem alcanados em sequncia, levaro a alcanar o objetivo geral. Quando um projeto desenhado, so feitas hipteses do tipo: se fazemos A, ento alcanamos B, que por sua vez nos levar a C, etc. Um projeto uma construo gradual, onde diversas atividades, se forem realizadas com sucesso, levam a obter produtos, que por sua vez , se forem bem utilizados, levam a resultados; enfim, a soma dos resultados, dadas condies favorveis, leva a alcanar o objetivo geral, e portanto a solucionar o problema que tinha originado o projeto. Por exemplo: se o problema identificado a elevada mortalidade infantil, o objetivo ser a reduo da mesma em um percentual definido (meta). Digamos que, para alcanar tal objetivo, eu tenha que obter resultados em termos de diminuio da desnutrio infantil, aumento do aleitamento materno, diminuio da desidratao das crianas com diarria, etc. Agora, para obter tais resultados, precisamos de produtos, quais o aumento da cobertura do programa de sade da famlia, o aumento da mdia das visitas domiciliares s famlias, equipes de sade da famlia mais capacitadas e melhor equipadas, novas unidades de sade, etc. E enfim, para obtermos tais produtos, precisamos executar atividades quais: a seleo e contratao de mais equipes de sade da famlia, a realizao de cursos para as mesmas, a construo de centros de sade, a compra de equipamentos, etc. Desse quadro, fica evidente que somente a realizao das atividades, no leva necessariamente a alcanar o objetivo geral: preciso, para que isso acontea, que seja alcanada uma sequncia de objetivos menores, que, no seu conjunto, levaro a alcanar o objetivo maior. A definio correta dessa sequncia essencial para o desenho do projeto. Agora: um bom desenho
12

condio necessria mas no suficiente para que o projeto tenha sucesso: igualmente importante ter uma boa gesto. O M& A do projeto justamente um instrumento que, atravs de mensuraes, indica se a gesto est sendo boa ou no assim permitindo os ajustes que forem oportunos. S que no podemos medir a gesto em geral precisamos desagregar tal conceito nas suas diversas dimenses, e torn-lo operacional, e portanto mensurvel, justamente por meio de uma sequncia analtica de atividades, produtos e resultados, que podem ser medidos individualmente, e que no seu conjunto fornecem indicaes essenciais para a boa gesto do projeto. Tal sequncia normalmente chamada de Marco Lgico. O Marco Lgico deve ser elaborado no momento do desenho do projeto, e utilizado durante a sua gesto. O arcabouo do Marco Lgico pode ser visualizado na figura abaixo. A figura 3 visualiza a seguinte sequncia: recursos aplicados permitem executar atividades, que por sua vez geram produtos ou servios, que levam a resultados efetivamente vivenciados pelos beneficirios. Se tais resultados se sustentarem ao longo do tempo e se espalharem num universo mais amplo, o projeto ter gerado um impacto, e consequentemente, ter alcanado o seu objetivo geral. Note-se, retomando a discusso acima, que o Monitoramento tem como objetos as Atividades e os Produtos; a Avaliao, os Resultados e os Impactos. Infelizmente, esses resultados e impactos tendem, com frequncia, a ficar de fora do M& A dos projetos; a tendncia se concentrar e achar isso suficiente nas atividades que foram executadas e nos produtos que foram realizados (itens para os quais dados so mais facilmente disponveis). S que esse tipo de informao diz pouco em relao ao efetivo grau de sucesso do projeto, que basicamente medido pelos Resultados.

Portanto, a recomendao que o foco do M & A seja nos Resultados.

Figura 3 arcabouo do Marco Lgico (Banco Mundial 2004)

Resultados

Avaliao

Impactos

5- Melhoria social ampla e de longo prazo

Resultados

4- Benifcios para a clientela dos projetos

Produtos Implementao Monitoramento

3- Produtos e servios gerados

Atividades

2- Tarefas realizadas pelos projetos

Investimentos

1- Recursos Materiais, financeiros e humanos

13

Observe-se que, enquanto as Atividades, os Produtos os Resultados esto dentro do espao de governabilidade do projeto, e portanto dependem basicamente do bom desenho e da boa gesto do mesmo, alcanar o Objetivo Geral depende tambm, pelo menos parcialmente, de condies externas (normalmente explicitadas no Marco Lgico como pressupostos ou hipteses ou riscos) que esto fora do controle do projeto. No exemplo acima, mesmo tendo o projeto de reduo da mortalidade infantil um bom desempenho, esta poderia no cair devido a fatores no controlveis como a piora do quadro macro-econmico (aumento do desemprego, da pobreza), mudanas climticas que afetam a produo agrcola, etc. Para sabermos se, quando, quanto e como foi alcanada a hierarquia de objetivos prevista, precisamos de mensuraes. Estas so dadas por indicadores que so acrescentados ao Marco Lgico, para cada Atividade, Produto, Resultado e Impacto, junto com as fontes dos dados ou mtodos de coleta. Segue um exemplo resumido de estrutura do Marco Lgico com Indicadores e Fontes dos dados, para um projeto de insero de jovens no mercado do trabalho:

exemplo de Marco Lgico com indicadores

Tabela 3
Nvel Descrio Aumenta o acesso qualificado dos jovens ao mercado do trabalho Jovens qualificados para insero no mercado do trabalho Jovens inscritos que concluem os cursos Realizao de cursos para os jovens Centros Tecnolgicos e de Capacitao Profissional implantados Articulao das escolas da rede pblica com os Centros nome do indicador Taxa de desemprego entre os jovens % de egressos trabalhando aps 3 meses da concluso do curso N. de jovens concluintes como % dos inscritos N. e tipo de cursos oferecidos, horas/aula, e n. vagas, respectivamente presenciais e distncia N. de centros implantados (prprios/conveniados) e respectivo n. de vagas N. de escolas da rede pblica articuladas aos Centros fontes Dados PNAD, PED, Ministrio do Trabalho, desagregados para o grupo etrio selecionado; pesquisa de campo amostral Registros administrativos do projeto; pesquisa junto aos egressos Registros administrativos do projeto Registros administrativos do projeto

Impacto

Resultado

Produto

Atividade

Produto

Registros administrativos do projeto Registros administrativos do projeto

Atividade

14

5. O M & A passo a passo

A preparao, execuo e manuteno do M&A de um projeto pode ser sintetizada em nove passos: 1) Esclarecendo os objetivos 2) Selecionando as perguntas 3) Selecionando o desenho 4) Selecionando os indicadores 5) Coletando os dados 6) Analisando os dados 7) Preparando o relatrio final 8) Divulgando os resultados 9) Dando manuteno ao M&A.
(Banco Mundial 2004, Raupp e Reichle 2003)

Descrevemos sinteticamente a seguir os passos acima listados. 1) Esclarecendo os objetivos A definio dos objetivos do M& A de um projeto tem muito a ver com o Marco Lgico. Se no desenho foi elaborado um Marco Lgico de qualidade, o leque de objetivos do M& A j est praticamente definido. Dentro desse leque, podero eventualmente ser definidas prioridades, elementos do projeto que, do ponto de vista do M& A, recebero um cuidado especial. importante que essas definies sejam feitas de forma cooperativa e consensual, envolvendo todos os stakeholders do projeto. tambm importante desagregar os objetivos: para quem? onde? quanto? quando? (Banco Mundial 2004) 2) Selecionando as perguntas melhor ter uma resposta aproximada para a pergunta correta que uma resposta precisa para a pergunta errada John W. Tukey

Uma vez selecionados os objetivos do M& A, estes devem ser transformados em perguntas especficas s quais queremos responder. Por exemplo, para o objetivo melhorar a renda dos beneficirios, perguntar quantos beneficirios melhoraram a sua renda diferente de perguntar em quanto aumentou a renda mdia dos beneficirios?. As perguntas que se quer formular devem ser avaliadas na base dos seguintes critrios: porque essa pergunta relevante? quem est interessado nela? que podemos fazer com os dados da resposta a essa pergunta? (Raupp e Reichle 2003).
15

3) Selecionando o desenho O desenho de M& A define quais dados coletar e como, como analis-los e quais comparaes sero feitas. A credibilidade do desenho est baseada na validade e na confiabilidade dos mtodos propostos. Um mtodo vlido quando utiliza os instrumentos adequados ao objeto que se quer medir (ex.: uma balana adequada para medir o peso, um termmetro para medir a temperatura). E confivel quando reproduz os mesmos resultados em aplicaes repetidos, dadas as mesmas condies. O desenho pode prever um ou mais padres de comparao: Absoluto: resultados vs metas; Cronolgico: depois vs antes (linha de base); ou Longitudinal: sries histricas ao longo do tempo (mesmo assim, a linha de base essencial); Com versus sem projeto: grupo de tratamento vs grupo de controle; aqui o desenho pode ser experimental (tratamento e controle so escolhidos aleatoriamente), ou no (o grupo de controle escolhido em base semelhana com o grupo de tratamento: o caso mais frequente); Normativo: em relao a padres considerados de sucesso em projetos semelhantes
(Raupp e Reichle 2003).

4) Selecionando os indicadores Adotar um novo rigor metodolgico fundamentado em dois princpios: - da ignorncia ideal - saber o que que no vale a pena saber - da acurcia proporcional - reconhecer o grau de acurcia necessrio Robert Chambers Os indicadores permitem efetuar medies que fornecem as respostas s perguntas que formulamos. Duas sugestes so aqui importantes: a) realismo: no adianta construir indicadores sofisticados que impossvel, ou caro ou complicado demais, coletar e analisar; b) economia: igualmente, no adianta prever um nmero grande demais de indicadores, para os quais no haver tempo ou capacidade para uma anlise adequada depois da coleta. melhor ter poucos indicadores, mas relevantes, cujos dados podem ser levantados com relativa facilidade, e investir mais tempo e recursos, depois da coleta, numa anlise aprofundada (atravs de cruzamentos, comparaes, desagregaes etc.), que prever um plano ambicioso com muitos indicadores complexos, que sero coletados com grande esforo, deixando o projeto sem tempo, nem recursos, nem motivao para uma anlise exaustiva.
16

Em sntese, os indicadores escolhidos devem ser C.R.E.A.M.:

Claros (precisos e no ambguos) Relevantes (apropriados ao tema em questo)

Econmicos (disponveis a um custo razovel)

Adequados (devem fornecer uma base satisfatria para avaliao do desempenho)

Monitorveis (passveis de validao independente)
(Banco Mundial 2004)

Os Indicadores qualitativos medem variaes em qualidade, no em quantidade (ex.: condies habitacionais: material reciclado, taipa, madeira, alvenaria...), embora possam ser ordenados em escalas/hierarquia. Medem tambm como e porque aconteceu algo (ou seja: alm do produto, o processo). Esto normalmente associados a mtodos como grupos focais, entrevistas aprofundadas, observao, diagnstico rpido participativo etc. (Banco Mundial 2004). 5) Coletando os dados Existem inmeros mtodos para coletar os dados correspondentes aos indicadores selecionados. A escolha do mtodo depende da natureza do indicador, da acessibilidade aos dados, da disponibilidade de recursos humanos e materiais, do prazo, e de outros fatores circunstancias. Previamente, na hora de definir os indicadores, consideraes sobre o mtodo de coleta de dados devem estar bem presentes. Quando estiverem disponveis dados secundrios relevantes e atualizados, sempre devero ser aproveitados. Entretanto, em muitos casos necessrio gerar dados primrios, diretamente em campo. A no ser que a populao a ser pesquisada seja muito pequena, aconselha-se utilizar amostras. Uma amostra uma parcela da populao a ser pesquisada (que chama-se de universo), selecionada de maneira a ser representativa da mesma. Tal representatividade total somente com amostras aleatrias; mas outros tipos de amostras, a depender das circunstancias, podem ser aceitveis. Os principais tipos de amostra so os seguintes: Randmica ou aleatria simples: todos os indivduos do universo tm igual chance de serem escolhidos portanto, as caractersticas individuais deles tendem a se distribuir homogeneamente na amostra. Randmica estratificada: separando os indivduos em grupos mutuamente exclusivos, dos quais so tiradas amostras aleatrias (ex. de estratos: por gnero, idade, renda, educao, rea geogrfica etc.). Amostras estratificadas tendem a ser maiores (e portanto, mais caras) que amostras no estratificadas.
17

Por matriz: indivduos e indicadores so escolhidos aleatoriamente. De convenincia: so selecionadas todas as pessoas que esto num dado lugar, num dado momento (ex. na fila de um centro de sade: nesse caso, a amostra ser representativa no do universo da populao em geral, mas da clientela daquele centro de sade). Crtica (ou direcionada): selecionando os indivduos que acha-se podem dar a melhor opinio, por exemplo informantes-chave no diagnstico rpido participativo (ver acima).
(Raupp e Reichle 2003)

Descrevemos a seguir os principais mtodos, ou fontes, para coleta de dados. Registros administrativos: trata-se das informaes documentais geradas pelo prprio projeto (ex. atas de reunio, listas de presena, cadastro de participantes a cursos com relativa frequncia e desempenho, etc.). As vantagens de usar registros administrativos decorrem do fato deles serem produzidos rotineiramente, e o custo e o tempo para levantamento serem reduzidos. As desvantagens: podem estar incompletos, no perfeitamente aderentes s perguntas formuladas e aos indicadores escolhidos, e o esforo necessrio para peneirlos e sistematiz-los pode no ser pequeno. (Raupp e Reichle 2003) Observaes: podem ser estruturadas (na base de escalas, fichas, protocolos de observao) ou impressionsticas (anota-se o que acontecer). fundamental capacitar bem os observadores, e dispor de supervisores experientes no mtodo. Sugere-se identificar antecipadamente o que deve ser focado na observao, e preparar uma ficha que facilite o registro dos dados. (Raupp e Reichle 2003) Questionrios: o uso de questionrios tem as seguintes vantagens - permite aplicaes simultneas, pode ser enviado, o respondente tem mais tempo para responder, annimo, uniforme, a anlise mais fcil; e as seguintes desvantagens: pouco flexvel (para explicar ou aprofundar), pessoas podem ter dificuldade em se expressar por escrito, e no h comunicao com os respondentes; precisa analisar e controlar as no respostas. Sugere-se que o questionrio seja curto; que o vocabulrio seja adaptado ao pblico a ser pesquisado; que, antes da sua aplicao, seja decidido como registrar os dados e como analis-los; que cada pergunta seja limitada a uma idia. (Raupp e Reichle 2003) Entrevistas aprofundadas: podem ser estruturadas ou no; individuais ou em grupo. As entrevistas apresentam as seguintes vantagens: elevada interao facilidade de formulao e explicao orais, pouca dependncia da leitura, boa comunicao, honestidade e profundidade, observao de atitudes corporais e vocais, flexibilidade para esclarecimentos, taxa de retorno elevada. Desvantagens: dependem da habilidade do entrevistador, necessitam de tempo para coleta e processamento dos dados, apresentam dificuldades de resumo, anlise e interpretao. (Raupp e Reichle 2003)
18

Grupos focais: so utilizados para aprofundar, junto a grupos de beneficirios, aspectos especficos relevantes para o projeto; utilizam-se mediamente grupos de 10-12 pessoas, com caractersticas homogneas, familiarizadas com uma situao, numa discusso semi-estruturada de, normalmente duas horas. O moderador resume periodicamente os temas da discusso e busca criar consenso sobre as concluses. (Raupp e Reichle 2003) Estudos de caso: um estudo de caso um mtodo para se aprender sobre uma situao complexa. baseado num entendimento abrangente e/ou aprofundado da situao. Normalmente, usa dados qualitativos para melhor interpretar os quantitativos, dando nfase observao participativa, grupos focais, entrevistas abertas etc. (ou seja, a mtodos menos estruturados). (Banco Mundial 2004) 6) Analisando os dados A anlise um processo de reflexo sobre o que os dados nos apontam. A sequncia normalmente adotada para estruturar a anlise a seguinte: (i) quais so as nossas perguntas; (ii) anlise descritiva: pontos mais relevantes, tendncias, aspectos inesperados, relaes e comparaes entre dados; (iii) inferncias, explicaes; (iv) concluses e sugestes, eventuais dados adicionais. (Raupp e Reichle 2003) 7) Preparando o relatrio final O relatrio final do M& A deve comunicar audincia o que essencial conhecer do desempenho do projeto. Ele deve ser: conciso; bem redigido; impecavelmente organizado; apresentado no momento oportuno. A estrutura sugerida do relatrio final de M& A a seguinte: Capa ndice Siglas Resumo executivo (finalidade, metodologia, resultados)
19

Seo 1 Antecedentes: Contexto Descrio do projeto Seo 2 Metodologia de M&A Desenho (bases de comparao e indicadores) Plano (coleta, mtodos de anlise, instrumentos, discusso sobre validade e confiabilidade) Seo 3 Resultados Tabelas, grficos, figuras, mapas etc., e discusso de cada um; descrio, comparaes, resultados. Seo 4 Concluso Resumo apontando sucessos e falhas do projeto; sugestes Referncias (pessoas, documentos etc.) Anexos (ex. questionrios utilizados)
(Raupp e Reichle 2003)

8) Divulgando os resultados A divulgao do resultados do M&A um aspecto fundamental do mesmo. Ter um relatrio e no divulg-los nas sedes apropriadas, onde as decises podem ser tomadas, invalidaria todo o esforo feito at agora. Uma estratgia adequada de divulgao deve ser calibrada s diversas audincias interessadas ao projeto (gestores, polticos, financiadores, beneficirios, pblico em geral etc.). Desde a fase de planejamento do M&A, importante reconhecer as diversas audincias, os seus interesses, construir consenso e prever a estratgia de divulgao. (Raupp e Reichle 2003) A divulgao dos resultados do M& A visa o seguinte: Atender s demandas por responsabilizao (accountability); Ajudar a justificar solicitaes de recursos; Ajudar a tomar decises operacionais sobre a alocao de recursos; Favorecer o aprofundamento dos problemas de desempenho e das correes; Motivar as equipes; Monitorar o desempenho de parceiros, beneficiados etc.; Fornecer dados para outros estudos; Ajudar a fornecer servios mais eficientemente; Apoiar o planejamento estratgico e de longo prazo; Estabelecer uma comunicao transparente com a sociedade, gerando confiana.
(Banco Mundial 2004)

20

9) Dando manuteno ao M&A A sustentabilidade dos procedimentos implantados de M& A no automtica. Aes so necessrias para garantir a manuteno deles: (i) Continuidade da demanda: resultados continuam sendo solicitados pelo governo, sociedade, financiadores etc.; as equipes querem evidenciar o seu desempenho. (ii) Papis e responsabilidades so claramente estabelecidos: h linhas organizacionais formais hierrquicas para a coleta, anlise e relato dos dados; uma ligao formal entre planejamento/finanas e rgos setoriais; todos os nveis demandam informaes, nenhum atua s como filtro. (iii) H garantia que a informao confivel: a informao transparente e sujeita a auditorias independentes. (iv) H responsabilizao (accountability): as organizaes civis, a mdia, a sociedade cobram resultados; o fracasso no recompensado, os problemas so reconhecidos e enfrentados. (v) H massa crtica de capacidades: preparo tcnico e gerencial das equipes; sistemas de coleta de dados so institucionalizados; h priorizao de recursos financeiros de acordo com o desempenho; h acmulo de experincia institucional. (vi) Existe uma estrutura de incentivos: o sucesso reconhecido e recompensado, os problemas detectados so enfrentados, o mensageiro no punido, o aprendizado individual e organizacional valorizado.

6. O Modelo de M & A proposto pelo Ministrio das Cidades

O Ministrio da Cidades tem uma produo significativa de material sobre M& A de projetos de Habitao de Interesse Social e urbanizao de favelas. Nessa seo apresentamos uma sntese dos principais conceitos, diretrizes metodolgicas, dimenses e indicadores do M& A. Escopo do M&A Do ponto de vista do gestor, um projeto representa normalmente uma pea de um conjunto mais amplo de iniciativas, dentro poltica habitacional seja municipal, estadual ou federal. Consequentemente, importante que o M& A do projeto esteja articulado com um acompanhamento mais macro em nvel municipal e/ou estadual. Isso significa que, idealmente, indicadores em nvel municipal devem ser elaborados e alimentados em relao a aspectos quais:
21

a evoluo do dficit habitacional quantitativo (necessidades de novas habitaes) e qualitativo (habitaes existentes mas precrias necessitando de melhorias); a evoluo do mercado das terras: disponibilidade de vazios urbanos para novas habitaes de interesse social e preveno de novas invases (seja atravs da oferta de lotes semi-urbanizados ou da produo pblica e/ou privada de novas habitaes), e relativos preos; impactos e ameaas ao meio ambiente derivantes da situao urbana atual e projetada; evoluo da arrecadao de tributos municipais (IPTU e ISS) versus a evoluo do mercado imobilirio. O acompanhamento desses e eventualmente, outros indicadores relevantes, importante para retroalimentar as polticas pblicas de habitao de interesse social e urbanizao de favelas, inclusive orientando a elaborao de novos projetos e/ou o ajuste daqueles j existentes. Assim, a articulao, no M& A, entre o nvel macro das polticas pblicas e o nvel micro dos projetos pode ser visualizada da forma seguinte.

Figura 4 Escopo da avaliao (Ministrio das Cidades s.d., p.5)

Avaliao

da poltica

Do programa

da ps-Ocupao

Concepo Diretrizes Pressupostos

Desempenho Resultados Impactos

Resultados Impactos satisfao

Modo de regulao

A avaliao da Poltica deve, portanto, se substanciar na definio de modos de regulao que, por via normativa, influenciam aspectos quais o os preos das terras, os padres habitacionais, a produo de habitaes, o licenciamento ambiental, a tributao referente a imveis e atividades econmicas em mbito urbano, etc. Por sua vez, para tal avaliao tambm contribui o M&A dos programas e projetos individualmente considerados, a ser focada sobre o desempenho, resultados e impactos dos mesmos, assim como na satisfao dos beneficirios. O ciclo avaliativo a ser configurado , ento, o seguinte.
22

Figura 5 Ciclo de avaliao (Ministrio das Cidades s.d., p.6)

Ciclo Avaliativo

Avaliao de implementao para execuo Monitoramento das aes Avaliao ex-ante Avaliao de resultados Avaliao ps-execuo Avaliao de marco zero Avaliao de impacto

Observe-se que a avaliao da ps-ocupao situa-se entre a avaliao de resultados e a avaliao de impactos. O M&A dos projetos de urbanizao de favelas com foco na ps-ocupao No modelo proposto pelo Ministrios das Cidades, o foco do M& A na ps-ocupao. Tal viso coincide com os princpios metodolgicos gerais acima apresentados, onde o M& A deve ser focado nos Resultados, ou seja, nos benefcios efetivamente vivenciados pelos moradores das comunidades atendidas. Dentro de uma viso da urbanizao de favelas como um processo integrado, fsico e social, voltado efetiva insero da favela na cidade formal, evidentemente tais benefcios no se esgotam na produo de habitaes e infra-estrutura urbana, mas abrangem um leque mais amplo de dimenses ligadas ao bem-estar dos moradores. Assim, o Ministrio da Cidade prope que o M& A esteja estruturado em trs eixos: moradia, insero urbana e incluso social, os quais contemplam diferentes dimenses, conforme visualizado na figura seguinte.

23

Figura 6 Matriz avaliativa (Ministrio das Cidades s.d., p.10)

Matriz avaliativa

Eixo 1 Moradia e Insero Urbana

Eixo 2 Incluso social

Dimenses
Infra estrutura bsica Mobilidade Urbana Qualidade Ambiental Moradia Regularizao Fundiria Controle Urbanstico

Dimenses
Acesso a servios sociais pblicos Cidadania e Pariticipao Insero no mundo do traballho

Eixo 3 Satisfao do Morador

Dimenses
Moradias e servios urbanos Vida social e comunitria

Sugere-se consultar, na Bibliografia Complementar desse curso, a listagem dos indicadores e relativos descritores (trata-se do conceito do indicador operacionalizado para mensurao e clculo) e meios de verificao (fontes dos dados), para cada eixo e dimenso, em Ministrio das Cidades (s.d.), pp. 12-20. Outro modelo de indicadores para M& A de projetos de urbanizao de favelas que importante aqui mencionar aquele desenvolvido e implementado pela Prefeitura de Santo Andr (SP). Nesse caso, o foco est na equiparao da qualidade dos servios, e da sua manuteno, da favela ps-urbanizao, com o restante da cidade formal. Para aprofundamento desse tema, sugere-se a leitura de Denaldi et al (s.d.) na Bibliografia Complementar desse curso.

24

Anexo
Dois cases de M&A em projetos de urbanizao de favelas a construo das linhas de base nos Projetos Dias Melhores (Bahia) e Prometrpole (Pernambuco). Nesse anexo queremos descrever brevemente dois casos, claramente opostos, de como vem sendo construda a linha de base em projetos, ambos financiados pelo Banco Mundial com contrapartida estadual (e, no Prometrpole, tambm dos municpios de Recife e Olinda), de urbanizao de favelas. O foco desses cases nos procedimentos que foram utilizados, e na criatividade que foi preciso utilizar, sem perder o rigor metodolgico, para solucionar os problemas que foram encontrados. 1. Projeto Dias Melhores, Salvador, Bahia. O Dias Melhores (ex-Viver Melhor) foi selecionado pelo Banco Mundial para fazer parte do grupo restrito de projetos que, no mundo inteiro, participam da iniciativa DIME (Development Impact Evaluation Avaliao do Impacto sobre Desenvolvimento). Como tal, o Dias Melhores recebe uma avaliao de impacto bem mais aprofundada e rigorosa do que a mdia dos projetos financiados pelo Banco. O Dias Melhores um projeto com expressiva componente social 25% do seu oramento total (de US$ 82 milhes) alocado para aes sociais em reas de assentamentos precrios. Por isso, para planejamento das intervenes do projeto, foram identificados dois tipos de reas elegveis para receber intervenes: as PIF (Poligonais de Interveno Fsica), que so beneficiadas por aes fsicas e sociais; e, ao redor das PIF, as PIS (Poligonais de Interveno Social), que recebero somente aes sociais. As PIF e PIS foram identificadas em base a Mapas de Vulnerabilidade Social geoprocessados elaborados pelo InfoRMS/Conder. A avaliao prevista visa mensurar o impacto do projeto em ambos os tipos de poligonais, e compar-los entre si assim como com um grupo de controle (onda no h intervenes do projeto). Em final de 2007 iniciou o levantamento da linha de base, iniciando pelo bairro de Pau da Lima, onde constam vrias PIF e uma extensa PIS. O primeiro passo foi a contagem de domiclios nas PIF, onde se constatou um nmero quase duplo de domiclios em relao aos dados usados na preparao do projeto (que eram os dados do Censo IBGE 2000). Este aumento dramtico de populao foi devido rpida verticalizao da regio, e nos obrigou a uma redefinio das metas e portanto das PIF. Foi elaborado e testado um questionrio bastante exaustivo, e para garantir o rigor metodolgico da pesquisa, foi celebrado um convnio com a Superintendncia de Estudos Econmicos e Sociais da Bahia (SEI), rgo ligado Secretaria de Planejamento do Estado,
25

que tem ampla experincia de conduo de pesquisas de campo. A SEI indicou, para contratao, pesquisadores e supervisores profissionais, e alocou um dos seus tcnicos para dirigir a pesquisa de campo. Em aproximadamente quatro meses foram aplicados mais de 6000 questionrios, de forma censitria, nas PIF. O fato da pesquisa das PIF ter sido feita de forma censitria se deu por finalidade de cadastro de fato, para a linha de base da avaliao de impacto, a pesquisa poderia ter sido amostral. Na medida em que os dados eram coletados, os mesmos eram digitados num aplicativo on-line desenvolvido pelo InfoRMS/Conder. Esto previstas tambm pesquisas qualitativas e grupos focais, que ainda no foram aplicados. Enquanto a pesquisa nas PIF foi censitria, na PIS ela teria que ser amostral, devido ao grande contingente populacional da mesma (mais de 20.000 famlias). Tambm no grupo de controle (uma rea fora da abrangncia do projeto, mas com caractersticas identificadas como semelhantes quelas de Pau da Lima, com base na comparao dos dados IBGE dos setores censitrios) a pesquisa seria amostral. Para definio da amostra foi definido o procedimento seguinte: ao mapa da PIS obtido atravs de restituio fotogramtrica sobreposto, num SIG (sistema de informaes geogrficas), um reticulado (grid) bastante adensado, de maneira que em nenhuma das clulas que o compem, estivessem presentes mais do que 50 habitaes. Sucessivamente, tais clulas so sorteadas, at alcanar o tamanho total previsto da amostra. Nas clulas sorteadas, feito em campo um ajuste dos limites, para definir quais das habitaes que esto no limite de cada clula estariam respectivamente dentro ou fora da mesma. Em seguida, dentro das clulas selecionadas feita a contagem dos domiclios (as habitaes no necessariamente correspondem aos domiclios), e alguns destes so selecionados aleatoriamente e marcados para os seus ocupantes serem entrevistados. Simulaes foram efetuadas para garantir a significncia e a potncia da amostra, dados diferentes tamanhos previstos da mesma. Os dados at agora coletados esto sendo analisados num Plano de Apurao, onde so elaboradas distribuies de frequncia basicamente para observao das no-respostas em cada varivel utilizada e preciso das estimativas. Atualmente a construo da linha de base est iniciando em outros bairros de Salvador, e j foi concluda numa pequena PIF de Feira de Santana. O plano de M& A prev que as pesquisas sejam repetidas, de forma somente amostral, um ano, 5 anos e 9 anos aps a concluso do projeto, de forma que possam ser avaliados os efeitos de longo prazo das intervenes realizadas e a sua sustentabilidade.

26

2. Projeto Prometrpole, Banco Mundial, Pernambuco. Linha de base. O Prometrpole um projeto de urbanizao de favelas, orado em US$ 84 milhes, que abrange parte dos assentamentos precrios da bacia do Rio Beberibe, nos municpios de Recife e Olinda. Neste projeto est prevista uma avaliao de tipo tradicional, no de impacto como no Dias Melhores. Mesmo assim, h necessidade de informaes slidas para poder mensurar se o projeto alcanou os seus objetivos e se houve efetiva melhora nas condies de vida das comunidades atendidas. A linha de base no foi construda no incio do projeto. Tivemos portanto que enfrentar um problema substancial sem linha de base, muito difcil estimar se e quanto as condies de vida das pessoas melhoraram. Precisou de bastante criatividade para solucionar este problema. Buscamos portanto os cadastros de populao realizados pelas empresas que tinham sido contratadas para elaborar os projetos executivos das obras a serem executadas - os dados foram coletados pelos tcnicos (principalmente assistentes sociais) dessas empresas, ou seja, pessoas com experincia prvia de pesquisa mas no propriamente pesquisadores profissionais. Tais dados foram coletados entre 2003 e 2006, enquanto o trabalho de M& A iniciou-se em meados de 2007. Redefinimos os indicadores do Marco Lgico do projeto em base s variveis dos cadastros. O problema principal foi que as reas originariamente cadastradas para receberem intervenes tinham sido drasticamente reduzidas devido, principalmente, desvalorizao do dlar frente ao real. Entretanto, os dados cadastrais armazenados em bancos de dados estavam referenciados s reas totais originariamente previstas. Para solucionar este problema, utilizamos os seguintes procedimentos: primeiro, recortamos nos mapas digitais das reas a serem originariamente beneficiadas, as parcelas que foram mantidas para receberem intervenes; nessas parcelas selecionamos os endereos ou outras referncias geogrficas adotadas nos cadastros; a seguir, foram aplicados filtros nas bases de dados para selecionar somente as famlias residentes nas reas a serem beneficiadas. Com essas novas bases de dados prontas, elaboramos distribuies de frequncia das principais variveis, que constituem a linha de base do projeto. Apesar de termos utilizados mtodos relativamente heterodoxos, conseguimos uma linha de base de qualidade razovel. Daqui para frente, na medida em que as intervenes em andamento vm sendo concludas, em cada rea ser aplicado novamente o questionrio que foi utilizado originariamente no cadastro, tornando assim possvel a comparao ex-ante vs ex-post. Desta comparao, teremos indicaes importantes em relao aos resultados do projeto sobre o bem-estar das famlias que foram atendidas.
27

Referncias Bibliogrficas
(As referncias marcadas com * esto aqui disponveis on-line, na Bibliografia Complementar) Banco Mundial, Curso de Monitoramento e Avaliao, 3-4/02/2004, Braslia (mimeo). Cupal, Franoise, Results-based Participatory Monitoring and Evaluation, CIDA (Canadian Agency for International Development), Ottawa 2001. *Denaldi, Rosana; Ervilha, Telma Fernandes; Santos, Clia Domingos dos, Avaliao e monitoramento dos servios de infraestrutura em favelas urbanizadas em Santo Andr, mimeo, s.d. Lucas H., Evans D., Pasteur K. e Lloyd R., Research on the current state of PRS monitoring systems, IDS Discussion Paper 382, Brighton 2004. *Ministrio das Cidades, Matriz de indicadores para avaliao do ps-ocupao dos projetos piloto de investimento - interveno em favelas, Braslia DF, s.d. *Notarbartolo di Villarosa F., A Estimativa Rpida e A Diviso do Territrio em Distritos Sanitrios: Manual de Instrues, Srie Desenvolvimento de Servios de Sade 11, OPAS, Braslia, 1993. (*disponvel on-line: Manual DRP) Raupp, Magdala e Reichle, Adriana, Avaliao: ferramenta para melhores projetos, EDUNISC, Santa Cruz do Sul (RS), 2003. USDOL - US Department of Labor, Programa Internacional do Trabalho Infantil, Washington DC 2004.

28