Apostila Planejamento Monitoramento e Avaliacao de Projeto Sociais e Slides

Planejamento, Monitoramento e Avaliao de Projetos Sociais.
Prefeitura Municipal de Curitiba Instituto Municipal de Administrao Pblica IMAP rea: Desenvolvimento Social
Luciano Ducci Prefeito Municipal
Carlos Homero Giacomini Presidente Maria do Carmo A. de Oliveira Superintendente Elaine Rossi Ribeiro Diretora da EAP Elaborao: Lycia Tramujas Vasconcellos Neumann
Bahia. Secretaria de Planejamento Sistemtica de monitoramento e avaliao em programas e projetos governamentais. Salvador: SEPLAN/SGA, 2005. 66p. il. 1. Programa governamental Sistematizao. 2. Metodologia. 3. Tcnica de trabalho. I. Ttulo. CDU: 001.81(061)
Junho de 2006
Governador do Estado da Bahia
Paulo Ganem Souto

Secretaria do Planejamento
Armando Avena
Secretaria da Agricultura, Irrigao e Reforma Agrria
Pedro Barbosa de Deus

Secretaria de Combate a Pobreza e Desigualdades Sociais
Pe. Clodoveo Piaza S. J.
SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS
APRESENTAO

Investir na institucionalizao do processo de monitoramento e avaliao (M&A) constitui um imperativo bsico para a conquista da excelncia dos servios prestados pelo Estado. O Governo da Bahia encontra-se engajado nesse movimento internacional e com a criao da Superintendncia de Gesto e Avaliao (SGA), no mbito da Secretaria do Planejamento (Seplan), manifestou a vontade poltica de disseminar a cultura da avaliao nas Secretarias e rgos do Estado, responsveis pelo planejamento e operacionalizao das polticas pblicas. O documento que se apresenta, constitui um referencial para ser utilizado como catalisador dos diversos instrumentos e prticas de monitoramento e avaliao utilizados pelos diferentes rgos gestores da administrao pblica estadual e est contem-
APRESENTAO
plado no Programa de Monitoramento e Avaliao, desenvolvido pela Seplan/SGA, tendo como um dos objetivos a criao de mecanismos essenciais para a gesto eficaz de programas e projetos estratgicos de Governo. A Sistemtica de Monitoramento e Avaliao , portanto, uma das ferramentas que dever ser utilizada para a medio do grau de eficcia, efetividade e eficincia das intervenes do Estado na sociedade.
SISTEMTICA SISTEMTICA DE MONITORAMENTO DE MONITORAMENTO E AVALIAO E AVALIAO EM PROGRAMAS EM PROGRAMAS E PROJETOS E PROJETOS GOVERNAMENTAIS GOVERNAMENTAIS
dos, subsidiando a tomada de deciso para o aperfeioamento do programa ou do projeto ao longo de sua execuo, com a descrio da seqncia de eventos relacionados, conectando o problema ou a oportunidade diagnosticada, com os resultados esperados. A ferramenta permite visualizar e compreender como os investimentos realizados na gerao de produtos (bens ou servios) podem contribuir para alcanar os objetivos planejados, servindo de base para a criao de procedimentos e processos de monitoramento e avaliao. O resultado esperado ser a criao de um sistema de monitoramento e avaliao mantido e alimentado por todas as Secretarias do Estado, constituindo um poderoso instrumento de planejamento. Espera-se que esta semente encontre um terreno frtil para sua germinao, produzindo bons frutos: a melhoria do nvel de excelncia dos servios pblicos.
Armando Avena SECRETARIA

DO
PLANEJAMENTO
SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 6
APRESENTAO
Oferece ainda aos clientes da avaliao, um mapa dos caminhos a serem persegui-
SUMRIO

09 O processo de criao da sistemtica 11 A linguagem do monitoramento e avaliao 15 Aspectos conceituais 17 O processo em 12 passos 19 PASSO 1: Definio do programa ou projeto a ser avaliado 20 PASSO 2: Formao de equipe mista de avaliao e elaborao do plano de trabalho 22 PASSO 3: Identificao e entrevista com os potenciais clientes da avaliao 26 PASSO 4: Elaborao do Modelo Lgico de Gesto e Anlise de Avaliabilidade do Programa 28 PASSO 5: Anlise de Avaliabilidade
SUMRIO
29 PASSO 6: Definio do escopo da avaliao 32 PASSO 7: Anlise dos instrumentos e registros j disponveis do Programa 33 PASSO 8: Definio dos indicadores de monitoramento e avaliao a serem utilizados
37 PASSO 9: Definio e criao dos instrumentos para coleta de dados 40 PASSO 10: Coleta dos dados 42 PASSO 11: Tabulao e anlise dos dados coletados 46 PASSO 12: Elaborao e disseminao do Relatrio de Avaliao 47 Estrutura modelo do relatrio de avaliao 48 Concluso 49 Glossrio 53 Referncias Bibliogrficas
Anexos 54 ANEXO I Modelo Lgico de Gesto do Programa Cabra Forte 59 ANEXO II Questionrio para levantamento de informaes 62 ANEXO III Instrumento usado para anlise dos dados coletados sobre o Programa Cabra Forte
SUMRIO
O PROCESSO DE CRIAO
O PROCESSO DE CRIAO DA SISTEMTICA

A construo da Sistemtica de Monitoramento e Avaliao em Programas e Projetos Governamentais teve como principio bsico a premissa de que o processo avaliativo de polticas pblicas permite aperfeioar a gesto das aes desenvolvidas por um governo para atender de modo eficiente e eficaz as demandas da sociedade e constitui uma ferramenta estratgica que permite conhecer, entender, decidir e planejar de modo aprimorado com o aprendizado do passado e do presente. O Programa de Monitoramento e Avaliao que vem sendo conduzido pela Secretaria do Planejamento, atravs da Superintendncia de Gesto e Avaliao, busca assegurar a eficcia das polticas pblicas, seus planos, programas, projetos e atividades e o bom uso dos recursos sob responsabilidade das organizaes. O Programa est estruturado em quatro estratgias que se complementam e vm gerando um conjunto diversificado de processos e produtos. A estratgia de formao visa sensibilizar e capacitar servidores estaduais para atuarem em monitoramento e avaliao de programas e projetos governamentais e a divulgao de experincias exitosas. A estratgia de informao tem por objetivo produzir, analisar e veicular informaes confiveis e tempestivas para subsidiar a tomada de deciso, a correo de procedimentos e a retroalimentao do processo de planejamento. Na estratgia de articulao/comunicao est sendo implementado um trabalho em parceria com as Secretarias e rgos estaduais, visando aperfeioar o formato e o fluxo das informaes das aes de Governo. Por fim, a estratgia de Planejamento, visa estimular boas prticas de planejamento focadas em resultado e resulta na construo das matrizes lgicas, onde esto explicitados os objetivos, atividades, produtos, resultados e impactos, com a definio dos respectivos indicadores para cada secretaria. A implementao destas estratgias j apresenta melhorias na qualidade da programao, execuo, monitoramento e avaliao das aes governamentais, contribuindo para uma maior racionalizao no ciclo de gesto do Estado.
A construo e implementao de uma sistemtica de monitoramento e avaliao em programas e projetos governamentais um dos componentes do Programa de M&A e apresenta-se como um pr-requisito bsico para o aperfeioamento do processo de gesto e para a criao das condies da retroalimentao da programao de Governo. Um outro determinante para a elaborao deste documento foi o compromisso em preencher uma lacuna na gesto pblica estadual, face inexistncia de uma cultura avaliativa e de uma sistemtica que oriente metodologicamente o processo de monitoramento e avaliao para a otimizao na utilizao dos recursos pblicos e na maximizao dos resultados. O documento foi construdo por uma equipe composta por representantes de diversas Secretarias, envolvidas na implementao do Programa selecionado, denominada Matricial, liderada pela Seplan/SGA, contando ainda com o apoio da Fundao Luis Eduardo Magalhes (FLEM). A adoo desta Sistemtica possibilitou, de um lado, produzir e testar metodologias e instrumentos de M&A capazes de medir o grau de eficincia, eficcia e efetividade das intervenes governamentais e, de outro lado, capacitar tcnicos da SGA e demais Secretarias e entidades responsveis pela concepo e implementao do Programa Cabra Forte, programa escolhido para testar a ferramenta da Sistemtica. Resultado de um trabalho prtico e participativo, a partir de discusses e contribuies de diversos profissionais do setor pblico estadual, em oficinas e reunies, foi possibilitado um aprendizado consistente sobre o assunto e a construo dos passos da metodologia. A elaborao do Modelo Lgico de Gesto de Programas e Projetos Governamentais (MLGP), um dos passos mais importantes para a utilizao desta Sistemtica, na medida que possibilita o compartilhamento de informaes sobre o real funcionamento de uma interveno governamental, atravs da explicitao das atividades planejadas e dos resultados esperados, demonstrando as premissas e os objetivos do programa a ser monitorado e avaliado. importante registrar que este documento constitui-se em um primeiro esforo de construo metodolgica para nortear as prticas de M&A no Estado, contribuindo para a disseminao dos aspectos tericos e processuais na gesto dos programas e projetos governamentais.
10
O PROCESSO DE CRIAO
A LINGUAGEM DO MONITORAMENTO E AVALIAO

Apesar da crescente disseminao de trabalhos de monitoramento e avaliao em instituies pblicas e privadas do Brasil e do mundo, ainda encontramos muito dissenso sobre alguns dos seus principais conceitos. Assim, torna-se imprescindvel na elaborao de qualquer sistemtica de monitoramento e avaliao, uma definio prvia dos conceitos a serem adotados ao longo do trabalho. No incio deste projeto foi realizada uma oficina de Alinhamento Conceitual onde foram apresentadas definies dos termos monitoramento e avaliao adotados por organizaes nacionais e internacionais. A partir de uma sntese dessas definies, foi elaborado o quadro abaixo que ressalta as diferenas entre os dois instrumentos: Monitoramento
Atividade de gesto interna e contnua. Acontece durante a implementao do programa ou projeto. Compara o que est sendo realizado com o que foi planejado.
Avaliao
Atividade interna ou externa. Pode acontecer antes, durante ou depois da implementao de um programa ou projeto. Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critrios pr-estabelecidos, tais como: eficcia, eficincia, efetividade, sustentabilidade, dentre outros.
Foram tambm analisados diferentes tipos de avaliao e seus objetivos, ficando ento definido que a Sistemtica aqui apresentada ser instrumento para a realizao de avaliaes com as seguintes caractersticas: Interna (Internal Evaluation) conduzida por membros das organizaes associadas ao programa, projeto ou objeto que est sendo avaliado.
11
Formativa (Formative Evaluation) utilizada durante a implementao de um programa ou projeto, para fornecer informaes que permitam o seu aprimoramento. Avaliaes Formativas so usadas para dar um retorno s equipes tcnicas sobre os componentes do programa/projeto que esto funcionando e aqueles que precisam ser modificados. De Programas ou Projetos (Program Evaluation) utilizada para determinar se os objetivos, formato e resultados do programa ou projeto esto adequados, assim como seu grau de eficincia, eficcia e efetividade na aplicao dos recursos. Dentro do ciclo governamental de criao e execuo de polticas e programas, esta Sistemtica visa realizao de avaliaes de processo e resultados de programas em fase de implementao, conforme demonstrado na figura a seguir:
A Avaliao no Ciclo das Polticas Pblicas

Formato Estratgico da Poltica Formulao do Programa Incio da operacionalizao Implementao
Reformulao, expanso, reduo, encerramento
Avaliao das necessidades/ questes prioritrias 12
Avaliao prvia
Avaliao de processo
Avaliao de resultados
Avaliao final
Avaliaes de processo e resultados podem acontecer simultaneamente, complementando-se na funo de orientar as equipes gestoras para maior compreenso do programa, seu funcionamento e seus resultados junto ao pblico-alvo. A avaliao de processo visa determinar o grau em que o programa est operando conforme planejado. Este tipo de avaliao tem como objetivo entender o funcionamento do programa a partir da anlise do que ele faz e de quem so seus beneficirios para, assim, aprimorar suas aes. A avaliao de processo tambm ajuda na identificao dos elementos essenciais para o melhor desempenho do programa em termos de produtos, resultados e impactos. Em geral, responde a perguntas em duas categorias cobertura e processo. Cobertura: analisa o alcance do programa e as caractersticas dos beneficirios. Processo: analisa a consistncia do programa e a qualidade de sua implementao.
Exemplos de Perguntas Avaliativas de Processo

Quanto cobertura: Quais so as principais caractersticas dos participantes? Estamos atendendo quem deveramos atender? Em qual proporo estamos conseguindo atender aqueles que nos procuram? Quanto ao processo de implementao do programa: As atividades esto acontecendo conforme planejado? Quais so os pontos fortes e fracos das estratgias e atividades do programa? Como os diferentes atores percebem o programa?
13
A avaliao de resultados analisa em que grau o programa vem produzindo os benefcios e transformaes a que se prope. As atividades de um programa produzem trs tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact). Atividades: procedimentos do programa que so mobilizados visando obteno dos efeitos desejados (como o treinamento de produtores, perfurao de poos, etc.). Produtos: efeitos imediatos de cada atividade do programa (como o nmero de pessoas capacitadas, aulas dadas, materiais produzidos, etc.). Resultados: impactos de curto prazo, resultado direto do programa nos seus beneficirios (normalmente referem-se a mudanas de conhecimento, habilidades, comportamento e valores). Impactos: benefcios e transformaes de mdio e longo prazo para os participantes e beneficirios indiretos do programa (suas famlias e comunidades).
Exemplos de Perguntas Avaliativas de Resultado

Quanto aos produtos: Estamos fazendo o que dissemos que amos fazer? As metas esto sendo cumpridas? Se no, por que no? Quanto aos resultados: Estamos fazendo a diferena que planejamos fazer? Que efeitos o programa tem sobre os beneficirios diretos e indiretos? Quanto aos impactos: O programa causou os impactos esperados? Que grandes transformaes o programa provocou na vida de seus beneficirios?
14
ASPECTOS CONCEITUAIS

A metodologia utilizada nesta Sistemtica de Monitoramento e Avaliao baseiase em alguns conceitos, princpios e prticas mundialmente adotados por instituies e profissionais da rea. Trs foram os principais princpios norteadores deste trabalho: 1. A avaliao deve ser um instrumento de gesto, desde a sua elaborao at o futuro uso de seus resultados. 2. O valor da avaliao est na sua utilidade, na sua capacidade de atender s necessidades de informao de seus usurios. 3. O processo de avaliao deve ser construdo e implementado de maneira compartilhada pelos avaliadores com a equipe tcnica executora do programa. Estes princpios baseiam-se em conceitos de Michael Quinn Patton, ex-presidente da Associao Americana de Avaliao (American Evaluation Association). Em sua obra Avaliao com Foco na Utilizao (Utilization-focused Evaluation), Patton refora a idia de que avaliaes deveriam ser julgadas pela sua utilidade e real uso. Visando garantir esta utilidade, Patton defende a prvia identificao e engajamento dos usurios da avaliao, pois, segundo ele, mais provvel que os potenciais clientes da avaliao a utilizem se eles compreenderem e se apropriarem do processo de avaliao e seus resultados2.
2
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text. Londres: Sage Publications.
15
OBJETIVOS
A Sistemtica de Monitoramento e Avaliao tem como objetivos: 1. Proporcionar avaliaes peridicas do desempenho dos programas, instrumentalizando as equipes do Governo na gesto de recursos e obteno de resultados mais efetivos. 2. Incorporar a atividade de monitoramento e avaliao como um instrumento de rotina em programas governamentais.
Para estar apta a coordenar as atividades, a equipe Matricial deve ser capacitada em temas como: Os mitos sobre avaliao; Os principais conceitos e tipos de avaliao; A lgica e os valores da avaliao; A avaliao com foco na utilizao seus passos e desafios; Os princpios da avaliao participativa; A relao entre polticas, programas e projetos; A anlise de avaliabilidade; O modelo lgico de gesto do programa sua funo e seus componentes.
16
ASPECTO CONCEITUAIS
17
ASSOS P 2 1 M E O O PROCESS

gia uma metodolo o a li a v to e A 3 permite onitoramen M e d a c Governo . Ela ti o d s m co te gi is t S ra A jetos est aes governarogramas e pro as p d o m h e n a e p ad m lic se bre o de para ser ap mada de informaes so e d a ic bsidiando a to d su , ri o e p o cu e x n e te a ob a da nto da sua do na melhori o aprimorame an o lt d n su ia re ic , p m ro si p mentais, cerias e, as projetos e par s vo o n a to cional. deciso quan ttico e opera , artir da co gi t ra st e eis s 12 passos a p o id fin e d m ra gesto nos nv tica, fo o desta Sistem a lic ap a ar lit ci e. Para fa ama Cabra Fort gr ro P o m co to vivida experincia-pilo
A Sistemtica aqui apresentada pode ser aplicada tanto a programas quanto a projetos governamentais. Neste roteiro, o termo programa usado de maneira generalizada, representando programas e projetos.
18
O PROCESSO EM 12 PASSOS
PASSO 1:
Definio do programa ou projeto a ser avaliado

O processo de avaliao de um programa complexo e exige bastante dedicao no s dos avaliadores, mas tambm da equipe gestora. Por isso, a deciso de avaliar determinado programa deve ser tomada a partir do comprometimento de todos os envolvidos na sua execuo. A definio de critrios tcnicos para auxiliar na deciso de qual programa dever ser avaliado, ajuda no estabelecimento das diretrizes do trabalho e alinha o entendimento de todos os participantes sobre a importncia do estudo avaliativo a ser desenvolvido. Entre os critrios que podem ser adotados na seleo de programas a serem avaliados esto: Prioridade do tema: grau de importncia do tema foco do programa. Clareza de foco: grau de clareza dos objetivos do programa. Visibilidade: grau de visibilidade do programa para a populao da Bahia.
PASSO 1
Interesse dos gestores e responsveis institucionais em avaliar: grau de interesse em avaliar o programa. Concordncia: grau de entendimento entre os gestores envolvidos quanto aos objetivos, metas e resultados. Conhecimento: existncia de informaes que permitam o acompanhamento da execuo fsica e financeira. Volume de recursos oramentrios: recursos oramentrios disponveis para o programa.
19
PASSO 2:
Formao de equipe mista de avaliao e elaborao do plano de trabalho

A metodologia adotada nesta Sistemtica prev a formao de uma equipe mista de avaliao, formada por avaliadores da prpria unidade gestora do programa a ser avaliado, equipe tcnica do programa e, se necessrio, consultores externos contratados. A Seplan dar o apoio em todo o processo de avaliao quanto aos procedimentos, normas e nas atividades relativas ao planejamento, articulao e gesto da informao. No caso de avaliao de programas multisetoriais, todas as Secretarias e rgos envolvidos na execuo do programa devero estar representados na equipe mista de avaliao. Desta forma, garante-se que todas as perspectivas setoriais sero consideradas no estudo. A primeira tarefa a ser executada pela equipe mista de avaliao a elaborao do plano de trabalho para a aplicao da Sistemtica de Monitoramento e Avaliao no programa escolhido. A partir de informaes do programa a ser avaliado e da disponibilidade de recursos (humanos, financeiros e de tempo) a equipe dever detalhar as etapas apresentadas neste roteiro, definindo prazos e responsveis.
20
Principais Funes da Equipe Mista de Avaliao: Articular o processo avaliativo com os interesses e necessidades dos potenciais clientes da avaliao; Participar da elaborao do Modelo Lgico de Gesto do Programa e da definio do escopo da avaliao; Coletar, analisar e sistematizar as informaes sobre o desempenho do programa para garantir seu contnuo monitoramento; Elaborar relatrios de avaliao do programa com recomendaes para seu aprimoramento.
PASSO 2
PLANO DE TRABALHO
PLANO DE TRABALHO
12. Elaborao e disseminao do Relatrio de Avaliao 11. Tabulao e anlise dos dados coletados 10. Coleta de dados 9. Criao dos instrumentos para coleta de dados 8. Definio dos indicadores de M&A 7. Anlise de instrumentos de M&A e registros existentes 6. Definio do escopo de avaliao 5. Anlise das expectativas dos clientes de avaliao 4. Elaborao do Modelo Lgico de Gesto
3. Entrevista com potenciais clientes de avaliao 2. Formao da equipe mista de avaliao 1. Definio do programa a ser avaliado
21
PASSO 3:
Identificao e entrevista com os potenciais clientes da avaliao

Os potenciais clientes de uma avaliao so as pessoas e grupos que so afetados pelos seus resultados, esto em posio de tomar decises sobre a avaliao, e pretendem usar as informaes sobre o processo e os resultados da avaliao para definir futuras aes. A equipe de avaliao dever definir no incio dos trabalhos quem so os potenciais clientes da avaliao e entrevist-los para conhecer suas expectativas e necessidades de informao que o estudo avaliativo dever atender.
PROGRAMA CABRA FORTE

Potencias clientes da avaliao entrevistados: Secretrios da Agricultura, de Combate Pobreza e do Planejamento; Representantes das Superintendncias da Seplan; Gestor do Programa Cabra Forte; Representantes das unidades envolvidas: Empresa Baiana de Desenvolvimento Agrcola S.A. (EBDA), Companhia de Engenharia Rural da Bahia (CERB), Companhia de Desenvolvimento e Ao Regional (CAR) e Superintendncia de Articulao e Programas Especiais da Secretaria de Combate Pobreza e s Desigualdades Sociais (SPE/Secomp).
22
PASSO 3
MODELO DE QUESTIONRIO A SER APLICADO COM OS CLIENTES DA AVALIAO. Com relao avaliao do programa:
1. Quais so as suas expectativas sobre o processo e os resultados desta avaliao? 2. Como esta avaliao poderia contribuir para o aperfeioamento deste projeto? 3. Quais perguntas voc gostaria que fossem respondidas por esta avaliao? 4. De que maneira as respostas a essas perguntas ajudariam no seu trabalho? 5. Quais decises os resultados da avaliao poderiam influenciar? 6. Que dados e informaes so necessrios para esta tomada de deciso? 7. Quem deveria estar envolvido no processo de avaliao para orient-lo quanto s suas expectativas? 8. Como ns poderemos saber no futuro se esta avaliao foi til? 9. Outras informaes e comentrios?
PASSO 3
Dados do Responsvel Nome: Cargo: Telefone:
23
As informaes coletadas junto aos potenciais clientes da avaliao devero ser tabuladas e analisadas de maneira a orientar a definio do escopo da avaliao a ser realizada. Este processo de tabulao e anlise dever ser feito em trs etapas: 1. Despersonalizao das informaes. 2. Tabulao por categoria de anlise. 3. Priorizao das expectativas e perguntas de avaliao.

Expectativas dos Clientes sobre a Avaliao Quanto ao processo: Que utilize procedimentos de avaliao adequados s caractersticas do Programa; Que apure os resultados com qualidade e eficincia; Que identifique a necessidade de um eficiente banco de dados para controle e monitoramento do Programa; Que torne possvel o monitoramento das aes do Programa de uma forma que seja facilmente exeqvel; Que crie um instrumento de fcil execuo. Quanto aos produtos: Que possibilite a criao de banco de dados; Que gere informaes sobre a eficincia, eficcia e efetividade do Programa; Que possibilite anlise das transformaes provocadas pelo Programa no seu pblico-alvo (resultados);
24
PASSO 3
Que evidencie os resultados (positivos ou no) das intervenes, e se os investimentos realizados atendem s necessidades e expectativas dos pequenos criadores de caprinos e ovinos; Que demonstre se o Programa est alcanando os objetivos preconizados, ou seja, a melhoria da qualidade de vida da populao e da regio; Que analise at que ponto o Programa atende s necessidades dos beneficirios; Que analise o desempenho do Programa. Quanto aos resultados: Que possibilite maior registro e disseminao para conscientizao das equipes sobre os trabalhos que esto sendo realizados; Que possibilite a transparncia, eficincia e eficcia dos recursos aplicados nos projetos do Governo; Que as equipes internalizem os conceitos de avaliao e passem a v-los como instrumentos de gesto, para o aprimoramento e reconhecimento de seus esforos; Que possibilite a melhoria do fluxo de informaes entre as equipes de trabalho; Que tenha continuidade no processo de avaliao da ao governamental; Que tenha continuidade para que a metodologia seja preservada e se tenha registro de sries histricas. Quanto ao futuro uso: Que sirva de subsdio para o planejamento estadual e para a tomada de decises quanto a novos financiamentos e parcerias; Que leve correo dos desvios identificados e subsidie outros programas.
PASSO 3
25
PASSO 4:

Elaborao do Modelo Lgico de Gesto

O Modelo Lgico de Gesto do Programa (MGLP) um instrumento visual e sistmico de apresentao e compartilhamento de informaes sobre os recursos alocados em um programa, as atividades previstas, os produtos e as mudanas que se esperam alcanar no curto, mdio e longo prazo. De forma simples, o MLGP retrata um programa conforme ele vem sendo executado, facilitando a comunicao sobre o seu propsito fundamental e tornando-se um ponto de referncia para todos os envolvidos na sua implementao. importante sinalizar que apenas as atividades prioritrias para o desenvolvimento do programa devero ser includas no Modelo Lgico de Gesto. Oficinas devero ser realizadas com os principais responsveis pela execuo do programa a ser avaliado, para construo conjunta do MLGP . Apresenta-se a seguir a sugesto da estrutura do Modelo Lgico de Gesto a ser adotado nesta Sistemtica, e sua lgica de leitura.
26
PASSO 4
PASSO 4
27
PASSO 5:

Anlise de avaliabilidade

A anlise de avaliabilidade tem por objetivos buscar informaes sobre o formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes que seja feita a avaliao de seus resultados. Ela ajuda a definir se o programa pode ser efetivamente avaliado e se sua avaliao contribuiria para melhorar seu desempenho. Sendo uma espcie de pr-avaliao, esta anlise traz benefcios como: prevenir o desperdcio de recursos com avaliao; ajudar os potenciais clientes da avaliao a formularem perguntas avaliativas importantes e significativas; facilitar o consenso entre avaliadores e equipe tcnica do programa sobre o objeto e escopo da avaliao a ser realizada, e a metodologia que ser adotada. Realizada com base no Modelo Lgico de Gesto, a anlise de avaliabilidade deve buscar responder a cinco questes bsicas: 1. Quais so os principais componentes do programa? 2. Quais so os principais objetivos e metas do programa? 3. As pessoas envolvidas na gesto no programa concordam com seus objetivos? 4. Existe uma conexo lgica entre os objetivos, atividades e resultados esperados? 5. Quais seriam os melhores indicadores e/ou critrios para avaliar o alcance dos objetivos? Se no houver consenso sobre o que o programa e seus principais componentes, ele ainda no pode ser avaliado.
28
PASSO 5
PASSO 6:

Definio do escopo da avaliao

O escopo da avaliao uma combinao de sua(s) principal(is) finalidade(s) e do foco que o estudo dever ter, ou seja, as perguntas avaliativas que dever responder para cumprir esta finalidade. Vale destacar que o foco de todo processo avaliativo deve estar na sua utilidade para os tomadores de deciso e gestores do programa. Para garantir que a avaliao possa ser um efetivo instrumento gerencial, fundamental que se tenha clareza sobre o objeto a ser avaliado e sobre as expectativas dos seus principais usurios, os potenciais clientes da avaliao. A partir destas expectativas com relao aos produtos, resultados e futuro uso da avaliao, pode-se definir a(s) sua(s) principal(is) finalidade(s). E ento, todo o processo de definio de indicadores e criao de instrumentos dever ser realizado de maneira a garantir o alcance desta(s) finalidade(s). A definio das perguntas avaliativas dever ser feita a partir da anlise das perguntas trazidas pelos potenciais clientes sob a tica dos critrios de avaliao a
PASSO 6
serem adotados no estudo.
29

Perguntas Avaliativas sugeridas pelos Clientes de Avaliao Estamos fazendo o que nos propusemos a fazer (melhoria gentica, poos, etc.)? As metas esto sendo cumpridas quanto a: quantidade de produtores beneficiados, sistemas construdos, cisternas, pulmo verde implantados, assistncia tcnica disponvel e crias distribudas para melhoria gentica do rebanho? Que resultados esto sendo alcanados em comparao com os previstos? Os sistemas de abastecimento de gua (a partir de poos e barragens) e de cisternas construdos atendem s necessidades dos grupos de produtores e comunidades eleitos como pblico do Projeto? Quais os principais componentes do Projeto que contribuem positiva e negativamente para o alcance de seus resultados? Qual a diferena que o Projeto est fazendo junto ao seu pblico-alvo? (Efetividade) Os resultados esto sendo positivos para a populao beneficiada? O objetivo do Programa est sendo atingido? Que aes estamos fazendo para que os produtores efetivamente assumam a propriedade do processo? (Sustentabilidade) Qual o custo x benefcio do Programa? Qual o grau de eficincia na alocao de recursos neste Programa?
30
PASSO 6
As perguntas avaliativas devero ser sintetizadas segundo os seguintes critrios de avaliao: Eficcia expressa o grau em que o programa realiza o que havia sido proposto, alcanando suas metas e objetivos; Eficincia estabelecida pela menor relao custo x beneficio possvel para a realizao das atividades e alcance dos objetivos do programa; Efetividade o grau em que o programa alcana os resultados e impactos pretendidos junto ao seu pblico-alvo.

Perguntas Avaliativas Sintetizadas 1. Qual o grau de alcance das metas e objetivos do Programa? Anlise do grau de eficcia da implantao do Programa at o momento. 2. Qual o custo x benefcio das principais estratgias do Programa? Anlise do grau de eficincia a partir do levantamento do total de recursos aplicados em cada estratgia do Programa e os produtos por ela gerados. 3. Qual a diferena que o Programa est fazendo junto ao seu pblico-alvo? Anlise do grau de efetividade do Programa na obteno de resultados selecionados a partir do Modelo Lgico de Gesto.
PASSO 6
31
PASSO 7:
Anlise dos instrumentos e registros j disponveis do programa

Parte importante das informaes que subsidiam a avaliao de eficcia e eficincia de um programa vem dos registros administrativos gerados ao longo de sua execuo. A partir do registro sistematizado das atividades, seus principais produtos e custos, a equipe gestora do programa dispe de dados para comparar o realizado com o previsto em determinado perodo, monitorando, assim, o desempenho do programa. O levantamento e anlise dos registros administrativos antecede e subsidia a montagem dos instrumentos de monitoramento. Da a necessidade de registros confiveis, tempestivos, teis e bem estruturados. Nesta etapa do trabalho devero ser analisados os modelos de registro das realizaes j em uso pela equipe gestora e pelos tcnicos, nos vrios nveis de execuo do programa. Essa pesquisa fornecer aos avaliadores importantes informaes sobre falhas ou inadequao dos instrumentos de registro e dos processos de sistematizao dessas informaes. A partir do que j existe, de seu funcionamento e uso, os avaliadores podero propor formas de aprimorar o fluxo de informaes, de maneira que permita realizaes peridicas de avaliaes sobre o desempenho do programa. Para checagem e complementao das informaes necessrio, no entanto, que se apliquem tambm outros instrumentos quantitativos e qualitativos junto aos beneficirios do programa e aos atores intermedirios no seu processo de execuo. O diagrama a seguir retrata o fluxo de informaes proposto por esta Sistemtica de Monitoramento e Avaliao:
32
PASSO 7
PASSO 8:
Definio dos indicadores de monitoramento e avaliao a serem utilizados

Indicadores so medidas quantitativas e/ou qualitativas que funcionam como um termmetro do progresso de um programa, indicando os avanos obtidos em relao aos objetivos e metas traados. Como o prprio nome sugere, so sinalizadores que buscam expressar algum aspecto da realidade, de forma que possamos observ-lo ou mensur-lo. Indicadores de desempenho so usados para verificar e mensurar os possveis impactos, resultados, produtos, processos e recursos alocados em um programa, permitindo, assim, seu moni-
Caractersticas de um bom indicador

Ser vlido que mea o que se supe dever ser medido; Ser confivel que seja verificvel; Ser relevante que tenha relevncia em relao aos objetivos do programa; Ser sensitivo que seja sensvel s mudanas da situao que observada; Ser aceitvel que seja aceito pela populao em estudo e pelos principais clientes da avaliao; Ser especfico que seja especificamente adaptado aos objetivos do programa; Ser oportuno que possa ser constitudo e reportado em tempo hbil; Ser tecnicamente vivel que os dados requeridos possam ser coletados e mensurveis; Ser custo-efetivo que os dados requeridos possam ser coletados a um custo razovel.
PASSO 8
toramento e avaliao. A partir do que se quer avaliar, ou seja, das perguntas avaliativas e da anlise dos principais componentes do programa apresentados no seu Modelo Lgico de Gesto, devem ser definidos os indicadores de desempenho a serem utilizados para o monitoramento e avaliao do programa.
33
Nesta etapa, fundamental que se realize um exerccio para a seleo dos indicadores a serem utilizados e a definio de seus respectivos descritores. Os descritores so fundamentais para garantir a uniformidade de conceitos e um entendimento compartilhado sobre o que ser medido. O Descritor do Indicador traduz em linguagem simples e objetiva o que est sendo medido. Seu uso garante o alinhamento de conceitos entre os responsveis pela coleta dos dados, dando maior consistncia s informaes produzidas pela avaliao. Alm disso, deve-se tambm, definir as principais fontes de informao para a obteno dos dados necessrios composio de cada indicador e a periodicidade com que esta informao pode ser obtida. O quadro a seguir exemplifica como este exerccio pode ser realizado:

Sntese do processo de construo dos indicadores
Aps a validao do escopo da avaliao com a equipe Matricial, deu-se incio o trabalho de construo conjunta dos indicadores de M&A do Programa. O primeiro passo foi definir para cada atividade a ser avaliada: indicadores de produto; seus descritores (para garantir uniformidade de conceitos com os responsveis pelo fornecimento dos dados); a periodicidade ideal da coleta dos dados; as melhores fontes de informao.
34
PASSO 8

Este trabalho foi desenvolvido em uma oficina de quatro horas, onde a equipe Matricial, dividida em grupos por estratgia do Programa e orientada pelos avaliadores, detalhou o foco da avaliao. Nessa oficina, foi tambm realizada uma consulta com a equipe Matricial sobre o grau de execuo das estratgias do Programa, para verificar se o tempo de implantao de cada atividade, descrita no Modelo Lgico de Gesto, tornava vivel a sua avaliao nas trs categorias: eficcia, eficincia e efetividade. A concluso a que se chegou, foi que este estudo avaliativo deveria priorizar o levantamento de dados referentes eficcia (o que o Programa realizou desde seu incio at o momento atual) e eficincia do Programa (a relao custo x benefcio das atividades). O planejamento da avaliao de efetividade das aes de um programa depende da anlise dos dados relativos ao grau de realizao das atividades, sua espacializao geogrfica e o momento de sua execuo. Estas informaes so fundamentais para que se estabeleam os procedimentos metodolgicos adequados para verificar os resultados, ou impactos de curto prazo, no pblico-alvo. Apenas como exerccio de capacitao da equipe de avaliadores, foram selecionados alguns resultados do Programa considerados os mais estratgicos para comprovar as transformaes j realizadas pelo Cabra Forte na vida dos seus beneficirios, para os quais foram definidos indicadores de efetividade.
PASSO 8
35

PERGUNTA AVALIATIVA Eficcia: Qual o grau de alcance das metas e objetivos do Programa?
Objetivo Especfico: Ampliar e melhorar a oferta de gua para os produtores. Estratgia: 1.1. Disponibilizar ponto de gua confivel para grupos de 15 a 20 produtores.
Componentes a Serem Avaliados Indicadores de Desempenho Descritor dos Indicadores Periodicidade da Informao 1. Mensal Fonte de Informao Tcnicos da Cerb
1.1.1 Perfurao e recuperao de poos tubulares Poos instalados Produtores beneficiados/ Comunidades de abrangncia Produo de gua
1. N de poos instalados no perodo
1. N de Sistemas Simplificados de Abastecimento de gua (SSAA) entregues comunidade a partir de poos, em condies de oferecer gua em quantidade e qualidade adequadas para consumo animal. 2. Produtores pertencentes s 2. N de produtores beneficiados/ comunidades do Programa comunidade (grupo de produtores) / beneficiados com os novos poos municpio/ plo instalados. 3. Capacidade potencial de produo 3. Produo potencial de gerao de de gua dos poos instalados, gua disponvel por poo instalado / medida em m/hora. comunidade / municpio / plo 4. Produo efetiva de gerao de 4. Capacidade real de produo de gua disponibilizada por poo instalado/ comunidade / municpio / gua dos poos instalados, medida plo por m/hora.
2. Mensal
3. Mensal (dos novos poos instalados) 4. Mensal (dos novos poos instalados).
36
PASSO 8
PASSO 9:
Definio e criao dos instrumentos para coleta de dados

A definio dos instrumentos para a coleta de dados a serem utilizados no estudo avaliativo depende da escolha do tipo de abordagem que se quer adotar. Abordagens quantitativas tm a vantagem de permitir mensurao, comparao e generalizao das informaes obtidas, no entanto as abordagens qualitativas permitem uma anlise mais aprofundada das experincias estudadas. Os mtodos de coleta de dados quantitativos mais comumente utilizados so a pesquisa de dados disponveis em sistemas de acompanhamento e monitoramento do programa, e a aplicao de questionrios ou formulrios junto aos beneficirios e atores intermedirios da sua execuo. No caso de abordagens qualitativas, os mtodos de coleta de dados mais usados so entrevistas, grupos focais e observao direta. Cada instrumento criado dever ser pr-testado para anlise de sua consistncia e clareza, e avaliao da relevncia e viabilidade dos dados por ele coletados. Uma simulao da tabulao e anlise dos dados coletados no pr-teste tambm ajuda no aprimoramento do instrumento antes da sua aplicao generalizada. O sucesso desta etapa fundamental para a realizao de uma avaliao que permita uma utilizao plena de seus resultados. No basta escolher bons indicadores tericos e de aplicaes gerais, torna-se imprescindvel a relevncia, bem como pertinncia ao objeto avaliado e, sobretudo, a operacionalidade, sem implicar em excessos de utilizao de recursos (tempo, recursos financeiros e recursos humanos).
PASSO 9
37

O levantamento dos indicadores Em oficina, produziu-se um levantamento preliminar das informaes existentes sobre a eficcia e eficincia do Programa e, a partir destes dados, elaborou-se uma estratgia para avaliao da efetividade, j que esta ltima requer a aplicao de instrumentos qualitativos e uso de tcnicas de amostragem, o que s pode ser definido a partir de informaes concretas sobre as realizaes do Programa, sua temporalidade e espacializao. Foram criados os instrumentos para a coleta dos dados elaborados a partir da definio das informaes necessrias para a alimentao dos Indicadores de Eficcia e Eficincia selecionados para esta avaliao, conforme modelo previamente estabelecido. Os instrumentos foram validados pelos membros da equipe Matricial responsveis por cada estratgia. Ficou estabelecido que fossem criados formulrios para coleta dos dados nos seguintes perodos: Consolidado 2003 Consolidado 2004 Ms a ms de janeiro a abril de 2005
38
PASSO 9
Para uma completa visualizao das realizaes do Programa, foi acordado com a equipe Matricial que os dados seriam coletados nos seguintes nveis de desagregao: por plo do Programa por municpio atendido por comunidade beneficiada por grupos de produtores beneficiados Desta maneira, as informaes poderiam ser espacializadas e consolidadas nos diferentes nveis de execuo do Programa, permitindo comparaes sobre as realizaes e alocaes de recursos.

Exemplo de dados a serem coletados e definio de alguns indicadores
COMPONENTES
DADOS A SEREM COLETADOS
INDICADORES
1.1.1 Perfurao e recuperao de poos tubulares
N de poos instalados no perodo/ comunidade/ municpio/ plo. Meta de instalao de poos no perodo/ comunidade/ municpio/ plo. N de produtores beneficiados/ comunidade (grupo de produtores)/ municpio/ plo. Meta de produtores a serem beneficiados com poos no perodo/ comunidade/ municpio/ plo. Capacidade potencial de produo de gua dos poos instalados (em m/hora)/ poo/ comunidade/ municpio/ plo. Capacidade real de produo de gua dos poos instalados (em m/hora)/ poo/ comunidade/ municpio/ plo. Custo de instalao dos poos no perodo/ comunidade/ municpio/ plo.
Eficcia: N poos instalados x n previsto N de produtores beneficiados x n previsto Espacializao dos poos instalados Espacializao dos produtores beneficiados Produo potencial de gerao de gua disponvel nos poos instalados Produo efetiva de gerao de gua disponibilizada nos poos instalados Eficincia: Produo potencial de gerao de gua x produo efetiva de gerao de gua disponibilizada nos poos instalados Custo de produo da gua com poo x N de produtores atendidos
PASSO 9
39
O processo de coleta dos dados deve ser planejado a partir da definio dos instrumentos que sero utilizados, das informaes que sero pesquisadas e do prazo de que se dispe para a obteno dessas informaes. A caracterstica da populao-alvo, a caracterstica espacial e os indicadores de desempenho fsico-financeiro so dados relevantes para serem coletados. As primeiras informaes a serem levantadas dizem respeito ao processo de execuo do programa e seus produtos. A partir dos dados sobre as realizaes do programa, obtidos no sistema de monitoramento e de outras fontes de informaes, os avaliadores podero coletar os indicadores de eficcia e eficincia definidos. Os indicadores de eficcia e eficincia so obtidos, freqentemente, a partir dos registros administrativos do prprio programa. J os indicadores de efetividade, exigem seu levantamento direto junto populao beneficiria ou a registros censitrios. Na coleta de dados com beneficirios do programa, pode-se optar pela pesquisa com toda a populao a ser estudada ou por amostragem. Censos demogrficos e econmicos, relatrios de acompanhamento da execuo fsico-financeira, relatrios de avaliaes anteriores, artigos ou informaes de divulgao, so fontes que podem ser consultadas para o levantamento das informaes. Nesta etapa, importante dispor de um banco de dados de registros administrativos consistente com o MLGP . necessrio tambm, capacitar os executores do programa, especialmente os tcnicos responsveis pela obteno das informaes primrias.
40
PASSO 10
PASSO 10: Coleta dos dados

Processo de coleta de dados A partir das fontes de informao de cada indicador definidas pela equipe Matricial, o processo de coleta dos dados foi desenhado, respeitando a estrutura operacional do Programa Cabra Forte. Como o Programa uma combinao de estratgias sob a responsabilidade de vrias Secretarias e rgos Governamentais, foi definido que cada entidade executora ficaria responsvel pelo repasse das informaes referentes sua parte no Programa. A equipe de avaliadores sintetizou e analisou os dados, validando-os com a equipe Matricial antes da elaborao do relatrio de avaliao. Os instrumentos de coleta de dados foram enviados aos membros da equipe Matricial, que ficaram responsveis por criar os canais adequados para a obteno dessas informaes nos nveis operacionais do Programa. Ao final do trabalho, o resultado da avaliao deve retornar aos vrios nveis garantindo a disseminao das informaes obtidas, conforme ilustrao a seguir:
PASSO 10
41
Todos os dados devem ser tabulados, ou seja, organizados de maneira a facilitar a sua interpretao e anlise, tendo em vista as perguntas avaliativas a serem respondidas. A tabulao e anlise dos dados sero decorrentes da sua natureza: quantitativos ou qualitativos. Em uma avaliao, os textos e observaes coletados vm de vrias fontes como: respostas a perguntas abertas de questionrios, transcries de grupos focais ou entrevistas, roteiros de observao de casos, ou, ainda, resumos de relatrios e documentos pesquisados. Tanto as fontes de informaes, como as tcnicas quantitativas e qualitativas utilizadas para a coleta de dados, devem ser combinadas para uma compreenso mais abrangente do programa. As informaes sobre o previsto e o realizado, os principais produtos entregues aos beneficirios, e a espacializao destas realizaes, so dados importantes para subsidiar a avaliao de desempenho do programa.
42
PASSO 11
PASSO 11: Tabulao e anlise dos dados coletados

Tabulao e anlise dos dados coletados (alguns exemplos)
PASSO 11
43
44
PASSO 11
INDICADOR DE EFETIVIDADE
(Qual a diferena que o Programa est fazendo no seu pblico-alvo?)

RESULTADOS ESPERADOS Maior acesso dos produtores a gua de qualidade para consumo animal + Dessedentao dos animais. SITUAO IDEAL Produtores percorrendo no mximo 1.500 metros para obter gua para seu rebanho. INDICADORES DE RESULTADO SELECIONADOS Distncia mdia percorrida pelos produtores para obter gua para seu rebanho (em metros) - antes e depois; Consumo mdio de gua / cabea / dia (em litros) x capacidade instalada dos poos; Freqncia com que no obteve a quantidade de gua necessria para dessedentar os animais - antes e depois. INSTRUMENTO CRIADO Questionrio a ser aplicado por amostragem com produtores beneficiados com poos do Programa.
PASSO 11
45
Toda avaliao deve resultar em um relato claro e objetivo sobre o processo e os resultados obtidos quanto ao desempenho do programa analisado. Estas informaes devem ser disseminadas entre os principais clientes da avaliao de maneira a influenciar futuras decises quanto ao aprimoramento do programa ou ao estabelecimento de novas diretrizes de ao. A comunicao dos resultados de uma avaliao pode ser feita de forma oral ou escrita, mas deve sempre ser simples, direta e livre de jarges. A nfase deve estar nos importantes resultados obtidos e nas recomendaes, sempre com o foco nos principais clientes da avaliao, suas expectativas e necessidades de informao.
46
PASSO 12
PASSO 12: Elaborao e disseminao do Relatrio de Avaliao
ESTRUTURA MODELO DO RELATRIO DE AVALIAO

ESTRUTURA MODELO
1. Capa ttulo do relatrio, autores, instituies patrocinadoras/ participantes, lugar e data. 2. ndice captulos e subcaptulos do relatrio. 3. Crditos agradecimento a todas as pessoas e instituies que possibilitaram a realizao do estudo. 4. Resumo Executivo apresentao do estudo incluindo objetivos, metodologia adotada, principais resultados encontrados, concluses/ recomendaes. Deve ter no mximo quatro pginas. 5. Introduo contexto e antecedentes da avaliao: caracterizao do problema, justificativa do estudo, finalidade da avaliao, perguntas avaliativas e circunstncias especiais. 6. Metodologia desenho da avaliao: coleta e anlise dos dados e limitaes. Texto curto com maior detalhamento nos anexos (cpias dos instrumentos utilizados, clculo de tamanho de amostra, etc.). 7. Resultados principais resultados encontrados e apresentados em grficos e tabelas com breve anlise. 8. Concluses sntese dos dados encontrados e apresentados de maneira a responder s perguntas avaliativas. 9. Recomendaes prescrio do que deve ser feito a partir das concluses do estudo. O nvel de detalhamento das recomendaes depende da finalidade da avaliao e do perfil dos seus clientes. 10. Referncias Bibliogrficas identificao de todo o aporte bibliogrfico que norteou a avaliao. 11. Anexos instrumentos para a coleta dos dados utilizados, procedimentos metodolgicos adotados, dados adicionais obtidos ou com maior desagregao, entre outros documentos relevantes.
47
CONCLUSO

Buscando instrumentalizar as equipes gestoras dos programas e projetos estratgicos do Governo do Estado da Bahia, a Secretaria do Planejamento e a Fundao Luis Eduardo Magalhes criaram e testaram uma Sistemtica de Monitoramento e Avaliao. Testada no Programa Cabra Forte, programa multisetorial que visa melhorar a qualidade de vida de 26.000 pequenos produtores rurais e suas famlias, atravs do aumento da renda proveniente da ovinocaprinocultura, a Sistemtica aqui apresentada tem o objetivo de ser disseminada entre as equipes das Secretarias e rgos Governamentais do Estado. A partir da compreenso das etapas que levaram a construo desta metodologia de monitoramento e avaliao, as equipes podero implant-la em outros programas e projetos seguindo o roteiro apresentado neste Guia. Capacitaes, orientaes e acompanhamento peridico devero ser oferecidos por avaliadores da Seplan aos rgos Gestores, no sentido de garantir a implantao desta Sistemtica de forma gradual, consistente e efetiva. A disseminao dos conceitos, princpios, processos e instrumentos, permitir que tcnicos dos nveis estratgico, ttico e operacional do Governo estejam constantemente informados sobre o desempenho dos programas e projetos sob sua responsabilidade. Ao fazer do monitoramento e da avaliao efetivos instrumentos de gesto, o Governo do Estado da Bahia demonstra sua preocupao com o aprimoramento da habilidade gerencial de suas equipes, visando aumentar a eficcia, eficincia e efetividade das suas polticas, programas e projetos.
48
CONCLUSO
GLOSSRIO

Acompanhamento / Monitoramento
Exame contnuo ou peridico realizado pela administrao, em todos os nveis hierrquicos, do modo como se est executando um projeto ou atividade. Tem como objetivo prover os gestores e principais stakeholders com regular feedback e indicaes do progresso ou possveis falhas no alcance dos resultados esperados. O termo acompanhamento freqentemente tem sido associado a um mero registro contbil. Entretanto, preciso considerar que o acompanhamento tem necessariamente que produzir informaes teis para o gerenciamento do projeto ou atividade.
concorrem para a manuteno e o funcionamento de rgos e entidades governamentais e para a prestao de servios pblicos utilizados pela populao.
Avaliao
Apreciao sistemtica e objetiva do valor ou mrito de um projeto, programa ou poltica, antes, durante ou aps a interveno, quanto sua concepo, execuo e resultados. Tem como propsito determinar a pertinncia, eficincia, eficcia, efetividade, impacto e sustentabilidade da interveno.
Avaliao de Processo
Visa determinar o grau em que o programa est operando conforme planejado. Este tipo de avaliao tem como objetivo entender o funcionamento do programa a partir da anlise do que ele faz e de quem so seus beneficirios para, assim, aprimorar suas aes. A avaliao de processo tambm ajuda na identificao dos elementos essenciais para o melhor desempenho do programa em termos de produtos, resultados e impactos. Em geral, responde a perguntas em duas categorias cobertura e processo.
Anlise de Avaliabilidade
GLOSSRIO
Tem por objetivos buscar informaes sobre o formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes que seja feita a avaliao de seus resultados.
Apreciao Prvia (Appraisal)

Apreciao global da pertinncia, viabilidade e sustentabilidade provvel de uma interveno de desenvolvimento antes que a deciso de implementao seja tomada.
Avaliao de Resultados
Analisa em que grau o programa vem produzindo os benefcios e transformaes a que se prope. As atividades de um programa produzem trs tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact).
Atividades
Procedimentos do programa que visam obteno dos efeitos desejados. Do ponto de vista da programao oramentria um conjunto de operaes que se realizam de modo contnuo e que
49
Avaliao de Meio Percurso ou de Meio Termo

Tipo de avaliao realizada durante o processo de implementao de um programa ou projeto. Seu principal objetivo avaliar o progresso realizado, permitir concluses iniciais sobre o seu gerenciamento e fazer recomendaes para a continuidade dos trabalhos. Esta avaliao analisa questes operacionais relevantes e a performance, extraindo lies aprendidas at aquele momento.
Avaliao Final (Avaliao ex-post)

Avaliao de uma interveno aps a sua concluso, podendo ser realizada logo aps a concluso da interveno ou algum tempo depois. O objetivo identificar os fatores de sucesso ou de fracasso, apreciar a sustentabilidade dos resultados e os impactos, e tirar concluses que possam ser generalizadas para outras intervenes.
Avaliao Participativa
Avaliao coletiva de um projeto ou programa, realizada pelos stakeholders ou beneficirios. So avaliaes reflexivas, pr-ativas, que visam capacitar os envolvidos no programa e tm como principal objetivo atender as necessidades de informao dos stakeholders.
Avaliao de Programa ou Projeto

Avaliao feita para determinar se os objetivos, formato e resultados do programa ou projeto esto adequados, assim como o grau de eficincia, eficcia e efetividade na utilizao dos recursos.
Avaliao Externa
Avaliao conduzida por um ou mais avaliadores que no esto diretamente envolvidos na formulao, implementao e/ou gerenciamento do objeto da avaliao. Normalmente realizada por pessoas de fora da organizao envolvida. tambm chamada de avaliao independente.
Avaliao Prvia (Avaliao ex-ante )

Avaliao efetuada antes da implementao de uma interveno.
Beneficirios
Indivduos, grupos ou organizaes que se beneficiam do programa ou projeto direta ou indiretamente, intencionalmente ou no.
Avaliao Formativa
Refere-se ao processo de execuo do programa, servindo para melhorar seu funcionamento. So modalidades complementares a serem utilizadas de acordo com cada situao concreta.
Cobertura
Analisa o alcance do programa e as caractersticas dos beneficirios.
Avaliao Interna
Avaliao conduzida por membros de organizaes associadas com o programa, projeto ou objeto que est sendo avaliado.
Dados da Linha de Base (Baseline Data)

Informao inicial sobre um programa ou seus componentes, coletada antes das atividades serem executadas. Os dados de linha de base so normalmente coletados em entrevistas ou observaes e usados posteriormente para comparaes que determinaro mudanas em um programa.
50
GLOSSRIO
Descritor do Indicador
Traduz em linguagem simples e objetiva o que est sendo medido. Seu uso garante o alinhamento de conceitos entre os responsveis pela coleta dos dados, dando maior consistncia s informaes produzidas pela avaliao.
Impacto
Benefcio e transformao de mdio e longo prazo para os participantes e beneficirios indiretos do programa (suas famlias e comunidades).
Indicador
Medida quantitativa e/ou qualitativa que funciona como um termmetro do progresso de um programa, indicando os avanos obtidos em relao aos objetivos e metas traados.
Desempenho
O grau com que um programa ou projeto implementado de forma eficaz, eficiente e efetiva.
Efeito
Mudana esperada ou no, direta ou indiretamente atribuda a uma interveno.
Indicador de desempenho
Usado para verificar e mensurar os possveis impactos, resultados, produtos, processos e recursos alocados em um programa, permitindo assim seu monitoramento e avaliao.
Efetividade
O grau em que o programa alcana os resultados e impactos pretendidos junto ao seu pblico-alvo.
Modelo Lgico de Gesto de Programa/Projeto

Instrumento visual e sistmico de apresentao e compartilhamento de informaes, voltado para a gesto e avaliao de programas e projetos. Permite analisar as relaes causais entre os recursos alocados, atividades, produtos, resultados e impactos.
Eficcia
GLOSSRIO
Expressa o grau em que o programa realiza o que havia sido proposto, alcanando suas metas e objetivos.
Eficincia
Estabelecida pela menor relao custo x benefcio possvel para a realizao das atividades e alcance dos objetivos do programa.
Objetivo
Situao futura desejada com a execuo de programa, projeto ou atividade, descrita com conciso e preciso e sempre mensurvel por um indicador, que expressa o produto ou resultado esperado sobre o pblico-alvo.
Estudos de Base
Anlise que descreve a situao antes do lanamento de uma interveno de desenvolvimento, a qual se podem fazer comparaes ou apreciar os progressos.
Pressupostos (Hipteses)
Suposies sobre fatores ou riscos que podem ter repercusses na evoluo ou no sucesso da interveno de desenvolvimento.
51
Processo
Analisa a consistncia do programa e a qualidade de sua implementao.
Retroalimentao (Feedback)
Transmisso das constataes resultantes do processo de avaliao a todos os que podem tirar lies teis e pertinentes das mesmas, com o objetivo de facilitar a aprendizagem. Isto pode implicar reunir e difundir as constataes, concluses, recomendaes e lies aprendidas.
Produto
Efeito imediato de cada atividade do programa.
Programa
o instrumento de organizao da ao governamental com vistas ao enfrentamento de um problema, atendimento a uma demanda ou o aproveitamento de uma oportunidade.
Stakeholders
Grupos que tem um papel ou interesse nos objetivos e implementao de um programa ou projeto. Incluem o pblico-alvo, os beneficirios diretos, os responsveis por garantir que os resultados sero alcanados conforme planejado, e os responsveis por prestar contas dos recursos alocados nos trabalhos.
Projeto
Instrumento de programao oramentria para alcanar o objetivo de um programa, envolvendo um conjunto de operaes, limitadas no tempo, das quais resulta um produto que concorre para a expanso ou aperfeioamento da ao de Governo.
Sustentabilidade
Continuao dos benefcios resultantes de uma interveno de desenvolvimento mesmo aps a sua concluso. Probabilidade de os benefcios perdurarem no longo prazo. Situao em que as vantagens lquidas so suscetveis de resistir aos riscos ao longo do tempo.
Pblico-alvo
Conjunto de pessoas, famlias, comunidades, instituies ou setores que sero atingidos pelo programa.
Recursos (Inputs)
Meios financeiros, humanos e materiais usados para uma interveno de desenvolvimento.
Resultado
Impacto de curto prazo causado pelo diretamente pelo programa nos seus beneficirios (normalmente referem-se a mudanas de conhecimento, habilidades, comportamento e valores).
52
GLOSSRIO
REFERNCIAS BIBLIOGRFICAS

Alberta Consultative Health Research Network. (2001-2002) Evaluability Assessment. Disponvel em http://www.achrn.org/ Evaluability.htm Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliao de programas e projetos sociais. Unicef. Instituto do Banco Mundial. (sem data). Introduo ao Monitoramento & Avaliao: Apostila do Participante. Rodrigues, Maria Ceclia Prates. (1998). Avaliao e monitoramento. Texto base para International Development Research Centre. a disciplina de Monitoramento e Avaliao Identifying the Intended Use(s) of an ministrada no mbito do curso de Gerncia Evaluation. Abril de 2004. Disponvel em de Programas Sociais, promovido pela FESP/ www.idrc.ca ISAPE/CPG. International Development Research Centre. United Way of America. (1996). Measuring Identifying the Intended User(s) of an program outcomes: a practical approach. Evaluation. Maro de 2004. Disponvel em www.idrc.ca Valarelli, Leandro Lamas (1999). Indicadores de Kayano, Jorge, e Caldas, Eduardo L. (2001). Indicadores para o dilogo. So Paulo: Instituto Plis; Programa Gesto Pblica e Cidadania/ EAESP/ FGV. McNamara, Carter. Basic Guide to Program Evaluation. 1999. Disponvel em http:// www.mapnp.org/library/evaluatn/fnl_ Patton, Michael Quinn. (1997). Utilizationfocused evaluation: the new century text. Londres: Sage Publications. resultados de projetos sociais. RITS. Disponvel em: http://www.rits.org.br/ gestao_teste/ge_testes/ge_tmes_jul99.cfm W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, & Action. 3 Patton, Michael Quinn. (1997). Utilizationfocused evaluation: the new century text. Londres: Sage Publications.
BIBLIOGRFICAS
O documento est disponvel em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm

53
ANEXO 1
Modelo Lgico de Gesto do Programa Cabra Forte
54
ANEXO 1
ANEXO 1
55
56
ANEXO 1
ANEXO 1
57
ANEXO 2
Questionrio para levantamento de informaes sobre os resultados da implantao de poos pelo Programa Cabra Forte
58
ANEXO 2
QUESTIONRIO A SER APLICADO COM PRODUTORES DO PROGRAMA

Propriedade:
Proprietrio:
1 - Qual a rea (em tarefas) da propriedade? tarefas 2 - Quantas cabeas de ovinos e caprinos existem na propriedade? Ovinos: Caprinos: cabeas cabeas
3 - Quantos litros de gua por dia so necessrios para o consumo do rebanho? litros
ANEXO 2
4 - Existe alguma reserva de gua na propriedade? Que tipo? ( ) Sim ( ) No Tipo:
ANTES DA INSTALAO DOS POOS

5 Qual(is) a(s) alternativa(s) de acesso a gua para consumo dos animais? ( ) Reserva prpria ( ) Reserva de vizinhos ( ) Aude ou barragem comunitria ( ) Outras. Citar
59
6 - O produtor tinha como garantir gua para o rebanho durante todo o ano? ( ) Sim ( ) No Por qu ?
7 - Qual a distncia que o produtor (ou rebanho) percorria para ter acesso gua? metros 8 - Em mdia, quantos meses no ano a gua era insuficiente para atender necessidade do rebanho? meses
APS A INSTALAO DOS POOS

9 - Qual a distncia que o produtor (ou rebanho) percorre para ter acesso gua? metros 10 Com que frequncia a gua do poo insuficiente para atender necessidade do rebanho? ( ) Nunca ( ) Raramente ( ) Frequentemente ( ) Sempre
11 - Qual o grau de facilidade que a instalao do poo trouxe para o acesso gua pelo rebanho? ( ) Pouca ( ) Regular ( ) Muita
Comente:
60
ANEXO 2
ANEXO 3
ANEXO 3
Instrumento usado para anlise dos dados coletados sobre o Programa Cabra Forte
61
Secretaria do Planejamento Seplan

Superintendncia de Gesto e Avaliao - SGA
PROGRAMA CABRA FORTE - COLET A DE INFORMAES COLETA

Objetivo Especfico: Ampliar e melhorar a oferta de gua para os produtores Estratgia: Disponibilizar ponto de gua confivel para grupos de 15 a 20 produtores Atividade: PERFURAO E RECUPERAO DE POOS TUBULARES Perodo: 2003 Realizado no perodo Plo / Municpio / Comunidade / Grupo de Produtores N de poos a serem instalados N de produtores do programa a serem beneficiados Capacidade potencial de produo de gua (m/h) N de Poos instalados Programado para o perodo N de produtores do programa beneficiados Capacidade efetiva de produo de gua (m/h) Custo de instalao dos poos (R$)
Total do Programa Plo de Remanso Campo Alegre de Lurdes Casa Nova Pilo Arcado Remanso Plo de Jaguarari Andorinha Cura Jaguarari Juazeiro Monte Santo Uau Plo de Conceio do Coit Barrocas Conceio do Coit Nova Ftima Retirolndia Santaluz So Domingos Serrinha Valente
62
ANEXO 3


Objetivo Especfico: Ampliar e melhorar a oferta de gua para os produtores Estratgia: Disponibilizar ponto de gua confivel para grupos de 15 a 20 produtores Atividade: PERFURAO E RECUPERAO DE POOS TUBULARES Perodo: Realizado no perodo Plo / Municpio / Comunidade / Grupo de Produtores Conceio do Coit Nova Ftima Retirolndia Valente Santa Luz So Domingos Serrinha Barrocas Remanso Remanso Casa Nova C. Alegre de Lourdes Pilo Arcado Jaguarari Jaguarari Uau Juazeiro Monte Santo Andorinha Cura TOTAL GERAL N de poos instalados Qde. % N de poos instalados X previsto Programado para o perodo
Capacidade real Custo de N de produtores N de produtores de produo de instalao X N beneficiados gua X beneficiados de produtores Capacidade X previsto beneficiados potencial Qde. %
ANEXO 3
63
64
ANOTAES
ANOTAES
65
SECRETARIA DO PLANEJAMENTO - SEPLAN

SUPERINTENDNCIA DE GESTO E AVALIAO - SGA Sonia Sobral Diretorias de Monitoramento e Avaliao Maria da Conceio S Mrio Sebastio Freitas COORDENAO GERAL (FLEM) Lycia Tramujas Vasconcellos Neumann Equipe de Coordenao: Secretaria do Planejamento / Superintendncia de Gesto e Avaliao Anibal Picano Bentes Antnio Leopoldo Meira Nair Mamede Couto Palmiro Torres de Oliveira Roberto Sampaio Costa Zlia Maria Abreu Gis Fundao Luis Eduardo Magalhes Viviane Quenia Brito de Jesus Equipe Matricial: Secretaria da Agricultura, Irrigao e Reforma Agrria Edilson Bartolomeu - Superintendente Maria Suzana Lima de Souza Renata Vieira Ricardo Andrade Antnio Lemos Maia Neto (ADAB) Francisco Benjamin (EBDA) Secretaria de Combate Pobreza e s Desigualdades Sociais Elisa Cristina Guimares Pellegrini - Superintendente Ftima Amaral Soane Maria Minck de Matos Tnia Xavier Zlia Fajardini Secretaria do Planejamento Drio Tavares (CAR) Secretaria da Indstria, Comrcio e Minerao Ana Clia Tanajura (EBAL) Secretaria do Meio Ambiente e Recursos Hdricos Joo Batista Andrade (CERB) Secretaria da Sade Maria Claudia da Costa Montal Maria Lea Rocha Fagundes Secretaria do Trabalho, Assistncia Social e Esporte Marizete Pereira Andrade Terezinha Almeida FICHA TCNICA Consultoria Externa Fundao Luis Eduardo Magalhes - Flem Redao final de texto Tacilla Siqueira Projeto Grfico e Editorao Autor Visual Comp. Grfica Ltda
Fotografias gentilmente cedidas pela Agecom, Arquivo Cacob-Diren-Seinfra, Ascom-Funceb, Ascom-Seagri, Ascom-Secomp, Adenilson Nunes, Alceu Elias, Angeluci Figueiredo, Aristeu Chagas, Jorge Cordeiro, Lzaro Srgio, Marcos Souza e Roberto Viana
Bahia. Secretaria de Planejamento Sistemtica de monitoramento e avaliao em programas e projetos governamentais. Salvador: SEPLAN/SGA, 2005. 66p. il. 1. Programa governamental Sistematizao. 2. Metodologia. 3. Tcnica de trabalho. I. Ttulo. CDU: 001.81(061)
Junho de 2006
Governador do Estado da Bahia
Paulo Ganem Souto

Secretaria do Planejamento
Armando Avena
Secretaria da Agricultura, Irrigao e Reforma Agrria
Pedro Barbosa de Deus

Secretaria de Combate a Pobreza e Desigualdades Sociais
Pe. Clodoveo Piaza S. J.
APRESENTAO

Investir na institucionalizao do processo de monitoramento e avaliao (M&A) constitui um imperativo bsico para a conquista da excelncia dos servios prestados pelo Estado. O Governo da Bahia encontra-se engajado nesse movimento internacional e com a criao da Superintendncia de Gesto e Avaliao (SGA), no mbito da Secretaria do Planejamento (Seplan), manifestou a vontade poltica de disseminar a cultura da avaliao nas Secretarias e rgos do Estado, responsveis pelo planejamento e operacionalizao das polticas pblicas. O documento que se apresenta, constitui um referencial para ser utilizado como catalisador dos diversos instrumentos e prticas de monitoramento e avaliao utilizados pelos diferentes rgos gestores da administrao pblica estadual e est contem-
APRESENTAO
plado no Programa de Monitoramento e Avaliao, desenvolvido pela Seplan/SGA, tendo como um dos objetivos a criao de mecanismos essenciais para a gesto eficaz de programas e projetos estratgicos de Governo. A Sistemtica de Monitoramento e Avaliao , portanto, uma das ferramentas que dever ser utilizada para a medio do grau de eficcia, efetividade e eficincia das intervenes do Estado na sociedade.
SISTEMTICA SISTEMTICA DE MONITORAMENTO DE MONITORAMENTO E AVALIAO E AVALIAO EM PROGRAMAS EM PROGRAMAS E PROJETOS E PROJETOS GOVERNAMENTAIS GOVERNAMENTAIS
dos, subsidiando a tomada de deciso para o aperfeioamento do programa ou do projeto ao longo de sua execuo, com a descrio da seqncia de eventos relacionados, conectando o problema ou a oportunidade diagnosticada, com os resultados esperados. A ferramenta permite visualizar e compreender como os investimentos realizados na gerao de produtos (bens ou servios) podem contribuir para alcanar os objetivos planejados, servindo de base para a criao de procedimentos e processos de monitoramento e avaliao. O resultado esperado ser a criao de um sistema de monitoramento e avaliao mantido e alimentado por todas as Secretarias do Estado, constituindo um poderoso instrumento de planejamento. Espera-se que esta semente encontre um terreno frtil para sua germinao, produzindo bons frutos: a melhoria do nvel de excelncia dos servios pblicos.
Armando Avena SECRETARIA

DO
PLANEJAMENTO
SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 6
APRESENTAO
Oferece ainda aos clientes da avaliao, um mapa dos caminhos a serem persegui-
SUMRIO

09 O processo de criao da sistemtica 11 A linguagem do monitoramento e avaliao 15 Aspectos conceituais 17 O processo em 12 passos 19 PASSO 1: Definio do programa ou projeto a ser avaliado 20 PASSO 2: Formao de equipe mista de avaliao e elaborao do plano de trabalho 22 PASSO 3: Identificao e entrevista com os potenciais clientes da avaliao 26 PASSO 4: Elaborao do Modelo Lgico de Gesto e Anlise de Avaliabilidade do Programa 28 PASSO 5: Anlise de Avaliabilidade
SUMRIO
29 PASSO 6: Definio do escopo da avaliao 32 PASSO 7: Anlise dos instrumentos e registros j disponveis do Programa 33 PASSO 8: Definio dos indicadores de monitoramento e avaliao a serem utilizados
37 PASSO 9: Definio e criao dos instrumentos para coleta de dados 40 PASSO 10: Coleta dos dados 42 PASSO 11: Tabulao e anlise dos dados coletados 46 PASSO 12: Elaborao e disseminao do Relatrio de Avaliao 47 Estrutura modelo do relatrio de avaliao 48 Concluso 49 Glossrio 53 Referncias Bibliogrficas
Anexos 54 ANEXO I Modelo Lgico de Gesto do Programa Cabra Forte 59 ANEXO II Questionrio para levantamento de informaes 62 ANEXO III Instrumento usado para anlise dos dados coletados sobre o Programa Cabra Forte
SUMRIO
O PROCESSO DE CRIAO
O PROCESSO DE CRIAO DA SISTEMTICA

A construo da Sistemtica de Monitoramento e Avaliao em Programas e Projetos Governamentais teve como principio bsico a premissa de que o processo avaliativo de polticas pblicas permite aperfeioar a gesto das aes desenvolvidas por um governo para atender de modo eficiente e eficaz as demandas da sociedade e constitui uma ferramenta estratgica que permite conhecer, entender, decidir e planejar de modo aprimorado com o aprendizado do passado e do presente. O Programa de Monitoramento e Avaliao que vem sendo conduzido pela Secretaria do Planejamento, atravs da Superintendncia de Gesto e Avaliao, busca assegurar a eficcia das polticas pblicas, seus planos, programas, projetos e atividades e o bom uso dos recursos sob responsabilidade das organizaes. O Programa est estruturado em quatro estratgias que se complementam e vm gerando um conjunto diversificado de processos e produtos. A estratgia de formao visa sensibilizar e capacitar servidores estaduais para atuarem em monitoramento e avaliao de programas e projetos governamentais e a divulgao de experincias exitosas. A estratgia de informao tem por objetivo produzir, analisar e veicular informaes confiveis e tempestivas para subsidiar a tomada de deciso, a correo de procedimentos e a retroalimentao do processo de planejamento. Na estratgia de articulao/comunicao est sendo implementado um trabalho em parceria com as Secretarias e rgos estaduais, visando aperfeioar o formato e o fluxo das informaes das aes de Governo. Por fim, a estratgia de Planejamento, visa estimular boas prticas de planejamento focadas em resultado e resulta na construo das matrizes lgicas, onde esto explicitados os objetivos, atividades, produtos, resultados e impactos, com a definio dos respectivos indicadores para cada secretaria. A implementao destas estratgias j apresenta melhorias na qualidade da programao, execuo, monitoramento e avaliao das aes governamentais, contribuindo para uma maior racionalizao no ciclo de gesto do Estado.
A construo e implementao de uma sistemtica de monitoramento e avaliao em programas e projetos governamentais um dos componentes do Programa de M&A e apresenta-se como um pr-requisito bsico para o aperfeioamento do processo de gesto e para a criao das condies da retroalimentao da programao de Governo. Um outro determinante para a elaborao deste documento foi o compromisso em preencher uma lacuna na gesto pblica estadual, face inexistncia de uma cultura avaliativa e de uma sistemtica que oriente metodologicamente o processo de monitoramento e avaliao para a otimizao na utilizao dos recursos pblicos e na maximizao dos resultados. O documento foi construdo por uma equipe composta por representantes de diversas Secretarias, envolvidas na implementao do Programa selecionado, denominada Matricial, liderada pela Seplan/SGA, contando ainda com o apoio da Fundao Luis Eduardo Magalhes (FLEM). A adoo desta Sistemtica possibilitou, de um lado, produzir e testar metodologias e instrumentos de M&A capazes de medir o grau de eficincia, eficcia e efetividade das intervenes governamentais e, de outro lado, capacitar tcnicos da SGA e demais Secretarias e entidades responsveis pela concepo e implementao do Programa Cabra Forte, programa escolhido para testar a ferramenta da Sistemtica. Resultado de um trabalho prtico e participativo, a partir de discusses e contribuies de diversos profissionais do setor pblico estadual, em oficinas e reunies, foi possibilitado um aprendizado consistente sobre o assunto e a construo dos passos da metodologia. A elaborao do Modelo Lgico de Gesto de Programas e Projetos Governamentais (MLGP), um dos passos mais importantes para a utilizao desta Sistemtica, na medida que possibilita o compartilhamento de informaes sobre o real funcionamento de uma interveno governamental, atravs da explicitao das atividades planejadas e dos resultados esperados, demonstrando as premissas e os objetivos do programa a ser monitorado e avaliado. importante registrar que este documento constitui-se em um primeiro esforo de construo metodolgica para nortear as prticas de M&A no Estado, contribuindo para a disseminao dos aspectos tericos e processuais na gesto dos programas e projetos governamentais.
10
O PROCESSO DE CRIAO

Apesar da crescente disseminao de trabalhos de monitoramento e avaliao em instituies pblicas e privadas do Brasil e do mundo, ainda encontramos muito dissenso sobre alguns dos seus principais conceitos. Assim, torna-se imprescindvel na elaborao de qualquer sistemtica de monitoramento e avaliao, uma definio prvia dos conceitos a serem adotados ao longo do trabalho. No incio deste projeto foi realizada uma oficina de Alinhamento Conceitual onde foram apresentadas definies dos termos monitoramento e avaliao adotados por organizaes nacionais e internacionais. A partir de uma sntese dessas definies, foi elaborado o quadro abaixo que ressalta as diferenas entre os dois instrumentos: Monitoramento
Atividade de gesto interna e contnua. Acontece durante a implementao do programa ou projeto. Compara o que est sendo realizado com o que foi planejado.
Avaliao
Atividade interna ou externa. Pode acontecer antes, durante ou depois da implementao de um programa ou projeto. Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critrios pr-estabelecidos, tais como: eficcia, eficincia, efetividade, sustentabilidade, dentre outros.
Foram tambm analisados diferentes tipos de avaliao e seus objetivos, ficando ento definido que a Sistemtica aqui apresentada ser instrumento para a realizao de avaliaes com as seguintes caractersticas: Interna (Internal Evaluation) conduzida por membros das organizaes associadas ao programa, projeto ou objeto que est sendo avaliado.
11
Formativa (Formative Evaluation) utilizada durante a implementao de um programa ou projeto, para fornecer informaes que permitam o seu aprimoramento. Avaliaes Formativas so usadas para dar um retorno s equipes tcnicas sobre os componentes do programa/projeto que esto funcionando e aqueles que precisam ser modificados. De Programas ou Projetos (Program Evaluation) utilizada para determinar se os objetivos, formato e resultados do programa ou projeto esto adequados, assim como seu grau de eficincia, eficcia e efetividade na aplicao dos recursos. Dentro do ciclo governamental de criao e execuo de polticas e programas, esta Sistemtica visa realizao de avaliaes de processo e resultados de programas em fase de implementao, conforme demonstrado na figura a seguir:
A Avaliao no Ciclo das Polticas Pblicas

Formato Estratgico da Poltica Formulao do Programa Incio da operacionalizao Implementao
Reformulao, expanso, reduo, encerramento
Avaliao das necessidades/ questes prioritrias 12
Avaliao prvia
Avaliao de processo
Avaliao de resultados
Avaliao final
Avaliaes de processo e resultados podem acontecer simultaneamente, complementando-se na funo de orientar as equipes gestoras para maior compreenso do programa, seu funcionamento e seus resultados junto ao pblico-alvo. A avaliao de processo visa determinar o grau em que o programa est operando conforme planejado. Este tipo de avaliao tem como objetivo entender o funcionamento do programa a partir da anlise do que ele faz e de quem so seus beneficirios para, assim, aprimorar suas aes. A avaliao de processo tambm ajuda na identificao dos elementos essenciais para o melhor desempenho do programa em termos de produtos, resultados e impactos. Em geral, responde a perguntas em duas categorias cobertura e processo. Cobertura: analisa o alcance do programa e as caractersticas dos beneficirios. Processo: analisa a consistncia do programa e a qualidade de sua implementao.
Exemplos de Perguntas Avaliativas de Processo

Quanto cobertura: Quais so as principais caractersticas dos participantes? Estamos atendendo quem deveramos atender? Em qual proporo estamos conseguindo atender aqueles que nos procuram? Quanto ao processo de implementao do programa: As atividades esto acontecendo conforme planejado? Quais so os pontos fortes e fracos das estratgias e atividades do programa? Como os diferentes atores percebem o programa?
13
A avaliao de resultados analisa em que grau o programa vem produzindo os benefcios e transformaes a que se prope. As atividades de um programa produzem trs tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact). Atividades: procedimentos do programa que so mobilizados visando obteno dos efeitos desejados (como o treinamento de produtores, perfurao de poos, etc.). Produtos: efeitos imediatos de cada atividade do programa (como o nmero de pessoas capacitadas, aulas dadas, materiais produzidos, etc.). Resultados: impactos de curto prazo, resultado direto do programa nos seus beneficirios (normalmente referem-se a mudanas de conhecimento, habilidades, comportamento e valores). Impactos: benefcios e transformaes de mdio e longo prazo para os participantes e beneficirios indiretos do programa (suas famlias e comunidades).
Exemplos de Perguntas Avaliativas de Resultado

Quanto aos produtos: Estamos fazendo o que dissemos que amos fazer? As metas esto sendo cumpridas? Se no, por que no? Quanto aos resultados: Estamos fazendo a diferena que planejamos fazer? Que efeitos o programa tem sobre os beneficirios diretos e indiretos? Quanto aos impactos: O programa causou os impactos esperados? Que grandes transformaes o programa provocou na vida de seus beneficirios?
14

A metodologia utilizada nesta Sistemtica de Monitoramento e Avaliao baseiase em alguns conceitos, princpios e prticas mundialmente adotados por instituies e profissionais da rea. Trs foram os principais princpios norteadores deste trabalho: 1. A avaliao deve ser um instrumento de gesto, desde a sua elaborao at o futuro uso de seus resultados. 2. O valor da avaliao est na sua utilidade, na sua capacidade de atender s necessidades de informao de seus usurios. 3. O processo de avaliao deve ser construdo e implementado de maneira compartilhada pelos avaliadores com a equipe tcnica executora do programa. Estes princpios baseiam-se em conceitos de Michael Quinn Patton, ex-presidente da Associao Americana de Avaliao (American Evaluation Association). Em sua obra Avaliao com Foco na Utilizao (Utilization-focused Evaluation), Patton refora a idia de que avaliaes deveriam ser julgadas pela sua utilidade e real uso. Visando garantir esta utilidade, Patton defende a prvia identificao e engajamento dos usurios da avaliao, pois, segundo ele, mais provvel que os potenciais clientes da avaliao a utilizem se eles compreenderem e se apropriarem do processo de avaliao e seus resultados2.
2
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text. Londres: Sage Publications.
15
OBJETIVOS
A Sistemtica de Monitoramento e Avaliao tem como objetivos: 1. Proporcionar avaliaes peridicas do desempenho dos programas, instrumentalizando as equipes do Governo na gesto de recursos e obteno de resultados mais efetivos. 2. Incorporar a atividade de monitoramento e avaliao como um instrumento de rotina em programas governamentais.
Para estar apta a coordenar as atividades, a equipe Matricial deve ser capacitada em temas como: Os mitos sobre avaliao; Os principais conceitos e tipos de avaliao; A lgica e os valores da avaliao; A avaliao com foco na utilizao seus passos e desafios; Os princpios da avaliao participativa; A relao entre polticas, programas e projetos; A anlise de avaliabilidade; O modelo lgico de gesto do programa sua funo e seus componentes.
16
ASPECTO CONCEITUAIS
17
ASSOS P 2 1 M E O O PROCESS

gia uma metodolo o a li a v to e A 3 permite onitoramen M e d a c Governo . Ela ti o d s m co te gi is t S ra A jetos est aes governarogramas e pro as p d o m h e n a e p ad m lic se bre o de para ser ap mada de informaes so e d a ic bsidiando a to d su , ri o e p o cu e x n e te a ob a da nto da sua do na melhori o aprimorame an o lt d n su ia re ic , p m ro si p mentais, cerias e, as projetos e par s vo o n a to cional. deciso quan ttico e opera , artir da co gi t ra st e eis s 12 passos a p o id fin e d m ra gesto nos nv tica, fo o desta Sistem a lic ap a ar lit ci e. Para fa ama Cabra Fort gr ro P o m co to vivida experincia-pilo
A Sistemtica aqui apresentada pode ser aplicada tanto a programas quanto a projetos governamentais. Neste roteiro, o termo programa usado de maneira generalizada, representando programas e projetos.
18
O PROCESSO EM 12 PASSOS
PASSO 1:
Definio do programa ou projeto a ser avaliado

O processo de avaliao de um programa complexo e exige bastante dedicao no s dos avaliadores, mas tambm da equipe gestora. Por isso, a deciso de avaliar determinado programa deve ser tomada a partir do comprometimento de todos os envolvidos na sua execuo. A definio de critrios tcnicos para auxiliar na deciso de qual programa dever ser avaliado, ajuda no estabelecimento das diretrizes do trabalho e alinha o entendimento de todos os participantes sobre a importncia do estudo avaliativo a ser desenvolvido. Entre os critrios que podem ser adotados na seleo de programas a serem avaliados esto: Prioridade do tema: grau de importncia do tema foco do programa. Clareza de foco: grau de clareza dos objetivos do programa. Visibilidade: grau de visibilidade do programa para a populao da Bahia.
PASSO 1
Interesse dos gestores e responsveis institucionais em avaliar: grau de interesse em avaliar o programa. Concordncia: grau de entendimento entre os gestores envolvidos quanto aos objetivos, metas e resultados. Conhecimento: existncia de informaes que permitam o acompanhamento da execuo fsica e financeira. Volume de recursos oramentrios: recursos oramentrios disponveis para o programa.
19
PASSO 2:
Formao de equipe mista de avaliao e elaborao do plano de trabalho

A metodologia adotada nesta Sistemtica prev a formao de uma equipe mista de avaliao, formada por avaliadores da prpria unidade gestora do programa a ser avaliado, equipe tcnica do programa e, se necessrio, consultores externos contratados. A Seplan dar o apoio em todo o processo de avaliao quanto aos procedimentos, normas e nas atividades relativas ao planejamento, articulao e gesto da informao. No caso de avaliao de programas multisetoriais, todas as Secretarias e rgos envolvidos na execuo do programa devero estar representados na equipe mista de avaliao. Desta forma, garante-se que todas as perspectivas setoriais sero consideradas no estudo. A primeira tarefa a ser executada pela equipe mista de avaliao a elaborao do plano de trabalho para a aplicao da Sistemtica de Monitoramento e Avaliao no programa escolhido. A partir de informaes do programa a ser avaliado e da disponibilidade de recursos (humanos, financeiros e de tempo) a equipe dever detalhar as etapas apresentadas neste roteiro, definindo prazos e responsveis.
20
Principais Funes da Equipe Mista de Avaliao: Articular o processo avaliativo com os interesses e necessidades dos potenciais clientes da avaliao; Participar da elaborao do Modelo Lgico de Gesto do Programa e da definio do escopo da avaliao; Coletar, analisar e sistematizar as informaes sobre o desempenho do programa para garantir seu contnuo monitoramento; Elaborar relatrios de avaliao do programa com recomendaes para seu aprimoramento.
PASSO 2
PLANO DE TRABALHO
PLANO DE TRABALHO
12. Elaborao e disseminao do Relatrio de Avaliao 11. Tabulao e anlise dos dados coletados 10. Coleta de dados 9. Criao dos instrumentos para coleta de dados 8. Definio dos indicadores de M&A 7. Anlise de instrumentos de M&A e registros existentes 6. Definio do escopo de avaliao 5. Anlise das expectativas dos clientes de avaliao 4. Elaborao do Modelo Lgico de Gesto
3. Entrevista com potenciais clientes de avaliao 2. Formao da equipe mista de avaliao 1. Definio do programa a ser avaliado
21
PASSO 3:
Identificao e entrevista com os potenciais clientes da avaliao

Os potenciais clientes de uma avaliao so as pessoas e grupos que so afetados pelos seus resultados, esto em posio de tomar decises sobre a avaliao, e pretendem usar as informaes sobre o processo e os resultados da avaliao para definir futuras aes. A equipe de avaliao dever definir no incio dos trabalhos quem so os potenciais clientes da avaliao e entrevist-los para conhecer suas expectativas e necessidades de informao que o estudo avaliativo dever atender.

Potencias clientes da avaliao entrevistados: Secretrios da Agricultura, de Combate Pobreza e do Planejamento; Representantes das Superintendncias da Seplan; Gestor do Programa Cabra Forte; Representantes das unidades envolvidas: Empresa Baiana de Desenvolvimento Agrcola S.A. (EBDA), Companhia de Engenharia Rural da Bahia (CERB), Companhia de Desenvolvimento e Ao Regional (CAR) e Superintendncia de Articulao e Programas Especiais da Secretaria de Combate Pobreza e s Desigualdades Sociais (SPE/Secomp).
22
PASSO 3
MODELO DE QUESTIONRIO A SER APLICADO COM OS CLIENTES DA AVALIAO. Com relao avaliao do programa:
1. Quais so as suas expectativas sobre o processo e os resultados desta avaliao? 2. Como esta avaliao poderia contribuir para o aperfeioamento deste projeto? 3. Quais perguntas voc gostaria que fossem respondidas por esta avaliao? 4. De que maneira as respostas a essas perguntas ajudariam no seu trabalho? 5. Quais decises os resultados da avaliao poderiam influenciar? 6. Que dados e informaes so necessrios para esta tomada de deciso? 7. Quem deveria estar envolvido no processo de avaliao para orient-lo quanto s suas expectativas? 8. Como ns poderemos saber no futuro se esta avaliao foi til? 9. Outras informaes e comentrios?
PASSO 3
Dados do Responsvel Nome: Cargo: Telefone:
23
As informaes coletadas junto aos potenciais clientes da avaliao devero ser tabuladas e analisadas de maneira a orientar a definio do escopo da avaliao a ser realizada. Este processo de tabulao e anlise dever ser feito em trs etapas: 1. Despersonalizao das informaes. 2. Tabulao por categoria de anlise. 3. Priorizao das expectativas e perguntas de avaliao.

Expectativas dos Clientes sobre a Avaliao Quanto ao processo: Que utilize procedimentos de avaliao adequados s caractersticas do Programa; Que apure os resultados com qualidade e eficincia; Que identifique a necessidade de um eficiente banco de dados para controle e monitoramento do Programa; Que torne possvel o monitoramento das aes do Programa de uma forma que seja facilmente exeqvel; Que crie um instrumento de fcil execuo. Quanto aos produtos: Que possibilite a criao de banco de dados; Que gere informaes sobre a eficincia, eficcia e efetividade do Programa; Que possibilite anlise das transformaes provocadas pelo Programa no seu pblico-alvo (resultados);
24
PASSO 3
Que evidencie os resultados (positivos ou no) das intervenes, e se os investimentos realizados atendem s necessidades e expectativas dos pequenos criadores de caprinos e ovinos; Que demonstre se o Programa est alcanando os objetivos preconizados, ou seja, a melhoria da qualidade de vida da populao e da regio; Que analise at que ponto o Programa atende s necessidades dos beneficirios; Que analise o desempenho do Programa. Quanto aos resultados: Que possibilite maior registro e disseminao para conscientizao das equipes sobre os trabalhos que esto sendo realizados; Que possibilite a transparncia, eficincia e eficcia dos recursos aplicados nos projetos do Governo; Que as equipes internalizem os conceitos de avaliao e passem a v-los como instrumentos de gesto, para o aprimoramento e reconhecimento de seus esforos; Que possibilite a melhoria do fluxo de informaes entre as equipes de trabalho; Que tenha continuidade no processo de avaliao da ao governamental; Que tenha continuidade para que a metodologia seja preservada e se tenha registro de sries histricas. Quanto ao futuro uso: Que sirva de subsdio para o planejamento estadual e para a tomada de decises quanto a novos financiamentos e parcerias; Que leve correo dos desvios identificados e subsidie outros programas.
PASSO 3
25
PASSO 4:

Elaborao do Modelo Lgico de Gesto

O Modelo Lgico de Gesto do Programa (MGLP) um instrumento visual e sistmico de apresentao e compartilhamento de informaes sobre os recursos alocados em um programa, as atividades previstas, os produtos e as mudanas que se esperam alcanar no curto, mdio e longo prazo. De forma simples, o MLGP retrata um programa conforme ele vem sendo executado, facilitando a comunicao sobre o seu propsito fundamental e tornando-se um ponto de referncia para todos os envolvidos na sua implementao. importante sinalizar que apenas as atividades prioritrias para o desenvolvimento do programa devero ser includas no Modelo Lgico de Gesto. Oficinas devero ser realizadas com os principais responsveis pela execuo do programa a ser avaliado, para construo conjunta do MLGP . Apresenta-se a seguir a sugesto da estrutura do Modelo Lgico de Gesto a ser adotado nesta Sistemtica, e sua lgica de leitura.
26
PASSO 4
PASSO 4
27
PASSO 5:

Anlise de avaliabilidade

A anlise de avaliabilidade tem por objetivos buscar informaes sobre o formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes que seja feita a avaliao de seus resultados. Ela ajuda a definir se o programa pode ser efetivamente avaliado e se sua avaliao contribuiria para melhorar seu desempenho. Sendo uma espcie de pr-avaliao, esta anlise traz benefcios como: prevenir o desperdcio de recursos com avaliao; ajudar os potenciais clientes da avaliao a formularem perguntas avaliativas importantes e significativas; facilitar o consenso entre avaliadores e equipe tcnica do programa sobre o objeto e escopo da avaliao a ser realizada, e a metodologia que ser adotada. Realizada com base no Modelo Lgico de Gesto, a anlise de avaliabilidade deve buscar responder a cinco questes bsicas: 1. Quais so os principais componentes do programa? 2. Quais so os principais objetivos e metas do programa? 3. As pessoas envolvidas na gesto no programa concordam com seus objetivos? 4. Existe uma conexo lgica entre os objetivos, atividades e resultados esperados? 5. Quais seriam os melhores indicadores e/ou critrios para avaliar o alcance dos objetivos? Se no houver consenso sobre o que o programa e seus principais componentes, ele ainda no pode ser avaliado.
28
PASSO 5
PASSO 6:

Definio do escopo da avaliao

O escopo da avaliao uma combinao de sua(s) principal(is) finalidade(s) e do foco que o estudo dever ter, ou seja, as perguntas avaliativas que dever responder para cumprir esta finalidade. Vale destacar que o foco de todo processo avaliativo deve estar na sua utilidade para os tomadores de deciso e gestores do programa. Para garantir que a avaliao possa ser um efetivo instrumento gerencial, fundamental que se tenha clareza sobre o objeto a ser avaliado e sobre as expectativas dos seus principais usurios, os potenciais clientes da avaliao. A partir destas expectativas com relao aos produtos, resultados e futuro uso da avaliao, pode-se definir a(s) sua(s) principal(is) finalidade(s). E ento, todo o processo de definio de indicadores e criao de instrumentos dever ser realizado de maneira a garantir o alcance desta(s) finalidade(s). A definio das perguntas avaliativas dever ser feita a partir da anlise das perguntas trazidas pelos potenciais clientes sob a tica dos critrios de avaliao a
PASSO 6
serem adotados no estudo.
29

Perguntas Avaliativas sugeridas pelos Clientes de Avaliao Estamos fazendo o que nos propusemos a fazer (melhoria gentica, poos, etc.)? As metas esto sendo cumpridas quanto a: quantidade de produtores beneficiados, sistemas construdos, cisternas, pulmo verde implantados, assistncia tcnica disponvel e crias distribudas para melhoria gentica do rebanho? Que resultados esto sendo alcanados em comparao com os previstos? Os sistemas de abastecimento de gua (a partir de poos e barragens) e de cisternas construdos atendem s necessidades dos grupos de produtores e comunidades eleitos como pblico do Projeto? Quais os principais componentes do Projeto que contribuem positiva e negativamente para o alcance de seus resultados? Qual a diferena que o Projeto est fazendo junto ao seu pblico-alvo? (Efetividade) Os resultados esto sendo positivos para a populao beneficiada? O objetivo do Programa est sendo atingido? Que aes estamos fazendo para que os produtores efetivamente assumam a propriedade do processo? (Sustentabilidade) Qual o custo x benefcio do Programa? Qual o grau de eficincia na alocao de recursos neste Programa?
30
PASSO 6
As perguntas avaliativas devero ser sintetizadas segundo os seguintes critrios de avaliao: Eficcia expressa o grau em que o programa realiza o que havia sido proposto, alcanando suas metas e objetivos; Eficincia estabelecida pela menor relao custo x beneficio possvel para a realizao das atividades e alcance dos objetivos do programa; Efetividade o grau em que o programa alcana os resultados e impactos pretendidos junto ao seu pblico-alvo.

Perguntas Avaliativas Sintetizadas 1. Qual o grau de alcance das metas e objetivos do Programa? Anlise do grau de eficcia da implantao do Programa at o momento. 2. Qual o custo x benefcio das principais estratgias do Programa? Anlise do grau de eficincia a partir do levantamento do total de recursos aplicados em cada estratgia do Programa e os produtos por ela gerados. 3. Qual a diferena que o Programa est fazendo junto ao seu pblico-alvo? Anlise do grau de efetividade do Programa na obteno de resultados selecionados a partir do Modelo Lgico de Gesto.
PASSO 6
31
PASSO 7:
Anlise dos instrumentos e registros j disponveis do programa

Parte importante das informaes que subsidiam a avaliao de eficcia e eficincia de um programa vem dos registros administrativos gerados ao longo de sua execuo. A partir do registro sistematizado das atividades, seus principais produtos e custos, a equipe gestora do programa dispe de dados para comparar o realizado com o previsto em determinado perodo, monitorando, assim, o desempenho do programa. O levantamento e anlise dos registros administrativos antecede e subsidia a montagem dos instrumentos de monitoramento. Da a necessidade de registros confiveis, tempestivos, teis e bem estruturados. Nesta etapa do trabalho devero ser analisados os modelos de registro das realizaes j em uso pela equipe gestora e pelos tcnicos, nos vrios nveis de execuo do programa. Essa pesquisa fornecer aos avaliadores importantes informaes sobre falhas ou inadequao dos instrumentos de registro e dos processos de sistematizao dessas informaes. A partir do que j existe, de seu funcionamento e uso, os avaliadores podero propor formas de aprimorar o fluxo de informaes, de maneira que permita realizaes peridicas de avaliaes sobre o desempenho do programa. Para checagem e complementao das informaes necessrio, no entanto, que se apliquem tambm outros instrumentos quantitativos e qualitativos junto aos beneficirios do programa e aos atores intermedirios no seu processo de execuo. O diagrama a seguir retrata o fluxo de informaes proposto por esta Sistemtica de Monitoramento e Avaliao:
32
PASSO 7
PASSO 8:
Definio dos indicadores de monitoramento e avaliao a serem utilizados

Indicadores so medidas quantitativas e/ou qualitativas que funcionam como um termmetro do progresso de um programa, indicando os avanos obtidos em relao aos objetivos e metas traados. Como o prprio nome sugere, so sinalizadores que buscam expressar algum aspecto da realidade, de forma que possamos observ-lo ou mensur-lo. Indicadores de desempenho so usados para verificar e mensurar os possveis impactos, resultados, produtos, processos e recursos alocados em um programa, permitindo, assim, seu moni-

Ser vlido que mea o que se supe dever ser medido; Ser confivel que seja verificvel; Ser relevante que tenha relevncia em relao aos objetivos do programa; Ser sensitivo que seja sensvel s mudanas da situao que observada; Ser aceitvel que seja aceito pela populao em estudo e pelos principais clientes da avaliao; Ser especfico que seja especificamente adaptado aos objetivos do programa; Ser oportuno que possa ser constitudo e reportado em tempo hbil; Ser tecnicamente vivel que os dados requeridos possam ser coletados e mensurveis; Ser custo-efetivo que os dados requeridos possam ser coletados a um custo razovel.
PASSO 8
toramento e avaliao. A partir do que se quer avaliar, ou seja, das perguntas avaliativas e da anlise dos principais componentes do programa apresentados no seu Modelo Lgico de Gesto, devem ser definidos os indicadores de desempenho a serem utilizados para o monitoramento e avaliao do programa.
33
Nesta etapa, fundamental que se realize um exerccio para a seleo dos indicadores a serem utilizados e a definio de seus respectivos descritores. Os descritores so fundamentais para garantir a uniformidade de conceitos e um entendimento compartilhado sobre o que ser medido. O Descritor do Indicador traduz em linguagem simples e objetiva o que est sendo medido. Seu uso garante o alinhamento de conceitos entre os responsveis pela coleta dos dados, dando maior consistncia s informaes produzidas pela avaliao. Alm disso, deve-se tambm, definir as principais fontes de informao para a obteno dos dados necessrios composio de cada indicador e a periodicidade com que esta informao pode ser obtida. O quadro a seguir exemplifica como este exerccio pode ser realizado:

Sntese do processo de construo dos indicadores
Aps a validao do escopo da avaliao com a equipe Matricial, deu-se incio o trabalho de construo conjunta dos indicadores de M&A do Programa. O primeiro passo foi definir para cada atividade a ser avaliada: indicadores de produto; seus descritores (para garantir uniformidade de conceitos com os responsveis pelo fornecimento dos dados); a periodicidade ideal da coleta dos dados; as melhores fontes de informao.
34
PASSO 8

Este trabalho foi desenvolvido em uma oficina de quatro horas, onde a equipe Matricial, dividida em grupos por estratgia do Programa e orientada pelos avaliadores, detalhou o foco da avaliao. Nessa oficina, foi tambm realizada uma consulta com a equipe Matricial sobre o grau de execuo das estratgias do Programa, para verificar se o tempo de implantao de cada atividade, descrita no Modelo Lgico de Gesto, tornava vivel a sua avaliao nas trs categorias: eficcia, eficincia e efetividade. A concluso a que se chegou, foi que este estudo avaliativo deveria priorizar o levantamento de dados referentes eficcia (o que o Programa realizou desde seu incio at o momento atual) e eficincia do Programa (a relao custo x benefcio das atividades). O planejamento da avaliao de efetividade das aes de um programa depende da anlise dos dados relativos ao grau de realizao das atividades, sua espacializao geogrfica e o momento de sua execuo. Estas informaes so fundamentais para que se estabeleam os procedimentos metodolgicos adequados para verificar os resultados, ou impactos de curto prazo, no pblico-alvo. Apenas como exerccio de capacitao da equipe de avaliadores, foram selecionados alguns resultados do Programa considerados os mais estratgicos para comprovar as transformaes j realizadas pelo Cabra Forte na vida dos seus beneficirios, para os quais foram definidos indicadores de efetividade.
PASSO 8
35

PERGUNTA AVALIATIVA Eficcia: Qual o grau de alcance das metas e objetivos do Programa?
Componentes a Serem Avaliados Indicadores de Desempenho Descritor dos Indicadores Periodicidade da Informao 1. Mensal Fonte de Informao Tcnicos da Cerb
1.1.1 Perfurao e recuperao de poos tubulares Poos instalados Produtores beneficiados/ Comunidades de abrangncia Produo de gua
1. N de poos instalados no perodo
1. N de Sistemas Simplificados de Abastecimento de gua (SSAA) entregues comunidade a partir de poos, em condies de oferecer gua em quantidade e qualidade adequadas para consumo animal. 2. Produtores pertencentes s 2. N de produtores beneficiados/ comunidades do Programa comunidade (grupo de produtores) / beneficiados com os novos poos municpio/ plo instalados. 3. Capacidade potencial de produo 3. Produo potencial de gerao de de gua dos poos instalados, gua disponvel por poo instalado / medida em m/hora. comunidade / municpio / plo 4. Produo efetiva de gerao de 4. Capacidade real de produo de gua disponibilizada por poo instalado/ comunidade / municpio / gua dos poos instalados, medida plo por m/hora.
2. Mensal
3. Mensal (dos novos poos instalados) 4. Mensal (dos novos poos instalados).
36
PASSO 8
PASSO 9:
Definio e criao dos instrumentos para coleta de dados

A definio dos instrumentos para a coleta de dados a serem utilizados no estudo avaliativo depende da escolha do tipo de abordagem que se quer adotar. Abordagens quantitativas tm a vantagem de permitir mensurao, comparao e generalizao das informaes obtidas, no entanto as abordagens qualitativas permitem uma anlise mais aprofundada das experincias estudadas. Os mtodos de coleta de dados quantitativos mais comumente utilizados so a pesquisa de dados disponveis em sistemas de acompanhamento e monitoramento do programa, e a aplicao de questionrios ou formulrios junto aos beneficirios e atores intermedirios da sua execuo. No caso de abordagens qualitativas, os mtodos de coleta de dados mais usados so entrevistas, grupos focais e observao direta. Cada instrumento criado dever ser pr-testado para anlise de sua consistncia e clareza, e avaliao da relevncia e viabilidade dos dados por ele coletados. Uma simulao da tabulao e anlise dos dados coletados no pr-teste tambm ajuda no aprimoramento do instrumento antes da sua aplicao generalizada. O sucesso desta etapa fundamental para a realizao de uma avaliao que permita uma utilizao plena de seus resultados. No basta escolher bons indicadores tericos e de aplicaes gerais, torna-se imprescindvel a relevncia, bem como pertinncia ao objeto avaliado e, sobretudo, a operacionalidade, sem implicar em excessos de utilizao de recursos (tempo, recursos financeiros e recursos humanos).
PASSO 9
37

O levantamento dos indicadores Em oficina, produziu-se um levantamento preliminar das informaes existentes sobre a eficcia e eficincia do Programa e, a partir destes dados, elaborou-se uma estratgia para avaliao da efetividade, j que esta ltima requer a aplicao de instrumentos qualitativos e uso de tcnicas de amostragem, o que s pode ser definido a partir de informaes concretas sobre as realizaes do Programa, sua temporalidade e espacializao. Foram criados os instrumentos para a coleta dos dados elaborados a partir da definio das informaes necessrias para a alimentao dos Indicadores de Eficcia e Eficincia selecionados para esta avaliao, conforme modelo previamente estabelecido. Os instrumentos foram validados pelos membros da equipe Matricial responsveis por cada estratgia. Ficou estabelecido que fossem criados formulrios para coleta dos dados nos seguintes perodos: Consolidado 2003 Consolidado 2004 Ms a ms de janeiro a abril de 2005
38
PASSO 9
Para uma completa visualizao das realizaes do Programa, foi acordado com a equipe Matricial que os dados seriam coletados nos seguintes nveis de desagregao: por plo do Programa por municpio atendido por comunidade beneficiada por grupos de produtores beneficiados Desta maneira, as informaes poderiam ser espacializadas e consolidadas nos diferentes nveis de execuo do Programa, permitindo comparaes sobre as realizaes e alocaes de recursos.

Exemplo de dados a serem coletados e definio de alguns indicadores
COMPONENTES
DADOS A SEREM COLETADOS
INDICADORES
1.1.1 Perfurao e recuperao de poos tubulares
N de poos instalados no perodo/ comunidade/ municpio/ plo. Meta de instalao de poos no perodo/ comunidade/ municpio/ plo. N de produtores beneficiados/ comunidade (grupo de produtores)/ municpio/ plo. Meta de produtores a serem beneficiados com poos no perodo/ comunidade/ municpio/ plo. Capacidade potencial de produo de gua dos poos instalados (em m/hora)/ poo/ comunidade/ municpio/ plo. Capacidade real de produo de gua dos poos instalados (em m/hora)/ poo/ comunidade/ municpio/ plo. Custo de instalao dos poos no perodo/ comunidade/ municpio/ plo.
Eficcia: N poos instalados x n previsto N de produtores beneficiados x n previsto Espacializao dos poos instalados Espacializao dos produtores beneficiados Produo potencial de gerao de gua disponvel nos poos instalados Produo efetiva de gerao de gua disponibilizada nos poos instalados Eficincia: Produo potencial de gerao de gua x produo efetiva de gerao de gua disponibilizada nos poos instalados Custo de produo da gua com poo x N de produtores atendidos
PASSO 9
39
O processo de coleta dos dados deve ser planejado a partir da definio dos instrumentos que sero utilizados, das informaes que sero pesquisadas e do prazo de que se dispe para a obteno dessas informaes. A caracterstica da populao-alvo, a caracterstica espacial e os indicadores de desempenho fsico-financeiro so dados relevantes para serem coletados. As primeiras informaes a serem levantadas dizem respeito ao processo de execuo do programa e seus produtos. A partir dos dados sobre as realizaes do programa, obtidos no sistema de monitoramento e de outras fontes de informaes, os avaliadores podero coletar os indicadores de eficcia e eficincia definidos. Os indicadores de eficcia e eficincia so obtidos, freqentemente, a partir dos registros administrativos do prprio programa. J os indicadores de efetividade, exigem seu levantamento direto junto populao beneficiria ou a registros censitrios. Na coleta de dados com beneficirios do programa, pode-se optar pela pesquisa com toda a populao a ser estudada ou por amostragem. Censos demogrficos e econmicos, relatrios de acompanhamento da execuo fsico-financeira, relatrios de avaliaes anteriores, artigos ou informaes de divulgao, so fontes que podem ser consultadas para o levantamento das informaes. Nesta etapa, importante dispor de um banco de dados de registros administrativos consistente com o MLGP . necessrio tambm, capacitar os executores do programa, especialmente os tcnicos responsveis pela obteno das informaes primrias.
40
PASSO 10
PASSO 10: Coleta dos dados

Processo de coleta de dados A partir das fontes de informao de cada indicador definidas pela equipe Matricial, o processo de coleta dos dados foi desenhado, respeitando a estrutura operacional do Programa Cabra Forte. Como o Programa uma combinao de estratgias sob a responsabilidade de vrias Secretarias e rgos Governamentais, foi definido que cada entidade executora ficaria responsvel pelo repasse das informaes referentes sua parte no Programa. A equipe de avaliadores sintetizou e analisou os dados, validando-os com a equipe Matricial antes da elaborao do relatrio de avaliao. Os instrumentos de coleta de dados foram enviados aos membros da equipe Matricial, que ficaram responsveis por criar os canais adequados para a obteno dessas informaes nos nveis operacionais do Programa. Ao final do trabalho, o resultado da avaliao deve retornar aos vrios nveis garantindo a disseminao das informaes obtidas, conforme ilustrao a seguir:
PASSO 10
41
Todos os dados devem ser tabulados, ou seja, organizados de maneira a facilitar a sua interpretao e anlise, tendo em vista as perguntas avaliativas a serem respondidas. A tabulao e anlise dos dados sero decorrentes da sua natureza: quantitativos ou qualitativos. Em uma avaliao, os textos e observaes coletados vm de vrias fontes como: respostas a perguntas abertas de questionrios, transcries de grupos focais ou entrevistas, roteiros de observao de casos, ou, ainda, resumos de relatrios e documentos pesquisados. Tanto as fontes de informaes, como as tcnicas quantitativas e qualitativas utilizadas para a coleta de dados, devem ser combinadas para uma compreenso mais abrangente do programa. As informaes sobre o previsto e o realizado, os principais produtos entregues aos beneficirios, e a espacializao destas realizaes, so dados importantes para subsidiar a avaliao de desempenho do programa.
42
PASSO 11
PASSO 11: Tabulao e anlise dos dados coletados

Tabulao e anlise dos dados coletados (alguns exemplos)
PASSO 11
43
44
PASSO 11
INDICADOR DE EFETIVIDADE
(Qual a diferena que o Programa est fazendo no seu pblico-alvo?)

RESULTADOS ESPERADOS Maior acesso dos produtores a gua de qualidade para consumo animal + Dessedentao dos animais. SITUAO IDEAL Produtores percorrendo no mximo 1.500 metros para obter gua para seu rebanho. INDICADORES DE RESULTADO SELECIONADOS Distncia mdia percorrida pelos produtores para obter gua para seu rebanho (em metros) - antes e depois; Consumo mdio de gua / cabea / dia (em litros) x capacidade instalada dos poos; Freqncia com que no obteve a quantidade de gua necessria para dessedentar os animais - antes e depois. INSTRUMENTO CRIADO Questionrio a ser aplicado por amostragem com produtores beneficiados com poos do Programa.
PASSO 11
45
Toda avaliao deve resultar em um relato claro e objetivo sobre o processo e os resultados obtidos quanto ao desempenho do programa analisado. Estas informaes devem ser disseminadas entre os principais clientes da avaliao de maneira a influenciar futuras decises quanto ao aprimoramento do programa ou ao estabelecimento de novas diretrizes de ao. A comunicao dos resultados de uma avaliao pode ser feita de forma oral ou escrita, mas deve sempre ser simples, direta e livre de jarges. A nfase deve estar nos importantes resultados obtidos e nas recomendaes, sempre com o foco nos principais clientes da avaliao, suas expectativas e necessidades de informao.
46
PASSO 12
PASSO 12: Elaborao e disseminao do Relatrio de Avaliao
ESTRUTURA MODELO DO RELATRIO DE AVALIAO

ESTRUTURA MODELO
1. Capa ttulo do relatrio, autores, instituies patrocinadoras/ participantes, lugar e data. 2. ndice captulos e subcaptulos do relatrio. 3. Crditos agradecimento a todas as pessoas e instituies que possibilitaram a realizao do estudo. 4. Resumo Executivo apresentao do estudo incluindo objetivos, metodologia adotada, principais resultados encontrados, concluses/ recomendaes. Deve ter no mximo quatro pginas. 5. Introduo contexto e antecedentes da avaliao: caracterizao do problema, justificativa do estudo, finalidade da avaliao, perguntas avaliativas e circunstncias especiais. 6. Metodologia desenho da avaliao: coleta e anlise dos dados e limitaes. Texto curto com maior detalhamento nos anexos (cpias dos instrumentos utilizados, clculo de tamanho de amostra, etc.). 7. Resultados principais resultados encontrados e apresentados em grficos e tabelas com breve anlise. 8. Concluses sntese dos dados encontrados e apresentados de maneira a responder s perguntas avaliativas. 9. Recomendaes prescrio do que deve ser feito a partir das concluses do estudo. O nvel de detalhamento das recomendaes depende da finalidade da avaliao e do perfil dos seus clientes. 10. Referncias Bibliogrficas identificao de todo o aporte bibliogrfico que norteou a avaliao. 11. Anexos instrumentos para a coleta dos dados utilizados, procedimentos metodolgicos adotados, dados adicionais obtidos ou com maior desagregao, entre outros documentos relevantes.
47
CONCLUSO

Buscando instrumentalizar as equipes gestoras dos programas e projetos estratgicos do Governo do Estado da Bahia, a Secretaria do Planejamento e a Fundao Luis Eduardo Magalhes criaram e testaram uma Sistemtica de Monitoramento e Avaliao. Testada no Programa Cabra Forte, programa multisetorial que visa melhorar a qualidade de vida de 26.000 pequenos produtores rurais e suas famlias, atravs do aumento da renda proveniente da ovinocaprinocultura, a Sistemtica aqui apresentada tem o objetivo de ser disseminada entre as equipes das Secretarias e rgos Governamentais do Estado. A partir da compreenso das etapas que levaram a construo desta metodologia de monitoramento e avaliao, as equipes podero implant-la em outros programas e projetos seguindo o roteiro apresentado neste Guia. Capacitaes, orientaes e acompanhamento peridico devero ser oferecidos por avaliadores da Seplan aos rgos Gestores, no sentido de garantir a implantao desta Sistemtica de forma gradual, consistente e efetiva. A disseminao dos conceitos, princpios, processos e instrumentos, permitir que tcnicos dos nveis estratgico, ttico e operacional do Governo estejam constantemente informados sobre o desempenho dos programas e projetos sob sua responsabilidade. Ao fazer do monitoramento e da avaliao efetivos instrumentos de gesto, o Governo do Estado da Bahia demonstra sua preocupao com o aprimoramento da habilidade gerencial de suas equipes, visando aumentar a eficcia, eficincia e efetividade das suas polticas, programas e projetos.
48
CONCLUSO
GLOSSRIO

Acompanhamento / Monitoramento
Exame contnuo ou peridico realizado pela administrao, em todos os nveis hierrquicos, do modo como se est executando um projeto ou atividade. Tem como objetivo prover os gestores e principais stakeholders com regular feedback e indicaes do progresso ou possveis falhas no alcance dos resultados esperados. O termo acompanhamento freqentemente tem sido associado a um mero registro contbil. Entretanto, preciso considerar que o acompanhamento tem necessariamente que produzir informaes teis para o gerenciamento do projeto ou atividade.
concorrem para a manuteno e o funcionamento de rgos e entidades governamentais e para a prestao de servios pblicos utilizados pela populao.
Avaliao
Apreciao sistemtica e objetiva do valor ou mrito de um projeto, programa ou poltica, antes, durante ou aps a interveno, quanto sua concepo, execuo e resultados. Tem como propsito determinar a pertinncia, eficincia, eficcia, efetividade, impacto e sustentabilidade da interveno.
Avaliao de Processo
Visa determinar o grau em que o programa est operando conforme planejado. Este tipo de avaliao tem como objetivo entender o funcionamento do programa a partir da anlise do que ele faz e de quem so seus beneficirios para, assim, aprimorar suas aes. A avaliao de processo tambm ajuda na identificao dos elementos essenciais para o melhor desempenho do programa em termos de produtos, resultados e impactos. Em geral, responde a perguntas em duas categorias cobertura e processo.
Anlise de Avaliabilidade
GLOSSRIO
Tem por objetivos buscar informaes sobre o formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes que seja feita a avaliao de seus resultados.
Apreciao Prvia (Appraisal)

Apreciao global da pertinncia, viabilidade e sustentabilidade provvel de uma interveno de desenvolvimento antes que a deciso de implementao seja tomada.
Analisa em que grau o programa vem produzindo os benefcios e transformaes a que se prope. As atividades de um programa produzem trs tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact).
Atividades
Procedimentos do programa que visam obteno dos efeitos desejados. Do ponto de vista da programao oramentria um conjunto de operaes que se realizam de modo contnuo e que
49
Avaliao de Meio Percurso ou de Meio Termo

Tipo de avaliao realizada durante o processo de implementao de um programa ou projeto. Seu principal objetivo avaliar o progresso realizado, permitir concluses iniciais sobre o seu gerenciamento e fazer recomendaes para a continuidade dos trabalhos. Esta avaliao analisa questes operacionais relevantes e a performance, extraindo lies aprendidas at aquele momento.
Avaliao Final (Avaliao ex-post)

Avaliao de uma interveno aps a sua concluso, podendo ser realizada logo aps a concluso da interveno ou algum tempo depois. O objetivo identificar os fatores de sucesso ou de fracasso, apreciar a sustentabilidade dos resultados e os impactos, e tirar concluses que possam ser generalizadas para outras intervenes.
Avaliao Participativa
Avaliao coletiva de um projeto ou programa, realizada pelos stakeholders ou beneficirios. So avaliaes reflexivas, pr-ativas, que visam capacitar os envolvidos no programa e tm como principal objetivo atender as necessidades de informao dos stakeholders.
Avaliao de Programa ou Projeto

Avaliao feita para determinar se os objetivos, formato e resultados do programa ou projeto esto adequados, assim como o grau de eficincia, eficcia e efetividade na utilizao dos recursos.
Avaliao Externa
Avaliao conduzida por um ou mais avaliadores que no esto diretamente envolvidos na formulao, implementao e/ou gerenciamento do objeto da avaliao. Normalmente realizada por pessoas de fora da organizao envolvida. tambm chamada de avaliao independente.
Avaliao Prvia (Avaliao ex-ante )

Avaliao efetuada antes da implementao de uma interveno.
Beneficirios
Indivduos, grupos ou organizaes que se beneficiam do programa ou projeto direta ou indiretamente, intencionalmente ou no.
Avaliao Formativa
Refere-se ao processo de execuo do programa, servindo para melhorar seu funcionamento. So modalidades complementares a serem utilizadas de acordo com cada situao concreta.
Cobertura
Analisa o alcance do programa e as caractersticas dos beneficirios.
Avaliao Interna
Avaliao conduzida por membros de organizaes associadas com o programa, projeto ou objeto que est sendo avaliado.
Dados da Linha de Base (Baseline Data)

Informao inicial sobre um programa ou seus componentes, coletada antes das atividades serem executadas. Os dados de linha de base so normalmente coletados em entrevistas ou observaes e usados posteriormente para comparaes que determinaro mudanas em um programa.
50
GLOSSRIO
Descritor do Indicador
Traduz em linguagem simples e objetiva o que est sendo medido. Seu uso garante o alinhamento de conceitos entre os responsveis pela coleta dos dados, dando maior consistncia s informaes produzidas pela avaliao.
Impacto
Benefcio e transformao de mdio e longo prazo para os participantes e beneficirios indiretos do programa (suas famlias e comunidades).
Indicador
Medida quantitativa e/ou qualitativa que funciona como um termmetro do progresso de um programa, indicando os avanos obtidos em relao aos objetivos e metas traados.
Desempenho
O grau com que um programa ou projeto implementado de forma eficaz, eficiente e efetiva.
Efeito
Mudana esperada ou no, direta ou indiretamente atribuda a uma interveno.
Indicador de desempenho
Usado para verificar e mensurar os possveis impactos, resultados, produtos, processos e recursos alocados em um programa, permitindo assim seu monitoramento e avaliao.
Efetividade
O grau em que o programa alcana os resultados e impactos pretendidos junto ao seu pblico-alvo.
Modelo Lgico de Gesto de Programa/Projeto

Instrumento visual e sistmico de apresentao e compartilhamento de informaes, voltado para a gesto e avaliao de programas e projetos. Permite analisar as relaes causais entre os recursos alocados, atividades, produtos, resultados e impactos.
Eficcia
GLOSSRIO
Expressa o grau em que o programa realiza o que havia sido proposto, alcanando suas metas e objetivos.
Eficincia
Estabelecida pela menor relao custo x benefcio possvel para a realizao das atividades e alcance dos objetivos do programa.
Objetivo
Situao futura desejada com a execuo de programa, projeto ou atividade, descrita com conciso e preciso e sempre mensurvel por um indicador, que expressa o produto ou resultado esperado sobre o pblico-alvo.
Estudos de Base
Anlise que descreve a situao antes do lanamento de uma interveno de desenvolvimento, a qual se podem fazer comparaes ou apreciar os progressos.
Pressupostos (Hipteses)
Suposies sobre fatores ou riscos que podem ter repercusses na evoluo ou no sucesso da interveno de desenvolvimento.
51
Processo
Analisa a consistncia do programa e a qualidade de sua implementao.
Retroalimentao (Feedback)
Transmisso das constataes resultantes do processo de avaliao a todos os que podem tirar lies teis e pertinentes das mesmas, com o objetivo de facilitar a aprendizagem. Isto pode implicar reunir e difundir as constataes, concluses, recomendaes e lies aprendidas.
Produto
Efeito imediato de cada atividade do programa.
Programa
o instrumento de organizao da ao governamental com vistas ao enfrentamento de um problema, atendimento a uma demanda ou o aproveitamento de uma oportunidade.
Stakeholders
Grupos que tem um papel ou interesse nos objetivos e implementao de um programa ou projeto. Incluem o pblico-alvo, os beneficirios diretos, os responsveis por garantir que os resultados sero alcanados conforme planejado, e os responsveis por prestar contas dos recursos alocados nos trabalhos.
Projeto
Instrumento de programao oramentria para alcanar o objetivo de um programa, envolvendo um conjunto de operaes, limitadas no tempo, das quais resulta um produto que concorre para a expanso ou aperfeioamento da ao de Governo.
Sustentabilidade
Continuao dos benefcios resultantes de uma interveno de desenvolvimento mesmo aps a sua concluso. Probabilidade de os benefcios perdurarem no longo prazo. Situao em que as vantagens lquidas so suscetveis de resistir aos riscos ao longo do tempo.
Pblico-alvo
Conjunto de pessoas, famlias, comunidades, instituies ou setores que sero atingidos pelo programa.
Recursos (Inputs)
Meios financeiros, humanos e materiais usados para uma interveno de desenvolvimento.
Resultado
Impacto de curto prazo causado pelo diretamente pelo programa nos seus beneficirios (normalmente referem-se a mudanas de conhecimento, habilidades, comportamento e valores).
52
GLOSSRIO
REFERNCIAS BIBLIOGRFICAS

Alberta Consultative Health Research Network. (2001-2002) Evaluability Assessment. Disponvel em http://www.achrn.org/ Evaluability.htm Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliao de programas e projetos sociais. Unicef. Instituto do Banco Mundial. (sem data). Introduo ao Monitoramento & Avaliao: Apostila do Participante. Rodrigues, Maria Ceclia Prates. (1998). Avaliao e monitoramento. Texto base para International Development Research Centre. a disciplina de Monitoramento e Avaliao Identifying the Intended Use(s) of an ministrada no mbito do curso de Gerncia Evaluation. Abril de 2004. Disponvel em de Programas Sociais, promovido pela FESP/ www.idrc.ca ISAPE/CPG. International Development Research Centre. United Way of America. (1996). Measuring Identifying the Intended User(s) of an program outcomes: a practical approach. Evaluation. Maro de 2004. Disponvel em www.idrc.ca Valarelli, Leandro Lamas (1999). Indicadores de Kayano, Jorge, e Caldas, Eduardo L. (2001). Indicadores para o dilogo. So Paulo: Instituto Plis; Programa Gesto Pblica e Cidadania/ EAESP/ FGV. McNamara, Carter. Basic Guide to Program Evaluation. 1999. Disponvel em http:// www.mapnp.org/library/evaluatn/fnl_ Patton, Michael Quinn. (1997). Utilizationfocused evaluation: the new century text. Londres: Sage Publications. resultados de projetos sociais. RITS. Disponvel em: http://www.rits.org.br/ gestao_teste/ge_testes/ge_tmes_jul99.cfm W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, & Action. 3 Patton, Michael Quinn. (1997). Utilizationfocused evaluation: the new century text. Londres: Sage Publications.
BIBLIOGRFICAS
O documento est disponvel em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm

53
ANEXO 1
Modelo Lgico de Gesto do Programa Cabra Forte
54
ANEXO 1
ANEXO 1
55
56
ANEXO 1
ANEXO 1
57
ANEXO 2
Questionrio para levantamento de informaes sobre os resultados da implantao de poos pelo Programa Cabra Forte
58
ANEXO 2
QUESTIONRIO A SER APLICADO COM PRODUTORES DO PROGRAMA

Propriedade:
Proprietrio:
1 - Qual a rea (em tarefas) da propriedade? tarefas 2 - Quantas cabeas de ovinos e caprinos existem na propriedade? Ovinos: Caprinos: cabeas cabeas
3 - Quantos litros de gua por dia so necessrios para o consumo do rebanho? litros
ANEXO 2
4 - Existe alguma reserva de gua na propriedade? Que tipo? ( ) Sim ( ) No Tipo:
ANTES DA INSTALAO DOS POOS

5 Qual(is) a(s) alternativa(s) de acesso a gua para consumo dos animais? ( ) Reserva prpria ( ) Reserva de vizinhos ( ) Aude ou barragem comunitria ( ) Outras. Citar
59
6 - O produtor tinha como garantir gua para o rebanho durante todo o ano? ( ) Sim ( ) No Por qu ?
7 - Qual a distncia que o produtor (ou rebanho) percorria para ter acesso gua? metros 8 - Em mdia, quantos meses no ano a gua era insuficiente para atender necessidade do rebanho? meses
APS A INSTALAO DOS POOS

9 - Qual a distncia que o produtor (ou rebanho) percorre para ter acesso gua? metros 10 Com que frequncia a gua do poo insuficiente para atender necessidade do rebanho? ( ) Nunca ( ) Raramente ( ) Frequentemente ( ) Sempre
11 - Qual o grau de facilidade que a instalao do poo trouxe para o acesso gua pelo rebanho? ( ) Pouca ( ) Regular ( ) Muita
Comente:
60
ANEXO 2
ANEXO 3
ANEXO 3
Instrumento usado para anlise dos dados coletados sobre o Programa Cabra Forte
61


Objetivo Especfico: Ampliar e melhorar a oferta de gua para os produtores Estratgia: Disponibilizar ponto de gua confivel para grupos de 15 a 20 produtores Atividade: PERFURAO E RECUPERAO DE POOS TUBULARES Perodo: 2003 Realizado no perodo Plo / Municpio / Comunidade / Grupo de Produtores N de poos a serem instalados N de produtores do programa a serem beneficiados Capacidade potencial de produo de gua (m/h) N de Poos instalados Programado para o perodo N de produtores do programa beneficiados Capacidade efetiva de produo de gua (m/h) Custo de instalao dos poos (R$)
Total do Programa Plo de Remanso Campo Alegre de Lurdes Casa Nova Pilo Arcado Remanso Plo de Jaguarari Andorinha Cura Jaguarari Juazeiro Monte Santo Uau Plo de Conceio do Coit Barrocas Conceio do Coit Nova Ftima Retirolndia Santaluz So Domingos Serrinha Valente
62
ANEXO 3


Objetivo Especfico: Ampliar e melhorar a oferta de gua para os produtores Estratgia: Disponibilizar ponto de gua confivel para grupos de 15 a 20 produtores Atividade: PERFURAO E RECUPERAO DE POOS TUBULARES Perodo: Realizado no perodo Plo / Municpio / Comunidade / Grupo de Produtores Conceio do Coit Nova Ftima Retirolndia Valente Santa Luz So Domingos Serrinha Barrocas Remanso Remanso Casa Nova C. Alegre de Lourdes Pilo Arcado Jaguarari Jaguarari Uau Juazeiro Monte Santo Andorinha Cura TOTAL GERAL N de poos instalados Qde. % N de poos instalados X previsto Programado para o perodo
Capacidade real Custo de N de produtores N de produtores de produo de instalao X N beneficiados gua X beneficiados de produtores Capacidade X previsto beneficiados potencial Qde. %
ANEXO 3
63
64
ANOTAES
ANOTAES
65
SECRETARIA DO PLANEJAMENTO - SEPLAN

SUPERINTENDNCIA DE GESTO E AVALIAO - SGA Sonia Sobral Diretorias de Monitoramento e Avaliao Maria da Conceio S Mrio Sebastio Freitas COORDENAO GERAL (FLEM) Lycia Tramujas Vasconcellos Neumann Equipe de Coordenao: Secretaria do Planejamento / Superintendncia de Gesto e Avaliao Anibal Picano Bentes Antnio Leopoldo Meira Nair Mamede Couto Palmiro Torres de Oliveira Roberto Sampaio Costa Zlia Maria Abreu Gis Fundao Luis Eduardo Magalhes Viviane Quenia Brito de Jesus Equipe Matricial: Secretaria da Agricultura, Irrigao e Reforma Agrria Edilson Bartolomeu - Superintendente Maria Suzana Lima de Souza Renata Vieira Ricardo Andrade Antnio Lemos Maia Neto (ADAB) Francisco Benjamin (EBDA) Secretaria de Combate Pobreza e s Desigualdades Sociais Elisa Cristina Guimares Pellegrini - Superintendente Ftima Amaral Soane Maria Minck de Matos Tnia Xavier Zlia Fajardini Secretaria do Planejamento Drio Tavares (CAR) Secretaria da Indstria, Comrcio e Minerao Ana Clia Tanajura (EBAL) Secretaria do Meio Ambiente e Recursos Hdricos Joo Batista Andrade (CERB) Secretaria da Sade Maria Claudia da Costa Montal Maria Lea Rocha Fagundes Secretaria do Trabalho, Assistncia Social e Esporte Marizete Pereira Andrade Terezinha Almeida FICHA TCNICA Consultoria Externa Fundao Luis Eduardo Magalhes - Flem Redao final de texto Tacilla Siqueira Projeto Grfico e Editorao Autor Visual Comp. Grfica Ltda
Fotografias gentilmente cedidas pela Agecom, Arquivo Cacob-Diren-Seinfra, Ascom-Funceb, Ascom-Seagri, Ascom-Secomp, Adenilson Nunes, Alceu Elias, Angeluci Figueiredo, Aristeu Chagas, Jorge Cordeiro, Lzaro Srgio, Marcos Souza e Roberto Viana
19/05/2010
PLANEJAMENTO, MONITORAMENTO E AVALIAO DE PROJETOS SOCIAIS

Lycia Tramujas Vasconcellos Neumann
Oficina ministrada para tcnicos da Prefeitura Municipal de Curitiba - 2010
Objetivos da Oficina
H dois propsitos principais para esta oficina:
Promover a troca de conhecimentos sobre teorias e prticas em Planejamento, Monitoramento e Avaliao de programas e projetos Sociais. Levar os participantes a desenvolverem um olhar avaliativo e uma lgica de planejamento e gesto voltada para melhores resultados em programas e projetos sociais.
19/05/2010
Agenda de Trabalho
Esta oficina foi dividida em 2 partes:
Concepo e planejamento polticas e projetos sociais (12h) Elaborao, gesto e avaliao de projetos sociais (20h)

Dia 1: Elaborao de Polticas
19/05/2010
Para reflexo
O planejamento no diz respeito a decises futuras, mas s implicaes futuras de decises presentes.
(Peter Drucker)
Alinhamento Conceitual
Polticas, programas e projetos
19/05/2010
O que se define por poltica?

Um curso ou mtodo claro de ao, escolhido (pelo governo, instituio, grupo ou indivduo) dentre algumas alternativas e a partir da anlise de determinadas condies, que normalmente determina as decises presentes e futuras. (adaptado de Websters) Conjunto de princpios bsicos e diretrizes a eles associadas, formulados e implementados pelo grupo gestor da organizao, para direcionar e limitar suas aes visando o alcance de objetivos de longo prazo.
(adaptado de Business Dictionary.com)
Polticas institucionais
Poltica como a organizao decide atuar com relao a determinados temas. Existem polticas que determinam o funcionamento interno da organizao (ex.: Recursos Humanos, Preveno de Acidentes de Trabalho) E polticas que determinam a atuao tcnica da organizao atravs das quais ela busca realizar sua misso e alcanar sua viso de futuro.
19/05/2010
Polticas pblicas - conceitos

o Estado em ao: o Estado implantando um projeto de governo, atravs de programas, de aes voltadas para setores especficos da sociedade.
(Gobert & Mueller, citado por Hfling)
Para reflexo
Poltica Pblica no o mesmo que Deciso Poltica, pois, uma Poltica Pblica envolve mais que uma deciso e requer diversas aes estrategicamente selecionadas para implementar as decises tomadas.
(Pereira, 2007)
19/05/2010
Polticas Sociais
Existem 3 nveis de formulao de ao social: o nvel dos grandes objetivos e eixos estratgicos de ao: a Poltica um nvel intermedirio em que as polticas so traduzidas em linhas mestras de aes temticas e/ou setoriais: os Programas o nvel das aes concretas, delimitadas no tempo, no espao e pelos recursos existentes, que possam realizar os programas e as polticas: os Projetos
(Armani, citado por Pogoda, Pires e Moretti, s.d.)
Do Estratgico ao Operacional
POLTICA PROGRAMAS PROJETOS
19/05/2010
Do Estratgico ao Operacional
Programas e projetos tornam operacional uma poltica na medida em que traduzem com clareza seus objetivos e concretizem sua implementao mediante a aplicao de recursos.
Ciclo de um Projeto
Design Estratgico da Poltica Formulao do Programa/ Projeto Incio da operacionalizao Implementao Reformulao, expanso, reduo, encerramento.
19/05/2010
Fases das Polticas Pblicas

1.
Formao de Agenda
Com questes que merecem polticas definidas.
Elaborao - a preparao para a tomada de deciso.

2.
Formulao
Definio dos objetivos, marco jurdicos, administrativo e financeiro.
3.
Implementao
Elaborao dos planos, programas e projetos que permite executar a poltica.
4.
Avaliao
Compara os fins alcanados aos meios mobilizados e aos objetivos inicialmente estabelecidos.
Elaborando Polticas
Baseado na metodologia de Policy Analysis de Eugene Bardach
19/05/2010
Passos crticos na elaborao de Polticas

1. 2. 3. 4. 5. 6. 7. 8. Defina o problema Colete as evidncias Construa alternativas de ao Selecione os critrios Projete os resultados Reflita sobre as desvantagens Tome a deciso Conte sua histria
1. Defina o problema
Comece com uma definio clara e objetiva sobre o(s) problema(s) que procura resolver ou minimizar com a poltica. Isto lhe dar a razo para realizar todo este trabalho e nortear a coleta de informaes e evidncias. As primeiras definies do problema podero ser revisadas quando mais conhecimento for construdo sobre as questes envolvidas.
19/05/2010
1. Defina o problema
Dicas na definio do problema:
Pense em faltas e excessos (ex.: h muito disso, h pouco daquilo); Evite o uso de termos subjetivos (ex.: bom ou ruim, insatisfatrio, etc.); Quantifique se possvel (mesmo que os nmeros no sejam definitivos, daro uma boa idia do tamanho do problema); Condies que causam o problema tambm so problemas (busque identificar a relao causal entre os problemas e suas condicionantes); Perder oportunidades tambm um problema.
2. Colete evidncias
Definido o problema hora de analisar o contexto no qual a poltica ser implementada e coletar dados e informaes para evidenciar a questo sobre seus vrios ngulos. Nesta etapa so analisados o que, o onde, o quando e o porqu do problema identificado.
Para isso deve-se mergulhar na literatura e documentos j produzidos, realizar pesquisas, entrevistas e anlises de tendncias.
10
19/05/2010
2. Colete evidncias
Dados: so fatos ou representao de fatos sobre o mundo. So normalmente valores, medidas, estatsticas, mas podem ir alm disso. Informaes: so formadas por um conjunto de dados devidamente ordenados e organizados de forma a terem significado. Evidncias: tudo aquilo que pode ser usado para provar que uma determinada afirmao verdadeira ou falsa.
Evidncias so informaes que afetam as crenas das pessoas (inclusive as suas) sobre aspectos significantes do problema que est sendo estudado. (Bardach)
2. Colete evidncias
Razes para buscar evidncias:
Para compreender a natureza e a dimenso do(s) problema(s) que est tentando definir; Para conhecer e analisar caractersticas particulares do contexto onde a politica atuar; Para avaliar boas prticas, polticas que se mostraram efetivas em situaes semelhantes.
O material coletado ajudar no s na melhor formulao do problema central, como na construo de alternativas de ao e na definio de resultados esperados.
11
19/05/2010
3. Construa alternativas
Pense nas diferentes polticas, cursos de ao ou estratgias de interveno que podem ser adotadas para minimizar o problema.
Dicas na construo de alternativas: Comece abrangente e termine bem focado, com no mximo 4 alternativas. Considere as alternativas propostas por atores-chave no processo decisrio (tcnico e poltico). Sempre inclua a alternativa status quo nesta anlise (ou seja, a
manuteno da situao como est).
Identifique o conceito central de cada alternativa e procure descrev-lo de forma simples. Faa a distino entre a alternativa bsica e suas variaes.
4. Selecione critrios de avaliao

Selecione critrios para avaliar os potenciais resultados de cada alternativa, e no a alternativa em si.
Um dos principais critrios o quanto os impactos esperados com a poltica diminuiro ou resolvero o problema identificado (efetividade). Outros critrios comumente usados so: viabilidade, eficincia (custo-efetividade/ custo-benefcio); equidade, tempo, tica, legalidade, aceitao poltica.
12
19/05/2010
5. Projete os resultados
Nesta etapa importante pensar em todos os potenciais resultados e impactos das alternativas de ao. a etapa mais difcil! Procure ser o mais realista possvel!
Perguntas para avaliar a potencial efetividade: 1. Qual o nvel mnimo aceitvel de efetividade? 2. Que processo pode produzir este nvel de efetividade? 3. Quo provvel que este processo alcance este resultado? 4. Qual a probabilidade de fracasso?
5. Projete os resultados
Elabore uma matriz de resultados, cruzando alternativas com os critrios selecionados:
Critrio 1 Alternativa 1 Alternativa 2 Alternativa 3 Resultado Resultado Resultado Critrio 2 Resultado Resultado Resultado Critrio 3 Resultado Resultado Resultado
Cuidado: Deve ficar claro nos critrios a unidade e o valor que ser considerado na anlise dos resultados (ex: % de reduo de emisso de gases, ou tempo de implantao em meses).
13
19/05/2010
6. Reflita sobre as desvantagens

Algumas alternativas podem se mostrar superiores nos vrios critrios e se tornarem alternativas dominantes. Mas, normalmente, uma alternativa superior em um critrio e inferior em outro. a hora de pesar vantagens x desvantagens de cada uma.
Desvantagem = quando voc tem que abrir mo de algo valioso ou desejvel A anlise mais comum de vantagens x desvantagens entre uso de mais recursos para gerar mais benefcios aos cidados. Ex.: Vale a pena gastar R$100.000/ ms para manter a biblioteca da universidade aberta todos os dias da semana? Ou melhor manter os gastos atuais e fech-las nos finais de semana?
7. Decida
Mesmo que a deciso final no seja sua, se nesta etapa voc ainda no tiver segurana sobre a melhor alternativa porque as vantagens e desvantagens no foram bem pesadas, ou porque alguns aspectos sobre as alternativas no ficaram bem claros.
Revise o processo e busque aprimor-lo. Consulte importantes stakeholders para evitar futuras resistncias.
14
19/05/2010
8. Conte sua histria

O teste do motorista de txi
Voc acabou de chegar no aeroporto e pegou um txi. No trajeto at o hotel o motorista pergunta o que voc faz. Voc responde que trabalha na Prefeitura de Curitiba e est atualmente est trabalhando com o problema X. Interessado ele pergunta qual a soluo para este problema? Voc tem 1 minuto para apresentar a resposta de forma clara, coerente e muito simples, antes que ele te acuse de ser um intelectual incompreensvel ou uma pessoa muito confusa.
8. Conte sua histria

Ao elaborar o relatrio, tenha sempre em mente a audincia (direta e indireta). Seja na forma escrita ou oral, a apresentao do relatrio tem que fluir, demonstrando consistncia e lgica. Evite longas digresses e consideraes de carter filosfico. Seja direto, objetivo e preciso no uso da linguagem. No caia na armadilha de descrever todas as etapas vividas e os aprendizados. Mantenha o foco no que importante, considerando a audincia.
15
19/05/2010
O produto final
O que temos ao final deste processo?
O problema que precisa ser resolvido ou minimizado. Algumas alternativas de ao que podem ser tomadas. Para cada alternativa, uma srie de resultados potenciais. Se nenhuma alternativa dominante considerando os critrios selecionados, as alternativas so analisadas segundo vantagens x desvantagens identificadas. Quando solicitado, pode-se apresentar recomendaes sobre qual a melhor alternativa de poltica.

Dia 2: Tendncias em Projetos Sociais
16
19/05/2010
Programas e Projetos Sociais

Projeto - conceito
Um projeto um empreendimento planejado que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcanar objetivos especficos dentro dos limites de um oramento e de um perodo de tempo dados.
(ONU, citado por Almeida, s.d.)
17
19/05/2010
Programa - conceito
Programa um conjunto de projetos de carter institucional, com diretrizes bem definidas, voltado para um ou mais objetivos de uma instituio.
Geralmente se acha sob a responsabilidade de um coordenador ou equipe de coordenadores Na elaborao de vrios projetos sobre o mesmo tema e objetivo, eles devem ser reunidos e organizados de forma mais ampla em um programa. Assim, os recursos e esforos podem ser otimizados e integrados.
(So Paulo.Secretaria do Meio Ambiente, 2005)
Para Reflexo
O termo projeto carrega o sentido de organizar idias, pesquisar, analisar a realidade e desenhar uma proposta articulada com intencionalidade.
(Marcos Jos Pereira da Silva)
18
19/05/2010
Projetos Sociais - conceito

Projetos so ferramentas de ao que delimitam uma interveno quanto aos objetivos, metas, formas de atuao, prazos, responsabilidades e avaliao.
Projetos sociais so uma forma de organizar aes para transformar determinada realidade social.
(baseado em Schuckar, 2005)
Para reflexo
Os projetos so pontes entre o desejo e a realidade.(...) Os projetos sociais tornam-se, assim, espaos permanentes de negociao entre nossas utopias pessoais e coletivas o desejo de mudar as coisas , e as possibilidades concretas que temos para realizar estas mudanas a realidade.
(Stephanou, Muller e Carvalho)
19
19/05/2010
Projetos Sociais
Riscos da ao social sob a forma de projeto:
Fragmentao e duplicidade das aes; Orientao pela linha do financiador e no pela misso institucional; Descontinuidade de aes; Dificuldade de avaliar a efetividade das aes e interpretar seus desdobramentos.
Projetos Sociais contexto atual

Tendncias e desafios:
nfase na ao local; Gesto compartilhada; Flexibilizao de programas e servios; Gesto em rede; Participao social nas decises, controle e execuo de projetos ou programas.
(baseado em Stephanou, s.d.)
20
19/05/2010
Tendncias em projetos sociais

Redes Sociais
Rede - conceito
Rede um sistema de ns e elos capaz de organizar pessoas, organizaes e instituies, de forma igualitria e democrtica, em torno de um objetivo comum, descentralizando a informao, estimulando a participao cooperativa e garantindo autonomia a cada um de seus integrantes.
(Instituto Ecoar para a Cidadania, 2010)
21
19/05/2010
Redes: componentes
Ns: so os integrantes (pessoas, organizaes, territrios),
atores sociais s vezes organizados em grupos e sub-grupos em torno de propostas comuns.
Elos: so os fios que do consistncia rede; as trocas de

informaes e a comunicao entre seus integrantes.
A fora de uma rede no se mede pelo nmero de integrantes, mas pela qualidade da comunicao entre eles.
Redes de Compromisso Social

Redes em que parcerias so mobilizadas a partir da percepo compartilhada de situaes ou problemas que rompem ou colocam em risco o equilbrio da sociedade ou as perspectivas de seu desenvolvimento e para cujo equacionamento no suficiente a ao isolada de organizaes pblicas e/ou privadas.
(Inojosa, citada por Schlithler, 2004)
22
19/05/2010
Para reflexo
A interligao em rede, de pessoas e/ou entidades, se estabelece a partir da identificao de objetivos comuns e/ou complementares cuja realizao melhor se assegurar com a formao da rede.
(Whitaker, 1993)
Tendncias em projetos sociais

Mudana de olhar = nova abordagem
23
19/05/2010
Tendncia em projetos sociais

Desde a dcada de 90, o objetivo dos investimentos sociais passa a ser desenvolver a capacidade das pessoas para o auto-desenvolvimento. As pessoas devem ser as protagonistas do processo de desenvolvimento.
Ser protagonista significa ser o primeiro lutador, ou proto agonistes em grego; ser, portanto, o primeiro agente de transformao.
(Neumann e Neumann, 2004)
Mudana de Olhar
deficincias e necessidades
talentos e recursos
Toda pessoa, assim como toda comunidade um copo meio cheio, meio vazio. O olhar determina o movimento. Se o copo vazio, procura-se ench-lo. Se d para ver gua no copo, busca-se complet-lo.
24
19/05/2010
De clientes para cidados

Clientes so aqueles que dependem de outros para viver e que, enxergando apenas seus defeitos, esperam que outros tambm vejam suas deficincias e os ajudem, atendendo s suas necessidades. Cidados, ao contrrio, so aqueles que vem seus problemas e dificuldades, mas que tambm percebem suas qualidades, capacidades e potencial para mudar a realidade. Eles acreditam no poder coletivo e buscam parceiros com quem possam construir um futuro melhor.
De mquinas de refrigerante...
De um lado esto as instituies pblicas e privadas que desenvolvem projetos e programas sociais baseados nas deficincias e necessidades das comunidades e dos beneficirios das aes.
Atuando como meros provedores de servios, as instituies so como mquinas de refrigerante: ao terem seus botes acionados, ofertam produtos e servios baseados em modelos padro e desenvolvidos para consertar pessoas e suas realidades.
25
19/05/2010
... a Construtores de Celeiros

De outro lado, esto as instituies que, em vez de simplesmente proverem servios, atuam como construtores de celeiros.
Promovem o engajamento dos cidados no desenvolvimento de projetos e programas, fazendo com que estes se tornem coresponsveis pela busca de alternativas para sua promoo social e econmica. Quando se deparam com um novo problema, esses cidados no perguntam O que o governo ou as ONGs faro por ns?, mas, sim, concentram-se em definir O que ns vamos fazer, juntos, para resolver esta questo?
(Neumann e Neumann, 2004)
Para reflexo
Bons clientes so pssimos cidados. Bons cidados constrem comunidades fortes.

(Osborne e Gaebler)
26
19/05/2010
Parceria
O que e como construir
Parceria - conceito
A relao entre duas ou mais partes que, tendo objetivos compatveis, estabelecem um acordo para fazer alguma coisa juntos. Parcerias so pessoas trabalhando juntas em uma relao mutuamente benfica, muitas vezes fazendo juntos o que no conseguiriam realizar sozinhos.
(Frank & Smith, 2000)
27
19/05/2010
Diferentes Graus de Parceria

COLABORAO COOPERAO CONSULTA INFORMAO
1. Informao o primeiro estgio de qualquer parceria. Quando os parceiros

passam a se conhecer melhor e a compreender como se afetam mutuamente.
2. Consulta quando os parceiros passam a trocar idias sobre como fazer

determinadas coisas. Requer que os parceiros se conheam e se respeitem.
3. Cooperao quando um parceiro precisa da ajuda de outros para

operacionalizar uma idia. Nesta etapa, o planejamento e a tomada de deciso sobre o que ser feito ainda unilateral. 4. Colaborao o grau maior e mais complexo de parceria. Quando os parceiros planejam juntos o que fazer e como, tornando-se conjuntamente responsveis pelo projeto e seus resultados. Neste estgio o poder pela tomada de deciso compartilhado.
Colaborao
Segredos e desafios
28
19/05/2010
Colaborao
Considerada a marca da dcada de 90, quando profissionais e pesquisadores passaram a recomendar parcerias colaborativas entre mltiplos setores como estratgia para tranformaes sistmicas em reas como: desenvolvimento humano e social, governo e mobilizao comunitria.
Para reflexo
Colaborao um processo atravs do qual atores que vem diferentes aspectos de um problema ou questo podem construtivamente explorar suas diferenas e buscar solues que vo alm dos limites de sua viso
(adaptado de Gray, citado por Borden e Perkins)
29
19/05/2010
Tipos de colaborao
Dentro da hierarquia de uma organizao, as colaboraes podem ser:
Interinstitucional no nvel estratgico com o propsito maior de coordenao de programas e servios Interinstitucional no nvel operacional com o objetivo de criar uma rede entre os prestadores de servio Intrainstitucional quando envolve parcerias entre os vrios nveis hierrquicos de uma mesma organizao Tcnico-famlia quando a parceria criada com as famlias para prover servios mais efetivos e individualizados aos beneficirios.
(adaptado de Hodges, Nesman & Hernandez, 1999)
Elementos crticos para o sucesso

Objetivo maior ou viso de futuro compartilhados Comunicao eficaz Confiana e comprometimento Preservao da identidade e autonomia Respeito diversidade Papis e responsabilidades claras Participao voluntria Estrutura de governana que favorea a troca de informaes e as tomadas de deciso Avaliao contnua
30
19/05/2010
Articulao Integrao
Quando falamos em integrar as aes, torna-se comum o entendimento de que cada qual vai deixar de fazer o que faz para realizar um novo trabalho. Articulao significa cada um trazer seus conhecimentos, habilidades e prticas e atravs de parcerias descobrir novas formas de trabalhar em conjunto e ser mais efetivo.
(Curitiba. Prefeitura Municipal, 2002)
Para reflexo
O objetivo maior de uma colaborao deve ser estabelecer um processo contnuo de resoluo de problemas, e no ser um fim em si mesmo.
(Hodges, Nesman & Hernandez, 1999)
31
19/05/2010

Dia 3 Planejamento de Projetos Sociais
Elaborao de Projetos Sociais
32
19/05/2010
Ciclo de vida do projeto social

1. Elaborao: o momento da identificao do problema, definio dos
objetivos, programao das atividades e confeco da proposta tcnica do projeto.
2.
Estruturao: uma vez decidido que o projeto vai ser realizado, hora de
organizar a equipe executora e mobilizar os meios necessrios para execut-lo.
3.
Realizao: o perodo quando as atividades previstas so realizadas e acompanhadas, de acordo com o planejado. Por vezes necessrio alterar a programao, em razo de fatos no previstos. Encerramento: ao trmino do projeto preciso analisar seus resultados e
impactos, comparando-se o que se pretendia originalmente com o realmente alcanado. Tambm o momento de cuidar da desmobilizao do projeto, caso no haja prosseguimento.
(Campos, Abego e Delamaro, 2002)
4.
Para reflexo
Elaborar projetos uma forma de independncia. uma abordagem para explorar a criatividade humana, a mgica das idias e o potencial das organizaes. dar vazo para a energia de um grupo, compartilhar a busca da evoluo.
(Rosana Kisil)
33
19/05/2010
Elaborao de projetos sociais

Dois importantes momentos:
Concepo: o grupo deve dedicar tempo para realizar um bom diagnstico sobre o contexto e a situao problemtica que pretende enfrentar. Em seguida, construir seu caminho.
aconselhvel que todas as pessoas envolvidas no projeto dele participem diretamente na fase de concepo com viso ampla e criatividade na busca de sua viabilidade.

Dicas para o xito na concepo de um projeto:
Realizar um diagnstico consistente. Ter objetivos e resultados claramente definidos. Construir um clima de colaborao e envolvimento da equipe. Sempre que possvel contar com a participao de potenciais beneficirios diretos do projeto no planejamento das principais atividades. Ouvir todos os integrantes envolvidos de forma a harmonizar divergncias.
(baseado em Armani, citado por Almeida,s.d.)
34
19/05/2010

2 momento:
Redao: um exerccio de sntese do processo anterior. Nele, melhor contar com poucas pessoas do grupo. Tudo que foi produzido no tempo anterior ser agrupado em um roteiro que demonstre, de modo objetivo, o que ser realizado.
(adaptado de Silva, 2010)
Theory of Change - TOC

Teoria da Transformao
35
19/05/2010
TOC - Origens
Inicialmente usada como ferramenta de avaliao, a Teoria da Tranformao vem sendo aprimorada e disseminada como uma ferramenta simples e prtica que ajuda a retratar a complexidade envolvida em promover efetivas tranformaes sociais.
A TOC considerada a melhor forma de descrever as condies que explicam:

de um lado os passos que levam ao alcance dos objetivos de longo prazo; de outro as conexes entre as atividades do programa e os resultados que devem acontecer ao longo do caminho.
Resultados: conceito
Outcome = Efeitos ou transformaes provocadas pelo programa ou projeto em seus beneficirios.
Normalmente referem-se a mudanas de conhecimento, percepo, habilidades, atitudes, opinies, aspiraes, motivao, comportamentos, prticas, condio ou status.
Que diferena o programa faz?
36
19/05/2010
Exemplo do cotidiano
Situao: Voc est com uma dor de cabea terrvel. O
que fazer?
Consegue o remdio
Toma o remdio
Sente-se melhor
Qual o resultado?
Para reflexo
No sobre quantas minhocas o pssaro alimentou seus filhotes, mas quo bem os passarinhos conseguiram voar
(United Way of America)
37
19/05/2010
A relao de causalidade
TOC - Conceitos
A Teoria da Transformao define todos os marcos que so necessrios para o alcance de um objetivo de longo prazo. Esses marcos - muitas vezes chamados de resultados, efeitos, realizaes ou pr-condies so representados em um mapa chamado de caminho da transformao, que ilustra graficamente o processo de transformao e a relao de causalidade entre seus componentes.
38
19/05/2010
O caminho da transformao
Viso de Futuro
Prcondies necessrias
Resultados de mdio prazo Resultados de curto prazo
Exemplo: Projeto Supermulher

Mulheres vtimas de violncia domstica com emprego fixo e bom salrio
Mulheres que foram vtimas de violncia precisam estar emocionalmente preparadas para trabalhar.
Pressuposto: premissa que embasa o Projeto, justificando as estratgias adotadas, a partir dos resultados esperados.
(baseado no projeto desenvolvido por ActKnowledge e Aspen Institute Roundtable on Community Change, 2003)
39
19/05/2010

Mulheres sabem como obter ajuda e lidar com suas questes
Mulheres participam de estgios em empresas e organizaes
Mulheres participam de aconselhamento entre pares
Mulheres participam de palestras sobre as expectativas do mercado
Mulheres participam de capacitao profissional
Empregadores so sensibilizados e preparados para trabalhar com estagirios

Mulheres sabem como obter ajuda e lidar que suas questes
Mulheres participam de estgios em empresas e organizaes
Mulheres participam de aconselhamento entre pares
Mulheres participam de palestras sobre as expectativas do mercado
Mulheres participam de capacitao profissional
Empregadores so sensibilizados e preparados para trabalhar com estagirios
Mulheres inscrevem-se no Projeto
Mulheres contam com creche para seus filhos
Mulheres esto prontas e comprometidas em participar do Projeto
40
19/05/2010
Finalidades da TOC
1. Compreender e comunicar uma iniciativa j existente. 2. Planejar uma nova iniciativa. 3. Repensar e reorganizar uma iniciativa.
Que diferena faz a TOC?

Retrata a complexidade das iniciativas delineando um plano para seu sucesso. Orienta a avaliao dos resultados mais estratgicos, no momento e na sequncia corretos. Ajuda a compreender e explicar porque uma iniciativa teve sucesso ou no, e o que exatamente no funcionou.
41
19/05/2010
Passos para construo da TOC

1. Forme o grupo e estabelea os princpios de trabalho
(colaborao)
2. Garanta o consenso sobre a questo central a ser trabalhada com o projeto 3. Defina o Objetivo de Longo Prazo (a viso de futuro) 4. Estabelea as pr-condies para que este Objetivo se concretize (resultados de mdio e curto prazo) 5. Paralelamente, registre os pressupostos identificados (as premissas que justificam a relao de causalidade) 6. Procure chegar at o nvel operacional (a descrio do que o projeto dever fazer)
Para reflexo
A demonstrao de uma Teoria da Transformao oferece um retrato dos marcos importantes e nos guia quanto ao que devemos encontrar ao longo da jornada para garantir que estamos no caminho certo.
(baseado em Annie E. Casey Foundation)
42
19/05/2010

Dia 4 Redao e Gesto de Projetos Sociais
Redao de Projetos Sociais

Colocando no papel o projeto concebido
43
19/05/2010
Roteiro para alinhamento: 7W3H

Sigla
1W: Who 2W: What 3W: Why 4W: to Whow 5W: for What 6W: When 7W: Where 1H: How 2H: How much 3H: How many
Traduo
Quem O que Por que Para quem Para que Quando Onde Como Quanto custa Quantos
O que ser feito
Conceito
Quem vai realizar o projeto
Por que deve ser feito Quem sero os beneficirios Que diferena o projeto vai fazer Quando o projeto acontecer Onde o projeto acontecer Como o projeto acontecer Quanto custar realiz-lo Quais so as metas do projeto (produtos e
beneficirios)
Do roteiro para o projeto

Sigla
1W: Who 2W: What 3W: Why 4W: to Whow 5W: for What 6W: When 7W: Where 1H: How
Traduo
Quem O que Por que Para quem Para que Quando Onde Como
Conceito
Quem vai realizar o projeto O que ser feito Por que deve ser feito Quem sero os beneficirios Que diferena o projeto vai fazer Quando o projeto acontecer Onde o projeto acontecer Como o projeto acontecer Quanto custar realiz-lo Quais so as metas do projeto
(produtos e beneficirios)
No projeto
1. Apresentao da instituio 3. Proposta 2. Justificativa 7. Pblico-alvo 4. Objetivos 9. Cronograma 8. Localizao 6. Metodologia 10. Oramento 5. Metas
2H: How much Quanto custa 3H: How many Quantos
44
19/05/2010
Estrutura do projeto
1. 2. 3. 4. 5. 6. 7. 8. 9. Apresentao identificao e histrico da instituio proponente (ressaltar se h parceiros na execuo) Justificativa apresentao das razes para a realizao do projeto (caractericao do problema) Proposta o que o projeto, o que ele se prope a realizar Objetivos o que se quer transformar a partir do projeto (normalmente apresentados em Geral e Especficos) Metas - apresentao dos resultados a serem atingidos pelo projeto (quantitativos e qualitativos) Metodologia as aes revistas para a realizao do projeto (devem ser claramente descritas e relacionadas aos objetivos especficos) Pblico-alvo identificao do(s) pblico(s) ao qual o projeto se destina Localizao descrio da comunidade ou local onde aconter o projeto Cronograma apresentao das etapas ou principais aes do projeto na linha do tempo
10. Oramento - iIndicao dos recursos financeiros necessrios para execuo do projeto, com valores unitrios e totais.
Gesto de Projetos Sociais

A partir da lgica avaliativa
45
19/05/2010
Ciclo de gesto tradicional

Planejamento
Avaliao
Controle
Desenvolvimento
Ciclo de gesto de projeto social

Marco Zero Elaborao do Projeto, Negociao Anlise Situacional Implementao
Avaliao de Processo
Institucionalizao Replicao Comunicao

(adaptado de Marino e Cancellier, 2004)
Utilizao
Avaliao de Resultado
46
19/05/2010
A Implementao do Projeto
IMPACTOS
RESULTADOS
PRODUTOS
ATIVIDADES
RECURSOS
Produtos Resultados Impactos

Todo projeto resulta em: Produtos (Outputs) - bens ou servios criados ou fornecidos pelo projeto atravs de suas atividades. Resultados (Outcomes) benefcios ou transformaes para os participantes gerados durante ou logo aps sua participao no projeto.
Ex.: mudanas de conscincia, conhecimentos, habilidades, comportamentos, aspiraes e motivao.
Impactos (Impact) benefcios de mdio e longo prazo para os participantes e beneficirios indiretos do projeto (suas famlias e comunidades).
47
19/05/2010
Program Logic Model

Modelo Lgico de Gesto de Projetos MLGP
Modelo Lgico de Gesto do Projeto

um instrumento visual e sistmico de apresentao e compartilhamento de informaes sobre os recursos alocados em um projeto, as atividades previstas, os resultados e as mudanas que se espera alcanar. De forma simples, o MLGP retrata as relaes causais e os pressupostos que so base da operacionalizao do projeto.
48
19/05/2010
A Visualizao
um instrumento importante no desenvolvimento de um trabalho participativo porque facilita o processo de comunicao, ao mesmo tempo que objetiva o trabalho do grupo. As principais vantagens da visualizao:

Facilita a participao ativa permite a cada participante ver suas contribuies e identificar sua parcela no trabalho conjunto; Aumenta a qualidade da comunicao facilita a estruturao de idias; possibilita representar de forma didtica situaes complexas. Fortalece o efeito da aprendizagem racionaliza a discusso possibilitando seu aprofundamento. Aumenta a integrao do grupo torna transparente o processo de trabalho.

Alm disso, MLGPs so teis para todas as partes envolvidas em uma iniciativa, pois so capazes de: comunicar o propsito fundamental do projeto; demonstrar porque o projeto importante; apresentar o que se espera resulte do projeto; descrever as atividades que levaro ao alcance dos resultados esperados; servir de base para determinar se as atividades planejadas sero capazes de levar aos resultados esperados. tornar-se uma linguagem comum e um ponto de referncia para todos os envolvidos no projeto;
(W.K. Kellogg Foundation, 2001)
49
19/05/2010
MODELO LGICO DE GESTO DE PROJETOS

OBJETIVO GERAL A misso do projeto PBLICO-ALVO Beneficirios diretos do projeto
RECURSOS ALOCADOS Humanos SITUAO ANTERIOR QUESTES PRIORITRIAS

(equipes e voluntrios)
OBJETIVOS ESPECFICOS Situaes esperadas por conseqncia do projeto = benefcios esperados ao pblico-alvo
ESTRATGIAS / ATIVIDADES O que faz para a realizao de cada Objetivo Especfico
PRODUTOS Bens/ Servios ofertados
RESULTADOS Impactos de curto prazo: Transformao em: Conscincia Conhecimento Habilidades Opinio Aspiraes Motivao
IMPACTOS Mdio prazo: Mudanas em: Atitudes Prticas Tomadas de deciso Longo prazo: Mudanas em:
Condies Sociais, Econmicas e Ambientais
Materiais
(prprios ou doados)
Beneficirios
Financeiros Tecnolgicos Parcerias
PRESSUPOSTOS
FATORES EXTERNOS
A Relao de Causalidade
OBJETIVO GERAL OBJETIVOS ESPECFICOS ESTRATGIAS PRODUTOS ATIVIDADES PARA QUE FAZ O QUE O PROJETO FAZ O QUE RESULTA DELE IMPACTO RESULTADOS
50
19/05/2010
MLGP vs. TOC
MLGP TOC?
Modelos Lgicos de Gesto ilustram os componentes do programa e constru-los ajuda os vrios atores a identificarem claramente os resultados esperados, recursos que esto sendo alocados e atividades que sero desenvolvidas. Teorias da Transformao buscam ligar resultados esperados s atividades do projeto para explicar como as transformaes desejadas vo acontecer.
51
19/05/2010
MLGP TOC
Como?
Modelos Lgicos de Gesto normalmente comeam com a definio de um programa e ilustram seus componentes. Teorias da Transformao podem comear com um programa, mas so melhores quando iniciadas a partir de um Objetivo de Longo Prazo para ento definir que abordagens programticas so necessrias.
TOC + MLGP?
A combinao das duas ferramentas um poderoso instrumento para a gesto com foco em resultados. 1. Comear com a Teoria da Tranformao para saber: onde se quer chegar e o que deve ser feito para chegar l. 2. Detalhar o projeto no Modelo Lgico de Gesto para garantir alinhamento entre o que o projeto faz e o para que faz.
52
19/05/2010
Para Reflexo
Se voc no sabe para onde est indo, como vai saber quando chegar l?
(Yogi Berra)

Dia 5 Gesto com Foco em Resultados
53
19/05/2010
Gesto com Foco em Resultados
Elementos crticos para o sucesso

Foco claro MLGP Consistncia Persistncia
54
19/05/2010

Para a gesto = um instrumento visual e sistmico de apresentao e compartilhamento de informaes sobre o que o programa e seus objetivos, e como ele est sendo operacionalizado. Permite a rpida identificao de desvios de rota e orienta a busca por novos recursos. Para a avaliao = o primeiro instrumento de avaliao. Apresenta o programa como ele vem sendo implementado, e destaca os componentes a serem monitorados e avaliados para anlise de sua performance.
MODELO LGICO DE GESTO DE PROJETOS

OBJETIVO GERAL A misso do projeto PBLICO-ALVO Beneficirios diretos do projeto
RECURSOS ALOCADOS Humanos SITUAO ANTERIOR QUESTES PRIORITRIAS

(equipes e voluntrios)
OBJETIVOS ESPECFICOS Situaes esperadas por conseqncia do projeto = benefcios esperados ao pblico-alvo
ESTRATGIAS / ATIVIDADES O que faz para a realizao de cada Objetivo Especfico
PRODUTOS Bens/ Servios ofertados
RESULTADOS Impactos de curto prazo: Transformao em: Conscincia Conhecimento Habilidades Opinio Aspiraes Motivao
IMPACTOS Mdio prazo: Mudanas em: Atitudes Prticas Tomadas de deciso Longo prazo: Mudanas em:
Condies Sociais, Econmicas e Ambientais
Materiais
(prprios ou doados)
Beneficirios
Financeiros Tecnolgicos Parcerias
PRESSUPOSTOS
FATORES EXTERNOS
55
19/05/2010
Os Componentes do MLGP
Questes Prioritrias: As questes ou problemas que o projeto quer resolver ou minimizar. A definio clara e precisa dos problemas que o projeto quer resolver o primeiro requisito para alcanar o impacto desejado .
Para maior alinhamento e consistncia, pode-se usar ferramentas para ajudar na identificao da relao de causalidade entre as questes levantadas. Ex.: rvore de problemas
Objetivo Geral
a contribuio maior que o projeto far e que deve corresponder soluo ou reduo do problema central identificado nas questes prioritrias. S deve haver um Objetivo Geral por projeto. a misso do projeto!
Exemplo: Problema Alta incidncia de mortalidade infantil na regio X. Objetivo Geral Reduzir a mortalidade infantil na regio X.
56
19/05/2010
Objetivos Especficos: O que o projeto espera alcanar para realizar seu Objetivo Geral. Devem descrever condies ou transformaes a serem obtidas para que o Objetivo Geral se concretize.
O Objetivo Geral do projeto deve estar diretamente ligado grande questo identificada e os Objetivos Especficos s questes identiificadas como causadoras da questo principal.
Estratgias: As alternativas de ao escolhidas para o alcance dos objetivos propostos. Refletir sobre as estratgias ajuda a clarificar o propsito das atividades realizadas e a garantir mais qualidade nos processos de trabalho. Atividades: Aes que o projeto realiza, dentro de cada estratgia, para alcanar os objetivos especficos
57
19/05/2010
Produtos: Bens ou servios criados ou fornecidos pelo projeto atravs de suas atividades e a quem beneficiam. Por serem o resultado direto da realizao de cada atividade, sua descrio e quantificao comprovam a realizao e a dimensionam.
Exemplo: Atividade Oferecer cursos de ingls para os jovens. Produtos Cursos oferecidos Jovens beneficiados
Resultados: Benefcios ou transformaes para os participantes gerados durante ou logo aps sua participao no programa. Normalmente referem-se a mudanas de conscincia, conhecimentos, habilidades, comportamentos, aspiraes e motivao. Muitas vezes os resultados so resultados de mais de uma atividade ou at estratgia.
Os resultados comprovam a diferena que o programa est fazendo na vida dos participantes.
58
19/05/2010
Impactos: Benefcios ou transformaes de mdio e longo prazo para os participantes e beneficirios indiretos do projeto. Os efeitos (esperados ou no-esperados) de um projeto nos seus beneficirios, suas famlias, comunidades e sociedade em geral.
Quanto mais de longo prazo, mais a concretizao dos impactos depende no s da efetividade do projeto, como tambm de outros fatores externos sua gesto e mandato.
Recursos Os recursos financeiros, humanos, materiais e
tecnolgicos com os quais o projeto/ programa conta para realizar suas atividades.
Pressupostos As premissas que norteiam a definio

de objetivos e atividades e as condies necessrias para que as relaes causais levem ao alcance dos resultados e impactos esperados.
Fatores Externos Fatores e/ou condies externas ao

controle do projeto que podem influenciar no atingimento de seus objetivos.
59
19/05/2010

Dia 6 Avaliao como Instrumento de Gesto
Avaliao
60
19/05/2010
Conceito de avaliao
Do dicionrio: avaliar determinar ou estabelecer o valor de; examinar e julgar
(Worthen, 2004)
Como nasceu a avaliao

A estria da Avaliao segundo Gnesis: No incio, Deus criou a Terra e o Cu. Ele olhou para tudo que havia criado e disse: isso est muito bom. No 7 dia ele descansou. Foi quando chegou seu arcanjo, ou coordenador de avaliao, e perguntou: Senhor, como voc sabe que o que criou muito bom? Qual so seus critrios, e que dados usou para fazer seu julgamento? Que impactos estava esperando ter com esta criao? O Senhor no est perto de mais de todo o trabalho para fazer um julgamento imparcial? Deus pensou sobre todas essas questes durante o dia todo e seu descanso foi seriamente perturbado. No 8 dia, Deus disse: V PARA O INFERNO, LCIFER! ...e nasceu a avaliao. (adaptado de Patton, 1999)
61
19/05/2010
Alguns Mitos sobre Avaliao

Muitas pessoas vem a avaliao como uma atividade intil que gera um monte de dados chatos e leva a concluses sem utilidade.
Este era o problema no passado quando as metodologias de avaliao eram escolhidas com base na sua preciso cientfica, confiabilidade e validade. Mais recentemente, especialmente pelo resultado do trabalho de Michael Patton com a Avaliao com Foco na Utilizao, a avaliao passou a ter seu foco na utilidade, relevncia e praticidade tanto quanto na validade cientfica.
Alguns Mitos sobre Avaliao

Muitas pessoas acreditam que avaliao sobre provar o sucesso ou fracasso de um programa.
Sucesso estar aberto para peridico feedback e fazer os ajustes de acordo. A avaliao oferece este feedback.
Muitas pessoas acreditam que a avaliao um processo nico e complexo que deve sempre acontecer no mesmo momento, de uma certa maneira e normalmente por especialistas externos.
Elas acreditam que deveriam entender termos como validade e confiabilidade, e na verdade no precisam. Precisam saber que informao necessitam para tomar decises sobre o projeto e suas deficincias.
(adaptado de Carter McNamara, 1999)
62
19/05/2010
Para Reflexo
O que se define por avaliao e o nome dado uma avaliao em particular uma questo de discusso, clarificao e negociao.
(Michael Quinn Patton)
Definies
Monitoramento
Processo contnuo de coleta e anlise de dados implementado para avaliar um projeto (programa ou poltica) e compar-lo com a performance esperada.
Avaliao
Anlise sistemtica e objetiva dos resultados alcanados por um projeto, programa ou poltica, realizada com o objetivo de avaliar sua relevncia, coerncia, a eficincia da implementao, sua efetividade e impacto, e sua sustentabilidade.
(Instituto do Banco Mundial, s.d.)
63
19/05/2010
Monitoramento Avaliao
Monitoramento
Atividade de gesto interna e contnua Acontece durante a implementao do projeto
Avaliao
Atividade interna ou externa Pode acontecer antes, durante ou depois da implementao de um projeto Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critrios pr-estabelecidos
Compara o que est sendo realizado com o que foi planejado
A avaliao usa extensivamente os dados gerados pelo sistema de monitoramento, mas alm dele usa outras fontes de informao.
Principais Critrios de Avaliao

Eficcia: cumprimento e alcance das metas e objetivos propostos
Fizemos o que dissemos que amos fazer?
Eficincia: uso otimizado, com economia e qualidade, dos bens e recursos empregados na execuo das aes.
Estamos usando os recursos da melhor maneira possvel?
Efetividade: o alcance dos resultados e impactos esperados.

Que diferena o projeto faz?
Equidade a capacidade de contribuir para a reduo das desigualdades e da excluso social. Sustentabilidade a capacidade de desencadear mudanas sociais permanentes, que alteram o perfil da prpria demanda por polticas/programas sociais.
64
19/05/2010
Avaliao de Programas
a coleta cuidadosa de informaes sobre um programa ou um aspecto do programa para que sejam tomadas as decises necessrias sobre ele.
(McNamara, 1999)
a coleta sistemtica de informaes sobre as atividades, caractersticas e resultados dos programas para propiciar julgamentos sobre ele, melhorar sua efetividade, e/ou subsidiar decises sobre a criao de novos programas. (Patton, 1997)
Tipos de Avaliao
Uma avaliao de programa pode incluir um ou mais dos 35 tipos de avaliao que existem: ex-ante, expost, formativa, somativa, de processo, de resultado, de impacto, custo x benefcio, etc.
O tipo de avaliao que deve ser realizada para subsidiar o aprimoramento de um programa depende do que se quer saber sobre ele.
65
19/05/2010
Para Reflexo
No se preocupe com o tipo de avaliao que deve ser feito, preocupe-se em definir o que voc precisa saber para tomar importantes decises sobre o programa, e como a informao pode ser corretamente coletada e analisada.
(Carter McNamara)
Desmistificando a Avaliao
Avaliao como Instrumento de Gesto
66
19/05/2010
Para Reflexo
O que avaliado, feito; Se voc no mede resultados, no pode separar o sucesso do fracasso; Se voc no v o sucesso, no tem como premi-lo; Se voc no premia o sucesso, est provavelmente premiando o fracasso; Se voc no v o sucesso, no pode aprender com ele; Se voc no reconhece o fracasso, no pode corrigi-lo; Se voc demonstrar resultados, ganhar apoio pblico.
(adaptado de Osborne & Gaebler, 1992 Premissas de um Governo Orientado para Resultados)
Avaliao como Instrumento de Gesto

Permite: Compreender, analisar e aumentar o impacto das polticas, programas e projetos desenvolvidos pela instituio; Aperfeioar os mtodos empregados para aumentar a eficincia, eficcia e efetividade das aes; Facilitar a gesto e o estabelecimento de novas diretrizes de trabalho; Produzir informaes que possam ser utilizadas junto sociedade, financiadores e outros parceiros.
67
19/05/2010
Mudana de Paradigma
DE: Mecanismo de Controle

Tarefa imposta s equipes pelos dirigentes ou financiadores.
PARA: Processo de Aprendizagem

Valioso instrumento para ajudar a organizao a perseguir sua misso.
Considerada tarefa tediosa e que toma Considerada um trabalho de todos. Todos da tempo de trabalho real, representando organizao levantam informaes e se um luxo para a organizao. perguntam: "O que e como podemos fazer melhor? Resultados da avaliao pouco incorporados no planejamento e tomada de decises da organizao. Temor de que resultados pouco satisfatrios tragam conseqncias negativas, tais como a perda do trabalho dos envolvidos. A avaliao complexa e onerosa financeiramente, j que deve ser feita por especialistas. Resultados da avaliao orientando o desenvolvimento dos projetos e as mudanas de direo. Ambiente onde no existe medo de se correr risco; onde as pessoas podem examinar algo que no deu certo sem medo de conseqncias negativas. Os instrumentos e metodologias so simples, no onerosos e podem ser adaptados a diferentes realidades e necessidades.
(baseado em Marino, 2001)
68
19/05/2010
Avaliao no Ciclo do Projeto
Avaliao no Ciclo do Projeto

Marco Zero Elaborao do Projeto, Negociao Anlise Situacional Implementao
Avaliao de Processo
Institucionalizao Replicao Comunicao

(baseado em Marino e Cancellier, 2004)
Utilizao
Avaliao de Resultado
69
19/05/2010
Anlise Situacional
Tambm chamada de Avaliao Diagnstica ou apenas Diagnstico. Tem por objetivo organizar informaes que caracterizem, dimensionem e evidenciem as questes ou problemas que o projeto vai buscar resolver ou minimizar. Neste momento, sempre que possvel, deve-se reunir outros stakeholders para caracterizar o problema sob vrios pontos de vista.
Avaliao de Marco Zero

A partir da anlise situacional e dos resultados esperados, deve-se realizar a avaliao de marco zero que aprofunda aspectos identificados na anlise situacional, servindo de base norteadora para as equipes do projeto. Deve ocorrer antes do incio de qualquer atividade do projeto pois produzir os parmetros de julgamento para a avaliao de resultados.
70
19/05/2010
Avaliao de Processo
Visa determinar o grau em que o programa est operando conforme o planejado. Analisa o que faz o programa e quem so seus beneficirios. Identifica quais so os elementos essenciais para que os objetivos do programa sejam alcanados. Em geral, responde a perguntas em duas categorias:
Cobertura: analisa o alcance do projeto e as caractersticas dos beneficirios. Processo: analisa a consistncia do projeto e a qualidade de sua implementao.
A avaliao de resultados analisa os benefcios/transformaes proporcionados aos participantes (que so resultantes dos esforos do projeto) durante e/ou logo aps a sua participao no mesmo.
Deve ser realizada a partir da fase intermediria e prximo ao final do projeto. Pode-se tambm avaliar os resultados do projeto junto aos parceiros, equipe responsvel e outros stakeholders.
Por que medir resultados?

Para saber se o programa realmente faz diferena.
71
19/05/2010
Parmetros de Qualidade
Standards of Evaluation
Parmetros de Qualidade
Princpios orientadores desenvolvidos em 1994 por um Comit formado por 16 associaes profissionais dos Estados Unidos
(hoje aceitos por avaliadores em todo o mundo)
Um processo avaliativo de qualidade deve ter 4 atributos:

Utilidade voltado para responder reais necessidades de informao dos seus usurios Viabilidade realizado de maneira realstica, prudente, diplomtica e moderada Propriedade conduzido dentro de normas legais e ticas, respeitando todos os envolvidos no processo Preciso produzindo informaes tecnicamente adequadas sobre aspectos que determinam o mrito e a relevncia do programa avaliado.
(Chianca, Marino e Schiesari, 2001)
72
19/05/2010
A Lgica e os Valores do Avaliador

1. Ser claro = ser claro sobre os objetivos e propsitos; sobre o que
est sendo avaliado; sobre que dados sero coletados; sobre que julgamentos sero feitos; sobre como os resultados da avaliao sero usados; enfim, ser claro sobre tudo.
2. Ser especfico = a pergunta favorita de um avaliador : o que

exatamente voc quer dizer com isso?.
3. Ter foco e prioridade = voc no pode fazer ou cuidar de tudo.

Avalie com cuidado o que vale a pena fazer e saber.
4. Ser sistemtico = Planeje o que fazer, e faa o que planejou. Registre cuidadosamente o que acontece em cada
estgio da tomada de deciso e da coleta de dados.
A Lgica e os Valores do Avaliador

5. Ser claro sobre os pressupostos = defina com clareza os pressupostos que norteiam o trabalho, e o que pode ou no ser comprovado. 6. Fazer a distino entre recursos, processos e resultados = confundir processos com resultados comum, cuidado! 7. Ter dados para apoiar empiricamente s concluses = o que significa assumir um compromisso de fazer a lgica e as evidncias se sobreporem s crenas e s intensidades das emoes. 8. Separar declaraes de fatos baseadas em dados, de interpretaes e de julgamentos = interpretaes vo alm dos dados e precisam ser entendidas pelo que so interpretaes. Julgamentos envolvem valores, determinando o que e o que no desejvel.
(adaptado de Patton, 1997)
73
19/05/2010
Construindo Avaliaes teis

Duas abordagens para maior efetividade
A Avaliao com Foco na Utilizao

(Utilization-focused Evaluation)
Baseada na premissa de que avaliaes deveriam ser julgadas pela sua utilidade e uso real. Assim, o foco da metodologia est no futuro uso das informaes, conforme definido pelos principais clientes da avaliao.
O avaliador atua como facilitador ajudando os principais clientes da avaliao a definirem que tipo de avaliao eles precisam. Isso requer muita negociao onde o avaliador oferece um menu de possibilidades dentro da lgica do projeto, e dos princpios e modelos de avaliao.
74
19/05/2010
Construindo uma avaliao til

Do incio ao fim, o processo de avaliao deve ser criado e implementado com o foco nas necessidades dos principais clientes.
Eles tm a responsabilidade de fazer as coisas de maneira diferente (tomar decises, mudar estratgias, agir, mudar polticas, etc.) por causa do seu comprometimento com o processo e os resultados da avaliao.
(International Development Research Centre, 2004)
A Lgica da AFU
Os potenciais clientes da avaliao tendero a us-la quanto melhor eles compreenderem e se apropriarem do processo de avaliao e seus resultados. Eles compreendero e se apropriaro da avaliao quanto mais ativamente forem envolvidos no processo. Ao envolver ativamente os principais clientes, o avaliador prepara-os para o uso, cria base tcnica para a utilizao da avaliao e refora, ao longo de todo o processo, a importncia e a utilidade das informaes coletadas.
75
19/05/2010
Avaliao = entendimentos compartilhados

A avaliao depende de e facilita uma comunicao mais clara entre os atores.
Entendimentos compartilhados so especialmente importantes no que se refere a resultados esperados
(Que resultados especificamente vocs esto comprometidos a alcanar? E como vocs sabero se vocs os alcanaram?).
Quando realizada de forma apropriada, a avaliao facilita o comprometimento compartilhado com os resultados de um programa entre os vrios nveis hierrquicos.
(adaptado de Patton,1997)
A Avaliao Participativa
As pessoas que participam da criao de algo tendem a se sentir mais donas do que foi criado, percebem melhor sua utilidade e preocupam-se mais em cuidar dele.
(Michael Patton)
76
19/05/2010
Princpios da Avaliao Participativa

O processo de avaliao envolve os participantes em um aprendizado sobre a lgica e as tcnicas de avaliao.
o Para isso, os participantes aprendem, por exemplo, sobre: o estabelecimento de objetivos, a definio de prioridades, a formulao de perguntas, a interpretao de dados, decises com base em evidncias, e as conexes entre processos e resultados.
Os participantes definem o foco da avaliao em processos e resultados que eles consideram importantes e com os quais esto comprometidos;
Princpios da Avaliao Participativa

Todos os aspectos da avaliao, incluindo os dados, fazem sentido para os participantes. O avaliador-facilitador reconhece e valoriza as diferentes perspectivas e conhecimentos de cada participante, e trabalha para que eles sejam reconhecidos e valorizados por todo o grupo. As diferenas de status entre o avaliador-facilitador e os participantes so minimizadas.
77
19/05/2010
Para reflexo
Aprender a ver o mundo como um avaliador o v, normalmente tem um impacto maior e mais duradouro naqueles que participam da avaliao, do que as informaes que constam no relatrio final.
(Michael Patton)

Dia 7 Construindo uma avaliao
78
19/05/2010
Planejando a avaliao
Passo a passo de uma avaliao formal, interna e formativa de um programa ou projeto
Avaliao formal
Avaliao formal :
um julgamento (porque envolve valores) sistemtico (porque baseia-se em critrios e procedimentos previamente reconhecidos) dos processos ou dos produtos de uma poltica, programa ou projeto, tendo como referncia critrios explcitos, a fim de contribuir para o seu aperfeioamento, a melhoria do processo decisrio, o aprendizado institucional e/ou o aumento da accountability.
(Rua, 2000)
79
19/05/2010
Avaliao interna e externa

Interna conduzida por tcnicos das instituies associadas com o programa, projeto ou objeto que est sendo avaliado. Externa conduzida por um ou mais avaliadores que no esto diretamente envolvidos na formulao, implementao e/ou gerenciamento do objeto da avaliao. Tambm chamada de avaliao independente.
Avaliao formativa
Formativa - tipo de processo de avaliao usado durante a implementao de um programa ou projeto, para fornecer informaes que permitam o seu aprimoramento.
Usada para prover informaes essenciais para que os gestores possam introduzir mudanas a fim de melhor-lo ainda durante seu processo de implementao.
80
19/05/2010
Avaliao somativa
Somativa conduzida aps o trmino do programa ou projeto.
Serve basicamente para julgar o mrito e a relevncia de um programa ou projeto em relao a determinados critrios, possibilitando a deciso sobre sua continuidade, extenso, reformulao ou encerramento.
(baseado em Chianca, Marino e Schiesari, 2001)
Plano de Trabalho
Formao da equipe de avaliao Elaborao do Modelo Lgico de Gesto Anlise de Avaliabilidade Identificao dos principais clientes da avaliao Definio das finalidades da avaliao Seleo das perguntas avaliativas Identificao dos indicadores de avaliao Definio dos mtodos de coleta e anlise de dados Coleta e anlise dos dados Apresentao dos resultados
81
19/05/2010
1. Formao da equipe de avaliao

Sendo uma avaliao interna, a equipe dever ser formada por tcnicos da organizao que conduz o programa. No caso de projetos multisetoriais ou desenvolvidos em parceria com organizaes privadas, o ideal que a equipe seja formada por tcnicos de todas as instituies envolvidas.
A Avaliao de Projetos e o Modelo Lgico

Uma efetiva avaliao de projeto faz mais do que coletar, analisar e reportar dados. Ela permite que os stakeholders tenham acesso e usem as informaes para continuamente aprender sobre e aprimorar os projetos nos quais esto envolvidos. O uso de avaliao e de modelos lgicos dos projetos resulta em melhor planejamento, oportunidades de aprendizado, melhor documentao dos resultados e um conhecimento compartilhado sobre o que est funcionando e porque.
82
19/05/2010
2. Elaborao do MLGP
A elaborao do Modelo Lgico de Gesto do Projeto um dos momentos mais importantes da avaliao e deve ser realizado com representantes de todas as organizaes responsveis pela execuo do projeto. fundamental que o MLGP retrate o projeto como est sendo executado na prtica, e no como foi elaborado e consta no papel.
3. Anlise de Avaliabilidade
um processo que tem por objetivos: clarificar informaes sobre o design do programa/ projeto, explorar sua realidade e ajudar a redefinir sua estrutura, antes que seja feita a avaliao de seus resultados.
Ajuda a definir se o projeto pode ser efetivamente avaliado e se sua avaliao contribuiria para melhorar sua performance.
83
19/05/2010
As Etapas da Anlise de Avaliabilidade

Etapa 1: Conhecendo o programa
Identificao e anlise da teoria ou lgica do projeto para avaliar se as percepes dos stakeholders sobre como o projeto funciona so razoveis. Um mtodo comum para analisar as diferentes percepes sobre o projeto construir um Modelo Lgico de Gesto do Projeto (MLGP). O processo de construo do MLGP pode revelar que os princpios conceituais do projeto so fracos ou inconsistentes. Neste caso, os gestores devem repensar o projeto e seu design antes de avali-lo.
As Etapas da Anlise de Avaliabilidade

Etapa 2: Analisando o grau de implementao do projeto
Para isso, deve ser analisado: se as instalaes do projeto j esto funcionando; se as equipes tcnicas j foram treinadas; se as atividades esto sendo implementadas mais ou menos como foram planejadas; se o pblico-alvo do projeto o que de fato vem sendo atendido; se o projeto j est em curso h tempo suficiente para produzir as transformaes esperadas.
Se falhas graves so encontradas, elas devem ser corrigidas antes que se proceda a avaliao.
84
19/05/2010
Clientes de Avaliao
Identificando os principais clientes
Principais Clientes da Avaliao

Os principais clientes de uma avaliao so as pessoas e grupos que:
so afetados pelos seus resultados, esto em posio de tomar decises sobre a avaliao, e pretendem usar as informaes sobre o processo e os resultados da avaliao para definir futuras aes.
Os principais clientes de uma avaliao devem ser definidos no incio do processo e o avaliador deve manter contato freqente com eles para engaj-los e ter a certeza de que a avaliao respeita seus valores e atende s suas necessidades.
85
19/05/2010
Quem so os Clientes da Avaliao?

So aqueles quem tem vontade, autoridade e habilidade de usar os aprendizados do processo e resultados da avaliao de alguma forma.
importante distinguir entre os clientes e a audincia de uma avaliao.

A audincia um grupo interessado na avaliao, mas com uma relao mais passiva com ela do que os principais clientes.
Identificando os clientes da avaliao

1. Quem so os principais clientes da avaliao?
Para quem estamos fazendo este trabalho?
2. Quem so as audincias-alvo desta avaliao

Quem tem interesse nas informaes que ela levantar?
3. Que grupos e pessoas sero mais afetados pela avaliao? 4. Que grupos e pessoas esto em posio de tomar decises sobre o projeto/programa a ser avaliado? 5. Quem ter suas aes e decises mais influenciadas pelo seu engajamento no processo de avaliao e seus resultados?
86
19/05/2010
Pensando a estratgia
Aps identificar os principais clientes da avaliao hora de planejar a estratgia de atuao junto a eles.
hora de refletir sobre:

Como os principais clientes da avaliao poderiam ser envolvidos no processo? Que desafios e barreiras poderemos encontrar para identificar e engajar esses clientes?
Para reflexo
Tentaes que afastam do foco no cliente: os Sete Pecados Capitais (Patton, 1997)
Os avaliadores fazerem deles prprios os principais clientes da avaliao; Identificar audincias vagas e passivas ao invs de pessoas reais como clientes; Selecionar organizaes como clientes e no pessoas especficas; Focar nas decises ao invs de nos tomadores de deciso; Assumir que o financiador automaticamente o principal cliente da avaliao; Esperar at ter os resultados da avaliao para ento identificar os clientes e futuros usos dela; Colocar-se acima das questes pessoais e polticas.
87
19/05/2010
A importncia de identificar os futuros usos da avaliao

Enquanto a pergunta quais so os futuros usos desta avaliao? parece simples e direta ela uma das questes mais crticas no planejamento de uma avaliao. A qualidade de muitos aspectos da avaliao depende do grau com que eles respondem a esta pergunta. Ao identificar e clarificar o futuro uso da avaliao para clientes dela, a tarefa complexa de planejar uma avaliao torna-se mais simples e com foco, e o processo de avaliao, mais efetivo.
Como definir os possveis futuros usos de uma avaliao?

A definio dos futuros usos de uma avaliao envolve uma negociao entre o avaliador (a pessoa que est conduzindo o processo de avaliao e que tambm responsvel por facilitar o seu uso) e os principais clientes. Na maioria dos casos, uma avaliao ter mltiplos usos. Ao envolver todos os principais clientes de uma avaliao no processo de definio do tipo de avaliao que necessria, as vrias perspectivas so consideradas e os clientes acabam por obter consenso sobre os principais futuros usos das informaes coletadas.
88
19/05/2010
Perguntas para ajudar a identificar futuros usos da avaliao

1. Quais so suas expectativas quanto aos resultados deste processo de avaliao? 2. Como esta avaliao poderia contribuir para o aperfeioamento do projeto em questo? 3. Quais decises os resultados da avaliao poderiam influenciar? Quem o responsvel por tomar essas decises? 4. Que dados e informaes so necessrios para esta tomada de deciso? 5. Como ns poderemos saber no futuro se esta avaliao foi til?

Dia 8 Construindo uma avaliao
89
19/05/2010
Perguntas avaliativas
Perguntas Avaliativas
So as perguntas que do direo, fundamento e foco avaliao. Especificam exatamente o que a avaliao vai responder e guiam o projeto e o planejamento da avaliao.
(Worthen, 2004)
A definio das perguntas avaliativas dever ser feita a partir da anlise das perguntas trazidas pelos potenciais clientes e considerando o que foi definido e acordado como as principais finalidade da avaliao.
90
19/05/2010
Para Reflexo
As perguntas avaliativas devem gerar as informaes necessrias para basear o julgamento do valor de alguma coisa.
Matriz de seleo de perguntas avaliativas (Chianca, 2001)

Critrios
relevante para os principais clientes? Contribui para diminuir dvidas existentes, trata de informaes que no esto disponveis no momento? Possibilita gerar informaes importantes, que podem facilitar a tomada de deciso sobre o projeto? Est centrada em elementos crticos do projeto, que sero de interesse constante das pessoas e no apenas de interesse momentneo? Os objetivos e a amplitude da avaliao seria seriamente comprometidos sem esta pergunta? possvel responder com os recursos financeiros e de pessoal disponveis? possvel responder com os mtodos e tecnologias disponveis? possvel responder dentro do tempo de que se dispe?
PA 1
PA 2
PA 3
Resultado Final (somatrio de respostas positivas)
91
19/05/2010
Indicadores
O que so Indicadores
Em projetos sociais, indicadores so parmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcanados, dentro de um prazo delimitado de tempo e numa localidade especfica.
(Valarelli, citado em Pogoda, Pires e Moretti, s.d.)
92
19/05/2010
O que so Indicadores
So medidas quantitativas e/ou qualitativas que indicam o grau de alcance dos objetivos e metas de um projeto. Permitem analisar em que medida um resultado esperado est sendo alcanado. Como o prprio nome sugere, so uma espcie de marca ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observ-lo ou mensur-lo. Eles indicam mas no so a prpria realidade. Baseiam-se na identificao de uma varivel, ou seja, algum aspecto que varia de estado ou situao, variao esta que consideramos capaz de expressar um fenmeno que nos interessa.
Exemplo
O programa a varivel independente que se espera cause alteraes na varivel dependente.
(Banco Mundial)
Varivel: sade Indicador: temperatura do corpo Unidade de medida: graus Celsius Instrumento: termmetro Parmetro: 37,5 = boa sade
93
19/05/2010

Ser vlido que mea o que se supe deve ser medido; Ser confivel que seja verificvel; Ser relevante aos objetivos do programa; Ser sensitivo s mudanas da situao que observada; Ser aceitvel pela populao em estudo e pelos principais clientes da avaliao; Ser especfico adaptado aos objetivos do programa; Ser oportuno que possa ser constitudo e reportado em tempo hbil; Ser tecnicamente vivel que os dados requeridos possam ser coletados e mensurveis; Ser custo-efetivo que os dados requeridos possam ser coletados a um custo razovel.
Para reflexo
Indicadores so referncias que ajudam a responder s perguntas avaliativas.

(Thomaz Chianca)
94
19/05/2010
Construindo a matriz avaliativa
Pergunta Avaliativa
Componentes do programa a serem avaliados (no MLGP)
Indicadores
Descritores dos Indicadores
Fontes de Informao
Periodicidade da Informao
PERGUNTA AVALIATIVA
Qual o grau de alcance das metas e objetivos do programa?
COMPONENTES A SEREM AVALIADOS 1.1.1 Perfurao e recuperao de poos tubulares INDICADORES DE PRODUTO 1. N de poos instalados no perodo Descritor Periodicidade do Indicador 1. Mensal F.I.
1. N de Sistemas Simplificados de Abastecimento de gua (SSAA) entregues comunidade a partir de poos, em condies de oferecer gua em quantidade e qualidade adequadas para consumo animal. 2. Produtores pertencentes s comunidades do programa beneficiados com os novos poos instalados. 3. Capacidade potencial de produo de gua dos poos instalados, medida em m/hora. 4. Capacidade real de produo de gua dos poos instalados, medida por m/hora.
2. N de produtores beneficiados/ comunidade/ municpio/ plo 3. Produo potencial de gerao de gua disponvel por poo instalado / comunidade / municpio / plo 4. Produo efetiva de gerao de gua disponbilizada por poo instalado/ comunidade / municpio / plo
2. Mensal Tcnicos da CERB 3. Mensal (dos novos poos instalados) 4. Mensal (dos novos poos instalados
95
19/05/2010
Definindo os Parmetros de Avaliao

Estes parmetros, tambm chamados de padres de referncia ou benchmarks, podem ser de vrios tipos: Padro absoluto as metas estabelecidas para o programa so o padro a ser perseguido; Padro histrico o desempenho obtido em perodos anteriores so a referncia adotada para comparao; Padro normativo compara o desempenho de um programa com o de outros similares, considerados bem sucedidos; Padro terico determinado durante o planejamento do prprio programa, a partir de referncias tericas de situaes consideradas ideais; Padro com/sem comparaes do tipo com/sem o programa, a partir da criao de grupos de controle com pessoas com caractersticas semelhantes aos beneficirios do programa, mas em cuja realidade o programa no interviu.
(adaptado de Rodrigues, 1998)
Mtodos de coleta de dados
96
19/05/2010
Mtodos de Coleta de Dados

Mtodos quantitativos tm a vantagem de permitir mensurao, comparao e generalizao das informaes obtidas, no entanto os mtodos qualitativos permitem anlise mais aprofundada de questes especficas sobre as experincias estudadas. Mtodos quantitativos possibilitam o levantamento de informaes junto a um maior nmero de respondentes, a um menor custo. Alm disso, permitem a realizao de anlises estatsticas, o que favorece a comparao e generalizao dos resultados encontrados.
Mtodos de Coleta de Dados

Os mtodos de coleta de dados quantitativos mais comumente utilizados so pesquisa de dados disponveis em sistemas de acompanhamento e monitoramento do programa, e aplicao de questionrios ou formulrios junto aos beneficirios e atores intermedirios da sua execuo. No caso de abordagens qualitativas, os mtodos de coleta de dados mais usados so entrevistas, grupos focais e observao direta.
97
19/05/2010
Comparativo de Mtodos
Mtodo de coleta de dados Pesquisa de dados disponveis Descrio Pesquisa focada em registros administrativos, sistemas de acompanhamento, avaliaes anteriores do programa, outros relatrios e documentos, dados de censos, etc. Aplicao de questionrios padronizados com perguntas abertas ou fechadas. O questionrio pode ser autoadministrvel ou no, ser aplicado em forma de entrevista pessoal ou por telefone. Vantagens - Baixo custo e rapidez na obteno de informaes. Desvantagens - Os dados disponveis podem no ser adequados, precisos, vlidos ou confiveis para o que se quer avaliar.
Pesquisa de campo
- Questionrios e entrevistas bem estruturados facilitam a tabulao e anlise dos dados coletados.
- O desenvolvimento e a aplicao dos instrumentos requer bastante tempo.
Comparativo de Mtodos
Mtodo de coleta de dados Observao de casos Descrio Observao direta de um ambiente ou situao, com ou sem o conhecimento dos participantes. Vantagens Desvantagens - Pouco adequada para a generalizao dos resultados encontrados. - Parcialidade e subjetividade do observador. - Adequada para compreender processos e formular hipteses. - Proporciona descrio detalhada da realidade encontrada. Formao de grupos - So relativamente pequenos (de 6 a 12 rpidos de se realizar. pessoas) para debate - Estimula a gerao sobre temas, obteno de de novas idias. informaes e sugestes - Permite o exame de sobre a execuo do diferentes programa. essencial a perspectivas. presena de um bom - Contato direto com facilitador. os beneficirios ou atores do programa.
Grupos focais
- A tabulao anlise consome muito tempo. - Risco de parcialidade por parte dos participantes e do facilitador. - Necessidade de controlar participantes dominantes.
98
19/05/2010
Mtodos de coleta de dados

A definio do tipo de abordagem e mtodo de coleta de dados a ser utilizado depende das perguntas avaliativas que se quer responder e dos recursos disponveis para a avaliao. Na maioria das vezes o mais adequado a utilizao mista de abordagens e mtodos, o que proporciona uma perspectiva mais completa da realidade encontrada, e permite que as desvantagens de uma sejam balanceadas pelas vantagens de outra.
A importncia do pr-teste
Cada instrumento criado dever ser pr-testado para anlise de sua consistncia e clareza, e avaliao da relevncia e viabilidade dos dados por ele coletados. Uma simulao da tabulao e anlise dos dados coletados no pr-teste tambm ajuda no aprimoramento do instrumento antes da sua aplicao generalizada.
99
19/05/2010
Trabalhando com amostras

importante comparar o perfil das pessoas que responderam ao questionrio, ou que foram entrevistadas, com o perfil geral da populao que se quer estudar.
Tipos de Amostragem
Probabilstica ou aleatria aquela em que cada elemento da populao tem uma chance igual de ser selecionado para compor a amostra. Deve ser representativa da populao como um todo para que os resultados obtidos possam ser generalizados como verdadeiros para toda a populao.
No-probabilstica ou no aleatria aquela em que a composio da amostra intencional e seleo dos seus participantes depende ao menos em parte do julgamento do pesquisador. Limitada na capacidade de generalizar a informao para o todo da populao estudada.
100
19/05/2010
Alerta
Quando a amostra no-probabilstica ou no aleatria pode-se apenas relatar os resultados em termos de porcentagem de entrevistados, sem generalizar para o universo estudado.
Ex.: 60% dos jovens pesquisados afirmou estar satisfeito com seu plano de sade.
Anlise de Dados
Todos os dados devem ser tabulados, ou seja organizados de maneira a facilitar a sua interpretao, e analisados tendo em vista as perguntas avaliativas que se quer responder.
101
19/05/2010
Anlise de Dados Quantitativos

Dados quantitativos so normalmente analisados estatisticamente. As formas mais comuns de anlise estatstica utilizadas so:
Freqncia nmero de vezes em que determinada resposta foi dada (ex.: 20 participantes do curso tinham mais que 60 anos;
ou, 25 dos 30 participantes disseram aprovar o contedo do curso).
Porcentagem expressa a informao como um percentual do todo (ex.: 83% dos participantes aprovou o contedo do curso).
Uma prtica comum na apresentao de dados em porcentagem dizer o nmero total de casos a partir dos quais a porcentagem foi calculada.
Anlise de Dados Quantitativos

Medidas de tendncia central usadas para caracterizar o que tpico para o grupo de respondentes. Normalmente calcula-se as trs medidas e se avalia qual a mais apropriada para relatar a situao avaliada.
Mdia uma das formas mais comuns de apresentao de dados, calculada a partir da soma dos valores divididos pelo total de respostas.
Quando h valores extremos na relao de respostas, a mdia fica distorcida.
Moda a resposta ou valor mais freqentemente obtido. bastante usada quando h um nmero grande de respostas obtidas, pois no sofre distoro com valores extremos como acontece com a mdia. Mediana o valor do meio, quando listadas todas as respostas em ordem crescente.
Quando a listagem de respostas obtidas apresenta valores extremos e destoantes da maioria, a mediana mais precisa do que a mdia como valor representativo do todo.
102
19/05/2010
Anlise de Dados Qualitativos

Dados qualitativos so compostos de palavras e no nmeros, por isso sua anlise deve ser diferenciada.
Em uma avaliao, os textos e observaes coletados vm de vrias fontes como: respostas a perguntas abertas de questionrios, transcries de grupos focais ou entrevistas, roteiros de observao de casos, ou, ainda, resumos de relatrios e documentos pesquisados.
Anlise de Dados Qualitativos

Agrupar as respostas em categorias especficas para calcular a frequncia de respostas para cada categoria uma abordagem comum para tratar dados pouco complexos, como as informaes geradas a partir de questionrios com perguntas preestabelecidas.
Quando os dados so mais densos e complexos, o grande desafio conseguir diminuir o volume de informao, identificar os temas mais significativos e desenvolver uma estratgia para comunicar aos diferentes interessados a essncia do que os dados revelam
103
19/05/2010
Cuidados na Anlise de Dados Qualitativos

Toda anlise qualitativa influenciada pela subjetividade da interpretao do pesquisador. Para diminuir sua interferncia e aumentar a credibilidade dos resultados encontrados, alguns cuidados devem ser observados:
Use vrias fontes de informao busque combinar, por exemplo, entrevistas individuais com grupos focais, de maneira a checar as informaes obtidas e ter maior confiana nas suas concluses.
Cuidados na Anlise de Dados Qualitativos

Registre todos os passos do processo de anlise todas as escolhas e procedimentos feitos devem ser registrados para que outros possam entender como as concluses finais foram obtidas. Evite fazer generalizaes o objetivo da anlise qualitativa no obter informaes generalizadas sobre toda a populao estudada. Ao contrrio, sua finalidade fornecer dados sobre o objeto avaliado a partir da perspectiva dos respondentes. Identifique as limitaes encontradas todo estudo avaliativo tem limitaes que devem ser reportadas para facilitar o entendimento das concluses finais. Estas limitaes podem ser de ordem metodolgica, ou relativas aos dados coletados.
104
19/05/2010
Apresentao dos resultados
Para Reflexo
Processos e resultados da avaliao so teis quando contribuem para decises informadas, esclarecem as opes de tomada de deciso, identificam pontos fortes e fracos, e fornecem lies aprendidas e recomendaes para melhorar programas, polticas e estratgias.
(Manuel Rojas Buvinich)
105
19/05/2010
Quando a avaliao no til

Apesar do uso dos resultados de uma avaliao ser sua grande razo de existir e um dos pressupostos bsicos que devem nortear todo o seu processo de elaborao, estudos demonstram que na maioria das organizaes h um aproveitamento muito pequeno das informaes fornecidas em um relatrio de avaliao.
Quando a avaliao no til

Algumas caractersticas das avaliaes analisadas refletiram no seu mal aproveitamento como instrumento de gesto:
A maioria das avaliaes foram realizadas apenas para atender a interesses dos financiadores, sendo a disseminao de seus resultados bastante limitada dentro da organizao gestora do programa; Os relatrios de avaliao eram muito longos, tcnicos e de difcil entendimento; Algumas avaliaes deixaram de analisar aspectos importantes da execuo do programa; Muitos relatrios ficaram prontos depois que importantes decises j haviam sido tomadas.
(adaptado de Hourton et al., 2003)
106
19/05/2010
Boa comunicao de resultados

A comunicao dos resultados de uma avaliao pode ser feita de forma oral ou escrita, mas deve sempre ser simples, direta e livre de jarges.
A nfase deve estar nos importantes resultados obtidos e nas recomendaes, sempre com o foco nos principais clientes da avaliao, suas expectativas e necessidades de informao.
Estrutura do Relatrio de Avaliao

Capa ttulo do relatrio, autores, instituies patrocinadoras/ participantes, lugar e data. ndice captulos e sub-captulos do relatrio. Crditos agradecimento a todas pessoas e instituies que fizeram o estudo possvel. Resumo Executivo apresentao do estudo e seus objetivos, metodologia adotada, principais resultados encontrados, concluses/ recomendaes. Deve ter no mximo 4 pginas. Introduo contexto e antecedentes da avaliao: caracterizao do problema, justificativa do estudo, finalidade da avaliao, perguntas avaliativas, circunstncias especiais. Metodologia desenho da avaliao: coleta e anlise dos dados, limitaes. Texto curto com maior detalhamento nos anexos (cpias dos instrumentos utilizados, clculo de tamanho de amostra, etc.). Resultados principais resultados encontrados apresentados em grficos e tabelas com breve anlise. Concluses sntese dos dados encontrados apresentados de maneira a responder s perguntas avaliativas. Recomendaes prescrio do que deve ser feito a partir das concluses do estudo. O nvel de detalhe das recomendaes depende da finalidade da avaliao e do perfil dos seus clientes. Referncias Bibliogrficas identificao de todo o aporte bibliogrfico que norteou a avaliao. Anexos instrumentos para coleta de dados utilizados, procedimentos metodolgicos adotados, dados adicionais obtidos ou com maior desagregao, outros documentos relevantes.
107
19/05/2010

Lycia Tramujas Vasconcellos Neumann
Oficina ministrada para tcnicos da Prefeitura Municipal de Curitiba - 2010
Referncias Bibliogrficas
Este material foi desenvolvido tendo como base as seguintes obras e documentos
108
19/05/2010
ActKnowledge; Aspen Institute Roundtable on Community Change. (2003). Theory of Change. Guided example: Project Superwomen. Disponvel em www.theoryofchange.org Alberta Consultative Health Research Network. (2001-2002) .Evaluability Assessment. Disponvel em http://www.achrn.org Almeida, Maria Cristina Salomo. (s.d.). Roteiro para elaborao de projeto. Disponvel em www.fibrj.com.br/projetos_sociais.htm Bardach, Eugene. (2000). A practical guide for policy analysis: the eightfold path to more effective problem solving. New York: Seven Bridges Press, LLC. Borden, L.M.; Perkins, D.F. (1999). Assessing your collaboration: A self evaluation tool. Journal of Extension, Vol.37, No.2. Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliao de programas e projetos sociais. Unicef.
Canada. Federal/Provincial/Territorial Committee of Officials for the Federal/Provincial/Territorial Ministers Responsible for Seniors. The Seniors policy handbook: a guide for developing and evaluating policies and programs for seniors. Junho de 2009. Chianca, Thomaz; Marino, Eduardo; Schiesari, Laura. (2001).Desenvolvendo a cultura de avaliao em organizaes da sociedade civil. So Paulo: Editora Global. Curitiba. Prefeitura Municipal. (2002). Modelo colaborativo: Experincia e aprendizados do desenvolvimento comunitrio em Curitiba. Curitiba: Instituto Municipal de Administrao Pblica. Frank, F.; Smith, A. (2000). The partnership handbook. Escrito para Human Resources Development Canada. Disponvel em www.hrdcdrhc.gc.ca/common/partnr.shtml GETS .Grupo de Estudos do Terceiro Setor; United Way of Canada Centraide Canada. Facilitando oficinas: da teoria prtica. So Paulo, 2002.
109
19/05/2010
Hodges, S.; Nesman, T.; Hernandez, M. (1999). Promising practices: building collaboration in systems of care. Systems of Care: Promising Practices in Childrens Mental Health, 1998 Series, Volume VI. Washington, D.C.: Center for Effective Collaboration and Practice, American Institutes for Research. Hfling, Eloisa de Mattos. Estado e polticas (pblicas) sociais. Cadernos Cedes, ano XXI, n 55, novembro/2001. Hourton, Douglas et al. (2003). Evaluating capacity development: experiences from research and development organizations around the world. IDRC. Instituto do Banco Mundial. (s.d.). Introduo ao monitoramento & avaliao:apostila do participante. Instituto Ecoar para a Cidadania. (2010). Oficina de Futuro. Disponvel em www.ecoar.org.br/website/edu_oficina.asp
International Development Research Centre.Identifying the Intended Use(s) of an Evaluation. Abril de 2004. Disponvel em www.idrc.ca _________. Identifying the Intended User(s) of an Evaluation. Maro de 2004. Disponvel em www.idrc.ca Marino, Eduardo. (2001). Avaliao: a mudana do paradigma. Artigo parte do livro Desenvolvendo a Cultura da Avaliao em Organizaes da Sociedade Civil. So Paulo: Instituto Fonte Marino, Eduardo; Cancellier, Everton L. P. de Lorenzi. (2004). Ciclo de vida de projetos Sociais: um estudo dos projetos de Vitae Apoio Cultura, Educao e Promoo Social . Artigo escrito para o Programa de Liderana para o Desenvolvimento Local Sustentvel no Nordeste. McNamara, Carter. Basic Guide to Program Evaluation. (1999). Disponvel em www.mapnp.org Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Desenvolvimento comunitrio baseado em talentos e recursos locais - ABCD. So Paulo: Editora Global.
110
19/05/2010
Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Repensando o investimento social: a importncia do protagonismo comunitrio. So Paulo: Editora Global. Osborne,D., & Gaebler, T. (1993). Reinventing Government: How the Entrepreneurial Spirit is Transforming the Public Sector. New York: Plume. Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text.Londres: Sage Publications. _________. (2000). Utilization-focused evaluation in Africa. Training sessions delivered to the Inaugural Conference of the African Evaluation Association. Pereira, Elson Manoel. (2007). Polticas pblicas: conceitos e condicionantes. Disponvel em http://www.alesc.sc.gov.br Pogoda, Cristina Fedato; Pires, Joo Teixeir; Moretti, Telma. (s.d.). Avaliao de resultados de programas e projetos sociais. Estudo de caso elaborado para o VI SEMEAD.
Rodrigues, Maria Ceclia Prates. (1998). Avaliao e monitoramento. Texto base para a disciplina de Monitoramento e Avaliao ministrada no mbito do curso de Gerncia de Programas Sociais, promovido pela FESP/ISAPE/CPG. Rua, Maria das Graas. (2000). Avaliao de polticas e programas: notas introdutrias. Mimeo. So Paulo (Estado). Secretaria do Meio Ambiente. Coordenadoria de Planejamento Ambiental Estratgico e Educao Ambiental. Manual para Elaborao, Administrao e Avaliao de Projetos Socioambientais. So Paulo: SMA / CPLEA, 2005. Schlithler. Clia Regina Belizia. (2004). Redes de desenvolvimento comunitrio: iniciativas para a transformao social. So Paulo: Editora Global. Schuckar. Myriam. (2005). Captao de recursos para projetos sociais. Disponvel em www.usc.br/assecom/encontropsm1.ppt Silva, Marcos Jos Pereira da. (2010). Elaborao de projetos sociais. Artigo publicado na Revista Carta na Escola. Disponvel em www.acaoeducativa.org.br.
111
19/05/2010
Stephanou, Luis. (s.d). Projetos sociais: importncia para a sustentabilidade. Disponvel em www.me.org.br. Stephanou, Luis; Muller, Lcia Helena; Carvalho, Isabel Cristina de Moura. (2003). Guia para a elaborao de projetos sociais. Porto Alegre: Editora Sinodal e Fundao Luterana de Diaconia. United Way of America. (1996). Measuring program outcomes: a practical approach. Whitaker. Francisco (1993). Rede: uma estrutura alternativa de organizao. Srie Procurando entender Textos para discusso. W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, & Action. Worthen, Blaine. (2004). Avaliao de programas: concepes e prticas. So Paulo: Editora Gente. Wright, J.D. ; Rodal, A.B. (1997). Partnerships and Alliances. New Public Management and Public Administration in Canada.
Contato: LYCIA TRAMUJAS VASCONCELLOS NEUMANN (41) 9674-7490 lycianeumann@gmail.com
112

Apostila Planejamento Monitoramento e Avaliacao de Projeto Sociais e Slides

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Apostila Planejamento Monitoramento e Avaliacao de Projeto Sociais e Slides

Diunggah oleh

Hak Cipta:

Format Tersedia

Planejamento, Monitoramento e Avaliao de Projetos Sociais.

Luciano Ducci Prefeito Municipal

Governador do Estado da Bahia

Paulo Ganem Souto

Pedro Barbosa de Deus

Pe. Clodoveo Piaza S. J.

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Armando Avena SECRETARIA

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

O PROCESSO DE CRIAO DA SISTEMTICA

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

A LINGUAGEM DO MONITORAMENTO E AVALIAO

A LINGUAGEM DO MONITORAMENTO E AVALIAO

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

A Avaliao no Ciclo das Polticas Pblicas

Reformulao, expanso, reduo, encerramento

Avaliao das necessidades/ questes prioritrias 12

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

A LINGUAGEM DO MONITORAMENTO E AVALIAO

A LINGUAGEM DO MONITORAMENTO E AVALIAO

Exemplos de Perguntas Avaliativas de Processo

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Exemplos de Perguntas Avaliativas de Resultado

A LINGUAGEM DO MONITORAMENTO E AVALIAO

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Definio do programa ou projeto a ser avaliado

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Formao de equipe mista de avaliao e elaborao do plano de trabalho

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Identificao e entrevista com os potenciais clientes da avaliao

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Dados do Responsvel Nome: Cargo: Telefone:

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Elaborao do Modelo Lgico de Gesto

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Definio do escopo da avaliao

serem adotados no estudo.

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Anlise dos instrumentos e registros j disponveis do programa

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

Definio dos indicadores de monitoramento e avaliao a serem utilizados

Caractersticas de um bom indicador

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

SISTEMTICA DE MONITORAMENTO E AVALIAO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

PROGRAMA CABRA FORTE

1. N de poos instalados no perodo