Anda di halaman 1dari 85

No

rumo
certo
Guia para
Monitoramento
e Avaliação de
Projetos Baseados
em Comunidades
A gente
não deve
monitorar
e avaliar
só porque
o doador
pediu.

© Julie Smith
Publicado pela UNESCO
7, place de Fontenoy, 75352 Paris 07 SP, France

© UNESCO 2010
Todos os direitos reservados

Versão original
Publicada em 2009 pela UNESCO
© UNESCO 2009

O autor responsabiliza-se pela escolha e apresentação dos factos contidos no presente trabalho,
bem como pelas opiniões que nele são manifestadas, as quais não são necessariamente
compartilhadas pela Organização das Nações Unidas para a Educação, Ciência e Cultura
(UNESCO) e não vinculam a Organização.

As designações empregadas e a apresentação de material em toda a publicação não


pressupõem a expressão de opiniões de qualquer natureza por parte da UNESCO com respeito
ao estatuto legal de quaisquer países, cidades ou áreas, ou das respectivas autoridades, nem
relativamente às suas fronteiras ou limites.

Desenho gráfico: UNESCO

Impresso na França

ED-2010/WS/34 – cld 2252.10


Sumário
Agradecimentos ..................................................................... 4
Prefácio ................................................................................. 5
Acrônimos ............................................................................. 6
Resumo ................................................................................. 7

Seção 1 Introdução ................................................................ 9


Seção 2 Etapas para criar, planejar e avaliar um projeto .............. 17
Seção 3 O modelo lógico ................................................... 25
Seção 4 Como criar um modelo lógico ................................... 39
Seção 5 Como estruturar e definir a sua avaliação ..................... 45
Seção 6 Técnicas e ferramentas de pesquisa ............................ 53
Seção 7 Avaliação participativa .............................................. 6 1
Seção 8 Análise e divulgação de dados .................................. 65
Seção 9 Referências, bibliografia comentada, anexos ................. 69

3
Agradecimentos
Este guia foi produzido sob a direção da Divisão da Educação Básica da UNESCO.

O presente trabalho só pôde ser realizado graças aos esforços e ao apoio de um grande número de
pessoas e organizações envolvidas na iniciativa “Another Way to Learn” da UNESCO. Em primeiro
lugar, a equipe do projeto gostaria de expressar o seu agradecimento à valiosa assistência de
Rhiannon Barker na redação do documento de apoio para pesquisa e avaliação de uma série de
programas no âmbito da referida iniciativa, destinado aos integrantes de projetos.

A UNESCO não poderia deixar de demonstrar a sua gratidão às ONGs que colaboraram com a
UNESCO, fornecendo suporte para a concepção desta publicação e compartilhando experiências e
lições. Sem a parceria da sociedade civil este manual não teria sido possível.

Em particular, a UNESCO faz questão de manifestar o seu reconhecimento e o seu agradecimento a


Sophie Jadin e Mao Kosal (Phare Ponleu Selpak – Camboja); Shanthi Ranganathan (TT Ranganathan
Clinical Research Foundation – Índia); Dadi Pudumjee, Sanjoy Roy e Javita Narang (Ishara Puppet
Theatre Trust e Salaam Balaak Trust – Índia); Rodney Grant e Sophia Greaves (Pinelands Creative
Workshop – Barbados); Joseph Meharris (The Centre of Hope – Trindade e Tobago); Dulce Almonte e
Jaime de La Rosa (REDOVIH – República Dominicana); Susana Fergusson (PROCREAR – Colômbia);
Heriberto Mejía (FUNDARVI – Colômbia); Luís Fernando Leal (LIGASIDA – Colômbia); Raquel Barros
(Lua Nova – Brasil); José Carlos de Freitas Spinola, Cido Martins e Patrícia Moura (Reciclázaro –
Brasil).

A UNESCO é igualmente grata a Rosalind David por seu apoio e seus comentários. A UNESCO não
poderia deixar de agradecer a Julie Smith pelos seus desenhos repletos de humor, que destacam o
espírito e a dedicação necessários para garantir o aprendizado de questões de extrema relevância.

Convém salientar que as informações sobre o Modelo Lógico de Programa provêm do excelente
“Program Development and Evaluation”, desenvolvido pela Universidade de Wisconsin, disponível
em www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html (Copyright 1996 Conselho de
Administração do University of Wisconsin System, com o nome fantasia Division of Cooperative
Extension of the University of Wisconsin-Extension).

Por fim, a UNESCO agradece o apoio financeiro essencial para a realização deste guia recebido da
Comissão Europeia e da UNAIDS.

“A verdadeira viagem de descoberta não consiste em buscar novas terras,


mas em as ver com novos olhos.”

Marcel Proust

4
Prefácio
O valor e a importância de monitorar e avaliar com qualidade vem recebendo cada vez mais
reconhecimento de um grande número de partes interessadas – planejadores, financiadores,
formuladores de políticas e comunidades que dão apoio a intervenções. Quando é demonstrado até
que ponto um projeto pôde cumprir as suas metas, fica mais fácil garantir que os recursos sejam
utilizados da maneira mais efetiva, eficiente e adequada possível. O nosso intuito é que este guia de
monitoramento e avaliação (M&A) dê mais confiança e habilidades àqueles que possuem experiência
limitada para que possam lidar com todo o ciclo do projeto, tanto no planejamento como nas atividades
relativas ao M&A. Este guia contempla os seguintes temas:

• a importância de avaliar as necessidades e garantir que os objetivos e a ideia do projeto estejam de


acordo com essas necessidades;

• os tipos de projetos de monitoramento e avaliação no decorrer da sua implementação (avaliação do


processo) e na sua fase terminal (avaliação dos resultados/impactos);

• a relevância dos projetos de planejamento no âmbito de um modelo ou quadro claramente


construídos (o modelo lógico de programa é apresentado como exemplo);

• como garantir que as informações provenientes do M&A repercutam na concepção dos projetos em
andamento e nos planejamentos futuros;

• como garantir que as partes interessadas participem ativamente da concepção e do planejamento


do projeto, bem como das pesquisas decorrentes.

Esta publicação teve origem em um trabalho de apoio a uma série de projetos de capacitação
vocacional e empresarial realizados por meio de educação não formal na África, no Sul da Ásia,
no Caribe e na América Latina. O cerne de todos os projetos do programa são os métodos criativos
inovadores empregados para se comunicar de uma maneira significativa e estimular a participação
da população. Todos os projetos focalizam-se na capacitação, na autonomização e na criação de
oportunidades de aprendizagem. A conceptualização desses projetos está alicerçada nos quatro
pilares da educação apresentados em 1996 pela Força-Tarefa para a Educação no Século XXI da
UNESCO: “aprender a aprender”, “aprender a fazer”, “aprender a conviver” e “aprender a ser”. O
Quadro de Ação de Dacar (2000), que sela o compromisso coletivo da comunidade internacional para
com à Educação para Todos (EPT), lembra-nos que a educação deve valorizar o talento e o potencial
de cada indivíduo.

Os projetos são desenvolvidos em setores carentes, onde faltam verbas e infraestruturas e as


comunidades e os seus membros têm pouquíssimas condições de vencer a miséria e a exclusão
social. Todavia, o que caracteriza todos esses projetos é a capacidade de inovação, a motivação e a
coragem que essas pessoas têm de seguir adiante, em um esforço constante de reflexão, sempre
prontas para aprender a partir das experiências. Esperamos que este guia forneça o suporte e as
técnicas necessários para formalizar e solidificar os processos de M&A, permitindo assim que os
projetos baseados em comunidades tenham êxito e as suas intervenções sejam mais efetivas.

UNESCO
Divisão da Educação Básica

5
Acrônimos
AIDS Síndrome da Imunodeficiência Adquirida

OBC Organização Baseada na Comunidade

EPT Educação para Todos

UE União Europeia

HIV Vírus da Imunodeficiência Humana

IDS Instituto de Estudos para o Desenvolvimento (Reino Unido)

M&A Monitoramento e Avaliação

ONG Organização Não Governamental

M&AP Monitoramento e Avaliação Participativos

MLP Modelo Lógico de Projeto

DRP Diagnóstico Rural Participativo

SMART Specific (específico), Measurable (mensurável), Achievable (viável), Realistic (realista),


Time-Bound (com prazo)

UNAIDS Programa Conjunto das Nações Unidas sobre HIV/AIDS

UNESCO Organização das Nações Unidas para a Educação, a Ciência e a Cultura

6
Resumo
Este guia foi desenvolvido como um recurso para “obras em andamento” que pode ser utilizado para
auxiliar no monitoramento e na avaliação de iniciativas de desenvolvimento comunitário. Espera-se
que os participantes de projetos compreendam que há uma considerável melhora da qualidade e
da adequação do produto final quando as comunidades se envolvem completamente no processo
e o trabalho é criteriosamente planejado, monitorado e avaliado. Apesar de ter sido desenvolvido
com base na experiência e nas lições tiradas de um programa de projetos específico voltado para
um meio de vida sustentável e aspectos da educação sanitária, praticamente todo o seu conteúdo
é genérico, podendo, portanto, ser aplicável a uma enorme gama de iniciativas comunitárias. Os
principais objetivos deste guia são:

• proporcionar uma visão geral das principais características da pesquisa qualitativa que podem
auxiliar os participantes do projeto nas suas próprias avaliações internas;

• recomendar modelos, arcabouços e conceitos teóricos a serem utilizados no decorrer do


planejamento e das pesquisas;

• fornecer orientação prática sobre como adaptar e utilizar o modelo lógico em projetos;

• dar um panorama sobre as ferramentas e métodos básicos de pesquisa, com ênfase na


pesquisa qualitativa;

• promover o uso de técnicas de pesquisa participativa.

“Surpreender-se, perguntar-se é começar a entender.”

José Ortega y Gasset

7
1

Seção 1 Introdução

1.1 Antecedentes 10
1.2 Como usar este guia 10
1.3 A quem se dirige este guia? 10

A pesquisa em contexto 10
1.4 Por que monitorar e avaliar? 10
1.5 Quais são os principais aspectos da avaliação
de iniciativas comunitárias? 11
1.6 Técnicas participativas 13
1.7 O que se deve esperar de uma avaliação? 14
1.8 Qual é a utilidade dos modelos e arcabouços teóricos? 14
1.9 O que determina o sucesso de uma avaliação? 14

NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

9
“Avaliar é como observar por uma lente grande-angular que permite ver
a floresta inteira, e não só o galho da árvore sobre o qual se está.”

Doc Childre

1.1 Antecedentes 1.3 A quem se dirige


O presente guia foi produzido após a avaliação este guia?
de uma série de projetos de capacitação
vocacional e empresarial realizados por Este guia se dirige basicamente àqueles
meio de educação não formal apoiados pela que definem, planejam e executam projetos
UNESCO1. Uma conclusão importante dessa de desenvolvimento comunitário. Projetos
avaliação foi que os projetos apresentavam apoiados pela UNESCO, que visavam a
melhores resultados quando havia uma melhorar a qualidade de vida de populações
compreensão mais clara das vantagens de marginalizadas com a redução da pobreza
realizar pesquisas próprias e receber suporte e a criação de um meio de vida sustentável,
e estímulo para produzir um “sistema” de constituíram a força motriz desta publicação.
pesquisas, concebido no início do projeto As lições tiradas desse trabalho têm
e aplicado em todo o seu decorrer. Uma aplicação numa ampla variedade de projetos e
revisão dos componentes das pesquisas de ambientes.
todos os projetos compreendidos concluiu
que a pesquisa deve ser parte integrante da
concepção do projeto e que a maioria deles
carecia de treinamento e expertise com
relação ao desenvolvimento de pesquisas e A pesquisa em
técnicas.
contexto
Arcabouços teóricos, como o Modelo Lógico
de Programa (MLP), fornecem uma orientação
passo a passo para o planejamento de
1.4 Por que monitorar
projetos, deixando mais claras as atividades e avaliar?
que os compõem e as ideias e suposições em
que se baseiam, além de facilitar e aprimorar Primeiramente, convém definir os termos
o processo de avaliação. monitoramento e avaliação. Para os
propósitos deste guia, monitoramento refere-
se à revisão e ao levantamento de dados em
andamento, que ajudarão a determinar se os
resultados esperados estão sendo atingidos.
1.2 Como usar este O monitoramento é, pois, um componente
guia fundamental da avaliação. Por sua vez,
avaliação diz respeito ao levantamento
Este guia não tem a intenção de ser um sistemático de informações realizado no
manual definitivo de monitoramento e decorrer ou ao final de um projeto com o
avaliação, mas sim um ponto de partida objetivo de julgar a efetividade dos resultados
com informações introdutórias para esperados e auxiliar nas decisões quanto a
aconselhamento e suporte adicionais. futuras intervenções.
Todas as seções podem ser impressas ou
fotocopiadas para uma distribuição mais O trabalho de M&A ajuda a determinar se um
ampla de acordo com a necessidade. programa atingiu os resultados pretendidos,
o que permite prestar contas dos gastos e
utilizar os recursos do modo mais eficaz. Os
1 Another Way to Learn… Case studies, disponível financiadores costumam solicitar avaliações
em inglês em http://unesdoc.unesco.org/
images/0015/001518/151825e.pdf e também em
para se certificarem de que o dinheiro
espanhol, faz um resumo dos 17 projetos que está sendo bem empregado, porém, ainda
compõem o programa. persiste o desafio de garantir que aqueles

10
que trabalham no projeto ou lhe dão apoio 1.5 Quais são os
1
reconheçam a importância do monitoramento
e da avaliação contínuos e os utilizem para principais aspectos da
melhorar a efetividade e a qualidade dos
programas.
avaliação de iniciativas
comunitárias?
O monitoramento deve ser realizado
constantemente para verificar se as metas e As iniciativas comunitárias não são fáceis
os objetivos do projeto estão sendo cumpridos de avaliar! Não existe uma técnica objetiva
e reajustar a programação com base nas e conclusiva que possa ser retirada de um
lições aprendidas até então. As avaliações
internas são importantes não só para medir
a efetividade, a eficiência e o andamento “Quando tentamos selecionar algo
do projeto, mas também para desenvolver por si só, descobrimos que está ligado
um sentido de apropriação do projeto, tanto
por parte do pessoal que nele trabalha a tudo mais no universo.”
como daqueles que dele se beneficiam. As
avaliações externas, apesar de onerosas e, por John Muir
conseguinte, geralmente impraticáveis nas
pequenas comunidades, ainda assim oferecem
uma análise independente que pode vir bem a
calhar. manual já pronto e adaptada a todos os
projetos. Por essa razão, os integrantes da
equipe devem ser criativos, utilizar o bom-
senso e valer-se do conhecimento que têm da
população, do meio e dos contextos político
“Os homens tropeçam por vezes na e cultural para fazerem as perguntas de
verdade, mas a maior parte torna a levantar- maneira acertada.
se e continua depressa o seu caminho,
As iniciativas comunitárias costumam
como se nada tivesse acontecido.” compor-se de múltiplas intervenções
complexas, efetuadas em vários níveis,
Winston Churchill geralmente concebidas com o intuito de
produzir diversos resultados. Existe uma gama

S
GA
DRO
ÀS LANÇAMENTO
ÃO
A N
DIG Paixão sem
drogas
Mas como você pode garantir
que foi o seu flipchart que reduziu
o consumo de drogas?


o
dro use
gas

RA
EXT
ÃO
PRIS R
DROGAS PO AS
G
DRO

SEM
DROGAS

11
de estratégias centradas tanto no indivíduo Esquemas sofisticados e custosos correm o
como na comunidade. As iniciativas vão desde risco de desperdiçar recursos, se for possível
a tentativa de mudar o comportamento por solucionar a questão com meios mais simples.
via da educação e da autonomização até Se os avaliadores utilizarem ferramentas
projetos mais abrangentes focalizados na demasiado complicadas que não conhecem
equidade, na justiça social e em intervenções muito bem, certamente não produzirão
intersetoriais. O uso de modelos e arcabouços resultados úteis e válidos.
teóricos tem procurado conferir um maior
rigor à maneira como as variáveis são
coletadas e interpretadas. Ao mesmo tempo, “A simplicidade é o suprassumo
novas ideias sobre avaliação reconhecem
cada vez mais a multiplicidade de interações
da sofisticação.”
que ocorrem no seio da maior parte das
comunidades, colocando em questão a Leonardo da Vinci
relação linear mais simplista de causa e
efeito. Dada a complexidade com que se
realizam as intervenções, as perguntas que Atualmente quase todos concordam que tanto
devem ser feitas para avaliar a sua efetividade a abordagem quantitativa como a qualitativa
precisam ser bem estruturadas e testadas. É desempenham um papel importante nos
imprescindível ter em mente que os resultados programas de avaliação. Sugere-se, inclusive,
nem sempre são previsíveis e às vezes podem com frequência que a “avaliação pluralista”,
não ser benéficos à comunidade. Os envolvidos isto é, que emprega igualmente métodos
no monitoramento e na avaliação do projeto quantitativos e qualitativos, constitui a
devem ter coragem e convicção suficientes estratégia mais apropriada para tratar
para apontar tanto os resultados positivos questões complexas sobre o que conta como
como os negativos do projeto. um resultado bem-sucedido (Beattie,1995).

Existe uma grande variedade de técnicas A avaliação da maioria das intervenções


e métodos para avaliar programas. É essa comunitárias se beneficia de uma série de
diversidade que torna esse processo uma técnicas de pesquisa para avaliar o projeto em
ferramenta poderosa. Os métodos podem diferentes etapas, a saber:
variar em função dos interesses, do contexto,
da própria postura filosófica do avaliador, • a formação das metas, dos objetivos e
bem como das características dos demais dos procedimentos do programa – incluindo a
envolvidos no programa. Os avaliadores avaliação das necessidades iniciais (avaliação
podem adotar uma combinação de estratégias formativa);
para aprofundar e aprimorar o processo.

Com referência ao monitoramente e à avaliação de projetos de promoção de saúde, uma


publicação recente do Grupo de Trabalho Europeu da OMS recomenda aos formuladores de
políticas:
– incentivar a adoção de abordagens de avaliação participativas que propiciem oportunidades
significativas de envolvimento;
– alocar à avaliação no mínimo 10% do total de recursos financeiros destinados a uma iniciativa
de promoção de saúde;
– garantir que uma mescla de informações sobre o processo e sobre os resultados seja utilizada
para avaliar todas as iniciativas de promoção de saúde;
– favorecer o uso de múltiplos métodos para avaliar iniciativas de promoção de saúde;
– fomentar pesquisas que tenham por objetivo desenvolver abordagens adequadas para avaliar
iniciativas de promoção de saúde;
– apoiar a instalação de uma infraestrutura de treinamento e de ensino para desenvolver
especialização em avaliação das iniciativas de promoção de saúde;
– criar e promover oportunidades de compartilhamento de informações sobre métodos de
avaliação empregados em promoção de saúde com conferências, oficinas, redes e outros meios.

OMS (2006). Evaluation in health promotion. Principles and perspectives. Editado por Rootman, I.;
Goodstadt, M; Hyndman, B; McQueen; Potvin, L; Springett, J. & Ziglio, E. Escritório regional para
a Europa da OMS.

12
• o processo de implementação do programa facilitação cuidadosa, os próprios participantes
1
(avaliação processual); definirão os critérios para determinar como as
• a medição dos resultados e do impacto mudanças ocorreram. Com a ajuda da equipe
(avaliação somativa). do projeto, poderão também desenvolver
parâmetros que permitirão atentar para o que
de fato mudou em virtude das intervenções.

1.6 Técnicas O monitoramento e a avaliação participativos


participativas (M&AP) é uma abordagem que envolve a
população local, agências de desenvolvimento
e formuladores de políticas numa decisão
De modo geral, os projetos comunitários conjunta sobre como mensurar o progresso
de pequena escala funcionam com pouca e tirar proveito dos resultados (IDS, 1998).
verba e capacidade limitada em matéria Trata-se de uma metodologia que se tem
de tempo dedicado e formação dos popularizado não só por otimizar os gastos,
participantes. Pesquisas quantitativas que utilizando capacidades e recursos locais, mas
utilizam questionários e levantamento também por forçar a população a examinar
de dados em larga escala costumam ser as suas concepções sobre o que vem a ser
impróprias para esse tipo de situação. Um progresso, independentemente dos conflitos
paradigma alternativo consiste em envolver e contradições que possam surgir. Os dados
os beneficiários como atores sociais no e análises resultantes estarão certamente
seu próprio desenvolvimento. Em outras mais em sintonia com as ideias e expectativas
palavras, aqueles que se beneficiam com o daqueles que são diretamente afetados.
projeto devem participar ativamente do seu
monitoramento (monitoramento participativo) “O monitoramento e a avaliação participativos
e da avaliação do seu impacto (avaliação não se limitam a aplicar técnicas num
participativa). As pessoas favorecidas pelo ambiente convencional. Trata-se de
projeto podem atuar regularmente na reconsiderar radicalmente quem inicia e
avaliação de fatores tais como as mudanças empreende o processo e quem aprende e se
comportamentais e a autonomização beneficia com os resultados.” (IDS, 1998, p.2)
observadas em suas comunidades. Com uma

GRUPOS DE DISCUSSÃO
SONDAGEM

EXTREMAMENTE
SATISFEITO  100%

NEM UM
POUQUINHO
DESCONTENTE  0%

A minha avaliação
do seu projeto
mostra que…

“Humm”, pensou João, “eu achava que o projeto estava mal


encaminhado. Será que todo mundo quis só ser gentil?”

13
Exemplos de técnicas participativas são e atividades, tornando o processo de avaliação
fornecidos na Seção 7. mais efetivo, transparente e equilibrado.

1.7 O que se deve 1.9 O que determina


esperar de uma o sucesso de uma
avaliação? avaliação?
A avaliação de uma intervenção baseada Uma avaliação bem-sucedida deve
na comunidade tem por objetivo: demonstrar o seguinte:

• elaborar o processo que permitirá obter as • o horizonte temporal , as metas e os


informações desejadas empregando diferentes objetivos claros do projeto (Seção 3);
métodos;
• a atuação dos beneficiários no
• incentivar o desenvolvimento de planejamento, no monitoramento e na
indicadores, referenciais e iniciativas claros; avaliação do projeto (Seção 7);

• coletar e analisar dados durante todo • a compreensão e a apropriação


o ciclo do projeto que dizem respeito aos compartilhadas dos objetivos do projeto e
objetivos e resultados almejados; como estes devem ser alcançados pelos
parceiros e demais envolvidos (Seção 3.2);
• detectar o que deu errado e quais objetivos
não foram atingidos; • coleta e análise de dados realistas
e gerenciáveis, visto que, quanto mais
• fazer os ajustes necessários com base na complexos forem os métodos e instrumentos
experiência e nos conhecimentos adquiridos; utilizados, maior será a chance de fracasso
(Seções 5 e 6);
• fornecer feedback a todos os participantes
do programa e às comunidades locais; • ferramentas e instrumentos de coleta de
dados em sintonia com outros sistemas em
• divulgar os resultados e as lições uso (Seção 6.8);
aprendidas aos organismos financiadores e
prestadores de serviços. • recursos financeiros e humanos
apropriados aos níveis requeridos de
• utilizar os resultados finais como base monitoramento e avaliação, devendo haver
de informações para o planejamento e treinamento e suporte quando a capacidade
implementação de futuros trabalhos nas técnica não for satisfatória (Seção 6);
comunidades alvos.
• relevância e transparência no
monitoramento dos programas e dados
levantados in loco (Seções 4 e 7);
1.8 Qual é a utilidade • feedbacks periódicos para garantir que
dos modelos e os resultados sirvam para o planejamento de
processos e projetos futuros (Seção 6);
arcabouços teóricos?
• monitoramento e avaliação culturalmente
Ao ser planejado um programa, convém adequados, bem como normas éticas em
empregar um modelo ou arcabouço conformidade com os padrões nacionais e
estruturados. Trata-se basicamente de locais (Seção 6).
ferramentas que podem ajudar a dar forma
ao pensamento e melhor configurar a
planificação e a avaliação do projeto. Eles
ajudam a criar e esclarecer teorias, hipóteses

14
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

15
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

16
2
Scriar,eçãoplanejar
2 Etapas para
e avaliar
um projeto

2.1 O ciclo de planejamento do projeto 18


2.2 A redação da proposta para obtenção de financiamento 18
2.3 Como proceder à avaliação das necessidades 19
2.4 Como desenvolver um arcabouço de pesquisa 20

17
2.1 O ciclo de 2.2 A redação da
planejamento do projeto proposta para obtenção
É importante ter em mente as fases que
de financiamento
compõem o ciclo de um projeto, cada qual Uma vez identificados os objetivos e as metas,
com o seu impacto e as suas influências nas o próximo passo é redigir uma proposta
fases subsequentes. Esse esquema está para conseguir financiamento. Este guia
representado na figura abaixo. não fornece uma lista exaustiva de fontes
de financiamento potenciais. No entanto,
O ciclo do projeto convém, antes de tudo, fazer uma busca
na internet, consultar sites de agências
Quando se pretende monitorar e avaliar um e contatar os decisores do governo local,
projeto, é imprescindível que haja um feedback grupos comunitários e organismos nacionais
dos resultados no ciclo do projeto e que essas e internacionais. Em alguns casos, talvez
informações sejam utilizadas para moldar, seja mais conveniente focalizar a obtenção
adaptar e aprimorar o trabalho no futuro. O do financiamento para a avaliação das
feedback e o aprendizado devem ocorrer ao necessidades antes de pleitear um montante
longo de todo o projeto. maior para a totalidade da intervenção.

Avaliação das
necessidades

Feedback
Avaliação do aprendizado
Planejamento
do projeto para melhorar
do projeto
a efetividade do
projeto

Implementação
e monitoramento
do projeto

18
2.3 Como neste tipo de situação é importante avaliar
os pontos positivos da comunidade e, se ela
proceder à avaliação for coesa e tiver um alto nível de integração
das necessidades e envolvimento, valerá a pena aproveitar as
redes preexistentes;

2
Em geral, caso ainda não tenha sido realizada, • verificar a percepção, a interpretação e a
a avaliação das necessidades serve para aceitação dos materiais promocionais, das
revisar as metas e os objetivos do programa mensagens e demais intervenções;
e os métodos de trabalho propostos antes da • testar a adequação das abordagens e
implementação do projeto. Ao planejar esse procedimentos de implementação.
tipo de avaliação, é muito importante incluir
no processo as várias partes interessadas da Nessa fase, a prioridade é criar um referencial
comunidade. Na medida do possível, convém a partir do qual as mudanças possam
evitar que os membros da comunidade mais ser medidas. Os métodos qualitativos de
poderosos e eloquentes dominem a discussão. coleta de dados sobre a comunidade devem
A avaliação das necessidades também compreender:
propicia, já desde o início, o envolvimento da • entrevistas em profundidade com os
comunidade por meio de consultas. principais membros da comunidade alvo, com
o cuidado de identificar e incluir os líderes
A avaliação das necessidades deve ser capaz de quaisquer grupos de interesses e facções
de: rivais. Essas entrevistas podem ser filmadas
• permitir que as metas e os objetivos e é importante que os beneficiários sintam
do programa a serem cumpridos sejam prazer em realizá-las e participar delas;
claramente especificados; • grupos de discussão com profissionais
• garantir que o programa trate os que trabalham na comunidade e com a
problemas e as prioridades identificados pela população local, que podem ser realizados
comunidade; em clubes, associações, instituições, escolas,
• averiguar desde o princípio se os centros comunitários, grupos de mulheres,
problemas considerados importantes pelos reuniões de agricultores num mercado, etc.;
atores externos correspondem de fato às • a participação da população, com o auxílio
prioridades da comunidade; dos meios de comunicação, por exemplo, num
• definir quais problemas da comunidade fórum ou num debate sobre os objetivos do
identificados pelo grupo requerem mais programa;
atenção; • a observação participante em eventos e
• fornecer informações sobre as principais grupos locais, em conversas informais que
partes interessadas da comunidade; podem ser complementadas com notas de
• indicar até que ponto a comunidade campo;
pode ser mobilizada e uma abordagem de • a coleta sistemática de opiniões de
desenvolvimento comunitário, se for o caso, grandes amostras da população a partir
pode ser adotada – convém lembrar que de questionários semiestruturados com

Quando a gente não sabe ... fica difícil saber o


de onde começou... quanto se avançou.

19
perguntas abertas que permitam que os ou não ser realizado, o que pode fazer com
entrevistados se expressem livremente. que muito trabalho positivo e benéfico seja
perdido devido à má definição dos objetivos,
Ver também a Seção 7. além de ocasionar uma sensação de fracasso
posteriormente (ver Seção 5.6).

ii. Definir os indicadores


2.4 Como desenvolver Para cada resultado, decida quais são os
um arcabouço de indicadores mais apropriados a serem
empregados para verificar se as metas foram
pesquisa ou não alcançadas (ver Seção 5.6).

O monitoramento e a avaliação devem ser iii. Estabelecer os métodos


planejados e postos em prática desde o início de avaliação
do projeto.2
Identifique as estratégias que garantirão que
O modelo lógico (descrito em detalhe na o projeto seja continuamente submetido a
Seção 3) é bastante útil para a planificação e a avaliações e análises (ver Seções 5 e 6).
execução das próximas etapas, a saber:
iv. Decidir quem realizará a
i. Identificar os resultados pesquisa
A partir dos objetivos do projeto, identificar
Defina quem fará a pesquisa. Talvez convenha
claramente os resultados de curto e longo
que grupos de pessoas distintos realizem uma
prazos. Seja realista. No afã de obter um
parte da pesquisa, por exemplo, a equipe do
financiamento, é difícil vencer a tentação de
projeto e a comunidade podem se encarregar
extrapolar no que diz respeito àquilo que pode
de aspectos diferentes. Pense como a
comunidade será envolvida na análise.
2 Uma lista mais completa das técnicas de avaliação
encontra-se no Anexo 2.

O teatrinho de fantoches
O que
dela não teve nenhum
é que
há com a impacto nos níveis de
Maria? violência doméstica
da aldeia.

20
v. Selecionar as ferramentas
de pesquisa
Escolha as ferramentas adequadas para a
coleta de dados necessários (ver Seção 6).

vi. Verificar a lista de controle


Confira cada item da lista de controle que se
2
encontra no final desta seção e certifique-se
de que nada foi esquecido.

vii. Fixar prioridades


Estabeleça prioridades que sejam realistas.
É preciso ter em mente que toda ação deve
ser relevante e ter um propósito bem definido
e que as razões da pesquisa devem ser
compreendidas claramente pela equipe do
projeto.

Desculpem o atraso. Minha mãe ficou doente,


eu perdi o voo, a enchente bloqueou a estrada e
o pneu do carro furou. Bem, mas por que razão
mesmo os resultados previstos no projeto
não foram atingidos?

Doador
ONG
Doador

21
Resumo: Lista de controle para uma avaliação completa
A que se destina?
– Qual é o propósito da avaliação?

– A quem ela servirá?

– A avaliação condiz com a iniciativa que está sendo posta em prática em campo?

– A pesquisa gera novos conhecimentos?

– A avaliação está sendo usada como uma ferramenta para ajudar na autonomização dos
indivíduos e comunidades que ela serve?

Realismo

– Os recursos disponíveis são adequados para a avaliação?

– Os avaliadores têm a devida formação e o domínio das técnicas necessários para desempenhar
as suas funções? (Esta pergunta tem particular relevância no caso das avaliações internas, isto
é, quando a própria equipe do projeto realiza a maior parte da avaliação.)

– Os financiadores concordam com o fato de que os recursos destinados à avaliação sejam


proporcionais à envergadura do projeto (cerca de 10% do orçamento total)?

– Todos os envolvidos compartilham mais ou menos as mesmas ideias no que diz respeito aos
objetivos da avaliação a serem atingidos?

– O que tem sido feito para garantir que os financiadores e os profissionais tenham uma visão
realista das comunidades com as quais estão trabalhando e da sua capacidade de lidar e
comprometer-se com os vários tipos de atividades do processo de avaliação?

– O que tem sido feito para garantir que os objetivos do projeto propostos sejam compatíveis com
os prazos estipulados para que as mudanças ocorram?

– Os objetivos do projeto são compatíveis com as expectativas?

– A avaliação leva em conta os contextos histórico, político e social (locais e nacionais) em que o
programa está sendo realizado?

– A avaliação considera os pressupostos teóricos em que o projeto se fundamenta?

- Quais são as forças políticas em jogo? Quanto poder político está sendo exercido?

Ética: As pessoas estão sendo tratadas com respeito?


– Um arcabouço ético apropriado foi desenvolvido? (Esta questão pode abarcar a proteção da
confidencialidade e o anonimato das respostas.)

– Quem considerou as dimensões éticas do projeto e como as políticas éticas serão postas em
prática?

22
Métodos
– A avaliação é participativa?

– Os objetivos e os indicadores do monitoramento são SMART (SMART = Specific: específicos;

2
Measurable: mensuráveis; Achievable: viáveis; Realistic: realistas; Time-bound: com prazo)?

– O planejamento da avaliação foi tratado com a mesma importância que a coleta de dados?

– A avaliação está integrada em todas as fases de desenvolvimento e implementação?

– A metodologia escolhida é a mais adequada às intervenções do projeto? Explique bem por quê.

– Como se garante a qualidade da prática/aplicação dos métodos? (Será preciso fazer perguntas
diferentes, conforme a pesquisa tenha sido comissionada ou realizada internamente.)

– Os prazos da avaliação (alguns dos quais podem ser longos) são suficientes para medir os
resultados potenciais?

– Os métodos empregados são suficientemente flexíveis para monitorar resultados inesperados?

Divulgação
– Como se podem incentivar ainda mais os avaliadores a dar informações mais
detalhadas sobre as suas atividades de avaliação?

– Os resultados serão comunicados a todos os envolvidos de modo significativo,


oportuno e apropriado?

– Os resultados mostrarão não só as conquistas, mas também as falhas do projeto?

23
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

24
SLógico
eção 3 O Modelo
de Programa 3 3

3.1 O que vem a ser um modelo lógico? 26


3.2 Quais são as vantagens de utilizar um modelo lógico? 27
3.3 Com que se parece um modelo lógico? 28
3.4 Terminologia 30
3.4.1 Visão e objetivos do projeto 30
3.4.2 Insumos 31
3.4.3 Produtos 31
3.4.4 Resultados e impacto 32
3.4.5 Pressupostos 33
3.4.6 Ligações 33
3.4.7 Fatores externos 34
3.4.8 A diferença entre produtos e resultados 34
3.4.9 Teoria da Ação 35
3.4.10 Exemplo de ligações de um programa educativo
antidrogas 35

3 A descrição deste guia baseia-se num excelente curso interativo desenvolvido pela Universidade do
Wisconsin: o “Program Development and Evaluation”, disponível em
www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html.
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

25
3.1 O que vem a ser
um modelo lógico?
Os modelos lógicos já foram descritos O modelo estabelece um elo entre os
de diferentes maneiras e com diversas resultados de curto e longo prazos com
denominações: as atividades e processos do programa,
bem como com os pressupostos teóricos
“marco lógico”, subjacentes. Ele fornece um arcabouço de
“matriz lógica”, planejamento que destaca como o programa
“ferramenta de planejamento”, deve desenvolver, define em que ordem as
“um arcabouço que ajuda a explicar e registrar atividades são realizadas e mostra como os
o funcionamento do programa e as teorias e resultados almejados são atingidos. Inclui
hipóteses subjacentes”, uma análise dos insumos necessários para
“um modelo sensato que mostra como o pôr o projeto em funcionamento e ajuda a
projeto deve funcionar”, desenvolver indicadores para o monitoramento
“um modelo que mostra as relações lógicas do andamento do projeto com vista à realização
entre os diferentes componentes do projeto e dos objetivos e resultados predefinidos.
traça um esboço simplificado da intervenção
completa”. Os componentes típicos de um modelo lógico
são mostrados no diagrama a seguir.

Programa de ação – Modelo lógico

Prioridades Insumos Resultados – Impacto


Atividades Participação Curto prazo Médio prazo Longo prazo

Prioridades O que O que Quem O que são os O que são os O que são os
Situação: Considerar: investimos fazemos alcançamos resultados resultados de resultados
Missão Pessoal Oficinas Participantes de curto médio prazo de longo
Necessidades Visão Reuniões Clientes prazo prazo
Voluntários Entrega de Ação
e ativos Valores Agências
Tempo serviços Aprendizagem Comporta- Condições
Sintomas Mandatos
Desenvolvi- Decisores Conscientização mento Sociais
versus Recursos Dinheiro mento de
Dinâmica local Consumidores Conhecimento Prática Econômicas
problemas Pesquisas produtos,
Colaboradores currículos, Atitudes Tomada de Cívicas
Compromisso Concorrentes Materiais recursos decisão
das partes Satisfação Habilidades Ambientais
Equipamentos Treinamentos Políticas
interessadas Resultados Aconselha- Opiniões
almejados Tecnologia Ação social
mento Aspirações
Parceiros Facilitação Motivações
Parceria
Trabalho com
a mídia

Pressupostos Fatores externos

Avaliação
Focar – Coletar dados – Analisar e interpretar - Reportar

Linha do tempo
Quando cada estágio da avaliação deve ocorrer?

Diagrama adaptado de www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html

26
3.2 Quais são as
vantagens de utilizar
um modelo lógico?
O que é preciso para
Este sistema oferece várias vantagens
capturar o tigre que está
que vão além do desenvolvimento de um
arcabouço de pesquisa coerente, por atormentando a aldeia Um bom
exemplo: da sua tia? planejamento!
• Planejamento e concepção do Uma boa
programa estratégia!

3
O desenvolvimento de um modelo lógico
ajuda a clarificar o pensamento e a revisar
as atividades e os resultados em função
das metas e objetivos do projeto. Quando o
projeto já estiver em andamento, o modelo
poderá ser utilizado continuamente como
uma ferramenta para garantir que as
atividades estejam no rumo certo e fazer as
modificações necessárias.

• Incentivo à apropriação conjunta • Revisão dos pressupostos em que


e ao compromisso para com os o projeto se baseia
objetivos No caso de projetos comunitários complexos
Em uma situação ideal, as fases iniciais que visam a realizar mudanças mediante a
da execução do modelo lógico serão utilização de vários canais (desenvolvendo
realizadas como um exercício conjunto, com o conhecimento, a capacitação, a
o envolvimento de todos os protagonistas autonomização e a autoestima), nem sempre
na concepção e na implementação do as teorias subjacentes e os mecanismos que
projeto. Isso inclui os membros da equipe levam aos resultados esperados ficam claros
que nele trabalham, os financiadores, os para os membros da equipe. O modelo lógico
representantes da comunidade em questão deve ajudar todos os envolvidos no projeto
e demais envolvidos. Esta abordagem, que (em particular as equipes e as populações) a
promove a atuação conjunta desde o início, compreender esses mecanismos geradores de
propicia relações de trabalho produtivas e um mudanças.
entendimento compartilhado por parte dos
diferentes atores, além de promover uma visão
e uma compreensão comuns das teorias e
pressupostos subjacentes ao projeto.

O que é preciso para


!!
ENTO!
desenvolver um projeto L A NEJAM
UM BO
M P GIA !
! !
de qualidade? A E S TRATÉ
O
UMA B

27
• Os pressupostos do seu projeto estão corretos?
Os programas voltados para o HIV/AIDS, em parte inspirados em teorias e modelos de mudança
comportamental, costumam partir do princípio de que o conhecimento sobre os modos de
transmissão do HIV acarreta diretamente uma mudança de comportamento. Obviamente, na
prática a questão é mais complexa. As sofisticadas engrenagens da mente humana ponderam as
vantagens relativas da mudança comportamental com base numa análise de custo e benefício.
Se uma trabalhadora sexual, por exemplo, correr o risco de perder clientes por insistir no uso
de preservativo, isso desestimulará a adoção de comportamentos seguros e acabará tendo um
peso considerável em qualquer análise de custo e benefício. Por outro lado, um alto nível de
autoestima constitui um fator capaz de aumentar as probabilidades de uma negociação bem-
sucedida quanto ao uso de preservativo.

No contexto de um programa de redução do uso de drogas, fica patente que o consumo de


entorpecentes resulta de uma complexa imbricação de fatores de ordem social, cultural,
psicológica e econômica. Se o projeto estiver sendo aplicado numa área de extrema pobreza e
privação em que prevalece uma forte “cultura das drogas” entre as camadas de jovens altamente
alienados, parece óbvio que o conhecimento sobre os perigos do consumo de substâncias
entorpecentes não será o único fator determinante do seu comportamento. O sentimento de
lealdade e companheirismo proporcionado pela participação de um grupo de consumidores de
drogas pode, no curto prazo, ser mais importante para alguns jovens do que o impacto na saúde
no longo prazo. Para serem mais efetivos, os projetos precisam considerar todos os fatores
que influenciam o comportamento humano.

Uma análise detalhada, que explore todos os melhorias necessárias ao longo do caminho,
aspectos da atividade e o impacto projetado, com base nas novas informações que forem
resultará em intervenções mais efetivas surgindo.
e com enfoque mais preciso. Essa fase
constitui igualmente uma boa oportunidade • Participação
para esclarecer noções importantes que O desenvolvimento do modelo apoia-se em
possam suscitar polêmicas ou problemas de técnicas participativas que requerem que os
interpretação, tais como autonomização e envolvidos atuem em conjunto para definirem
participação. (Ver Anexo 3 – Glossário) os princípios que nortearão o programa
e as melhores condições de obter êxito.
• Avaliação contínua Desta forma, as mudanças tenderão mais a
O modelo ajuda a direcionar a atenção para ser efetuadas com base em um consenso,
cada um dos componentes da atividade. num processo aberto e transparente, do
Alguns podem inclusive ser subdivididos em que em função de personalidades, políticas
atividades e vinculados a resultados que, por e ideologias. Isso reforça nos envolvidos o
sua vez, podem ser avaliados separadamente sentimento de apropriação do projeto.
em gráficos que mostrem os progressos
num período determinado ou os resultados
no longo prazo. Assim são desenvolvidos
mecanismos robustos de medida de
resultados. O que acontece? O que funciona? 3.3 Com que se parece
Para quem? O modelo permite que a equipe
identifique os obstáculos que impedem o
um modelo lógico?
projeto de funcionar a contento e já tenha Existem modelos lógicos que se apresentam
uma ideia de como ficará fácil mensurar os em numerosos formatos e tamanhos, que são
indicadores que tiver selecionado. desenvolvidos em função das necessidades
específicas de cada projeto. Alguns modelos
Ademais, o processo deve ajudar na começam com ligações estruturais bastante
identificação de formas de mensurar simples entre os componentes do projeto, mas
resultados temporários mais intangíveis (por evoluem com o passar do tempo de acordo
exemplo, o nível de participação, o grau de com a criatividade da equipe. Os modelos são
autonomização, a coesão dos grupos, etc.). representados em diagramas que oferecem
Assim fica mais fácil mapear o andamento de um panorama das ligações entre os diferentes
iniciativas mais complexas e implementar as componentes e processos de todo o projeto.

28
Insumos Produtos Resultados Alguns modelos lógicos são descritos em tabelas com itens
1 1a listados nas colunas Insumos, Produtos e Resultados. (Ver mais
b
adiante nesta seção a definição destes termos.) O modelo pode
2 2a
conter flechas que têm a finalidade de ilustrar as conexões e as
b
3 c relações. As listas podem ser numeradas para explicitar a ordem
4 3a no interior da coluna ou facilitar as conexões de uma coluna com
b a outra.

Há modelos lógicos que usam caixas de texto, com linhas e


flechas que as conectam umas às outras para ilustrar as ligações
causais.

Certos modelos lógicos usam círculos e outras formas. Alguns


grupos comunitários utilizam metáforas para designá-los como
“ostra”, “árvore”, “pegada” e “polvo”.
3

O grau de complexidade varia de um modelo para outro.

Existem aqueles que exibem somente partes de um modelo


completo, como os produtos e os resultados, sem mostrar os
pressupostos, a situação e os fatores externos.

Diagramas extraídos de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

(Ver também as Seções 3.4.3 e 3.4.4.)

É preciso ter sempre em mente que um O processo de concepção de um modelo lógico


modelo lógico, como o próprio nome já diz, é mais importante do que um resultado final
é somente um MODELO. Com o intuito de bem-acabado. Para identificar falhas – sejam
simplificar e transmitir as informações em elas de ordem estrutural, econômica ou
uma única página, os modelos podem abreviar teórica, convém refletir sobre as diferentes
as complexidades do programa. No entanto, etapas do projeto.
o modelo lógico deve, acima de tudo, ser
claro e compreensível para aqueles que vão O propósito que justifica o uso do
utilizá-lo. Para estarem de acordo com a modelo lógico é que determina o grau de
teoria do programa, os modelos lógicos têm detalhamento a ser empregado e quais
de mostrar necessariamente as ligações entre informações devem ser incluídas. Quando
os elementos. um modelo lógico é utilizado unicamente
para fins de pesquisa, ele pode ser adaptado
O modelo lógico é uma ferramenta destinada para ressaltar os resultados. O aspecto e o
a melhorar o desempenho dos programas. nível dos detalhes variam consideravelmente.

29
Se o objetivo de um pesquisador é focalizar – educação
a medição dos resultados, a cadeia de
resultados pode ser mais bem explicitada dos – emprego e condições de trabalho
que os insumos e produtos, por exemplo.
– ambiente físico
Pontos primordiais
• Tenha sempre em mente quem utilizará – saúde pessoal e capacidade de superação
o modelo lógico. Quem precisa entender a
importância e a finalidade do modelo? Você, a – desenvolvimento infantil
sua equipe, a comunidade, os financiadores,
os gestores ou o Governo? – serviços de saúde

• Prefira as representações gráficas que – nutrição


sirvam melhor aos usuários.
– papel dos financiadores (possíveis restrições
• Não se esqueça de que tomar decisões impostas)
a partir de uma única imagem que expressa
a teoria do programa costuma ser a parte Essa lista não é exaustiva e quaisquer temas
mais difícil de todo o processo. Talvez mais pertinentes podem ser acrescentados.
importante do que essa imagem seja o A relevância do exercício se deve ao fato
processo de desenvolvimento. de ele pôr em perspectiva um grande
número de variáveis que podem ter um
impacto no projeto, propiciando assim uma
melhor compreensão da complexidade das
intervenções comunitárias e da repercussão
3.4 Terminologia limitada que as intervenções de pequena
escala podem ter.
Familiarize-se com os termos a seguir. Isso
facilitará a elaboração do modelo. Ao mesmo tempo em que se cogita sobre
o objetivo mais abrangente, não se devem
3.4.1 Visão e intenção do perder de vista as prioridades do projeto. A
projeto fim de monitorar a efetividade do projeto,
é imprescindível ter uma ideia clara das
metas e objetivos. Estes demonstram até
A grande visão “o que você está tentando fazer que ponto a intenção e a visão do projeto
para a comunidade?” parece estar diretamente estão sendo alcançadas. Se a intenção, por
relacionada com melhores níveis de saúde e exemplo, é reduzir a incidência da infecção
bem-estar, que resultam em baixas taxas de por HIV, as metas e os objetivos podem estar
morbidade e mortalidade. Também pode estar relacionados com um melhor conhecimento
voltada para o ensino e a capacitação, com dos modos de transmissão, a mudança do
aumento dos níveis de educação, formação e modo como a AIDS é percebida, as mudanças
renda. Os projetos comunitários costumam comportamentais e o aumento da autoestima.
basear-se em alguns valores principais, tais Por outro lado, as metas e os objetivos podem
como equidade, justiça social, liberdade e simplesmente referir-se à implantação de
participação. infraestruturas que facilitarão a realização dos
planos de longo prazo no futuro (construção
Talvez seja interessante debater sobre os de instalações, formação de pessoal, etc.). As
principais obstáculos que impedem que metas e os objetivos devem estar diretamente
os objetivos que favoreceriam o grupo ligados aos indicadores (ver Seção 5.5).
beneficiário sejam atingidos. Alguns destes
fatores podem ser abordados: Convém salientar que o papel dos
financiadores no processo deve estar claro
– desigualdade de renda desde o início. Eles impuseram condições
específicas com relação às atividades do
– classe/status social projeto (por exemplo, monitoramento,
reuniões, envolvimento no projeto)? Essas
– exclusão e justiça sociais exigências afetarão o calendário das
atividades?
– redes de auxílio social

30
3.4.2 Insumos Os insumos são flexíveis e variam em função
do tipo de projeto. Por exemplo, um projeto
Os insumos nada mais são do que os recursos educativo sobre drogas necessitará de
e contribuições que entram na composição do insumos diferentes em função do local onde
trabalho, a saber: tempo, pessoas (integrantes será realizado: num ambiente formal, como
da equipe, voluntários e beneficiários – se escolas e associações de jovens, ou nas ruas,
envolvidos), a comunidade, dinheiro, materiais, com crianças, imigrantes e trabalhadores
equipamentos, parcerias, pesquisas, sazonais.
tecnologias, entre outros.
É impossível afirmar que um insumo é
Insumos mais importante que outro. No entanto, às
vezes uma área é negligenciada devido a
pressões de atividades mais tangíveis, como

3
O que
investimos
a construção e a manutenção de parcerias
fortes e apropriadas. Os parceiros podem
Pessoal
Voluntários ser organizações locais envolvidas direta ou
Tempo indiretamente com as atividades do projeto,
Dinheiro
Pesquisas prestadores de serviços, financiadores
Materiais
Equipamen-
(nacionais e internacionais), empresas e até
tos mesmo o governo.
Tecnologia
Parceiros

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/


coop_M1_Overview.htm

3.4.3 Produtos

Produtos
Atividades Participação

O que fazemos Quem


alcançamos
Oficinas
Reuniões Participantes
Entrega de Clientes
serviços Agências
Desenvolvimento
Decisores
de produtos,
currículos, Consumidores
recursos
Treinamentos
Aconselhamento
Facilitação
Parceria
Trabalho com a
mídia

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

Os produtos correspondem a atividades, serviços, eventos e serviços que atingem pessoas


(indivíduos, grupos, agências) que participam do projeto ou são visadas por ele.

Em outras palavras, os produtos são aquilo que fazemos ou oferecemos, podendo incluir oficinas,
conferências, sondagens, auxílios, aconselhamentos in-house, etc.

31
Todos os produtos levam a resultados específicos.

Resultados – Impacto
Curto prazo Médio prazo Longo prazo

O que são os O que são os O que são os


resultados de resultados de resultados de
curto prazo médio prazo longo prazo
Aprendizagem Ação Condições
Conscientização Comportamento Sociais
Conhecimento Prática Econômicas
Atitudes Tomada de Cívicas
decisão
Habilidades Ambientais
Políticas
Opiniões
Ação social
Aspirações
Motivações

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

3.4.4 Resultados e impacto


Os resultados correspondem aos benefícios, vantagens ou desvantagens para os indivíduos,
família, grupos, comunidades, organizações ou sistemas. Os exemplos incluem aumento de
conhecimento, aprimoramento de habilidades, desenvolvimento de políticas, bem como mudanças
de comportamento e na tomada de decisões. Os resultados podem ser de curto, médio ou longo
prazos; positivos, negativos ou neutros; esperados ou inesperados. Durante todo o ciclo do projeto
os resultados podem ser medidos.

Neste modelo, o impacto, que ocupa a última posição à direita no gráfico do modelo lógico, se
refere aos últimos efeitos ou consequências do programa, por exemplo, aumento da segurança
econômica, redução das taxas de tabagismo entre a população jovem ou a melhora da qualidade do
ar. Os termos resultado e impacto muitas vezes são empregados indistintamente, mas aqui impacto
é sinônimo de resultado de longo prazo, correspondendo a mudanças muito significativas das
condições sociais, cívicas, econômicas ou ambientais.

Convém frisar a importância de atentar não só para os impactos esperados, mas também para
os inesperados. Um exemplo seriam os projetos baseados na questão do gênero, cujo foco é o
aumento da autoestima e a melhora das oportunidades das mulheres. Um impacto de longo
prazo deste tipo de projeto seria a melhora do status socioeconômico da população feminina.
As ramificações, como a autonomização e o fortalecimento da posição da mulher, podem ser
significativas para o reequilíbrio do poder e a reconsideração dos papéis no seio da família, mas
correm o risco de entrar em choque com o status quo e as práticas locais.

Em um projeto financiado pela UNESCO no Sul da Ásia, as jovens pobres atingiram um ponto
de autonomização tal que começaram a reivindicar o direito de escolherem o próprio marido
e, por conseguinte, acabaram sendo banidas por terem desobedecido a códigos de conduta
tradicionais. Se este tipo de eventualidade for considerado no início do projeto, talvez possam ser
moderadas quaisquer eventuais repercussões negativas e dar o devido apoio a todos os membros
da comunidade durante a subsequente transição.

32
3.4.5 Pressupostos ser realizado no princípio do projeto e ser
submetido a revisões periódicas, ocasiões em
que os pressupostos iniciais passariam por
uma reavaliação e as razões das eventuais
mudanças seriam analisadas.

3.4.6 Ligações
As flechas são utilizadas para explicitar
como as várias partes do modelo se inter-
relacionam. As conexões podem ser verticais
ou horizontais, unidirecionais ou bidirecionais;
Pressupostos e mostrar laços de feedback.

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/


coop_M1_Overview.htm 3
Os pressupostos correspondem aos
princípios, crenças e ideias que temos do
programa e das pessoas nele envolvidas,
e à maneira como acreditamos que ele
funcionará. Eles influenciam as decisões
que tomamos e podem ser validados com Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_
pesquisas e experimentos. Os seguintes Overview.htm
fatores podem ser objeto dos pressupostos:

• o problema ou a situação; São as ligações – e não só o que aparece


como insumo, produto ou resultado – que
• os recursos ou o pessoal; conferem ao modelo o seu poder. Fazer essas
conexões costuma demandar tempo e nem
• o modo de operação do programa; sempre é fácil, mas nem por isso a tarefa
deve ser negligenciada. São elas que nos dão
• o que o programa espera alcançar; a certeza de que consideramos todos os elos
lógicos. Para facilitar a visualização do modelo
• o reservatório de conhecimento; podemos simplificar o gráfico e só incluir as
ligações.
• o ambiente externo;
O resultado final, teoricamente, acaba sempre
• o ambiente interno; por se conectar com o início. Mesmo antes da
conclusão do projeto muitas vezes já se nota a
• os participantes (seu modo de aprender, seu transformação do ponto de partida. A grande
comportamento, suas motivações, etc.) flecha de feedback que fica à direita na parte
superior do modelo é uma tentativa de ilustrar
Ao desenvolver um modelo lógico, devemos tal conexão e a dinâmica da programação. Há
explicitar todos os nossos prejulgamentos os que preferem os formatos circulares, que
implícitos. Eles até podem não figurar no estabelecem explicitamente um elo entre o
gráfico, mas isto não impede que sejam princípio e o fim. Na verdade, os ambientes
explorados e debatidos. dos programas são dinâmicos e mudam
constantemente, fazendo com que o início
O modelo lógico faz-nos pensar sobre os raramente permaneça intacto.
pressupostos em todas as dimensões. O que
sabemos? O que presumimos? Todas essas Não raro essas ligações são chamadas
ideias preconcebidas devem ser verificadas de relações “se-então”. Observando-se o
e esclarecidas. Pressupostos errôneos ou gráfico da esquerda para a direita, é possível
desconsiderados costumam ser a causa constatar uma série dessas relações. Durante
de resultados insatisfatórios. Talvez seja a elaboração do modelo, nunca se deve deixar
útil incluir um ciclo de reflexão no projeto. de questionar os pressupostos subjacentes:
Em outras palavras, o modelo lógico pode Como se dão as ligações? Os pressupostos

33
são realistas e legítimos? Existem evidências e • os participantes e os beneficiários;
pesquisas que sustentam os pressupostos? • a equipe e os recursos disponíveis.

3.4.7 Fatores externos Por exemplo, as perspectivas de emprego


geradas pela abertura de uma nova fábrica
Um programa não é isolado do ambiente numa outra localidade podem ocasionar um
em que está inserido. É afetado por fatores grande movimento migratório, com o risco
externos e, por sua vez, também pode afetá- de provocar a perda de membros da equipe e
los. Esses fatores são o meio cultural, o de beneficiários do projeto. Ao contrário, um
clima, a estrutura econômica, as moradias, projeto bem-sucedido que prevê a criação
a demografia, a política, a história e a de um meio de vida sustentável para os
experiência dos participantes, os meios de mais vulneráveis pode atrair pessoas para o
comunicação e as prioridades, só para citar local, mas exerceria talvez uma pressão nos
alguns exemplos. Todos eles exercem uma recursos do projeto. Um ciclo de reflexões,
grande influência nos resultados e por isso como mencionado anteriormente (ver
não podem ser ignorados. Os seguintes 3.4.5) constitui um fórum apropriado para
elementos podem ser afetados: a avaliação do impacto de fatores externos,
tanto esperados como inesperados.
• a implementação do programa;
• a velocidade e o grau das mudanças;

3.4.8 A diferença entre produtos e resultados

É importante saber distinguir produtos de resultados.

Os produtos são aquilo que fazemos, já os resultados e o impacto são as consequências que advêm
daí.

Resultados – Impacto
Produtos Curto prazo Médio prazo Longo prazo
Atividades Participação
O que são os O que são os O que são os
O que fazemos Quem resultados de resultados de resultados de
Oficinas alcançamos curto prazo médio prazo longo prazo
Reuniões Participantes
Entrega de Aprendizagem Ação Condições
Clientes
serviços Agências Conscientização Comportamento Sociais
Desenvolvimento Decisores
de produtos, Conhecimento Prática Econômicas
Consumidores
currículos, Atitudes Tomada de Cívicas
recursos decisão
Treinamentos Habilidades Ambientais
Aconselhamento Opiniões Políticas
Facilitação Ação social
Parceria Aspirações
Trabalho com a Motivações
mídia

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

No passado, enfatizava-se a coluna dos produtos – “o que fazemos” e “quem alcançamos”. O


registro dos produtos ajuda a informar os clientes, financiadores e parceiros da comunidade sobre
a natureza da atividade do projeto. Muitos projetos descrevem e contam bastante bem as atividades
e o número de pessoas atendidas. Uma das perguntas mais difíceis é “que diferença faz?”, que diz
respeito aos RESULTADOS e ao impacto.

34
Alguns modelos lógicos separam as atividades 3.4.10 Exemplo de ligações de
dos produtos, colocando-as antes deles. um programa educativo para a
Nesses casos, os produtos costumam ser redução do uso de drogas:
designados como realização da atividade, por
exemplo, as oficinas que foram organizadas
ou os indivíduos que ouviram uma mensagem INSUMOS
num meio de comunicação. O pressuposto
é que a atividade deve ser executada como Formação de pessoal sobre o problema
planejado antes de ocorrerem os resultados das drogas
esperados.
Oficinas para o pessoal e o grupo alvo
3.4.9 Teoria da Ação para concluir o programa e o conteúdo
da formação

3
Um modelo lógico mostra as conexões ou
relações que devem levar aos resultados
pretendidos com o passar do tempo. Trata-
se basicamente de um arcabouço ou de uma
ferramenta de planejamento, mas que conta
com uma série de pressupostos lógicos que PRODUTOS
constituem a base do trabalho. Esse quadro é
designado como Teoria da Ação (Patton, 1997) Realização de oficinas para os envolvidos
ou Teoria da Mudança (Weiss, 1998).

Essa teoria descreve como e por que um


conjunto de atividades (sejam elas parte de
um programa altamente específico ou de
uma iniciativa mais abrangente) culmina em RESULTADOS
resultados de curto, médio ou longo prazos
num determinado lapso de tempo. Curto prazo: aprendizado, conscientização,
conhecimento, atitudes
Embora a teoria possa parecer demasiado
acadêmica para alguns, na verdade ela se Médio e longo prazos: melhora da saúde,
restringe ao seguinte: do comportamento e da situação
econômica
• expectativas;
Uma análise mais minuciosa das relações
• crenças; supramencionadas permite verificar a sua
força e robustez. Por exemplo, se a oficina
• experiências; sobre drogas for bem planejada, estruturada
e direcionada, um aumento do nível de
• sabedoria convencional. conhecimento sobre o tema no final não será
uma expectativa irrealista. Em contrapartida,
Por exemplo, no caso de um programa não se pode dizer o mesmo dos resultados
interventivo para a redução do uso de drogas de médio e longo prazos esperados, pois
a teoria pode ser a seguinte: quando os jovens não há tanta certeza de que as oficinas
são informados e educados sobre o consumo levarão a uma mudança de comportamento
indevido de substâncias entorpecentes, educacional ou a uma melhora dos níveis da
adquirem habilidades e estratégias que lhes saúde e da economia, havendo aí muito mais
permitem seguir caminhos diferentes, pois fatores externos envolvidos, que poderiam
passam a ter o conhecimento e a confiança ser mostrados no gráfico na forma de flechas
necessários para decidir abandonar as drogas apontando para fora do modelo lógico.
ou consumi-las de uma maneira menos
prejudicial.

35
Exemplos de fatores que podem influenciar o comportamento
de consumo de drogas
Quando se estabelece esse tipo de conexões, que mostram claramente os fatores que podem
influenciar os resultados (muito dos quais podem fugir ao controle imediato do processo), fica mais
fácil inserir o projeto num contexto realista.

Baixa
autoestima

Nível Acesso a
de atividades
conhecimento sociais e
de lazer

Comportamento
de consumo
de drogas

Nível do
Comportamento auxílio
dos pares social

Facilidade
do acesso às
drogas

36
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

37
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

38
Sumeçãomodelo
4 Como criar
lógico

4
1o passo: Defina o propósito do modelo 40
2o passo: Envolva outras pessoas 40
3o passo: Estabeleça os limites 40
4o passo: Entenda a situação 40
5o passo: Faça um relatório da situação 40
6o passo: Consulte pesquisas e estudos existentes 42
7o passo: Comece a preencher as caixas de texto 42

NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

39
O desenvolvimento do modelo lógico é um 2o passo: Envolva
processo.
outras pessoas
• São necessários tempo e treino para usar
modelos lógicos de modo eficaz. A melhor • Quem deve participar?
maneira de aprender é praticar, por
exemplo, neste site interativo (em inglês) • Quem pode contribuir?
que propõe ótimos exercícios: www.uwex.
edu/ces/lmcourse. O módulo de autoestudo
é bastante útil e apresenta o método passo
a passo e de modo claro, além de propor
várias atividades práticas. 3o passo: Estabeleça os
• A elaboração do modelo lógico – e não o
limites
produto acabado – é a fase mais importante • O que o modelo lógico retratará? Uma
de todo o processo, pois é ela que dá o atividade simples e bem especificada (por
entendimento, o consenso e a clareza que exemplo, um espetáculo de fantoches
são imprescindíveis para o sucesso do para ensinar sobre a AIDS num ambiente
programa. específico)? Ou uma iniciativa mais abrangente
que envolve várias atividades distintas, mas
• O modelo lógico pode ser ajustado e complementares (por exemplo, uma série de
modificado várias vezes, por isso convém espetáculos de fantoches paralelamente à
que ele fique exposto num lugar visível, por distribuição de panfletos e a programas de
exemplo, pregado numa parede, para que se apoio junto à comunidade durante alguns
façam as devidas alterações e correções à meses)?
medida que o projeto avança. Modificando-
se o modelo já desde o início da dinâmica do • Qual é o nível de detalhamento necessário?
projeto, aprende-se muito sobre o programa.
• Quem utilizará o modelo? De que maneira?

Guia rápido
4o passo: Entenda a
situação
1o passo: Defina o As informações necessárias podem ser
propósito do modelo obtidas na avaliação das necessidades
descrita na Seção 2.3.
• Por que você quer elaborar um modelo
lógico?

• Seria para atender exigências


administrativas? Mostrar aos financiadores o 5o passo: Faça um
que você está fazendo? Conseguir doações?
Estabelecer um plano de trabalho? Avaliar
relatório da situação
o programa? Aprimorar a qualidade do seu Este relatório servirá de base para o seu
trabalho? Envolver os terceiros interessados modelo lógico. As seguintes perguntas servem
em um processo participativo a fim de de referência para a sua elaboração:
promover uma melhor compreensão do
projeto e um maior envolvimento de todos? • Qual é o problema?

• Certifique-se de que todos os que • Por que é um problema? Quais são as suas
trabalham no modelo entendem a sua causas?
importância.
• Quem (indivíduos, famílias, grupos,
comunidade, sociedade em geral) é afetado
pelo problema e em que nível?

40
• Quem se importa com o problema? Quem se importa se ele será resolvido ou não?

• O que se sabe sobre o problema e as pessoas envolvidas? Você tem experiência e dispõe de
material (pesquisas, estudos) sobre a questão?

Relatório da situação de um projeto educativo de redução


do uso de drogas:
À guisa de exemplo, no caso de um programa de redução do uso de drogas, que pode visar um
ambiente preciso (a escola, o mercado, o vilarejo), o problema identificado durante a avaliação
das necessidades foi o seguinte: 20% dos jovens com idade entre 13 e 20 anos estão consumindo
drogas. Uma vez detectado o problema, deve-se proceder a uma exploração mais detalhada da
questão:

– Por que os jovens estão consumindo drogas? Quais são os benefícios percebidos de tal
comportamento? (Por exemplo, os benefícios percebidos podem ser o sentimento de vinculação a
um grupo ou a prazerosa sensação proporcionada pelas drogas.)

– Quais são as repercussões negativas desse comportamento no curto e no longo prazos?

– Quais grupos (jovens, pais, família, atendentes, escola) são afetados pelas drogas? (Isso
ajudará a saber quem são aqueles que têm interesse na mudança do comportamento e que
poderão eventualmente se envolver no programa.)
4
– Considere o impacto sob diferentes perspectivas: social, psicológica, econômica.

– Para que todas essas questões sejam respondidas por completo, é importante falar
diretamente com as partes interessadas da comunidade, inclusive com o grupo alvo, que no
caso são os jovens consumidores de drogas, assim como reunir evidências de outras fontes.
Os métodos de coleta de dados compreendem discussões com coordenadores de programas
semelhantes, contatos com outros profissionais, revisões de artigos publicados ou de relatórios
de avaliação, etc.

O relatório da situação pode ser anexado conclusão. Uma descrição do problema e


como texto ao modelo lógico. É sempre dos seus sintomas serve de orientação para
bom acrescentar algumas palavras na parte monitorar o progresso do projeto. Da mesma
esquerda do modelo, palavras essas que forma, uma descrição daqueles que são
devem captar a essência do projeto. Qual é o afetados pelo problema serve de auxílio para
problema? É muito comum que os programas posteriores avaliações dos beneficiários do
sejam concebidos e mesmo implementados programa.
sem prestar a devida atenção ao entendimento
da situação. Quanto melhor compreendermos
a situação e analisarmos o problema, mais
fácil ficará desenvolver modelos eficazes.
Defina as prioridades
O relatório serve de base para o restante do Após a análise completa da situação e do
trabalho. Na verdade, ele constitui o alicerce problema, estabelecem-se as prioridades.
sobre o qual o modelo lógico é construído. Como dificilmente é possível dar conta de
O contexto social do projeto está sempre tudo, devemos definir o que é prioritário.
sujeito a um constante fluxo de mudanças, Vários fatores são pertinentes, incluindo a
devendo, portanto, ser atualizado sempre que missão, os valores, os recursos, as expertises,
necessário. as experiências, a história, enfim, tudo o que
se sabe sobre a situação e o que os demais
Além disso, o relatório estabelece uma estão fazendo com relação ao problema. São
linha de base que permite comparar a fase as prioridades que levam à identificação dos
de implementação do projeto com a sua insumos e resultados almejados.

41
6o passo: Consulte • Qual é o seu objetivo final?

pesquisas e estudos • O que deverá mudar?


existentes • Que tipo de mudanças a população
alvo, a comunidade, o ambiente e as
O modo de elaboração do modelo dependerá infraestruturas socioeconômicas sofrerão
da fase em que se encontra o projeto e do em decorrência do programa?
reservatório de conhecimento disponível.
É mais conveniente utilizar um modelo O resultado final mais importante
lógico como uma ferramenta de apoio ao pretendido deverá ser expressado em uma
seu planejamento, durante as fases de única frase. Esse resultado de longo prazo
implementação e avaliação, embora ele corresponde ao seu principal objetivo.
também possa ser útil se introduzido mais Dedique o tempo que for necessário para
tarde, em etapas posteriores. defini-lo de modo claro e sucinto.

Uma vez definido esse resultado, siga


trabalhando o modelo lógico de trás para
7o passo: Comece frente. Quais produtos serão necessários
para atingir os resultados? Quais insumos
a preencher as caixas serão necessários para obter os produtos?
O modelo em branco do Anexo 4 pode ser
de texto utilizado para praticar.

Como você quer que as coisas estejam ao final


do programa?

Durante a elaboração do modelo lógico, é


preciso ter uma ideia clara do que se deseja
alcançar com o projeto:

“Planejar de trás para frente”

Insumos Produtos Resultados – Impacto


Atividades Participação Curto prazo Médio prazo Longo prazo

P
S R De que O que temos Quem Quais são os Quais são os Qual é o
I I recursos de fazer deve ser prerrequisitos prerrequisitos principal
O
T R precisamos? para que os alcançado para que os para que objetivo final?
U I indivíduos/ para que os resultados o principal
A D grupos resultados de médio objetivo seja
Ç A consigam de curto prazo sejam atingido?
D
à E atingir os prazo sejam atingidos?
O S resultados de atingidos?
curto prazo?

Pressupostos Fatores externos

“Implementar à frente”
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

42
Convém prever um ou mais dias para Lembre-se!
encontrar o maior número possível de
participantes do projeto, assim como outros • Não há uma maneira certa e uma errada
interessados. Esse processo toma tempo, de fazer um modelo lógico. Tente encontrar o
mas vale a pena. É importante munir-se de processo que melhor atenda às suas próprias
uma grande folha de papel, alguns pedaços necessidades e às do grupo.
pequenos de papel para anotações, canetas
marcadoras de texto de cores variadas, fita • O ponto recomendado para começar um
adesiva e clipes para prender as listas e planejamento é pelo final.
os diagramas à medida que as ideias vão
surgindo. Faça círculos grandes na página • O modelo lógico é dinâmico e deve mudar
e nomeie cada um deles com os principais em função das mudanças do programa, do
componentes do projeto que você deseja ambiente e das pessoas.
explorar. Aqui estão algumas ideias:
• Defina “ciclos de reflexão” periódicos para a
1. visão/intenções revisão do modelo lógico.

2. metas e objetivos • A maior relevância do modelo lógico está


na sua criação, assim como quando você o
3. atividades verifica e revisa. Trata-se de um processo
interativo que envolve uma série de pessoas
4. produtos

5. resultados
que devem trabalhar em conjunto para
debater os pressupostos subjacentes, as
expectativas e as condições que conduzirão
ao sucesso. Nunca se esqueça de que
4
6. avaliações dentre todos os envolvidos no projeto – os
financiadores, a equipe de trabalho, as
7. pressupostos ONGs locais, organizações, o governo local,
a população alvo – é esta última a mais
Todos os círculos deverão ser conectados importante.
direta ou indiretamente com todos os demais.
Cabe a você estabelecer essas conexões. À
medida que for refletindo e discutindo, anote
as informações no diagrama.

43
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

44
Se defi
eção 5 Como estruturar
nir a sua avaliação

5.1
5.2
5.3
Onde a avaliação se encaixa no modelo?
Como os modelos lógicos ajudam na avaliação?
O que é avaliar?
46
46
46
5
5.4 A que a avaliação tenta responder? 47
5.5 Exemplo de um modelo lógico com perguntas 49
5.6 Como saber se os objetivos foram cumpridos? 49
5.7 Timing, agendamento e coleta de dados 51

NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

45
5.1 Onde a avaliação se 5.2 Como os modelos
encaixa no modelo? lógicos ajudam na
O modelo lógico descreve o seu programa ou a
avaliação?
sua iniciativa, o que se espera atingir e como. Talvez você esteja se questionando: “por que
A avaliação ajuda a saber de que maneira o perder tanto tempo com os modelos lógicos,
programa ou a iniciativa realmente trabalham. se tudo o que eu quero é avaliar, medir
O que funcionou, o que não funcionou e por resultados e contar a minha história?” Neste
quê? O que se pode fazer para melhorar? caso, pense no seguinte:

• A avaliação de um programa mal concebido


consome recursos de maneira ineficaz. Os
modelos lógicos podem ajudar a melhorar a
concepção de um programa, tornando assim o
processo de avaliação mais útil e eficiente.

• Realizar a avaliação de programas que


AVALIAÇÃO
ainda não estejam prontos para serem
O que queremos saber? Como saberemos? avaliados também constitui um desperdício de
recursos. Os modelos lógicos podem ajudar a
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_ definir quais dados serão úteis e quando a sua
M1_Overview.htm coleta será mais oportuna.

Pense como a avaliação pode ser integrada a • Para organizar uma avaliação capaz de
todo o seu modelo lógico como descrito acima. testar a teoria do programa, é preciso ter uma
ideia clara do pensamento teórico subjacente
à iniciativa (Weiss, 1998). O modelo lógico
estimula esse tipo de questionamento.

Em suma, os modelos lógicos ajudam nestes pontos:

➀ Foco determinar o que avaliar

➁ Perguntas ➂ Indicadores ➃ Timing ➄ Coleta de dados


determinar saber quais saber quando decidir sobre as
as perguntas informações coletar os dados fontes, métodos,
adequadas coletar para amostras e
à avaliação responder a todas instrumentos de
as perguntas coleta de dados

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

5.3 O que é avaliar?


Uma das maiores vantagens do modelo lógico é que ele esclarece o que o programa é. Quando for
definir o que avaliar, pense nestas perguntas:

O que exatamente você quer avaliar? O foco da avaliação é o programa inteiro ou um componente
do programa? Pode ser, por exemplo, que você queira focalizar uma campanha de mídia do seu
programa ou um grupo alvo específico.

Os programas costumam ser complexos. É perfeitamente normal que você não disponha de meios
ou até mesmo que nem tenha a necessidade de examinar tudo. Use o modelo lógico para selecionar
um aspecto, um componente ou partes específicas, ou mesmo a profundidade com que deseja
avaliar.

46
O que é importante medir? Em que
5.4 A que a avaliação se deve gastar tempo e recursos?
tenta responder? Principais aspectos a considerar nos
questionários de avaliação:

• Impossível medir tudo. Responder bem


poucas perguntas é melhor do que responder
mal muitas perguntas. Lembre-se das
“É melhor saber algumas perguntas palavras de Einstein: “Nem tudo o que pode
do que todas as respostas.” ser contado conta, e nem tudo o que conta
James Thurber pode ser contado.”

“O importante não é parar de fazer • Não raro a avaliação assume vida própria.
perguntas. A curiosidade tem Há sempre a tentação de pensar que
precisamos cada vez mais de dados. Convém,
a sua própria razão de ser.” entretanto, manter a avaliação focalizada e o
mais simples possível para não correr o risco
Albert Einstein de levantar informações demais e não saber
o que fazer com elas no final. Por exemplo, se
você estiver avaliando um programa educativo
sobre a AIDS, certifique-se de que os dados
que você coletar estejam de fato relacionados
Avaliar nada mais é do que levantar com um conjunto de objetivos bem específicos
questionamentos que nos ajudarão a aprender sobre o conhecimento, as atitudes e os
e a tornar-nos responsáveis. A identificação comportamentos ligados à doença. É tentador
das perguntas pertinentes é um importante querer incluir, por exemplo, informações
aspecto da criação de avaliações eficazes. sobre dieta, consumo de drogas e participação
em grupos, mas isso só tenderá a complicar a
análise final.

5
O doador sugere medir as mudanças
nas redes comunitárias em 40 regiões e
cruzar as informações com a participação
dos homens no nosso projeto de geração
de renda. Assim teremos uma medida
perfeita.

ta...
de bicicle

com o meu
salariozinho
...
M&A

47
• A decisão do que medir depende de quem focalizar os seus esforços. Perguntas
usará os resultados e para qual finalidade, demasiadamente amplas ou vagas tendem
sem contar a influência de fatores como a gerar respostas igualmente vagas difíceis
tempo, dinheiro e perícia. de interpretar ou de pouca utilidade para
as futuras tomadas de decisão. “Você
• Além dos resultados que você almeja teve alguma vantagem por ter assistido à
alcançar, lembre-se que também apresentação sobre o uso inadequado de
é fundamental medir os resultados drogas?” é um exemplo de pergunta ampla.
inesperados, isto é, coisas que não esperamos Essa pergunta pode ser subdividida em
acontecerem. Às vezes ocorrem mudanças perguntas menores e mais específicas, como,
que não são vistas como positivas. É tão por exemplo:
importante identificar essas mudanças quanto
as que foram benéficas (ver a Seção 3.4.4). “A percepção que você tinha das pessoas que
consomem drogas mudou? Como?”
Não se esqueça de que a avaliação deve
se adequar à fase de desenvolvimento do “Você acha que um indivíduo deve ser
programa. Por exemplo: culpabilizado por consumir drogas?”

• Talvez não seja apropriado avaliar “O seu comportamento mudou ou vai mudar
mudanças comportamentais quando o por ter assistido ao curso?”
programa só consiste em uma simples
oficina ou uma pequena campanha nos meios “Você aprendeu novas estratégias para
de comunicação. Não faria sentido tentar conseguir mudar de comportamento?”
medir mudanças de autoestima em quem só
participou de uma sessão de orientação para “Você aprendeu algo mais nesse curso?” (Isso
pais ou só assistiu a uma única apresentação pode não estar relacionado com curso sobre
educativa de teatro de fantoches. drogas.)

• Seja o mais claro possível com relação


ao que você REALMENTE quer saber para

PROJETO PROJETO + VIDA =


RESULTADOS
INESPERADOS

48
5.5 Exemplo de um modelo lógico com perguntas
O modelo lógico pode ajudar a determinar as questões adequadas à sua avaliação.

Os pais
Definir o aumentam
currículo do seus conheci-
S P mentos sobre
R curso para pais desenvolvi-
I I mento infantil
Pessoal Taxas reduzidas
T O de abusos e
U R Os pais usam maus tratos a
Dinheiro Os pais alvo
A
I as habilidades crianças dentre
D participam os participan-
Ç Ministrar seis aprimoradas
A Parceiros tes
D sessões de
Ã
E treinamento
O S interativas com Os pais
apostilas aprendem
novas maneiras
de disciplina

PERGUNTAS CHAVES DA AVALIAÇÃO


Os insumos O currículo foi Todos os pais Houve aumento Os pais estão Houve uma
foram suficientes elaborado? participaram de conheci- realmente diminuição das
e chegaram no As seis como planejado? mento? Foram usando as taxas entre os
tempo certo? sessões foram Quem esteve aprendidas habilidades participantes?
ministradas? presente/ novas aprimoradas? Os objetivos
Com que ausente? Eles abordagens? Que diferença foram
eficácia? assistiram às O que mais elas fazem? alcançados?
seis sessões? aconteceu?
Por que sim/
não?

Os pressupostos estão corretos? Houve eventos locais dos quais os pais não
• Os pais estão participando como previsto? puderam participar?
• A mudança de conhecimento levou a uma
mudança de comportamento?

Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

5
5.6 Como saber se os objetivos foram cumpridos?
O indicador é a evidência ou informação que representa o fenômeno sobre o qual se está
questionando. Por exemplo:

Os indicadores podem ajudar tanto a avaliar avaliações devem sempre utilizar uma
o progresso em andamento do projeto combinação de indicadores de processo e
(indicadores de processo) como a verificar indicadores de resultado.
se os resultados esperados foram ou não
alcançados (indicadores de resultado). Os Os indicadores de processo referem-se ao
indicadores definem os dados que serão andamento do projeto e podem incluir:
coletados e devem estar diretamente
relacionados com os principais objetivos do • o número de pessoas que participam dos
projeto. Eles podem ser vistos (observação), eventos do projeto;
ouvidos (resposta de um participante), lidos
(registros de uma agência), sentidos (clima da • a conclusão de infraestruturas relacionadas
reunião) ou mesmo percebidos pelo tato ou com o projeto (prédios, publicações,
pelo olfato. São as evidências que respondem espetáculos, treinamentos, etc.);
as perguntas.
• o nível de conscientização da comunidade e
Alguns indicadores são bastante óbvios a resposta às iniciativas em andamento.
e fáceis de medir, outros nem tanto. As

49
Exemplos de indicadores de resultados de • aumento do conhecimento sobre os efeitos
curto prazo de um programa educativo para colaterais das drogas;
a redução do uso de drogas:
• mudanças no comportamento informado de
• aumento do conhecimento do impacto do consumo de drogas;
consumo de drogas na saúde;
• maior participação de atividades sociais,
• aumento da confiança para encontrar econômicas e educativas devido à redução do
estratégias alternativas ao consumo de consumo de drogas.
drogas.
Os indicadores de envolvimento da
Exemplos de indicadores de resultados de comunidade podem incluir medidas tais como
longo prazo: o número de grupos de autoajuda na área,
o número de participantes de uma reunião
• redução do comportamento de consumo de comunitária, etc.
drogas;
Convém salientar que os indicadores só
• melhoria das condições de saúde; devem ser coletados se tiverem relevância
para o projeto. Por exemplo, só vale a pena
• maior integração na comunidade. contar o número de pessoas que assistem a
uma apresentação de teatro de fantoches se
Essas mesmas considerações aplicam- esse evento tiver algum impacto significativo,
se quando se lida com a transmissão do como uma mudança de conhecimento ou de
HIV, daí a importância de estabelecer a comportamento dos indivíduos contados. A
distinção entre indicadores de curto prazo coleta de dados cuja importância é ignorada
e indicadores de longo prazo. As mudanças acaba transformando-se em um fardo que
de indicadores de longo prazo, tais como a poderá levar a complicações.
incidência de infecção por HIV, não ficam
evidentes na escala temporal de intervenções No que diz respeito a indicadores mais
comunitárias de curto prazo – sem contar abstratos, tais como autonomização e
que são extremamente difíceis de medir. É de liberdade de escolha, deve-se procurar
suma relevância monitorar não só a incidência estabelecer parâmetros em vez de medidas
do HIV, mas também é preciso estar ciente científicas mais bem definidas. Por exemplo,
do possível impacto da intervenção planejada. para avaliar o nível de autonomização,
Por essa razão, a identificação de indicadores talvez seja melhor começar investigando
de curto prazo realistas é crucial para uma o porquê da relevância da autonomização
avaliação eficaz. No caso de projetos que em relação aos objetivos do projeto. Em um
visem à redução da transmissão do HIV, os projeto educativo antidrogas, seria o caso de
possíveis indicadores de curto e médio prazos incluir o poder de decisão dos indivíduos de
podem incluir: participarem de outras atividades de lazer,
de evitarem encontrar-se com consumidores
• mudanças da percepção em relação a de drogas ou de mudarem os hábitos de
pessoas com o HIV; consumo, optando por substâncias menos
nocivas. Quando se determinam o nível de
• aumento do conhecimento sobre a confiança e a frequência de mudanças de
transmissão do HIV; comportamento como essas, obtém-se
uma medição adequada da autonomização.
• número de pessoas que realizam testes de É preciso acima de tudo ser realista com
HIV nas clínicas locais; relação ao que se deseja fazer! Várias
técnicas podem ser empregadas para cruzar
• número de pessoas que usam preservativo informações (triangulação) para descobrir que
nas relações sexuais. diferença o projeto fez para as vidas dos seus
beneficiários.
Além disso, há outros exemplos de indicadores
de curto e médio prazos: Em suma, os indicadores devem ser:

• mudanças no risco percebido com relação • diretos,


ao consumo de drogas;
• específicos,

50
TRE RE
AUTONOINAMENTO SOB
MIZAÇÃO DO GÊNERO

“PARTICIPAR DE UM TREINAMENTO” NÃO É


SINÔNIMO DE “AUTONOMIZAR”

• úteis, referentes a mudanças de comportamento


devem ser coletadas em função dos
• práticos, indicadores para os quais se está realizando o

• adequados,

• culturalmente apropriados e
levantamento, se no meio do programa ou em
algum momento após a sua conclusão.

A coleta de dados pode ser feita em vários


5
momentos:
• não muito numerosos!
• durante o ciclo de revisão;

• no início do programa ou durante uma


atividade ou evento específicos;
5.7 Timing,
agendamento e coleta • no decorrer da implementação;

de dados • na metade do caminho;

Observe o seu modelo lógico e as perguntas • ao término de uma atividade ou evento


da sua avaliação e decida em que momento específicos do programa;
será feita a coleta de dados. O programa deve
ter chegado a um estágio que permita uma • mensalmente, trimestralmente ou
coleta de dados significativa. Por exemplo, as anualmente;
informações sobre quem está participando
devem ser colhidas em cada sessão, ao passo • após o término do programa, a fim de
que os dados sobre perguntas respondidas determinar os resultados de longo prazo.

Para efeito de treino, com referência ao conteúdo e à estrutura da sua avaliação, você pode
começar a preencher o plano de avaliação disponível no Anexo 5.

51
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

52
Sferramentas
eção 6 Técnicas e
de pesquisa

6.1 Avaliação do projeto 54


6.2 Avaliação dos resultados e do impacto 54
6.3 Formulários de coleta de dados 55
6.4 Pesquisa quantitativa 56
6.5 Amostras 56
6.6 Pesquisa qualitativa 56
6.7 Técnicas de pesquisa qualitativa 58
6.8
6.9
Ferramentas de pesquisa
Resumo: um plano de avaliação completa
58
58 6

53
“Até seria possível explicar tudo cientificamente, mas não faria o menor sentido;
seria como descrever uma sinfonia de Beethoven
como variações de ondas de pressão.”

Albert Einstein

6.1 Avaliação É importante estar ciente de que, conforme


foi salientado na Seção 5.6, os indicadores de
do projeto processo serão diferentes dos indicadores
de resultado.
A realidade da combinação de fatores
sociais, políticos e econômicos que entram
em jogo na comunidade faz com que os
projetos raramente transcorram conforme
planejado. Por essa razão, convém que 6.2 Avaliação
sejam adaptáveis e flexíveis. A avaliação do
processo ajuda a monitorar exatamente o que
dos resultados e
ocorre no planejamento e na implementação do impacto
do programa. Com um esquema robusto, é
possível: É impossível avaliar todos os resultados. Por
essa razão, é preciso priorizar o que for mais
• explorar as origens do programa e a importante para o sucesso das intervenções,
sequência cronológica dos eventos durante o levando em conta o que é realmente
planejamento e a implementação, bem como mensurável no intervalo de tempo do projeto.
fazer as modificações necessárias; Na situação atual, em que os financiamentos
de agências são para um ou dois anos, é
• envolver os participantes do projeto na sua provável que muitos dos objetivos de longo
própria análise daquilo que mudou em função prazo ainda não tenham sido alcançados ao
da intervenção e de como o processo poderia cabo desse período. Tanto a equipe do projeto
ser melhorado; como os financiadores devem, portanto, estar
cientes dessa situação desde o início para
• observar a estrutura, os componentes e o evitar dissabores no futuro.
sistema de entrega do programa;
Uma vez identificados os principais resultados
• examinar os fatores contextuais relevantes a serem monitorados, deve-se decidir quais
para a operação do programa; são as melhores maneiras de compilar
dados. Mais uma vez é preciso ser realista
• analisar as razões que tornaram as com relação ao tempo, às capacidades de
mudanças necessárias; pesquisa da equipe e aos meios financeiros
e humanos, tendo sempre em mente que as
• verificar as características e a participação pessoas envolvidas no projeto constituem os
dos beneficiários; recursos primordiais da operação, devendo
ser incluídas no processo e consultadas
• avaliar a percepção que os beneficiários têm continuamente. As técnicas de pesquisa
do programa; empregadas podem incluir métodos
quantitativos e qualitativos, conforme
• estimar o nível de conscientização da descrição a seguir. A escolha dos métodos
comunidade; será influenciada pelo tamanho e tipo de
projeto, pelo orçamento disponível e pelas
• listar os recursos empregados na operação informações que forem coletadas.
do programa;

• informar futuros desenvolvimentos e


programas em áreas semelhantes.

54
6.3 Formulários de coleta de dados

TABELA 1. Características das pesquisas qualitativa e quantitativa

Pesquisa qualitativa Pesquisa quantitativa

Perguntas efetuadas Quem, o que, como e por quê? Quanto?

Categoria de Aberta Fechada


pergunta

Interação Diálogo ou observação com a Perguntas e respostas


utilização de filmes, vídeos, jogos de
interpretação, mapas, etc.

Formulário Semi ou não estruturado Controlado

Amostragem Amostra pequena, mas significativa. Amostra formal, com um


grande número de seleções
aleatórias; possibilidade de
avaliação de probabilidades
estatísticas

Nível Em profundidade. Superficial

Análise Interpretação Formalização e análise


estatística

Métodos comuns Entrevistas: Sondagem


(as técnicas – individuais em profundidade – questionário
participativas devem – narrativas – transversal (retrato em um
ser utilizadas por – exploração de incidentes críticos ponto da linha do tempo)
ambas as categorias) relacionados com um evento – longitudinal (ao longo do
específico tempo)

6
– grupos de discussão
Ensaios controlados
Texto escrito: – aleatórios
– diários – quase experimentais
– arquivos (por exemplo, dos serviços
de saúde) Dados de arquivos
(secundários)
Análise da mídia: – análise mais aprofundada
– imprensa das estatísticas disponíveis
– imagens e fotografias
– vídeos Observações
– contagens (por exemplo, de
Observações: pacientes)
– participantes
– não participantes

Técnicas:
– respostas aos estímulos
apresentados
– associação de palavras
– jogos de interpretação de
personagens

55
6.4 Pesquisa entre grupos que provavelmente não tenham
ocorrido por acaso.
quantitativa
No entanto, os resultados dependem da
A pesquisa quantitativa envolve a coleta própria definição das categorias de respostas
sistemática de evidências que podem ser estabelecidas pelo pesquisador, não havendo,
contadas e codificadas numericamente. portanto, margem para desvendar detalhes
O método explora teorias e hipóteses das vidas das pessoas ou captar informações
de relações entre fenômenos naturais. inesperadas. Por exemplo, uma sondagem
As técnicas quantitativas tendem a usar sobre o consumo de drogas pode formular
instrumentos estruturados, facilitando a a pergunta “quantas vezes por semana você
coleta, a análise e a replicação das pesquisas. consome drogas ilegais?”, que fornecerá
Com um grande número de observações dados quantitativos básicos, mas não dará
é possível levantar dados estatísticos que qualquer tipo de insight mais profundo sobre
permitem generalizações. as pressões culturais, sociais ou psicológicas
que levam ao uso de entorpecentes. Neste
Tradicionalmente a pesquisa quantitativa é contexto, nem sempre é fácil lidar com
considerada mais científica e objetiva do que conceitos ambíguos ou mesmo compreender
a qualitativa, gozando assim de mais prestígio certos termos – por exemplo, “o que vem a
perante as agências de financiamento. A ser uma droga ilegal?”
tendência de exigir evidências quantitativas
para demonstrar eficiência tem colocado uma
pressão enorme nas pequenas organizações,
que nem sempre dispõem dos meios técnicos
para reunir as evidências necessárias. 6.5 Amostras
A pesquisa quantitativa também costuma Em vez de consultar toda a população, é
requerer recursos (financeiros e humanos) mais eficiente interrogar uma amostra
que vão além da capacidade dos pequenos representativa das pessoas afetadas pelo
projetos comunitários. Em alguns casos, projeto. Desde que os números sejam
dados já existentes de sondagens nacionais suficientemente elevados (neste caso,
ou regionais podem ser de grande valia aconselha-se consultar um profissional de
para o desenvolvimento do projeto. Além estatística para saber dos critérios), é possível
disso, dados levantados sobre a AIDS junto fazer generalizações que cubram toda a
a famílias, sondagens comportamentais ou população do projeto.
órgãos de vigilância podem, por exemplo,
destacar variações por área geográfica ou por As decisões neste caso dependerão do
grupos de população mais em risco. propósito da avaliação, das perguntas
formuladas e do tamanho da população
utilizada para a coleta de informações.4
O que é pesquisa quantitativa
e quando deve ser utilizada?
Os dados quantitativos são ideais para
dar um panorama geral de uma situação, 6.6 Pesquisa
principalmente quando há uma amostra
relativamente grande de pessoas. A pergunta
qualitativa
chave é “quanto?”. Os exemplos mais comuns Esta modalidade envolve a análise de dados
de métodos de pesquisa quantitativa são os não numéricos, tais como transcrições
estudos experimentais, tais como sondagens de entrevistas, artigos da imprensa ou
e ensaios controlados de maneira aleatória. observações de pesquisadores, e formula
Todas as respostas são números absolutos, perguntas do tipo “o quê?”, “como?” e “por
como unidades de álcool consumidas, ou quê?”. O método costuma ser empregado
códigos numéricos, em que, por exemplo,
“sim” e “não” são codificados como 1 e 2,
respectivamente. A partir daí é possível 4 Para mais informações sobre como selecionar uma
calcular porcentagens para cada resposta e, amostra adequada, consulte estes links: www.mis.
no caso de a amostra ser suficientemente coventry.ac.uk/~nhunt/meths
www.socialresearchmethods.net/kb/sampprob
grande, determinar se existem diferenças

56
quando o pesquisador deseja ir além da superfície e explorar respostas que não são previsíveis nem
fáceis de categorizar. A pesquisa qualitativa interessa-se menos pela maneira que as pessoas são
classificadas em grupos e mais pelas respostas “espontâneas”, que, após análise, podem revelar
padrões ou até mesmo contradições nos dados. A participação dos beneficiários é primordial, tanto
na coleta como na análise dos dados. É interessante explorar métodos inovadores que possam ser
utilizados para colher dados e interpretar as conclusões.

Os métodos qualitativos buscam variações entre os indivíduos e grupos. Partindo-se do princípio de


que, diferentemente de outros objetos das ciências naturais, os seres humanos são interativos, essa
metodologia costuma ser recomendada por ser capaz de levar em conta as contribuições para os
dados efetuadas tanto pelo pesquisado como pelo pesquisador, como seres sociais.

Ambas as modalidades (qualitativa e quantitativa) podem ser empregadas sozinhas ou como


parte de uma estratégia bimodal – por exemplo, entrevistas individuais (pesquisa qualitativa) para
explorar as razões por trás dos resultados de uma sondagem nacional (pesquisa quantitativa)
que mostra como jovens desfavorecidos são mais propensos a se tornarem usuários de drogas
injetáveis. Inversamente, tópicos levantados em grupos de discussão podem ser utilizados para
elaborar um questionário com respostas possíveis predefinidas que, por sua vez, servirá para
pesquisas quantitativas em larga escala. Os dois tipos de pesquisa são valiosos, cada qual com as
suas vantagens. É fundamental definir desde o início o questionamento que deverá ser levantado e,
a partir daí, optar pelo tipo de pesquisa que melhor se enquadre para obter respostas úteis.

Os seus sapatos gastaram mais rápido


neste ano ou no ano passado?
AS
UR

O
CEN

6
Qual foi a porcentagem de aumento de
cenouras que você trouxe no mercado
este ano em relação ao ano anterior?
OURAS
CEN

57
6.7 Técnicas • Oficinas de avaliação e reuniões de
revisão: Trata-se de reuniões especiais para
de pesquisa qualitativa estimular o feedback dos participantes do
projeto em que se podem utilizar técnicas
• Entrevistas em profundidade: Podem semelhantes às empregadas nos grupos de
ser realizadas por pessoas que tiveram discussão.
um envolvimento próximo com o projeto e
têm bons insights: componentes da equipe,
membros das organizações parceiras ou
participantes do projeto. O Anexo 6 dá mais
informações sobre como realizar entrevistas 6.8 Ferramentas
em profundidade. de pesquisa
• Grupos de discussão e mesas-redondas: Em geral, para efetuar uma coleta de dados,
Os grupos de discussão reúnem entre costuma-se utilizar alguma espécie de
quatro e oito pessoas que em geral têm uma formulário ou instrumento para compilar
característica em comum (por exemplo, as informações, como folha de registro,
podem ser todos usuários de drogas ou pais questionário, protocolo de observação,
de usuários, conforme o enfoque do projeto). filmadora ou gravador. Pense no método de
O grupo costuma debater sobre temas de coleta de dados escolhido e decida o que
relevância para a avaliação. Técnicas para é necessário para registrar a informação.
provocar discussão (fotos, imagens, gravações, Na medida do possível, use somente
etc.) podem ser úteis. instrumentos testados e validados.

• Estudos de caso: Exploram alguns Caso você tenha desenvolvido o seu próprio
exemplos em detalhe. Escolha aqueles que instrumento, certifique-se de que é:
melhor ilustrem os seus principais objetivos.
• capaz de salvaguardar as suas informações;
• Observações: Observe, por exemplo, a • bem compreendido pelo respondente e pela
dinâmica dos grupos. Quem frequenta as pessoa que irá efetuar o registro;
reuniões? Que tipo de pergunta é feito? Quem • simples e fácil de usar;
está envolvido? Há uma boa representação da • culturalmente sensível e de acordo com as
comunidade? normas éticas vigentes;
• suscetível de reduzir os problemas
• Portfólios: Veja exemplos de trabalhos que potenciais.
foram produzidos.
Antes de utilizar o instrumento no projeto,
• Informes jornalísticos: Reúna e revise teste-o com pessoas semelhantes aos
informes jornalísticos relevantes. respondentes e àqueles que efetuarão o
registro. Esta operação é conhecida como
• Diários: Peça às pessoas que mantenham “piloto”.
diários sobre as atividades relativas ao projeto
e seu envolvimento nelas.

• Fichas de comentários: Você pode


descobrir o que as pessoas acham dos
serviços oferecidos pelo projeto, pedindo-
lhes que preencham uma pequena ficha de
comentários. O que eles acham mais útil?
Como eles melhorariam a atividade?

58
6.9 Resumo: um plano de avaliação completa
I II III IV
Foco da avaliação Coleta de Análise das Reflexão sobre como
informações informações usar as informações
Perguntas:
O que você quer Reflita sobre: análise Divulgar e
saber? interpretação compartilhar as
fontes lições aprendidas
Indicadores métodos (qualitativos, (não só as boas, mas
Como você saberá? quantitativos, as más também)
participativos)
Quem fará a timing Para quem? Quando?
avaliação? Torne-a amostras Como?
participativa! instrumentos

Não complique!

• A avaliação deve ser simples e direta. Focalize em “o que eu preciso saber?”, “quem usará as
informações?” e “para quê?”

• Esta discussão é meramente introdutória. Nossa intenção é mostrar como o modelo lógico ajuda
no processo de avaliação. Existem muitas outras fontes que aprofundam a questão e abordam os
aspectos técnicos da avaliação (ver bibliografia na Seção 9).

• O modelo lógico não é um modelo de avaliação, mas sim uma ferramenta que fornece um
arcabouço coerente que serve de guia para o processo de avaliação. Este modelo facilita uma
avaliação eficaz ajudando-nos a:

– decidir o que avaliar;

– identificar as perguntas adequadas à avaliação com base no programa;

– saber quais informações coletar para responder as perguntas da avaliação (os indicadores);

6
– decidir quando coletar os dados;

– determinar as fontes, os métodos e os instrumentos da coleta de dados;

– considerar as oportunidades de revisão e divulgação de dados.

59
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

60
Sparticipativa
eção 7 Avaliação

7.1 Técnicas de avaliação participativa 62


7.2 Aspectos relevantes de
Monitoramento e Avaliação Participativas 63

NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

61
É óbvio que...
se distribuirmos ... a gente vai poder fazer
preservativos balões de água!!!
gratuitamente...

A SUA LÓGICA PODE NÃO SER IGUAL À DOS OUTROS

7.1 Técnicas de • Aprendizado: É preciso definir como as


lições aprendidas serão utilizadas e passadas
avaliação participativa adiante a fim de realizar melhorias no futuro.
O processo deve ser claro no que diz respeito
Convém enfatizar que as iniciativas à maneira como as boas práticas serão
comunitárias têm mais probabilidades de compartilhadas e ampliadas.
sucesso quando a comunidade se sente
dona do projeto e participa dos processos de • Flexibilidade: Os projetos comunitários são
iniciação, implementação e avaliação. constantemente influenciados por uma série de
fatores que fogem ao controle dos envolvidos.
O que vem a ser Monitoramento Todos os que trabalham no projeto devem,
e Avaliação Participativos portanto, estar cientes da necessidade de
(M&AP)? serem flexíveis e se adaptarem às mudanças.
Quatro princípios básicos constituem o cerne
do M&AP, a saber: Métodos geralmente usados
em M&AP:
• Participação: Todas as partes interessadas Existem muitos métodos criativos e dinâmicos
– e principalmente as mais diretamente que podem ser usados para envolver os
afetadas – devem envolver-se em todas as beneficiários no projeto. Alguns já foram
fases da implementação do projeto, inclusive mencionados na Seção 6.7. Eis agora algumas
na decisão de qual metodologia de pesquisa ideias mais específicas:
será empregada.
• Mapas: É interessante utilizar mapas da
• Negociação: As partes interessadas devem localidade para dar início a uma discussão
decidir o que será monitorado e avaliado, sobre as mudanças que estão sendo
qual será a metodologia de coleta de dados, observadas, bem como onde e de que maneira
como os dados serão interpretados, como as elas estão ocorrendo. Eles também podem ser
várias ações serão empreendidas e como os utilizados para situar as partes interessadas e
resultados serão compartilhados e divulgados. os participantes do projeto.

62
• Diagramas de Venn: Estes diagramas 7.2 Aspectos relevantes
constituem uma maneira bastante eficaz de
mostrar as relações entre grupos, indivíduos e • Os métodos participativos não excluem
instituições. outros tipos de metodologia. Na verdade,
os melhores resultados costumam ser
• Fluxogramas: Os fluxogramas associam as alcançados quando se aplicam diferentes
mudanças a uma causa percebida, além de técnicas de avaliação.
demonstrarem o impacto dessas mudanças.
• Nem todos os beneficiários e demais
• Diários: Se atualizados com a devida partes interessadas vão querer se envolver no
regularidade, os diários constituem uma processo de M&AP. Para participar, é preciso
ferramenta útil para descrever as mudanças nas dedicar tempo e energia e nem todos têm o
vidas dos indivíduos e dos grupos. preparo ou as condições para tal.

• Fotografias: São excelentes para iniciar • O processo de M&AP pode ser associado
discussões e uma ótima maneira de documentar à Teoria da Construção do Conhecimento,
as mudanças com o passar do tempo. É segundo a qual a aprendizagem não se
importante pensar em também tirar fotos antes limita a afetar os indivíduos, mas sim toda
do início do projeto e após a sua conclusão. a comunidade. Scardamalia (2002) descreve
como o processo de investigação coletiva
• Arte: A arte é uma maneira natural e sobre um determinado tema pode resultar
espontânea de revelar as preocupações e em uma compreensão mais aprofundada
prioridades dos indivíduos e da comunidade. por meio de questões interativas, diálogos e
Alguns métodos, como jogos de interpretação de desenvolvimento contínuo de ideias. As ideias
personagens (role playing) e teatro de fantoches, são, portanto, o meio de operar em ambientes
costumam funcionar muito bem com crianças e de construção de conhecimento. O professor
jovens. assume o papel de orientador, e não de
condutor, e permite que os alunos assumam
A sequência das fases de um M&AP é bastante uma parte considerável da responsabilidade
similar à de outros métodos de pesquisa pela própria aprendizagem, participando
convencionais. O diagrama a seguir destaca as inclusive dos processos de planejamento,
etapas principais: execução e avaliação (Scardamalia, 2002).

Identificar quem • As técnicas participativas podem contribuir


deve e quer ser
envolvido para conferir autonomia aos beneficiários
Esclarecer as
Verificar se
o processo de M&AP expectativas dos do projeto, ajudando-os a encontrar áreas
precisa receber participantes do
suporte e, se for processo e de que de responsabilidade e fornecendo-lhes as
o caso, como maneira cada pessoa
ou grupo deseja
contribuir
habilidades necessárias para desempenharem
o seu trabalho.
Concordar Estabelecer as
em como e prioridades para
por quem os
resultados serão
monitoramento e
avaliação
• É muito importante controlar as ambições
utilizados
e dar pequenos passos no início. Alguns
Identificar exemplos de técnicas participativas citados
indicadores
Analisar as
que darão as
informações
foram extraídos de projetos em que o M&AP

7
informações necessárias deu uma contribuição (em geral modesta)
Definir os
métodos, as para um plano de pesquisa mais abrangente.
Coletar as responsa-
informações bilidades e os Em muitos casos, consultar os beneficiários
prazos da coleta
de informações e envolvê-los no processo de pesquisa é
uma reação espontânea que ocorre sem
Extraído do IDS Policy Briefing no 12, de novembro de 1998, p.3. planejamento prévio, podendo, portanto,
Disponível em www.ids.ac.uk/ids/bookshop/briefs/PB12.pdf realizar-se sem muitas formalidades.

“Todo o problema do mundo é que os tolos e os fanáticos estão sempre cheios


de certezas, e as pessoas mais sábias estão cheias de dúvidas.”

Bertrand Russell

63
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

64
Se divulgação
eção 8 Análise
de dados

8
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

65
“Se você tiver uma maçã e eu tiver outra maçã, e nós as trocarmos,
cada um continuará com uma maçã. Mas, se você tiver uma ideia e eu tiver outra ideia,
e nós as trocarmos, aí cada um ficará com duas ideias.”

George Bernard Shaw

Uma vez coletados, os dados precisam ser um número considerável de dados, talvez
claramente tabulados para que as evidências convenha procurar orientação sobre a melhor
de fontes diversas possam ser reunidas maneira de armazená-los e tratá-los.
e comparadas. Ao examinar os dados as
principais questões a serem levantadas são as Em geral a análise de dados qualitativos
seguintes: costuma ser considerada mais subjetiva
do que a de dados quantitativos. O material
– As informações mostram que os objetivos coletado é rapidamente examinado e os pontos
foram atingidos? (Seja o mais específico chave são identificados. A seguir, os dados são
possível ao descrever como os resultados classificados de um modo mais rigoroso de
foram alcançados.) acordo com categorias predefinidas. A análise
do conteúdo consiste em revisar documentos
– Quais são os resultados do projeto? escritos (jornais, notas de observação,
(Considere tanto os resultados esperados sondagens com perguntas abertas) ou
como os inesperados, e da mesma forma os transcrições de gravações (de entrevistas ou
desejados e os indesejados.) grupos de discussão). À medida que o texto
é lido, atribui-se um código às áreas que
– Os dados destacam algum sucesso? representam conceitos relevantes, padrões
comuns entre os informantes ou respostas
– Existem áreas problemáticas que requeiram distintas dos diferentes subgrupos. Feito isso,
atenção particular? o texto é então classificado por categoria. As
categorias são definidas previamente, podendo
– Houve algum obstáculo à realização dos também surgir no decorrer do processo de
objetivos preestabelecidos? análise. A tecnologia ou os equipamentos
empregados não precisam ser sofisticados;
Se a avaliação tiver sido bem planejada e basta que eles consigam separar trechos de
a pesquisa tiver sido conduzida de modo textos, separá-los de acordo com o tema e a
apropriado, com objetivos claros, indicadores seguir dispô-los de uma maneira que facilite a
confiáveis e uma coleta de dados rigorosa, sua visualização.
a fase da análise poderá transcorrer sem
problemas. É preciso ter cautela ao lidar com dados
qualitativos, para não se fazerem afirmações
A análise de dados quantitativos tem de ser que contenham informações numéricas
precisa e estruturada. Se a quantidade de enganosas. Nem sempre é fácil resistir à
dados a serem tratados for considerável, a tentação de fazer afirmações do tipo “80%
perícia de um estatístico (em geral difícil de das pessoas pensam que as vacas se deitam
encontrar!) pode ser necessária. Mesmo que antes de uma tempestade”. Efetivamente, se
os dados demonstrem uma relação entre o a amostra total for pequena, por exemplo,
serviço prestado e um resultado particular, a dez pessoas, 80% equivale a somente oito
menos que o projeto tenha sido objeto de um pessoas, um número pouco significativo para
estudo experimental (com a comparação com que se possa inferir que o mesmo se verifica
outro local que não tenha recebido intervenção em amostras maiores. Como um número
e, portanto, sirva de controle), não se pode pequeno de respondentes em pesquisas
afirmar que o programa foi a causa direta dos qualitativas não tem significância estatística
resultados. para permitir inferências, convém evitar as
porcentagens, devendo-se preferir afirmações
Existem softwares especializados que podem menos comprometedoras, do estilo “na nossa
ajudar na análise tanto de dados quantitativos amostra, a maioria dos respondentes (8 de um
como qualitativos. Se a avaliação abranger total de 10) acha que….”

66
Quando se coletam dados de várias fontes Divulgação
distintas, não se deve deixar de atribuir o
devido peso a todas as evidências. Ademais, Após os resultados terem sido coletados e
os resultados devem registrar claramente analisados, é importante compartilhá-los com
o tamanho da amostra de entrevistados. Da o maior número de pessoas. Os participantes
mesma forma, os instrumentos utilizados e os financiadores do projeto têm grande
(questionários, formulários, etc.) devem ser interesse nessa informação e cabe aos
incluídos no relatório final do projeto. avaliadores transmitir-lhes os resultados
da maneira mais aberta e direta possível.
Dados quantitativos Efetivamente, é imprescindível fornecer
continuamente feedback sobre o andamento
Para obter informações sobre como efetuar do projeto, para que se façam melhorias em
sondagens e questionários quantitativos, todas as fases do ciclo do projeto (ver Seção
consulte: 2.1). Sejam eles positivos ou negativos, esses
resultados têm de ser divulgados para que as
International Fund for Agriculture and lições possam ser aprendidas e as adaptações
Development (IFAD). “A Guide for Project necessárias sejam efetuadas para aprimorar
Monitoring and Evaluation.” A parte mais o desempenho no futuro. Oficinas e reuniões
relevante é o Anexo D: “Methods for monitoring podem constituir um âmbito particularmente
and evaluation”. Disponível para download em: apropriado para a comunicação dos
www.ifad.org/evaluation/guide/index.htm resultados. Os websites, que constituem uma
ferramenta de enorme abrangência, também
Veja mais referências na bibliografia vêm sendo cada vez mais empregados nesse
comentada da Seção 9. sentido.

Re
PROJETO su
lta
do
S

LIÇÕES
S
do
ulta
Res
Re
su
lta

S
do

do
S

lta

8
su
Re

C o mCompartilhe
p a r t i l h e a so que
a p r eaprendeu.
ndizagems

67
Notas:
......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

......................................................................................................................................................................

68
Sbibliografi
eção 9 Referências,
a comentada
e anexos

Referências 70
Bibliografia comentada 72
Anexo 1 – Ficha de comentários 76
Anexo 2 – Tipos de avaliação 77
Anexo 3 – Glossário 79
Anexo 4 – Gabarito do Modelo Lógico de Projeto 81
Anexo 5 – Plano de avaliação 82
Anexo 6 – Guia para entrevistas em profundidade 83

NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.

69 9
Referências
Beattie, A. (1995), Evaluation in community Scardamalia, M. (2002). Collective cognitive
development for health: An opportunity responsibility for the advancement of
for dialogue, Health Education Journal, knowledge. In B. Smith (Ed.), Liberal
vol. 54: 465–72. education in a knowledge society (pp. 67-
98). Chicago: Open Court.
Boyce, W. (1993), Evaluating participation in www.ikit.org/fulltext/2002CollectiveCog.pdf
community programs: An empowerment
paradigm, The Canadian Journal of Sinkler, P. (1999), Qualitative health promotion
Program Evaluation, 8:1, 89-102. research in context, não publicado, Health
Development Agency, Londres.
Bruce, N., Springett, J., Hotchkiss, J., Scott-
Samuel, A. (eds) (1995), Research and Springett (1998), Practical guidance on
Change in Urban Community Health, evaluating health promotion, Copenhague,
Avebury. World Health Organisation.

Core Initiative (maio de 2006), Project Cycle Taylor, J. (2000), So now they are going to
Management: Community Based measure empowerment, Community
Organisation (CBO) Training Toolkit. Development Resource Association.
www.cdra.org.za/articles/So%20
Institute of Development Studies (1998), now%20they%20are%20going%20to%20
Participatory monitoring and evaluation: measure%20empowerment!%20-%20
Learning from change, Policy Briefing 12. by%20James%20Taylor.htm
www.ids.ac.uk/ids/bookshop/brief12.html
Monitoring the Declaration of Commitment on
J. Rowntree Foundation (2005), Evaluating HIV and AIDS: Guidelines on Construction
community projects. A practical guide. of Core Indicators. Relatório de 2008.
The Joseph Rowntree Foundation. Genebra, UNAIDS (2007)
www.jrf.org.uk
National AIDS Programmes: A Guide to
Ottawa Charter for Health Promotion. First Monitoring and Evaluation. Genebra,
International Conference on Health UNAIDS (2000)
Promotion (1986), WHO/HER/HEP.
www.who.int/hpr/NPH/docs/ottawa_ Responding to HIV and AIDS. Measuring
charter_hp.pdf Results: The Answer Lies Within. Nova
York: UNDP. (2005).
Patton, M. (1997), Utilization-focused
evaluation (3ª edição), Thousand Oaks, A participatory handbook for youth drug abuse
CA, Sage. prevention programmes. A guide for
development and improvement, Nova York,
Rehle,T., Saidel, T., Mganani, R. (eds) (2006) United Nations. UNODC Viena. (2002).
Evaluating programs for HIV and AIDS www.unodc.org/pdf/youthnet/handbook.pdf
prevention and care in developing
countries. Family Health International United Nations Office for Drug Control
www.fhi.org and Crime Prevention, WHO (2006)
- Monitoring and Evaluating - Youth
Rootman, I., Goodstadt, M., Potvin, L., Substance Abuse Prevention Programmes
Springett, J. (1997), Toward a framework Viena www.unodc.org/pdf/youthnet/action/
for health promotion evaluation, planning/m&e_E.pdf
Copenhague, World Health Organization.
University of Wisconsin, “Program
Save the Children Fund (UK), (2003), Toolkits: Development and Evaluation”.
A practical guide to monitoring, evaluation www.uwex.edu/ces/pdande/evaluation/
and impact assessment, Gosling, L. evallogicmodel.html

70
Evaluation handbook. W. K. Kellogg Foundation Wallace, T (2006) Evaluating Stepping Stones:
USA (1998). A review of existing evaluations and
ideas for future M&E work Action Aid
Logic model development guide, Kellogg International.
Foundation, USA. (2003), www.comminit.com/en/node/265544

Evaluation in health promotion. Principles Webb, D., Elliott, L (2002) Learning to Live:
and perspectives Edited by Rootman, .I., Monitoring and evaluation in HIV/AIDS
Goodstadt, M., Hyndman,.B., McQueen, programmes for young people. Londres:
D., Potvin,.L. Springett,.J. e Ziglio,E. WHO Save the Children Fund.
Regional Office for Europe WHO (2006).
Weiss, C. (1998), Evaluation: Methods
WHO et al (2006) Monitoring and Evaluation for studying programs and policies.
Toolkit: HIV and AIDS, Tuberculosis and Englewood Cliffs, NJ, Prentice-Hall.
Malaria, 2a ed. Genebra.
www.who.int/hiv/pub/epidemiology/en/
me_toolkit_en.pdf

71 9
Bibliografia comentada
A lista a seguir focaliza a avaliação de  Rehle,T., Saidel, T., Mganani, R. (eds)
programas comunitários de pequena escala, (2005). FHI - Evaluation Handbook. Evaluating
com ênfase nos métodos qualitativos e programs for HIV/AIDS prevention and care
participativos para avaliações internas. Não in developing countries. Este documento traz
é exaustiva. A maior parte das referências informações sobre como avaliar programas
citadas foram incluídas por serem claras e de prevenção da AIDS em países em
acessíveis por internet. Todos os websites desenvolvimento. www.fhi.org/en/HIVAIDS/
mencionados estavam em funcionamento pub/Archive/evalchap/
em outubro de 2010. A bibliografia deve ser
considerada como uma “obra em andamento”  Green, L.W. and Kreuter, M.
que pode ser revista e ampliada. PRECEDE-PROCEED Model for health
promotion. Baseado na epidemiologia, na
administração de saúde e nas ciências
1. Recursos para avaliações sociais comportamentais e educacionais,
comunitárias de pequena o modelo enfatiza duas premissas: (1) a
saúde e os riscos de saúde apresentam
escala múltiplos fatores e, (2) por conseguinte,
os esforços para realizar mudanças
 Action Aid. UK. Wallace, T. (2006), comportamentais, ambientais e sociais devem
Evaluating Stepping Stones: A review of ser multidimensionais, multissetoriais e
existing evaluations and ideas for future M&E participativos. www.lgreen.net/precede.htm
work Action Aid International. www.comminit.
com/en/node/265544  Horizon Research, Inc. Taking stock:
A practical guide to evaluating your own
 Americorps. Project STAR. Disponibiliza programs (1997). Um guia prático de avaliação
para download capítulos que cobrem todas de programas dirigido a OBCs (organizações
as etapas de um projeto: planejamento, baseadas na comunidade), com informações
avaliação, análise e divulgação. O objetivo que podem ser aplicadas para auxiliar nas
do site é melhorar a qualidade e a coesão intervenções. O manual fornece informações
das avaliações, bem como aprimorar a úteis para melhorar o trabalho de concepção
capacidade de avaliação promovendo o uso de e realização de avaliações, sobretudo internas.
listas de controle para tarefas e abordagens As 97 páginas do guia estão disponíveis para
específicas. http://nationalserviceresources. download em www.horizon-research.com/
org/ publications/stock.pdf

 Charities Evaluation Service: produz uma  International Fund for Agricultural


série de artigos que abordam os seguintes Development (IFAD). Um website bastante
temas: completo sobre avaliações com manuais
online e vários exemplos práticos. O Evaluation
– metas e objetivos; Help Desk fornece acesso rápido a dados e
– diferentes maneiras de abordar a avaliação; informações sobre avaliações: www.ifad.org/
– autoavaliação; evaluation/
– envolvimento dos participantes na avaliação; Um guia prático dirigido a gerentes de projeto
– o emprego da avaliação em diferentes que aborda o monitoramento e a avaliação de
políticas; projetos de desenvolvimento rural: www.ifad.
– bons e maus usos dos indicadores de org/evaluation/oe/process/guide/
desempenho;
– monitoramento de resultados;  McNamara, C. Basic guide to program
– avaliação de impactos. evaluation. Este guia enfatiza que os
funcionários que trabalham nos projetos não
As pesquisas podem ser adquiridas em precisam ser especialistas para fazer boas
separado ou em conjunto diretamente no site avaliações. Aqui se aplica a regra de que
da CES: www.ces-vol.org.uk 20% dos esforços geram 80% dos resultados

72
necessários; logo, é melhor fazer um esforço de treinamento em M&A disponível somente
médio para realizar uma avaliação do que não em inglês. O site da UNDP também oferece
fazer avaliação alguma. Este documento dá uma série de outros recursos, além de links
orientações sobre a natureza do processo de para sites de parceiros. www.undp.org/eo/
avaliação e explica como realizar avaliações documents/HandBook/ME-HandBook.pdf
de um modo prático e realista. www.
managementhelp.org/evaluatn/fnl_eval.  United Nations Office for Drug Control and
htm#anchor1575679YBrowser.HTML\Shell\ Crime Prevention (2002). Viena. A participatory
Open\Command handbook for youth drug abuse prevention
programmes. A guide for development and
 Mc Namara, C. (1999). Basic guide to improvement, United Nations, Nova York.
outcomes-based evaluation for non-profit www.unodc.org/pdf/youthnet/handbook.pdf
organizations with very limited resources.
Este documento dá orientação básica sobre  United States Aid Interventions Department
planejamento e implementação de um (USAID). Traz uma lista de vários recursos
processo de avaliação baseada em resultados para avaliações. www.dec.org/partners/
em ONGs. evalweb/

 National Science Foundation. User-friendly  University of Kansas. Community Toolbox.


handbook for mixed method evaluation. Um http://ctb.ku.edu/
manual prático repleto de exemplos úteis de
ferramentas e instrumentos de pesquisas  University of Wisconsin - Extension.
qualitativas e quantitativas. Program Development and Evaluation.
Muito prático e informativo, este site oferece
 Organization for Economic Cooperation and orientação interativa sobre a aplicação do
Development: Improving evaluation practice: modelo lógico. www.uwex.edu/ces/pdande/
Best practice guidelines for evaluation. Este evaluation/index.html
documento dá ótimos conselhos sobre como
aprimorar o processo de avaliação. www.oecd.  U.S. Department of Health and Human
org/dataoecd/11/56/1902965.pdf Services. Centers for Disease Control and
Prevention. CDC Evaluation Working Group:
 Public Health Training Network: Practical www.cdc.gov/eval/resources.htm#manuals
evaluation of public health programmes. Contém links para uma série de sites
Curso abrangente supervisionado pelos abrangentes que cobrem os seguintes tópicos:
Centers for Disease Control and Prevention, de
Atlanta, EUA. • ética, princípios e normas;
• organizações, sociedades, fundações,
 Robson, C. (2000) Small Scale Evaluation, associações;
Londres, Sage. Este guia abrangente e • periódicos online;
acessível explica claramente o que são as • manuais passo a passo;
avaliações e como podem ser aplicadas de • recursos para o modelo lógico;
modo mais efetivo, além de descrever os • ferramentas para planejamento e melhoria
pontos positivos e as armadilhas dos vários de desempenho;
métodos. • relatórios e publicações;
• sugestões.
 Save the Children (Reino Unido). Toolkits:
A practical guide to monitoring, evaluation  U.S. Department of Health and Human
and impact assessment, elaborado por Louisa Services. Centers for Disease Control and
Gosling. O guia aborda em seus capítulos Prevention. CDC Evaluation Working Group:
temas como M&A de impactos, explica o Framework. www.cdc.gov/eval/framework.htm
funcionamento de uma série de ferramentas
práticas que podem ser adaptadas de acordo  International HIV/AIDS Alliance. Apoio a
com as diferentes necessidades. comunidades para reduzir o alastramento do
www.savethechildren.org.uk./en/54_2359.htm HIV e enfrentar os desafios da AIDS. www.
aidsalliance.org/sw1280.asp
 UNDP (2002). Handbook on monitoring and
evaluating for results. Um manual útil sobre  W. K. Kellogg Foundation (1998).
monitoramento e avaliação, disponível em Evaluation Handbook. Kellogg Foundation,
inglês, francês e espanhol. Inclui um pacote EUA. Acessível e bem apresentada, esta

73 9
publicação traz explicações claras sobre obtenção, conversão e manipulação de dados,
os principais métodos de avaliação e seus além de fornecer sugestões de bibliografia
modelos teóricos subjacentes, enfatizando a sobre análise de dados. As entradas são
avaliação contextual e participativa baseada na acompanhadas de anotações sucintas. http://
comunidade. www.wkkf.org maltman.hmdc.harvard.edu/socsci.shtml

 W. K. Kellogg Foundation (2003).  Westat Muraski, L. (1993). Understanding


Logic Model Development Guide. Kellogg Evaluation: The Way to Better Prevention
Foundation, EUA. Traz informações técnicas Programs. Department for Education. EUA.
detalhadas e ideias práticas para facilitar Este manual disponível para download
a compreensão dos princípios básicos da aborda a avaliação de programas norte-
aplicação de modelos lógicos no processo de americanos de prevenção do uso de drogas
avaliação. Deve ser utilizado juntamente com o e álcool. Inclui informações sobre métodos
Evaluation Handbook. www.wkkf.org. quantitativos. Inclui informações sobre
métodos quantitativos. www.ed.gov/PDFDocs/
 WHO (2002). Working with street children: handbook.pdf
Monitoring and evaluation of a street
children project. Este manual foi concebido
para ser utilizado por educadores e outros 3. Métodos de avaliação
profissionais que trabalhem com crianças de participativa
rua. Seu objetivo é fazer com que o usuário
compreenda a importância do monitoramento  Aubel, J (1999) Participatory Program
e da avaliação, ajudando na identificação Evaluation Manual. Catholic Relief Services.
de uma série de estratégias apropriadas US Agency for International Development
e propiciando o desenvolvimento da Services.
confiança necessária para a implementação
de atividades. http://whqlibdoc.who.int/  Chambers, R (2002) Participatory
publications/924159036X.pdf workshops: a sourcebook of 21 sets of ideas
and activities. Londres, Earthscan.
 Westat. Understanding Evaluation: The Way
to Better Prevention Programs. Este manual  International Fund for Agriculture and
disponível para download aborda a avaliação Development (IFAD). A Guide for Project
de programas norte-americanos de prevenção Monitoring and Evaluation. Apresenta uma
do uso de drogas e álcool. Inclui informações série de métodos participativos. www.ifad.org/
sobre métodos quantitativos. www.ed.gov/ evaluation/guide/index.htm
PDFDocs/handbook.pdf
 Mayoux L. and Chambers, R. (2005)
Reversing the paradigm: quantification,
2. Análise quantitativa participatory methods and pro-poor impact
assessment. Journal of International
 International Fund for Agriculture and Development 17, No. 2, 2005, pp.271-98
Development (IFAD). A Guide for Project
Monitoring and Evaluation. O Anexo D,  Mikkelsen, B. (2005) Methods for
“Methods for monitoring and evaluation” é de development work and research: a new guide
particular relevância. www.ifad.org/evaluation/ for practitioners. Nova Déli. Sage
guide/index.htm
 Stoecker, R. (2005). Research methods for
 United States General Accounting Office community change: a project based approach.
(maio de 1992). “Quantitative data analysis: Thousand Oaks. Sage
An introduction”. http://archive.gao.gov/
t2pbat6/146957.pdf  Whitmore, E. (ed) (1998). Understanding
and practicing participatory evaluation. São
 The impoverished social scientist’s guide Francisco, American Evaluation Association.
to free statistical software and resources. O
guia do Dr Micah Altman, diretor do projeto  Estrella, M. et al (Eds) Learning from
Virtual Data Center e diretor associado do Change: Issues and Experiences from
Harvard-MIT Data Center, traz uma longa lista Participatory Monitoring and Evaluation.
de pacotes específicos agrupados por tipos Bourton Hall. Warwickshire. IDRC/ITP (2000).
e links para sites que oferecem ajuda para a

74
 Este website tem excelentes informações trabalhos que podem ser lidos integralmente
sobre avaliações participativas: http://blds.ids. online. http://gsociology.icaap.org/methods/
ac.uk/
 UK Evaluation Society. Divulga a teoria,
a prática, a compreensão e a utilização de
4. Sites de avaliação genérica avaliações, contribuindo para a popularização
do conhecimento e promovendo diálogos e
 African Evaluation Society. Orientação debates intersetoriais e interdisciplinares.
para avaliações na África. Inclui normas www.evaluation.org.uk/
de qualidade, ética e outros valores, bem
como informações sobre conferências e  Muitos países têm também sites sobre
treinamentos. www.afrea.org/home/index.cfm avaliação. Para obter informações locais,
utilize um mecanismo de busca como por
 American Evaluation Association. exemplo, o Google, para pesquisa.
Organização internacional dedicada à
aplicação de tecnologias e avaliação de
programas e pessoal, entre outros.
www.eval.org

 European Evaluation Society.


www.europeanevaluation.org/

 The Evaluation Center. Este site, dirigido a


usuários e especialistas, traz listas de controle
sobre planejamento, orçamento, contratação
de pessoal, gerenciamento de avaliações
de programas; coleta e análise de dados;
relatórios de avaliação. Todas as listas de
controle são baseadas em lições aprendidas
na prática. www.wmich.edu/evalctr/checklists/

 National Science Foundation.


Programmatic On-Line Evaluation Resources
– OERL: Online Evaluation Resource
Library. Esta biblioteca foi desenvolvida
para profissionais que se interessam pela
concepção, realização, documentação e
revisão de avaliação de projetos. O propósito
do sistema é coletar e disponibilizar planos,
instrumentos e relatórios de avaliação
dos projetos da NSF que possam ser
empregados como referência pelos principais
pesquisadores, avaliadores de projetos e
outros até mesmo fora da comunidade da
NSF, na medida em que definem propostas
e projetos. A OERL também traz módulos de
desenvolvimento profissional que auxiliam na
compreensão e na utilização dos materiais
disponibilizados. http://oerl.sri.com/

 Resources for methods in evaluation and


social science. Este site traz listas de recursos
gratuitos para avaliação e pesquisa social,
enfatizando como se devem realizar pesquisas
e os métodos que podem ser empregados:
sondagens, grupos de discussão e entrevistas,
entre outros. A maioria dos links propostos
remete a sites, como o do GAO (Government
Accountability Office), que disponibilizam

75 9
Anexo 1 – Ficha de comentários
Este guia é uma obra em andamento. Gostaríamos muito que você nos enviasse os seus
comentários para podermos melhorar a qualidade e a eficiência deste produto. Por favor, responda
este questionário e envie as suas respostas pelo correio para o endereço que aparece no final desta
página.

– Este guia foi útil para você? a) Sim, muito útil. b) Sim, relativamente útil. c) Não, não foi útil.

– Você fez algum uso prático deste guia?

– Você pretende usar este guia no futuro?

– Como você utilizou este guia? Favor especificar se utilizou somente algumas seções.

– Como este guia poderia ser mais acessível/útil?

– Você utiliza outros materiais de apoio para monitorar e avaliar? Favor especificar.

– Você poderia dar exemplos específicos de ferramentas de pesquisas eficazes ou ineficazes


que foram utilizadas nos seus projetos? Podemos contatá-lo(a) diretamente para discutir a
possibilidade de esses exemplos serem incluídos na próxima versão deste guia?

– Você encontrou algo inadequado, absurdo ou difícil de entender? Em caso afirmativo, favor
informar o que e por quê?

– Outros comentários:

Favor enviar a sua resposta para: Divisão da Educação Básica


Setor de Educação – UNESCO
7, Place de Fontenoy,
75352 Paris 07SP
França

76
Anexo 2 – Tipos de avaliação
Tradicionalmente, os seguintes tipos de avaliação técnica são empregados, sozinhos ou em
combinação:

1. AVALIAÇÃO FINAL
A avaliação final é efetuada após a conclusão do programa, por exemplo, mediante uma
sondagem ou um questionário. É uma prática comum, mas é a menos confiável, pois não
há como saber quais eram as circunstâncias antes da aplicação do programa. Este tipo de
avaliação tende a focalizar os resultados e impactos da intervenção.

2. AVALIAÇÃO RETROSPECTIVA
Solicita-se aos participantes que relembrem ou ponderem a sua situação, os seus
conhecimentos, as suas atitudes, o seu comportamento, etc., anteriores ao programa.
Costuma ser utilizada no ensino e em programas de atendimento comunitário, mas
apresenta um caráter enviesado, pois está sujeita aos enganos de memória (vieses de
recordação).

3. AVALIAÇÃO EX-ANTE E EX-POST


Os beneficiários do programa são avaliados uma vez antes do programa e depois novamente
ao final do programa (por exemplo, pré e pós-observações de comportamentos). Esse tipo
de avaliação em geral é utilizado em sistemas de ensino e as diferenças entre o “tempo 1”
e o “tempo 2” costumam ser atribuídas ao programa. No entanto, muitos outros fatores no
decorrer de um programa podem afetar as mudanças, o que compromete essa associação.

4. AVALIAÇÃO IN PROCESSU
A coleta de informações ao longo do programa é uma maneira de identificar a associação
entre os eventos e os resultados. Podem-se coletar dados sobre as atividades e serviços,
assim como sobre o progresso dos participantes. Esta modalidade não costuma ser
empregada em projetos baseados em comunidades, talvez em razão do tempo e dos recursos
necessários para colher as informações.

5. AVALIAÇÃO EM SÉRIES TEMPORAIS


Esta modalidade envolve um conjunto de medições em intervalos antes do início do
programa e após a sua conclusão. Este tipo de avaliação reforça o modelo ex-ante e ex-
post, registrando os padrões inicial e final, e controlando a estabilidade das mudanças. Isso
garante que outros fatores externos não coincidam com o programa nem influenciem as
mudanças observadas.

6. ESTUDO DE CASO
O estudo de caso utiliza múltiplos recursos e métodos para dar uma compreensão
aprofundada e abrangente do programa. Os seus principais pontos positivos são justamente a
sua abrangência e a exploração das causas dos efeitos observados.

7. AVALIAÇÃO FORMATIVA
A avaliação formativa é realizada durante a fase de planejamento de uma intervenção
com o intuito de detectar e resolver problemas antes que o programa esteja totalmente
implementado, garantindo assim que este atenda às necessidades identificadas.

Comparação com outros locais sem intervenção


Apesar das limitações orçamentárias, logísticas e de outras ordens, é importante ter em mente
que todas as modalidades de avaliação mencionadas podem, teoricamente, ser reforçadas por uma
comparação com outro(s) grupo(s), indivíduo(s) ou local(is).

77 9
Os grupos de comparação referem-se àqueles que não são escolhidos aleatoriamente e pertencem
à mesma população. Quando a seleção é aleatória, esse tipo de grupo é denominado grupo de
controle. O propósito de um grupo de comparação é conferir segurança ao programa e garantir que
não foi outro fator que causou os efeitos observados. É fundamental que o grupo de comparação
seja similar ao grupo beneficiário do programa. No entanto, convém salientar que na vida real
isso é MUITO difícil de conseguir! Ademais, esse tipo de metodologia pode ser refutada por razões
éticas, pelo fato de poder aumentar as desigualdades e gerar rivalidades entre os grupos.

78
Anexo 3 – Glossário
Análise Trata-se da verificação de dados coletados que podem ser utilizados para
dar uma ideia do impacto e dos resultados do projeto. A análise deve
fornecer entendimento dos princípios em que o projeto operou, levar em
conta dados de diversas fontes e atribuir o devido peso às evidências.

Autonomização A autonomização diz respeito à capacidade que as pessoas têm de fazer


escolhas. Em termos práticos, descreve o processo em que o sentimento
de falta de poder se transforma em ações que podem levar a mudanças
do ambiente físico e social. É uma ideia central em desenvolvimento
comunitário. (Bruce, N. et al 1995).

Avaliação Coleta sistemática de informações em que se baseiam os julgamentos


que ajudam na tomada de decisões sobre programas planejados,
em andamento ou futuros. As avaliações devem fornecer evidências
relacionadas com o impacto do projeto.

Beneficiários Este termo refere-se aqui à comunidade alvo da intervenção. Os


beneficiários não devem ser vistos como sujeitos passivos que
simplesmente recebem ajuda, mas sim como parceiros ativos que
trabalham com um objetivo comum.

Comunidade Uma comunidade local consiste em um grupo relativamente pequeno de


pessoas que compartilham o mesmo local de residência e um conjunto de
instituições ali baseadas. O termo comunidade também é empregado para
referir-se a um grupo de pessoas que têm algo em comum, como, por
exemplo, uma comunidade nacional ou uma comunidade de doadores.

Metodologia Conjunto de métodos e ferramentas de pesquisa.

Monitoramento O monitoramento refere-se à revisão e à coleta de dados de um projeto/


intervenção que contribuem para a avaliação global e ajudam a determinar
se os resultados desejados estão sendo alcançados.

Participação A participação diz respeito ao envolvimento das partes interessadas do


projeto, isto é, financiadores, pessoal, comunidade local, governo local, etc.
A avaliação participativa leva em consideração a opinião de todos esses
grupos. Isso envolve planejamento para decidir como a pesquisa será
conduzida. O processo pode aumentar o envolvimento da população local
e o seu sentimento de apropriação em relação ao projeto. As ferramentas
utilizadas neste tipo de avaliação são similares às da pesquisa qualitativa.
O mais importante é o espaço criado para discussões abertas e honestas
entre as partes interessadas.

Participantes Membros da comunidade a quem as intervenções são direcionadas e que


estão ativamente envolvidos no desenvolvimento, na implementação, no
monitoramento e na avaliação do projeto.

Pesquisa Investigação ou busca de conhecimento. Existem duas metodologias


dominantes: qualitativa e quantitativa.

Pesquisa qualitativa Os métodos qualitativos, amplamente empregados em sociologia e


antropologia, dependem da observação e de estudos minuciosos a partir
de entrevistas realizadas com informantes chaves. A reflexão consiste na

79 9
elaboração de uma visão de conjunto coletando e analisando informações
de diferentes fontes.

Pesquisa quantitativa Esta modalidade baseia-se numa tradição mais positivista e empírica. Os
métodos de pesquisa costumam depender de medições precisas em geral
realizadas com sistemas de coleta de informações altamente estruturados
e controlados. A análise e a interpretação dos dados emprega técnicas
estatísticas para testar hipóteses de como as principais variáveis se
relacionam.

80
Anexo 4 – Gabarito do Modelo
Lógico de Projeto
(Mude as flechas e caixas de texto ou acrescente novas conforme a necessidade.)
Longo prazo
RESULTADOS

Médio prazo
Curto prazo
Participação
PRODUTOS

Atividades
INSUMOS
81 9
Anexo 5
Plano de avaliação
Foco
O que será avaliado? (Escolha o projeto inteiro ou um aspecto em particular.).

Perguntas Indicadores/ Timing Coleta de dados


O que evidências
queremos Como Fontes Métodos/ Amostra
saber? saberemos? ferramentas
Quem detém Quem será
a informação? Como serão entre-
reunidas as vistado?
informações?
Que ferramentas
serão utilizadas?

1. 1.a

2. 2. a

Adaptado de Evaluation Plan Worksheet, disponível em www.uwex.edu/ces/pdande/evaluation/index.html

82
Anexo 6 – Guia para entrevistas
em profundidade
Os grupos de discussão e as entrevistas em profundidade devem criar um ambiente descontraído,
proporcionando o conforto necessário para criar o clima ideal. É preciso considerar como
as pessoas estão acomodadas, reduzir as perturbações potenciais e dispor a mobília e os
equipamentos com atenção.

Em vez de questionários, a pesquisa qualitativa emprega um guia de tópicos, que funciona como
um pequeno roteiro para a condução das discussões. O papel do pesquisador deve ser dirigir a
conversa, permitindo que os participantes falem livremente sobre o assunto, mas trazendo o debate
de volta ao tema em questão, se as conversas começarem a divagar muito. É sempre melhor
começar com perguntas que o entrevistado possa responder facilmente e a seguir ir introduzindo
tópicos mais complexos e delicados.

As pessoas em geral vêm para a entrevista sentindo-se um pouco ansiosas em relação àquilo que
as espera. É importante explicar claramente já no início quais são os objetivos da entrevista, que
tipo de informação se está buscando e que uso será feito dela. Também é preciso deixar claro que
não existem respostas certas ou erradas. Todo participante deve ter oportunidade de falar durante
os primeiros minutos da discussão para evitar que a ansiedade aumente.

De modo geral, quando o entrevistador se assemelha aos participantes, os participantes tendem a


se sentir mais tranquilos e mais abertos. Por exemplo, os entrevistados podem ficar mais à vontade
falando com alguém do mesmo sexo sobre o seu comportamento sexual. No entanto, não existem
regras fixas, devendo cada projeto ser analisado separadamente.

Convém também que o entrevistador deixe claro que é imparcial e que não tem qualquer tipo de
interesse nos resultados. Os entrevistados costumam apresentar mais dificuldade em expressar os
seus verdadeiros sentimentos sobre um determinado serviço ou produto se, por exemplo, estiverem
sendo entrevistados por um representante da empresa que os fornece.

É quase sempre preferível gravar e transcrever as entrevistas. Isso permite que o moderador se
concentre em coordenar a entrevista e não em ficar tomando notas; assim, nada será perdido
e todos os detalhes poderão ser acompanhados. Obviamente, os participantes devem dar o seu
consentimento para que a entrevista possa ser gravada. Em geral as pessoas concordam se tiverem
a certeza de que a gravação só será utilizada para efeito de análise por parte dos pesquisadores
e que não correrão o risco de acordar no dia seguinte e ouvir as suas vozes num programa de
rádio matinal. É de vital importância utilizar equipamentos previamente testados e com os quais o
entrevistador esteja familiarizado. Recomenda-se usar pilhas ou baterias novas, pois nem sempre
é possível perceber quando o aparelho para de funcionar no meio da entrevista. Além disso, se
o entrevistador tiver de ficar verificando o tempo todo se o gravador está funcionando, isso pode
distrair os participantes. Convém lembrar que a transcrição pode tomar muito tempo.

Material de estímulo
Um material de estímulo é qualquer material introduzido no decorrer (ou antes) da entrevista, com
o intuito de gerar discussão. Pode ser, por exemplo, uma foto, um artigo de jornal, um objeto ou até
mesmo uma história.

Uma prática bastante comum costuma ser apresentar aos entrevistados uma série de frases
impressas em cartões grandes. A seguir, pede-se que classifiquem os cartões em pilhas diferentes
em função de quanto concordam ou discordam com o ponto de vista ali expresso ou de acordo com
a importância que atribuem a um determinado aspecto do serviço. Esse tipo de exercício força
os participantes a explicarem as suas diferentes perspectivas. O importante não é a estrutura do
exercício em si, mas sim a discussão que ele gera.

83 9
Para mais amplas informações ou exemplares adicionais, queira
dirigir-se à

UNESCO
Setor de Educação
Divisão da Educação Básica
7, place de Fontenoy, 75352 Paris 07 SP, França

http://www.unesco.org/en/education

Anda mungkin juga menyukai