DOCUMENTOS DE TRABALHO

Mitos da avaliao

Documento de Trabalho N 6
Maria Manuela Afonso GAAI/IPAD
Dezembro 2011

Lisboa, Dezembro de 2011 Instituto Portugus de Apoio ao Desenvolvimento (IPAD) Av. da Liberdade, 192 1250-052 Lisboa www.ipad.mne.gov.pt Os Documentos de Trabalho do IPAD so produzidos por funcionrios e colaboradores do IPAD. Os Documentos de Trabalho so publicados sob responsabilidade nica dos seus autores e no reflectem necessariamente a opinio e posio do IPAD.

Introduo
Quando se fala em avaliao so muitas as ideias que surgem. Muitos reagem palavra avaliao com apreenso ou distanciamento, ansiedade e, por vezes, receio de crticas e rejeio, sentindo-a como uma ameaa. Outros tm na memria o ser avaliado e testado enquanto estudante. Da que a palavra avaliao evoque ambivalncia. No , por isso, de estranhar que quando se fala em avaliao de programas/projectos a primeira reaco seja do tipo um julgamento, dificulta o curso normal do projecto/programa, imposta do exterior, consome recursos escassos que podem ser utilizados de forma mais eficaz, no acrescenta nada de novo, quem melhor conhece o projecto/programa so os seus gestores, os avaliadores no diro nada de novo, Muitas destas percepes so mitos, ou falsas ideias, criando obstculos sua utilizao. Os mitos da avaliao desencorajam frequentemente a prtica e o envolvimento das organizaes em avaliaes teis. Tendo por base uma reviso da literatura, este texto identifica e desmistifica alguns dos mitos mais comuns sobre a avaliao de programas/projectos1 em geral, e sobre os da cooperao para o desenvolvimento em particular, os quais geram obstculos a uma utilizao mais eficaz dos processos de avaliao e criao de uma cultura de avaliao.

1. Os mitos da avaliao
Mito 1 A avaliao uma actividade estranha que gera um grande volume de dados fastidiosos com concluses inteis Realidade: No passado, os mtodos de avaliao de programas geravam, muitas vezes, grande volume de dados dos quais podiam ser extradas concluses. Eram evitadas generalizaes e recomendaes. Como resultado, os relatrios de avaliao tendiam a reiterar o bvio e a deixar os gestores dos programas decepcionados e cpticos sobre o valor da avaliao em geral. Mais recentemente, a avaliao passou a centrar-se na relevncia, nos resultados e utilidade, pelo menos tanto quanto na validade cientfica. To importante quanto a produo de um relatrio de avaliao o uso que se faz dele. Da a importncia das recomendaes e do seu carcter operacional. Mito 2 A avaliao cara/desvia recursos dos programas/projectos Realidade: A avaliao requer alguns recursos (financeiros e humanos). Por isso, muitos projectos j incluem um oramento de acompanhamento e avaliao (A&A) das actividades (normalmente 1-5% do custo total do programa/projecto). Esta repartio utilizada para
1

Neste documento no se inclui a avaliao ex-ante.

actividades de acompanhamento de rotina e para a preparao das avaliaes inicial e final. Se planeadas com antecedncia, muitas avaliaes podem ser includas nas actividades contnuas de A&A, com reduzido custo adicional, nomeadamente se houver competncias em avaliao ou uma unidade de avaliao na organizao. Mito 3 No precisamos de uma avaliao para dizer se as intervenes e/ou estratgias so eficazes Realidade: Na realidade nem sempre se conhecem as necessidades dos parceiros do desenvolvimento. A avaliao, e em particular a avaliao de resultados, contribui para esse conhecimento. A avaliao apoia a organizao a retirar ensinamentos e lies sobre o que funciona melhor, o que funciona pior e porqu, para que possa estar focada nas necessidades reais dos parceiros do desenvolvimento e ser cada vez mais eficaz na promoo do desenvolvimento. Alm disso, ajuda a assegurar que a organizao se centra nos resultados mais adequados, nas necessidades reais dos beneficirios. Mito 4 Os resultados da avaliao podem produzir efeitos negativos e destruir o programa/projecto Realidade: A avaliao mais til e relevante se colocar questes gerais sobre os programas/projectos. Este tipo de perguntas oferece oportunidades para uma organizao aprender com seu prprio trabalho e crescer. um mito que a avaliao s deva ocorrer quando h mandato para tal. Muitos programas requerem avaliao como forma de prestao de contas. Isto pode ser visto como til, quer por quem financia, quer por quem gere e implementa o programa. As avaliaes solicitadas pelos responsveis pelo programa/projecto so mais propensas a tratar de questes que podem introduzir melhorias no programa/projecto do que aquelas que so impostas por outras entidades. De facto, estas avaliaes (sejam elas internas, externas ou mistas) tm mais probabilidade de serem tidas em considerao para introduzir melhorias imediatas, com incorporao das suas lies e recomendaes. O processo de aprendizagem reforado atravs do envolvimento de quem gere e implementa o programa/projecto em todas as fases da avaliao. Mito 5 A avaliao uma cincia e deve ser feita apenas por especialistas em avaliao Realidade: A avaliao pode usar metodologias complexas. Contudo, para participar numa avaliao no tem que se ser especialista em avaliao. Estamos constantemente a fazer apreciaes informais sobre o nosso trabalho e o dos outros. Para participar numa avaliao preciso ter alguns conhecimentos sobre avaliao e usar as ferramentas adequadas, tendo subjacente o conceito de avaliao: uma recolha sistemtica de informaes sobre um

programa, que permite aos interessados entend-lo melhor, melhorar a sua eficcia e/ou tomar decises sobre a programao futura. As avaliaes requerem algumas competncias tcnicas, que podem se obtidas atravs de ferramentas amplamente disponveis. Nem sempre preciso contratar um consultor externo, sobretudo quando h uma unidade funcional e competncias sobre avaliao na organizao. o caso do Gabinete de Avaliao e auditoria Interna (GAAI) do IPAD. O envolvimento dos tcnicos das unidades orgnicas do IPAD em exerccios de avaliao interna ajudaram a criar uma cultura de avaliao e a uma reflexo mais aprofundada sobre a eficcia das intervenes da cooperao para o desenvolvimento. Mito 6 As avaliaes externas so melhores, mais objectivas Realidade: A justificao para o uso de avaliaes externas normalmente associada ideia de que "no se pode ser juiz em causa prpria." um mito que s as avaliaes externas so teis ou vlidas. Os avaliadores externos so teis para fazer uma apreciao independente e objectiva, especialmente nos programas em que o principal objectivo da avaliao prestar contas. Tambm podem ajudar a organizao a ter um outro olhar, mais distanciado. Contudo, as avaliaes internas tambm podem ser rigorosas e relevantes. De facto, porque so, na maior parte das vezes, participativas em todas as fases, as suas constataes e recomendaes podem ter maior aceitao e maior probabilidade de serem implementadas. A opo deve ser feita em funo dos objectivos, do tempo e dos recursos disponveis, havendo sempre a possibilidade de uma abordagem mista. Quando as questes so de especial complexidade ou controvrsia e/ou quando no h competncias em reas especficas a opo deve ser por uma avaliao externa. Mas, por vezes, as avaliaes externas so percebidos como uma interferncia do exterior, no aliada da equipa de gesto. Nestes casos, o processo de avaliao pode culminar na produo de um relatrio que nunca usada na gesto ou na tomada de decises. Noutras situaes, nomeadamente nas avaliaes formativas, no percurso, quando o que est em causa , sobretudo, a aprendizagem e incorporao de lies e no tanto a prestao de contas, as avaliaes internas, com abordagens participativas, podem envolver todos os detentores de interesse e ser mais relevantes para a organizao. Mito 7 H um "modelo-tipo" para fazer avaliao Realidade: No h uma melhor forma, ou um padro para realizar uma avaliao. Pode haver abordagens melhores que outras na resposta a determinado tipo de questes ou preocupaes. Contudo, todos os tipos de abordagens tm as suas fraquezas e limitaes. Os mtodos a utilizar devem ser escolhidos em funo do objectivo da avaliao e das suas

questes. A deciso quanto abordagem a usar pode ser tomada conhecendo as alternativas e determinando qual a que melhor responde situao especfica. Algumas avaliaes requerem quantificao e medio enquanto outras requerem dados descritivos, qualitativos e mais do domnio das percepes. Numa ptica de gesto centrada nos resultados, cada organizao o "especialista" do seu plano de resultados. Pode comear pelo mais simples e ir aprendendo medida que avana no planeamento e na implementao das intervenes. Mito 8 H demasiadas variveis para fazer um bom estudo. A relao entre aco e resultados muito complexa. A atribuio difcil Realidade: H tendncia para exagerar a dificuldade de avaliar os sectores sociais, e por vezes tambm a cooperao para o desenvolvimento. difcil mas no impossvel. As iniciativas dos sectores sociais so, por definio, destinadas a mudar as condies de vida de um determinado grupo-alvo. Afectam as condies em que as pessoas se desenvolvem como indivduos, como membros de uma famlia e/ou como cidados. Esta caracterstica do "social" implica que as relaes entre determinadas aces e suas consequncias sejam particularmente sensveis ao contexto cultural, econmico, social, etc. A sensibilidade a contextos mltiplos implica que as variveis associadas aos resultados de intervenes sociais possam ser afectados por iniciativas e dinmicas mltiplas, em determinado momento. Na promoo do desenvolvimento dos pases parceiros, a ajuda apenas uma parte da equao (e na maior parte das vezes a menos importante), colocando dificuldades na identificao de relaes de causa-efeito, importantes para a atribuio. por isso que as avaliaes de impacto so difceis e esto no centro do debate actual, bem como a necessidade de avaliar o desenvolvimento e no tanto a ajuda. A natureza das iniciativas sociais inclui ainda outra dimenso que aumenta a complexidade dos processos de avaliao e dificulta a atribuio: a temporal. Muitos dos objectivos pretendidos s so atingidos num prazo relativamente longo, muitas vezes muito tempo depois de terem sido implementadas as aces. Mito 9 O momento no o mais oportuno para fazer uma avaliao Realidade: Uma preocupao de quem implementa os projectos/programas em relao avaliao que os resultados sejam analisados antes de poderem ser visveis os seus impactos. Assim, uma avaliao pode mostrar um projecto prematuramente como um fracasso, com base em resultados preliminares. Isso pode levar a tenses entre o avaliador e o gestor da interveno. O momento em que se faz uma avaliao depende dos seus objectivos. Uma avaliao no percurso (formativa) no pode medir efeitos e impactos porque estes s so visveis a

mdio/longo prazo. preciso deixar passar o tempo necessrio se se quiser fazer uma avaliao sumativa (de impacto). Mas, as avaliaes so, muitas vezes, mais teis se realizadas quando o trabalho est em curso (avaliaes no percurso, formativas) para que os resultados da avaliao possam fornecer feedback atempado para melhorar a implementao e os resultados das intervenes. Mito 10 A eficcia de alguns programas/projectos no pode ser medida Realidade: Existem alguns sectores e tipos de projectos em que mais difcil realizar uma avaliao, nomeadamente de impacto. As intervenes nos sectores sociais tendem a ter impacto econmico e social e difcil desenvolver um contrafactual razovel para isolar os seus efeitos. Tambm difcil medir o impacto de programas na rea da governao e das mudanas nas instituies. Embora estes programas possam ter um grande efeito, difcil separar os esforos da cooperao de outras mudanas na economia. Alguns resultados so intangveis e multidimensionais, mas nem por isso no so verificveis e/ou mensurveis. A escolha dos mtodos a utilizar depende das questes e dos objectivos da avaliao, podendo sempre optar-se por utilizar mtodos mistos (quantitativos e qualitativos). A atribuio tambm difcil em modalidades de ajuda como o apoio sectorial integrado (SWAp) ou o apoio ao oramento. Estas novas modalidades de ajuda colocaram novos desafios avaliao. Nos ltimos anos tem-se assistido a um aprofundamento metodolgico, embora ainda haja um longo caminho a percorrer, e esta temtica est no centro do debate na comunidade de avaliao da cooperao/desenvolvimento, como o comprovam as iniciativas do NONIE2 e do 3IE3. Em vez da rejeio do processo de avaliao, preciso encontrar os indicadores adequados que possam ser utilizados na avaliao. Mito 11 Os dados quantitativos so melhores que os qualitativos. Os mtodos qualitativos so menos rigorosos e menos "cientficos" Realidade: As avaliaes que dependem fortemente de mtodos qualitativos so, por vezes, vistas como uma forma "preguiosa" de realizar estudos, que carecem de rigor cientfico e conduzem a resultados conclusivos sobre os resultados do programa. Na realidade, ambos os mtodos, qualitativos e quantitativos, so componentes importantes de uma avaliao abrangente e til. A maior parte das avaliaes usa mtodos qualitativos e quantitativos, de forma complementar. A diferena entre os mtodos de pesquisa qualitativa e quantitativa no est no seu rigor ou preciso comparativa, mas sim no tipo de perguntas a que devem responder.

2 3

Network of Networks for Impact Evaluation: http://www.worldbank.org/ieg/nonie/ The International Initiative for Impact Evaluations: http://www.3ieimpact.org/

Os mtodos de pesquisa qualitativa (atravs de entrevistas, grupos focais, painel de peritos, etc.), so usados para recolher evidncias sobre as experincias e perspectivas dos participantes do programa, para ajudar a explicar o como e o porqu de um programa e no apenas se ele funciona, ou seja, so mais utilizados para responder a questes descritivas. Responder a estas perguntas exige uma abordagem metdica e meticulosa para planear e implementar o processo de recolha de dados, por exemplo, atravs da construo de guies de entrevista eficazes e desenvolvimento de um esquema para a codificao e interpretao das respostas. H ferramentas informticas, como o caso do SPSS (Statistical Package for the Social Sciences), que podem ajudar a esta anlise. Dado o grande volume, a informao recolhida atravs de mtodos qualitativos pode ser mais difcil de analisar do que a recolhida atravs de mtodos quantitativos, tornando esta abordagem mais trabalhosa e subjectiva. Ao invs de ser uma maneira rpida e fcil de fazer pesquisa, os mtodos qualitativos envolvem muito tempo, experincia e competncias que devem ser consideradas no planeamento e implementao de uma avaliao. Para questes normativas e de causa-efeito, inerentes avaliao de impacto, so usados sobretudo mtodos quantitativos (questionrios, anlises estatsticas, etc.). Mito 12 A avaliao comunica o sucesso ou o fracasso de um programa / A avaliao de casos de sucesso assegura avaliaes positivas Realidade: Este mito assume que sucesso sinnimo de implementar o programa perfeito e que nunca necessrio ouvir ningum de novo. Na realidade isto no acontece. O sucesso envolve estar aberto ao feedback e ao ajustamento contnuo do programa em funo da realidade, a qual tambm ela mutante. A avaliao d esse feedback. A avaliao responde aos Termos de Referncia os quais vo muito alm do sucesso ou fracasso de um programa. Ela preocupa-se, antes de mais, com a aprendizagem: compreender o que correu bem e o que correu menos bem, e porqu, e, a partir da extrair lies e recomendaes que permitam melhorar a interveno futura replicar o que funciona e aperfeioar ou eliminar o que no funciona. Tambm inclui, sobretudo nas avaliaes ex-post, uma vertente de prestao de contas, mas tambm aqui possvel extrair lies e recomendaes para a interveno futura. Uma avaliao eficaz deve avaliar tanto os aspectos positivos como os negativos. Pode aprender-se muito sobre um programa atravs da compreenso dos seus fracassos e/ou oportunidades perdidas, o que ajudar a aumentar o conhecimento e a melhorar a programao futura. Isso no significa que uma avaliao deve concentrar-se apenas nos aspectos negativos. Os aspectos positivos devem ser realados para poderem ser replicados.

Mito 13 A avaliao uma tarefa dos doadores Realidade: Durante muito tempo persistiu a ideia de que a avaliao era uma tarefa exclusiva dos doadores, quer porque eram eles que financiavam os projectos/programas, quer porque no reconheciam competncia e independncia aos pases/beneficirios para fazer as avaliaes. Nos ltimos anos, sobretudo com a Declarao de Paris (2005), a ideia de parceria no desenvolvimento e o aprofundar de conceitos como os da apropriao, prestao de contas mtua e responsabilizao dos parceiros pelo seu desenvolvimento, vieram reforar a necessidade de criar capacidade de avaliao nos pases em desenvolvimento e de os envolver nos processos de avaliao de uma forma cada vez mais activa, no sentido de os coresponsabilizar pelos resultados alcanados.

Bibliografia
Afonso, M.; Ribeiro, M.; 2009, Avaliao Interna VS Externa, Documento de Trabalho n 3, GAAI/IPAD, http://www.ipad.mne.gov.pt/CentroRecursos/Documentacao/Documentos%20de%20Trabalho/Do cuments/aval_int_ext.pdf Asian Development Bank, 2006, Impact evaluation: methodological and operational issues, http://www.adb.org/Documents/Handbooks/Impact-Analysis/Impact-Analysis.pdf Carter, McNamara, sd, A Basic Guide to Program Evaluation, http://www.tgci.com/magazine/A%20Basic%20Guide%20to%20Program%20Evaluation.pdf Evaluating Humanitarian Action (EHA), 2007, Introductions, http://www.alnap.org/pool/files/PS1.pdf EVALUATION BRIEF, Common Evaluation Myths and Misconceptions, September 2009, James bell associates, http://www.jbassoc.com/reports/documents/evaluation%20brief%20%20myths%20and%20misconceptions%20v3.pdf http://www.linvn.org/cms/upload/FCKFile/file/Workshop/Basic%20Guide%20to%20Outcomes%20Eval.pdf Improving Health Through Data and Evaluation, sd, http://www.dataco-op.org/assets/pdf/OrganizationalLearning-and-Evaluation-Readiness.pdf Innovation Network, sd, Dispelling Evaluation Myths, http://www.innonet.org/index.php?section_id=99&content_id=356 Jamie A.A. Gamble, 2008, A Developmental Evaluation Primer, The J.W. McConnell Family Foundation http://www.mcconnellfoundation.ca/assets/Media%20Library/Publications/A%20Developmental% 20Evaluation%20Primer%20-%20EN.pdf Maritza Concha, sd, Program Evaluation http://www.cohpa.ucf.edu/cpnm/documents/Program_evaluation_trainingfinal11-3-10.pdf McNamara, C., 2006, Basic Guide to Outcomes-Based Evaluation for Nonprofit Organizations with Very Limited Resources, http://managementhelp.org/evaluation/program-evaluation-guide.htm Mokate, K. M., 2000, El monitoreo y la evaluacin: herramientas indispensables de la gerencia social http://decon.edu.uy/100jovenes/materiales/sgNC-20.pdf Othieno, J. 2011, Outcome Based Evaluation: Planning, Process & Implementation, http://www.healtorture.org/files/files/Outcome%20Based%20Evaluation%20final.pdf Outcome Measures, sd, http://www.datacounts.net/mch2015/documents/Resources/Logic%20Model/OutcomeMeasures %20-%20Eval%20Presentation.pdf Thereza Penna Firme, 1994, Mitos na avaliao: diz-se que..., Revista Ensaio, n.1, vol. 2, p. 57-62, out./dez. Tompkins, S.A., 2011, How to make your program/organization count: the importance of evaluation, http://www.mountainrpd.org/Evaluation_Tompkins_RPD_2011.pdf U. S. Department of Education, 2008, Program Evaluation, http://www2.ed.gov/programs/nathawaiian/program.pdf