AVALIAO DE POLTICAS PBLICAS Isaura Belloni A avaliao de poltica pblica um dos instrumentos de

aperfeioamento da gesto do Estado que visam ao desenvolvimento de aes eficientes e eficazes em face das necessidades da populao. A escassez de literatura terica e sobre experincias avaliativas recomenda criteriosa discusso conceitual e metodolgica com vistas construo de instrumentos teis e substantivos para a consolidao da rea. Nesta parte do trabalho esto apresentados pontos de reflexo acerca de diferentes concepes de avaliao, com nfase na avaliao educacional, institucional e de polticas pblicas. 1 Concepo de avaliao Avaliar uma ao corriqueira e espontnea realizada por qualquer indivduo acerca de qualquer atividade humana; , assim, um instrumento fundamental para conhecer, compreender, aperfeioar e orientar as aes de indivduos ou grupos. uma forma de olhar o passado e o presente sempre com vistas ao futuro. Faz parte dos instrumentos de sobrevivncia de qualquer indivduo ou grupo, resultado de uma necessidade natural ou instintiva de sobreviver, evitando riscos e buscando prazer e realizaes. A este processo natural, instintivo, assistemtico pode-se denominar de avaliao informal. Tal atitude e procedimento avaliativo podem ser adequados e suficientes para as necessidades e usos individuais. , no entanto, inadequado e insuficiente quando se trata de instituies ou de aes (programas ou polticas) de grande vulto ou de impacto social. Nesses casos, faz-se necessrio um processo avaliativo com caractersticas distintas e com possibilidades de compreender todas as dimenses e implicaes da atividade, fatos ou coisa avaliada. Este processo pode ser denominado de avaliao formal ou sistemtica1.
1

Aguilar e Ander-Egg (1994:18) fazem a mesma distino entre a avaliao informal e avaliao sistemtica, ainda que adotem significado ligeiramente distinto.

Nesta perspectiva, entende-se avaliao como um processo sistemtico de anlise de uma atividade, fatos ou coisas que permite compreender, de forma contextualizada, todas as suas dimenses e implicaes, com vistas a estimular seu aperfeioamento. Portanto, o conceito de avaliao, aqui adotado, refere-se anlise de processos e de produtos ou resultados de uma atividade, fatos ou coisas. Est construdo, tendo como objeto de avaliao, primordialmente, instituies ou polticas. Nesse caso, contempla a atividade a ser avaliada de um modo global, a saber: os processos de formulao e desenvolvimento, as aes implementadas ou fatos ocorridos, assim como os resultados alcanados, histrica e socialmente contextualizados. No se trata, desse modo, apenas do exame comparativo entre o proposto e o alcanado. Esta metodologia, que aprecia o grau de consecuo de objetivos e metas predefinidos, considerada insuficiente, pois no possibilita a contextualizao da atividade ou fato, seja de sua formulao e implementao, seja de suas consequncias e implicaes. A comparao entre objetivos e resultados apenas uma parte do processo avaliativo e no oferece os elementos necessrios para o sistemtico aperfeioamento da atividade, instituio ou poltica pblica avaliada.

2 Algumas concepes de avaliao Ainda que no seja objetivo deste trabalho fazer ampla discusso sobre o assunto em pauta, uma primeira distino a ser feita aquela entre avaliao educacional que se refere avaliao de aprendizagem ou de desempenho escolar ou profissional, bem como avaliao de currculos e avaliao institucional - que se destina avaliao de polticas, de planos ou projetos e de instituies. A avaliao educacional concentra-se na avaliao de situaes de aprendizagem, isto , quando um indivduo ou grupo so submetidos a processos ou situaes com vistas aquisio de novo conhecimento, habilidade ou atitude; refere-se, assim, anlise de desempenho de indivduos ou grupos, seja aps uma situao de aprendizagem ou, regularmente, no

exerccio de uma atividade, em geral, profissional. , tambm, avaliao educacional aquela que se destina anlise de currculos ou programas de ensino, seja de um curso (ex.: engenharia ou pedagogia), seja de um nvel de ensino (ex.: ensino fundamental), seja de uma modalidade (ex.: magistrio de nvel mdio), seja de curso de formao profissional de curta durao (ex.: panificao). A avaliao institucional tem como objeto instituies ou polticas pblicas 2, em especial, as polticas setoriais. Refere-se, tambm, avaliao de instituies prestadoras de servios pblicos, como educao, sade, dentre outras. Considera que a avaliao de planos e projetos deve ser inserida no mbito da poltica da qual fazem parte dentro de um contexto de poltica global. A avaliao de polticas implementadas por instituies no governamentais principalmente as no lucrativas de carter associativo assemelha-se avaliao de polticas pblicas3.

2.1 Avaliao educacional Revisando a literatura das dcadas de 60 a 80 acerca de avaliao de currculos, Saul4 destaca a existncia de quatro modelos principais, os quais, de certo modo, expressam as tendncias na rea: avaliao para a tomada de deciso (Stuflebeam), avaliao de mrito (Scriven), avaliao iluminativa (Parlet & Hamilton) e avaliao responsiva (Stake). Na literatura brasileira de avaliao educacional, a autora destaca publicaes do final dos anos 70 5, em especial o aparecimento da revista Educao e Avaliao. A rea da avaliao educacional tem-se desenvolvido de forma ampla e sistemtica, com grande contribuio para a melhoria do processo de ensino e de aprendizagem e da
2

No se examinam, aqui, as caractersticas de avaliao de instituies empresariais, mesmo tratando-se de empresas pblicas ou mistas. Considera-se que o carter lucrativo do empreendimento altera profundamente a ideia de misso institucional e, portanto, a concepo de avaliao; nesse caso, possvel que a adoo de metodologias voltadas para a aferio de eficincia e eficcia, como controle de qualidade total ou outras, seja mais apropriada. 3 Belloni (1997d). 4 Saul (1988:35-39). 5 Entre outros autores da rea deve-se destacar as publicaes de Marli Andr, Joel Martins, Mere Abramowicz, Maria Amlia Goldemberg, Sigmar Malvesi, Ramon Moreira Garcia e Clariza P. de Souza.

organizao curricular6 nos sistemas formais de ensino e tambm na educao no formal, como pode ser o caso da educao profissional. Saul define sua proposta de avaliao emancipatria
como um processo de descrio, anlise e crtica de uma dada realidade, visando transform-la. Destina-se avaliao de programas educacionais ou sociais. Ela est situada numa vertente poltico-pedaggica cujo interesse primordial emancipador, ou seja, libertador, visando provocar a crtica, de modo a libertar o sujeito de condicionamentos deterministas. O compromisso principal desta avaliao o de fazer com que as pessoas direta ou indiretamente envolvidas em uma ao educacional escrevam a sua prpria histria e gerem as suas prprias alternativas de ao7.

A autora define trs momentos do processo avaliativo: descrio da realidade; a crtica da realidade e a criao coletiva; e determina que, entre outras condies e habilidades, o avaliador, preferencialmente, deve fazer parte integrante da equipe de planejamento e desenvolvimento do programa 8. Neste sentido, a avaliao emancipatria parece definir-se como uma estratgia de autoavaliao. A emancipao, dimenso poltica de seu objetivo, relevante e pertinente tambm avaliao institucional. No entanto, a exigncia metodolgica de participao do avaliador na equipe de planejamento e desenvolvimento do projeto avaliado reduz sua aplicabilidade a projetos ou polticas de grande porte. Tal procedimento pode levar indesejada fuso de papis entre formulao e avaliao, com implicaes mltiplas no sentido da dessignificao dos procedimentos avaliativos. A necessidade de autonomia do processo avaliativo, bem como a relevncia da combinao de avaliao externa e autoavaliao, sero examinados nas prximas sees. Jussara Hoffmann9, por sua vez, trata a avaliao como uma das mediaes pela qual se encorajaria a reorganizao do saber. Ao, movimento, provocao, na tentativa de reciprocidade intelectual entre os elementos da ao educativa. Professor e aluno buscando coordenar seus pontos de vista, trocando ideias, reorganizando-as. Nessa perspectiva, o erro construtivo, ou seja, a verificao de respostas certas ou erradas encaminha-se
6 7

Destacam-se, entre outros, os estudos desenvolvidos por Menga Ldke e Ilma Passos. Saul (1988:61). 8 Idem, p. 63. 9 Hoffmann (1991:67).

num sentido investigativo e reflexivo do professor sobre as manifestaes dos alunos. As solues buscadas pelo aluno para as alternativas propostas pelo professor so produzidas de acordo com a lgica das vivncias do educando. A compreenso da avaliao como estratgia de soluo de problemas e aperfeioamento das aes elemento comum entre avaliao educacional e avaliao de polticas e de instituies.

2.2 Avaliao institucional e de poltica pblica Esta modalidade de avaliao ainda carece de maior aprofundamento terico e metodolgico. Uma breve anlise da literatura e da prtica na rea indica fluidez conceitual e metodolgica, grande dose de amadorismo e empiricismo, assim como frequente escassez de critrios e de clareza acerca da relevncia e utilidade dos resultados. Cohen e Franco apontam a necessidade de elevar o grau de racionalidade das polticas e, a partir da, consideram que:
A avaliao de projetos sociais tem um papel central neste processo de racionalizao e um elemento bsico do planejamento. No possvel que estes sejam eficazes se no forem avaliados os resultados de sua aplicao. Por isso, dispor de avaliaes ex-post de projetos em cursos ou j realizados fundamental para melhorar os modelos. Desse modo, a avaliao ex-ante permite escolher a melhor opo dos programas e projetos nos quais se concretizam as polticas10.

Aguilar & Ander-Egg propem a seguinte definio de avaliao:

A avaliao uma forma de pesquisa social aplicada, sistemtica, planejada e dirigida; destina-se a identificar, obter e proporcionar de maneira vlida e confivel dados e informaes suficientes e relevantes para apoiar um juzo sobre o mrito e o valor dos diferentes componentes de um programa (tanto na fase de diagnstico, programao e execuo) ou de um conjunto de atividades especficas que se realizam, foram realizadas ou se realizaro, com o propsito de produzir efeitos e resultados concretos; comprovando a extenso e o grau em
10

Cohen & Franco (1993:16).

que se deram estas conquistas, de tal forma que sirva de base ou para uma tomada de decises racional e inteligente entre cursos de ao, ou para solucionar problemas e promover o conhecimento e a compreenso dos fatores associados ao xito ou fracasso de seus resultados11.

Certamente, parte das proposies voltadas para a avaliao educacional, anteriormente apontadas, so adequadas s caractersticas e necessidades da avaliao institucional e de polticas pblicas. Considerando os modelos brevemente referidos, pode-se estabelecer algumas aproximaes entre avaliao institucional e a educacional. A avaliao institucional deve buscar uma compreenso da realidade (avaliao iluminativa de Parlet & Hamilton); deve estar voltada para o processo decisrio (avaliao voltada para a tomada de deciso de Stuflebean); deve responder a questionamentos (avaliao responsiva de Stake); pode possibilitar a identificao de mrito ou valor (avaliao de mrito de Scriven). Sem dvida, beneficia-se das principais proposies da avaliao participativa, em especial seus objetivos e nfase na participao dos sujeitos integrantes da instituio ou poltica a ser avaliada. Belloni, quando da proposta de avaliao institucional da Universidade de Braslia, em 1998 ressaltava;
(...) dois objetivos, considerados como bsicos, a serem alcanados por uma avaliao institucional. Em primeiro lugar ela deve promover uma autoconscincia da instituio. A avaliao adquire importncia na medida em que permite aos indivduos envolvidos conhecerem as limitaes com as quais trabalham, bem como sugere um marco de identificao com os ideais buscados na construo da Universidade e sociedade utpicas. Ao garantir as informaes necessrias para tomada de deciso por parte daqueles a quem esta competncia foi delegada em todos os nveis, a avaliao realiza o seu segundo objetivo. (...) Politicamente, assumir a avaliao implica na deciso da instituio de tomar para si a capacidade de intervir no processo de produo acadmica, bem como proporcionar espaos participao responsvel e consciente, tendo em vista o aperfeioamento cada vez maior das atividades exercidas pela Universidade12.

11 12

Aguilar & Ander-Egg (1994:31-32). Belloni, I. e outros (1988a:12-13).

Na mesma direo, dada nfase aos aspectos qualitativos e ao compromisso poltico da avaliao:
A avaliao do desempenho de instituies educativas de nvel superior tem como finalidade a constante melhoria da qualidade e da relevncia, cientfica e poltica, das atividades desenvolvidas13.

Na avaliao realizada da poltica de formao sindical, de uma entidade de trabalhadores brasileiros, ficou explicitado o carter global e sistemtico da avaliao, assim como seu objetivo voltado para o aperfeioamento da atividade:
H sempre o momento em que toda obra humana necessita ser colocada em situao crtica, como condio mesmo de sua continuidade. (...) A avaliao deve abranger no apenas as atividades, mas tambm a prpria estratgia, sem contudo perder de vista que o foco da avaliao (...) sua lgica interna14.

2.3 A multiplicidade da avaliao A partir destas breves explanaes, oportuno destacar que as concepes de avaliao podem ser agrupadas em diferentes conjuntos, considerando ticas ou critrios distintos: (1) de acordo com a concepo de avaliao adotadas e os objetivos visados; (2) segundo o momento em que se realiza, contemplando elementos histricos condicionantes do objeto (atividade, fato ou coisa) avaliado; (3) quanto ao tipo ou procedncia dos sujeitos envolvidos, no processo avaliativo, enquanto sujeitos polticos. Esta distino analtica ajuda a compreender as diferentes nfases adotadas e a explicitar os

13 14

Belloni (1989:64). Belloni (1997d:25).

limites e abrangncia envolvidos, seja nas concepes apresentadas na literatura, seja nos processos avaliativos efetivamente implementados. Do ponto de vista da concepo de avaliao, pode-se considerar os seguintes tipos principais: (1) avaliao como comparao entre uma situao ou realidade dada e um modelo ou perspectiva definida previamente; (2) avaliao como comparao entre proposto e realizado, isto , comprovao do atendimento de objetivos e metas; (3) avaliao como processo metdico de aferio de eficincia e eficcia; (4) a avaliao como instrumento de identificao de acertos e dificuldades com vistas ao aperfeioamento. Quanto ao momento em que se realiza o processo avaliativo, a avaliao pode ser15: (1) diagnstica, quando realizada antes da ao, isto , antes da definio (tomada de deciso) ou da implementao de uma ao ou poltica, e pode ter como objetivos tanto a identificao de prioridades e metas, quanto estabelecer parmetros de comparao para avaliao a posteriori; (2) processual, quando desenvolvida durante o processo de implementao da ao avaliada, muitas vezes confundindo-se com o processo de acompanhamento e controle; (3) global, quando se realiza ao final da implementao ou execuo e tem como objeto tanto o processo de formulao e implementao, como os resultados e implicaes da atividade ou poltica avaliada. Considerando os sujeitos do processo avaliativo, que so sempre sujeitos politicamente situados no mundo, a avaliao pode ser: (1) interna ou autoavaliao, quando o processo conduzido por sujeitos diretamente participantes das aes avaliadas; (2) externa, quando conduzida por sujeitos externos e independentes da formulao, implementao ou dos resultados da ao avaliada; (3) mista, quando envolve estes dois grupos de sujeitos; (4) participativa, que um tipo de autoavaliao apropriada a processos participativos nos quais a populao-alvo participa tanto da formulao quanto da implementao da ao avaliada16. Observa-se, ainda, que algumas definies de avaliao so operacionais, voltadas para descrio do processo avaliativo, enquanto outras so finalsticas, pois centradas nas finalidades da avaliao. Em geral, a
15 16

Aguilar & Ander-Egg (1994:60-61); Cohen & Franco (1993:108-109); e Freitas & Silveira (1997:23). Cohen & Franco (1993:114).

maioria das concepes congrega elementos de ambas; outras so efetivamente conceituais ou filosficas, pois conseguem explicitar o significado mais amplo da ao avaliativa, no se detendo na especificao de objetivos ou do processo de implementao da avaliao, fundamentando-se na reflexo ou questionamento radical do objeto, da especificidade e dos prprios sujeitos da avaliao, na perspectiva da pesquisa de nexos desconhecidos e do aporte de conhecimentos novos, que contribuam para a explicitao da atividade, do fato ou da coisa submetida avaliao.

Referncia

BELLONI. Isaura; MAGALHES, Heitor de; SOUSA, Luzia Costa de. Metodologia de avaliao em polticas: uma experincia em educao profissional. 3. ed. So Paulo: Cortez, 2003, p. 14-25. Coleo Questes da Nossa poca. v. 75.