CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

temaS em DEBATE

CONTROVRSIAS
SOBRE POLTICAS
DE ALTO IMPACTO
NIGEL BROOKE

336 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

para pensar, preparei estes comentrios adicionais sobre o importante depoimento do professor Luiz Carlos de Freitas
em 30 de novembro de 2012, em evento organizado pela Fundao
Carlos Chagas. Naquela ocasio, Luiz Carlos reformulou uma fala previamente preparada para responder minha exposio do dia anterior,
aceitando o convite ao dilogo que lhe havia proposto. Logo a seguir,
fui convidado a responder e algumas das minhas respostas recebem um
detalhamento maior neste texto. Agora, como um tempo a mais para
olhar a transcrio da fala do Luiz Carlos, pude extrair com mais preciso o significado dos seus argumentos.
Com essa troca de ideias, conseguimos estabelecer um dilogo
bastante incomum em se tratando de assunto polmico, a accountability.
Para localizar esse debate no terreno da gesto pblica, deixamos de
lado algumas das nossas crenas mais doutrinrias e focalizamos os elementos que determinaro se a poltica de accountability trar benefcios
ou prejuzos para a educao brasileira. Espero que estes novos comentrios ajudem a esclarecer as diferenas de opinio que esto subjacentes nossa discusso.
OM MAIS UM POUCO DE TEMPO

As observaes
Concordo com Luiz Carlos que estamos vivendo um aumento de exemplos de polticas de accountability, sobretudo na forma de sistemas de
bonificao para escolas. Discordo, no entanto, que haja uma inevitabilidade nesse processo a ponto de nossos modelos de accountability

Nigel Brooke
Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 337

serem os mesmos e terem as mesmas consequncias que os dos Estados

Unidos. Retornarei a este assunto. Discordo tambm que as decises das
Secretarias de Educao SEEs de formular polticas de accountability,
notadamente de bonificao, esto sendo tomadas sob a presso ou influncia da indstria da avaliao que, segundo Luiz Carlos, ocupa um
mercado de 1,4 trilho de dlares nos Estados Unidos e est em plena
expanso no Brasil. Penso que os gestores esto propensos a introduzir
essas polticas em razo da urgncia ditada por prazos polticos, pela
distncia que separa nossos sistemas dos sistemas educacionais mais
bem-sucedidos no mundo e tambm pela tese de que, por diversos vcios
da estrutura do servio pblico e da profisso de magistrio, faltam incentivos para as escolas darem prioridade aprendizagem. No princpio
desse processo, na dcada de 1990, no havia sequer especialistas para
atender s demandas das Secretarias no campo da avaliao e muito
menos empresas de avaliao e assessoria para compelir os gestores a
agirem de certa maneira. E como explicar a diversidade de polticas,
incluindo os estados que no querem a bonificao de jeito nenhum? O
avano mecanicista das polticas de accountability, devido aos ditames do
mercado sugerido por Luiz Carlos, retira dos gestores a sua autonomia
poltica e minimiza a influncia da cultura organizacional na formulao de poltica educacional.
No h dvidas de que houve grande expanso na constituio
de fundaes e empresas de prestao de servios educacionais aos rgos pblicos, tanto na aplicao dos instrumentos de avaliao quanto
na oferta de produtos voltados para a melhoria do ensino. Na verdade,
a reformulao do Sistema Nacional de Avaliao da Educao Bsica
Saeb em meados da dcada de 1990, em razo da falta de capacidade
tcnica dos rgos governamentais, exigiu a abertura de concorrncia
pblica destinada contratao de fundaes e empresas especializadas do setor privado, acendendo, assim, uma luz verde para o mercado.
Nada indica que o resultado desse processo de expanso tenha sido pernicioso; ao contrrio, a consequncia desse novo modelo, seguido por
todos os instrumentos federais e estaduais posteriores, foi o desenvolvimento de metodologias avaliativas que em muito contriburam para a
posio de destaque do Brasil nesse campo.
Se olharmos para a descrio do mercado de avaliao e assessoria na Inglaterra, a diversidade e volume assustam um pouco (BALL,
2008). Mas, mesmo nesse contexto, o prejuzo mais filosfico, pela
perda do monoplio do Estado na prestao de servios educacionais, do
que prtico, em termos de uma deturpao dos propsitos e resultados
da educao pblica. Ou seja, todos esto vendo sinais do crescimento de
um mercado de servios educacionais, e lamentar no ter previsto isso
sugere que o avano desse mercado seja um problema. Sei que a prpria
palavra mercado pode ser um sinal de perigo para alguns. Contudo,

CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

338 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

1
Luiz Carlos discorda quando
afirmo que a tendncia ao
centro pode prejudicar os
alunos mais fracos. Ele tem
toda razo em dizer que
temos de nos preocupar
com todos os alunos. O
que eu argumentava que
a tendncia ao centro s
acontece quando se usa um
critrio do tipo ponto de
corte (por exemplo, passar/
no passar), quando o
esforo do professor para
conseguir que o nmero
mximo de alunos atinja
o critrio. Em contraste
com isso, quando o critrio
a mdia do grupo, ou,
melhor ainda, quando a
proporo de alunos em
cada faixa de desempenho,
como no caso de So Paulo,
o esforo do professor
precisa estar distribudo
entre todos os alunos.
Nesse caso, a accountability
estar contribuindo para a
equidade pela reduo da
diferena nos resultados dos
diferentes grupos de alunos.

nesse caso, pode ser exatamente o que precisvamos para incentivar,

agilizar e sofisticar os servios de apoio s escolas e aos professores.
Portanto, acho que o pessimismo perante esses avanos no procede.
Voltando questo da accountability e suas origens no avano do
mercado, Luiz Carlos admite que possam existir diversas formas dessa
poltica. A forma no aprovada a accountability verticalizada, fruto da
chamada cultura de auditoria, em que h uma relao hierrquica entre quem cobra e quem cobrado pelo sistema de accountability. Nesse
momento, Luiz Carlos no entra em detalhes sobre as outras formas de
accountabilty, mas deixo a minha concordncia enftica em relao ao
fato de que impossvel resolver os problemas do enorme passivo educacional brasileiro com solues de curto prazo, includas polticas improvisadas de accountability. Uma parte da minha argumentao justamente sobre a necessidade de refletir e aprimorar os modelos de poltica
pblica e de no implantar novas polticas sem critrios. Uso o exemplo
da bonificao para mostrar que h diversas maneiras de estabelecer
o desempenho da escola, de calcular a contribuio da equipe escolar,
de eliminar as possveis tendncias ao centro1 e de criar mecanismos
que possam promover tanto a equidade quanto a colaborao entre escolas. Falo tambm da importncia crucial do prprio instrumento de
medio que pode fazer toda a diferena entre efeitos positivos e efeitos
perversos. Argumento que isto leva tempo pela necessidade de acompanhar as polticas em implantao e de pesquisar suas consequncias.
Argumento ainda que a eficcia da poltica de accountability depende
dessa pesquisa, na medida em que os resultados so consequncia da
qualidade tcnica da poltica implantada.
Se as outras formas da accountability forem as mesmas defendidas recentemente por Afonso (2012), em publicao editorada por
Luiz Carlos, d para entender sua observao sobre a necessidade de
um tempo maior para a implantao dessa poltica. Tanto a proposta
de Accountability Inteligente como a de Accountability Democraticamente
Avanada, defendidas por Afonso, requereriam, para a escola, uma reengenharia social e institucional de tal tamanho que a obra ficaria eternamente incompleta. Haveria necessidade de instrumentos avaliativos
diversos com abordagens mais inclusivas e deliberativas, abrangendo
grupos de discusso e fruns pblicos, tempos mais longos e mudanas
nos valores de todos os grupos sociais envolvidos para atenuar as desigualdades de poder e outras assimetrias. Por mais que se queira fugir
das solues de curto prazo, sugerir como alternativa accountability baseada na avaliao quantitativa, um mundo novo, hipottico, sem exemplos conhecidos, e cuja viabilidade prtica parece duvidosa, mais uma
vez, retira a discusso do campo das polticas pblicas.
A crtica accountability verticalizada com base na metfora da
cultura da auditoria transmite a ideia de uma fiscalizao intrusiva sem

Nigel Brooke

aviso prvio contra alguma suspeita de malversao de fundos. Eis o

problema com metforas a gente nem sempre sabe qual o significado
exato! Mas se a auditoria for definida como:
Exame sistemtico das atividades de uma empresa ou organizao, ou dos resultados de uma ao governamental, visando estabelecer se determinados objetivos esto sendo atingidos de
forma adequada, segundo normas ou padres preestabelecidos.
(FERREIRA, 2010)

Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 339

Estaramos pedindo demais? No caso do setor educacional brasileiro, a auditoria proposta pela accountability no vai to longe. Apesar
de conter todos os elementos de avaliao, prestao de contas e responsabilizao, o que ela realmente fornece ao gestor um contexto para a
comparao de escolas.
Esta pode ser uma das questes centrais. Deve existir ou no o
uso dos resultados das avaliaes para efeitos de comparao de escolas?
Para alguns, a premissa fere a autonomia e sujeita a escola a um processo de checagem inevitavelmente imperfeito. Desenvolver polticas com
base nessa comparao, geralmente restrita a poucos elementos quantitativos, um equvoco, pela impossibilidade de criar mecanismos acurados e justos, compatveis com a seriedade das consequncias. Para outros, entre os quais me incluo, a comparao de escolas no est fora dos
limites, nem filosoficamente nem em termos prticos. A comparao
de escolas um procedimento legtimo na tentativa de identificar tanto
aquelas instituies com dificuldade de desempenhar seu trabalho com
eficcia quanto aquelas que possam servir como fonte de aprendizagem
para as outras. Na sua tarefa de monitorar as escolas, a comparao
permite que o gestor identifique imediatamente aquelas que esto com
resultados destoantes ou, simplesmente, abaixo da mdia. A mdia pode
no ser a medida ideal, por ser meramente normativa, mas no esforo
de melhorar a qualidade da rede como um todo, ela serve como parmetro. Poder contar com o valor agregado da escola ou de grupos de alunos
dentro dela permitiria comparaes ainda melhores. Num mundo futuro de critrios de desempenho prefixados e expectativas de aprendizagem j consagradas, a comparao de escolas deixaria de ser um instrumento to importante, mas, enquanto no existirem esses consensos,
limitar o uso do mtodo comparativo prejudica o trabalho do gestor.
O uso de comparaes no significa necessariamente o ranqueamento de todas as escolas na mesma escala. Primeiro, a comparao
s agrega informao para o gestor quando feita entre escolas em situao igual ou parecida, em termos de alunos e tambm em termos
de condies de funcionamento. Portanto, a comparao/ranqueamento
de todas as escolas deixa de ter propsitos de gesto. Segundo, mesmo

CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

340 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

*
O No Child Left Behind
(ou NCLB) uma lei
federal americana que
incide sobre a educao,
proposta originalmente
por George Bush, em 2001,
e aprovada como ato em
2002, com o objetivo de
melhorar o desempenho
das escolas americanas,
propiciando que todos os
alunos possam alcanar
os padres estaduais de
conhecimento acadmico,
desenvolvendo amplamente
suas potencialidades,
principalmente em leitura
e matemtica (UNITED
STATES, 2001). N. do E.

entre escolas iguais, a publicao dos resultados das comparaes precisa cumprir alguma funo ligada aos planos/projetos de desenvolvimento das escolas. (Penso em nosso contexto, no qual no h nenhuma pretenso de influenciar as escolhas dos pais com base na divulgao dos
resultados das escolas). Sem as consideraes sobre as possveis causas
das diferenas, o ranqueamento pouco contribui e pode at atrapalhar
as relaes entre a escola e seu entorno.
A outra questo central se legitimo usar a experincia dos
Estados Unidos como mapa para prever o desenvolvimento da verso brasileira de accountability. O argumento de Luiz Carlos tem lgica, pois, como
se originou nos Estados Unidos a nossa accountability, nada melhor que examinar as consequncias da poltica l para saber seus efeitos aqui. Minha
posio que no s existem diferentes modalidades de accountability, com
diferentes histrias e condicionantes, como tambm, ao adotar certo tipo
de accountability, iniciamos um novo processo de internalizao e adaptao
que pode levar a poltica a formatos inteiramente novos. Alm do mais, o
contexto cultural do seu novo lar tambm influenciar os resultados.
No entanto, minha proposta de que se faa uma distino entre a
accountability no Brasil e a accountability nos Estados Unidos foi interpretada como uma expresso de f, sendo livre, portanto, da obrigao de apresentar evidncias. Ao sustentar a existncia de diferenas nos contextos
brasileiro e americano e prever que a forma e os impactos das polticas
de accountability tambm seriam diferentes, eu estaria partindo para um
exerccio de f. Mas, sustentar o contrrio, ou seja, que a assimilao da
poltica de accountability do modelo americano inevitvel e seus efeitos
j predeterminados, parece-me uma petio de princpio bem maior.
Considero que, se olharmos para a histria, as diversas reformas ao longo
dos ltimos cinquenta anos que tiveram componentes importados, incluindo as reformas curriculares da dcada de 1960, a reforma universitria de 1968 e a da escola profissionalizante com a Lei n. 5.692/71, a verso
brasileira sempre se mostrou bastante diversa da sua original. Portanto,
no uma questo de idade, e sim uma questo cultural, de diferenas
fundamentais nos critrios que regem a cultura organizacional do sistema educacional e do servio pblico e o grau de autonomia do gestor
pblico. O fato de existirem propostas de emendas e outras peas de legislao que favorecem o avano da accountability no significa que vamos
criar uma cpia local do No Child Left Behind NCLB de 2001.* A concluso
a que chego que no devemos ficar impedidos de exercer um processo
legtimo de monitoramento e responsabilizao dentro dos limites e parmetros fixados pelos gestores brasileiros porque uma verso desvairada
dessa poltica ultrapassou os limites em outro lugar. Resta saber, no entanto, se a verso brasileira ter saldo positivo.
Sobre as evidncias dos efeitos da accountability, concordo plenamente com Luiz Carlos em relao aos trabalhos enviesados dos think

Nigel Brooke
Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 341

tanks e necessidade de estudos do tipo metapesquisa para poder discernir as tendncias. E foi exatamente isso que fiz ao apresentar a metapesquisa mais completa que encontrei sobre os efeitos da bonificao, a do Comit do Conselho Nacional de Pesquisa sobre Incentivos e
Accountability, baseada em testes (HOUT; ELLIOTT, 2011). Os estudos
que passaram pelo crivo rigoroso dos autores americanos foram poucos. Desses, os estudos localizados nos Estados Unidos mostraram resultados quase insignificantes. Os resultados dos estudos que atenderam
aos critrios de metapesquisa em outros pases, especificamente Israel,
ndia e Qunia, foram distintos. No separei aleatoriamente dois ou trs
estudos citei os que satisfizeram os critrios de validade e representatividade e mostrei que fora dos Estados Unidos esses estudos demonstram resultados bem mais positivos. Ainda sustento a minha concluso
original: o fato de as pesquisas mostrarem ganhos de aprendizagem
em razo da poltica de bonificao somente fora dos Estados Unidos
se deve fundamentalmente s diferenas entre os pases nos modelos
de accountability adotados e na cultura organizacional das instituies
educacionais.
Sobre a necessidade de que se evidencie a eficcia da nova poltica de accountability antes da sua aplicao, o argumento de Luiz Carlos
que, com tanto em jogo, ela precisa vir recomendada por estudos preliminares, igual aos estudos de campo usados para testar a eficcia de
novos medicamentos. E justamente pela importncia dos efeitos, aplicar a poltica na ausncia desses dados seria uma falta de tica. Meu
argumento que, se olharmos para o conjunto de pesquisas em pases
comparveis ao Brasil e para as poucas pesquisas que temos no Brasil, a
tendncia positiva. Se olharmos para os Estados Unidos, a concluso
outra, e nisso que Luiz Carlos est fixado. De fato, se fosse a nossa
nica fonte, teramos de proceder com muita cautela, mesmo no estando predestinados ao mesmo roteiro. Mas, de modo geral, diria que
as evidncias nos autorizam a ir em frente. Se, no entanto, qualquer
nova poltica educacional precisa ser precedida de evidncias, testes ou
verses-piloto, pelo seu poder de alterar a vida das pessoas, incluindo
os professores, algo que no precisa ser discutido neste momento. As
escolas sempre foram palco de experimentaes, com resultados nem
sempre to benficos, mas no por isso que se deve cassar o direito
de um governo eleito de propor uma mudana na poltica educacional.
Citando pesquisa do Centro de Estudos e Pesquisas em Educao,
Cultura e Ao Comunitria Cenpec (RNICA; BATISTA, 2011), em So
Miguel Paulista (SP), Luiz Carlos questiona como o efeito de territrio das
escolas da periferia de So Paulo contribui para o aprofundamento das desigualdades escolares provocadas pelas diferenas nos recursos culturais das
famlias. Pelo contexto da discusso, deve-se entender que, de alguma forma, a accountability contribui para esse desfecho. No entanto, a explicao

CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

dada pelos autores sobre o processo de concorrncia/especializao, em que

algumas escolas exercem certa seletividade para ficar com os alunos melhores, enquanto outras precisam receber os alunos mais problemticos,
tem a ver com o modelo de escola dominante e com a busca por alunos que
melhor satisfazem as exigncias acadmicas e comportamentais desse modelo. Ou seja, apesar do uso, pelos autores, do conceito de quase-mercado,
no h conexo aparente com os processos de avaliao externa ou com o
sistema de bonificao daquele estado. Em trabalho recente, argumento
que a bonificao poderia levar em considerao a clientela das escolas e,
dessa forma, se converter em incentivo para atrair docentes melhores para
as escolas em reas mais vulnerveis (BROOKE, 2012).
Luiz Carlos tambm aborda a questo principal, que sobre os
efeitos colaterais da accountability na definio e execuo do currculo. Ele argumenta que a comprovao da existncia de estreitamento
curricular j seria motivo suficiente para descartar a poltica. No acho
que seja to fcil assim. Em primeiro lugar, no sabemos a extenso e
profundidade do prejuzo causado pelo estreitamento no Brasil. Mesmo
com mais de dez anos de polticas de accountability no Estado do Cear,
por exemplo, no se conhece nenhuma tentativa de documentar suas
consequncias ou de medir seus possveis efeitos sobre o currculo. Isso
se deve falta de pesquisa de modo geral, mas pode tambm indicar
que a verso brasileira de accountability simplesmente no provoca os
impactos colaterais que ocorrem em outros lugares. Em segundo lugar,
precisamos lembrar que o prprio currculo bsico, oficial, por si s
um estreitamento perante a infinidade de matrias, temas e tpicos do
nosso mundo passado e presente. O estreitamento adicional provocado pela accountability pode ser exatamente o que os gestores estejam
querendo ao orientar os professores para determinados contedos. Em
livro sobre os paradoxos dos testes high stakes,2 Madaus, Russell e Higgins

342 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

(2009) lembram que os proponentes desses testes acreditam que, quando usados os instrumentos certos, os testes podem ter efeitos benficos por clarear os objetivos do ensino e motivar tanto alunos quanto
professores. Outros lembram que, em um contexto de deficincias na
formao de professores e de alunos, a definio de um currculo bsico
por meio dos testes high stakes pode ser a nica garantia de uma aprendizagem dos contedos essenciais. A verdade deve estar em algum ponto
entre dois extremos.
Apesar de no existirem nem agncias nem critrios para aplicar
no campo da educao as mesmas avaliaes usadas para testar novos
2
Testes com consequncias
significativas, na forma
de prmios ou punies,
associadas aos resultados.

remdios, Madaus, Russell e Higgins usam trecho de um relatrio mdico para sumarizar sua posio em relao aos impactos positivos e
negativos dos testes high stakes:

sem a avaliao dos fatos relevantes. Esta avaliao deveria levar em considerao a probabilidade de resultados favorveis e

Nigel Brooke

No se pode tomar boas decises (sobre o uso do tratamento)

os benefcios e malefcios para o paciente de todos os resultados.

Deveria haver franqueza no s sobre o que se sabe, mas tambm
sobre o que no se sabe. (2009, p.164, traduo do autor)

Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 343

Luiz Carlos caracteriza a poltica educacional do Chile como

exemplo de accountability e fala dos problemas de desigualdade do sistema mais segregado do mundo. Implcita nessas observaes a ideia
de que a accountability chilena provoca efeitos perversos que esto na
raiz das desigualdades educacionais. Independentemente de se o sistema chileno ou no o mais desigual do mundo, preciso lembrar que
o sistema de accountability do Chile complexo, composto de diversos
elementos, como publicizao, certificao, avaliao de desempenho,
bonificao e, mais importante de todos, vouchers. O sistema de vouchers
implantado naquele pas durante a ditadura uma variante muito particular da accountability, que funciona, em princpio, mediante a liberdade
concedida aos pais para escolheram a escola dos filhos, presumivelmente com base nas informaes sobre o nvel de desempenho mdio das
escolas medidas pelo Sistema de Medicin de Calidad de la Educacin
SIMCE. O primeiro ponto que no h nenhum sistema de escolha
de escola equivalente no Brasil e no h razo para imaginar que a
vertente da accountability adotada aqui tenha efeitos iguais ao do conjunto chileno. O segundo ponto, que o que os estudantes chilenos mais
reclamam, a incapacidade de os municpios melhorarem a educao
devido s suas deficincias administrativas, o que tem provocado todo
um movimento em favor da desmunicipalizao. O terceiro ponto, o
que mais tem contribudo para a segregao social, a expanso das
escolas subvencionadas, seu direito de cobrar dos pais um adicional de
at 100% do valor do voucher e a sua aparente liberdade, apesar de estar
a escola proibida de fazer uso de processos seletivos. O problema de fundo, portanto, o rebuscado sistema de financiamento da educao por
meio de vouchers, o que faz com que as escolas se comportem bem mais
como escolas privadas do que pblicas. Os outros aspectos do sistema de
accountability no so considerados viles.
Em resumo, o sistema de vouchers no tem provocado as mudanas pretendidas por seus idealizadores em termos da livre competio
entre as escolas como meio para alavancar melhorias na qualidade do
ensino. No entanto, seus efeitos hoje se confundem com as polticas
simultneas de municipalizao e de privatizao, de modo que atribuir
toda a culpa pela desigualdade ao sistema de vouchers seria um exagero.
Afinal, a desigualdade do sistema brasileiro, tanto entre as escolas privadas e pblicas quanto entre as escolas de cada setor, amplamente

CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

344 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

conhecida, sem que haja um sistema de vouchers ou de publicizao dos

resultados das escolas. O que comum aos dois sistemas a tendncia
de as escolas usarem o nvel socioeconmico do aluno como proxy da sua
capacidade de aprendizagem.
Neste ponto, a discusso volta para a questo do tipo de
accountability que temos no Brasil e a insistncia em dizer que, ao associarmos consequncias aos resultados das escolas, estamos fazendo
exatamente a mesma coisa que foi feita nos Estados Unidos, o que vale
dizer que o que temos aqui accountability, sim, e no uma mera poltica
de pagamento por resultados. A razo para esse comentrio reside em
minha afirmao de que a verso brasileira de accountability por incentivos se assemelha bem mais s prticas dos empregadores do setor privado, que acreditam em criar um elo direto com a produtividade do trabalhador e sua remunerao, do que accountability dos Estados Unidos.
L, a deciso de estabelecer um vnculo entre o esforo dos professores
e os resultados dos alunos nasce da proposta de tornar transparente o
trabalho do servidor pblico, de cobrar responsabilidade pelo bom uso
do dinheiro pblico e garantir que haja uma preocupao pelos resultados, algo que possa ficar relegado a um segundo plano perante tantas
outras cobranas.
Minha afirmao sobre o pagamento por resultados se deve
quase ausncia no Brasil de uma srie de precondies para o funcionamento da accountability. Primeiro, h pouco ou nenhum esforo
por parte dos gestores em publicizar os resultados. A contrrio, ouve-se
muito mais sobre a preocupao em no publicar nada que possa levar
a alguma comparao ou ranqueamento de escolas. Em segundo lugar,
as consequncias das bonificaes brasileiras so todas positivas. Podese dizer que no ganhar o bnus equivalente a um castigo, mas esse
argumento tenta criar uma equivalncia entre a no bonificao e o
fechamento da escola, o remanejamento do professor, o no avano na
carreira ou a perda do emprego, que so alguns dos castigos de verdade
do sistema americano, principalmente a partir do NCLB, de 2001. A verso brasileira light, sim.
Foram essas as razes que me levaram a especular as diferenas
culturais entre os Estados Unidos e o Brasil que poderiam explicar a criao de modelos to diversos. Uma parte dessa explicao reside nas diferenas no trato da coisa pblica, havendo uma cultura de a
ccountability
naquele pas que antecede e ultrapassa sua verso educacional e que advm da identidade do americano como pagador de impostos e cobrador
de bons servios dos governantes e dos provedores de servios pblicos.
O segundo elemento nessas especulaes diz respeito histria e cultura do magistrio pblico no Brasil, que se mostra bastante impermevel a influncias ou cobranas externas pelas normas monolticas que
regem o servio pblico e protegem o servidor contra a interferncia

Nigel Brooke
Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 345

externa, incluindo a do seu empregador. Nesse ambiente, a accountability

americana no teria como prosperar. Os pais sabem que sua presso tem
alcance limitado, as Secretarias conhecem os limites da sua autoridade e
os professores sabem que sua imunidade grande.
Tambm pesquisei um pouco para ver se o pagamento por resultados seria mesmo a melhor forma de caracterizar a bonificao brasileira e se a experincia dos empregadores com esse sistema poderia
oferecer alguma luz. O que achei foi o livro Teachers, performance pay and
accountability, o primeiro de uma srie sobre sistemas de compensao alternativos para professores (ADAMS; HEYWOOD; ROTHSTEIN, 2009). Na
primeira parte do livro, os autores mostram que, em geral, a incidncia
de esquemas de pagamento por resultados no setor privado bem menor
do que se poderia imaginar, sendo mais prevalente onde existem medidas
claras de output por trabalhador, como unidades vendidas ou vendas em
dlares. Contudo, eles observam que h crescimento no uso de esquemas de bnus ou prmios, alcanando talvez 1 em cada 7 trabalhadores, mas que a proporo da remunerao dessa fonte continua pequena.
Diferentemente dos estudos sobre os bnus individuais, so poucos os estudos sobre os efeitos em nvel de grupo, mesmo quando includos nessa
categoria todos os esquemas de diviso de lucros. Nesses casos, fica claro
que o tamanho do grupo um fator relevante devido capacidade de o
grupo menor lidar melhor com o problema dos caroneiros [free-riders].
Tambm h evidncia de que prmios para pequenos grupos aumentam
a produtividade dos que esto com produtividade mais baixa, o que acaba
reduzindo a variao entre os membros, ao mesmo tempo em que aumenta a produtividade agregada do grupo. No entanto, os autores sempre
avisam que o setor pblico no vende produtos em mercados competitivos e no procura a maximizao de lucros. Portanto, esses resultados
podem no ter relevncia nenhuma para a melhor compreenso dos sistemas pblicos de pagamento de bnus (ADAMS; HEYWOOD, 2009).
A segunda parte do livro se concentra nos perigos do que os autores chamam de Accountability Quantitativa do Desempenho, que seriam
as diferentes frmulas baseadas em medidas objetivas ou quantitativas
para determinar o nvel de desempenho da pessoa. Aqui encontramos
referncias ao mesmo Donald Campbell, citado por Luiz Carlos, por ser
a pessoa que cunhou a lei de medio de desempenho na dcada de
1970. Esta lei foi formulada mediante a observao das mudanas no
comportamento dos trabalhadores sob os regimes de prmios e castigos, que estimulam as pessoas a tentarem parecer mais competentes,
mesmo com o uso da enganao e fraude: quanto mais se usa um indicador social quantitativo para a tomada de decises sociais, mais ele
estar sujeito a presses corruptoras e mais ele distorcer e corromper
os processos sociais que devia monitorar (CAMPBELL, 1979, p. 85, apud
ROTHSTEIN, 2009, p. 70, traduo do autor).

CONTROVRSIAS SOBRE POLTICAS DE ALTO IMPACTO

Seguem numerosos exemplos das diferentes maneiras encontradas ao longo dos anos para burlar diversos mtodos de estabelecer
metas ou quotas de produo por meio de medidas quantitativas de insumos ou de produtos. Gostei da anedota sobre a siderrgica sovitica
fabricante de pregos que encontrou a melhor forma de cumprir sua quota por peso de pregos produzidos forjando pregos gigantes do tamanho
da fbrica. As dificuldades do setor pblico comeam com os problemas
para definir os produtos desejados, dada sua variedade e complexidade
que nem sempre se prestam quantificao. A consequncia a simplificao extrema que leva distoro de objetivos, como na realocao
de recursos e tempo da escola de uma rea do currculo para outra.
Outra dificuldade, especialmente para as escolas, reside na dificuldade
em ajustar as expectativas de desempenho de acordo com as caractersticas dos insumos no caso, os alunos. Alm disso, sempre h os riscos
de seletividade, mesmo entre alunos dos mesmos subgrupos.
Apesar dessas dificuldades, sempre agravadas pela falta de confiabilidade dos prprios dados quantitativos, o autor tem de reconhecer
que os efeitos negativos no so incompatveis com a concluso que
tais sistemas podem melhorar o desempenho mdio nas dimenses
medidas.
Diversas anlises feitas por economistas, especialistas em gesto e
socilogos concluem que esquemas rgidos de incentivos tm, s
vezes, melhorado bastante o desempenho mdio de servios de
atendimento e formao profissional de mdicos e outros agentes
do setor privado. A documentao sobre as consequncias perversas no indica que, em determinados casos, os prejuzos superam os benefcios da accountability quantitativa. (ROTHSTEIN,

346 Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013

2009, p. 97, traduo do autor)

O que no se deve permitir aos gestores que promovem o uso de

accountability por meio de incentivos, nem aos estudiosos que analisam
suas polticas, o desconhecimento desse extenso campo de pesquisa
em economia e teoria da administrao, onde esto documentadas as
formas em que os indicadores quantitativos so corrompidos, junto com
outras consequncias perversas dos incentivos de desempenho. Por desconhecerem os ensinamentos dessa literatura, os gestores pblicos podem no avaliar adequadamente a matriz de custos e benefcios e deixar
de desenhar as polticas de modo a minimizar seus efeitos colaterais.
As perguntas que precisam ser encaradas so as do tipo custo/
benefcio. Quanto se deve avanar na aprendizagem de matemtica e
lngua portuguesa para justificar a perda de ateno para arte, msica,
cincia, histria etc.? Quais os custos de incorporar medidas, como a
expanso da avaliao para outras reas curriculares, necessrias para

Nigel Brooke

debelar os efeitos do estreitamento curricular? Que tipo de instrumento

reduz os efeitos negativos do ensino de preparao para o teste? O
ganho em produtividade do professor justifica a gradual perda de credibilidade do instrumento de avaliao?

REFERNCIAS
ADAMS, S. J.; HEYWOOD, J. S. Performance pay in the U.S. private sector. In: ______ et al. (Ed.).
Teachers, performance pay and accountability, 1. Washington, D.C.: Economic Policy Institute,
2009. p. 13-59.
ADAMS, S. J.; HEYWOOD, J. S.; ROTHSTEIN, R. Teachers, performance pay and accountability: what
education should learn from other sectors. Washington, D.C.: Economic Policy Institute, 2009.
(Alternative teacher compensation systems, n. 1).
AFONSO, A. J. Para uma concetualizao alternativa de accountability em educao. Educao e
Sociedade, Campinas, v. 33, n. 119, p. 471-484, abr./jun. 2012.
BALL, S. J. The legacy of ERA, privatization and the policy ratchet. Educational Management
Administration and Leadership, v. 36, n. 2, p. 185-199, 2008.
BRASIL. Presidncia da Repblica. Lei n. 5540, de 28 de novembro de 1968. Fixa normas de
organizao e funcionamento do ensino superior e sua articulao com a escola mdia, e d
outras providncias. Braslia, 1968.
______. Lei n. 5.692, de 11 de agosto de 1971. Fixa diretrizes e bases para o ensino de 1 e 2 graus,
e d outras providncias. Braslia, 1971.
BROOKE, N. Sobre a equidade e outros impactos dos sistemas de incentivos monetrios para
professores. In: COLQUIO LUSO BRASILEIRO DE SOCIOLOGIA DA EDUCAO, 3., 25-27 jul.
2012, Rio de Janeiro; UFRJ.
RNICA, M.; BATISTA, A. A. G. Educao em territrios de alta vulnerabilidade social na metrpole: um
caso na periferia de So Paulo. So Paulo: Cenpec, 2011. (Informe de Pesquisa, n. 3)
FERREIRA, Aurlio Buarque de H. Novo dicionrio Aurlio eletrnico: verso 7.0. Curitiba: Positivo,
2010.
HOUT, M.; ELLIOTT, S. W. (Ed.). Incentives and test-based accountability in education: national
research Council Committee on Incentives and Test-Based Accountability in Public Education.
Washington, D.C.: The National Academies, 2011.
MADAUS, G.; RUSSELL, M.; HIGGINS, J. The paradoxes of high stakes testing. Charlotte, N.C.:
Information Age, 2009.

UNITED STATES. Congress. No child left behind act. Washington, 2001. Disponvel em:
<http://www.state.nj.us/education/grants/nclb/>. Acesso em: 15 abr. 2013.

NIGEL BROOKE
Professor convidado do Grupo de Avaliao e Medidas Educacionais da
Faculdade de Educao da Universidade Federal de Minas Gerais
Game/FaE/UFMG
n.brooke@terra.com.br

Recebido em: JANEIRO 2013 | Aprovado para publicao em: MARO 2013

Cadernos de Pesquisa v.43 n.148 p.336-347 jan./abr. 2013 347

ROTHSTEIN, R. The perils of quantitative performance assessment. In: ADAMS, S. J.;

HEYWOOD, J. S.; ROTHSTEIN, R. Teachers, performance pay and accountability: what education
should learn from other sectors. Washington, D.C.: Economic Policy Institute, 2009. p. 67-100.
(Alternative teacher compensation systems, n. 1)