Ufmg - A Avaliação Externa Como Instrumento Da Gestão Educacional PDF

A AVALIAO
VALIAO EXTERNA COMO INSTRUMENTO DA GESTO

EDUCACIONAL NOS ESTADOS
RELATRIO FINAL
GAME/FAE/UFMG
Com apoio da Fundao Vitor Civita
Agosto/2011
Realizao: Parceria:
1
2011. Fundao Victor Civita. Todos os direitos reservados.
A Fundao Victor Civita, que tem por misso contribuir para a melhoria da qualidade
da Educao Bsica no Brasil, produzindo publicaes, sites, material pedaggico,
pesquisas e projetos que auxiliem na capacitao dos professores, gestores e demais
responsveis pelo processo educacional, implantou uma rea de estudos com o
objetivo de levantar dados e informaes que auxiliem as discusses sobre prticas,
metodologias e polticas pblicas de Educao.
Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.
EQUIPE DA FUNDAO VICTOR CIVITA ESPECIALISTAS CONVIDADOS PARA

APRECIAO DO RELATRIO PRELIMINAR
DIRETORIA EXECUTIVA
Angela Cristina Dannemann Antnio Bara Bresolin (Coordenador Fundao
Ita Social)
COORDENAO PEDAGGICA
Regina Scarpa Bernardete Gatti (Fundao Carlos Chagas)
REVISTA NOVA ESCOLA E GESTO ESCOLAR Clara Etiene Lima de Souza (Coordenadora da
Gabriel Grossi Avaliao da Educao Bsica / Inep)
Paola Gentile
Mozart Neves Ramos (Todos pela Educao)
ESTUDOS, PESQUISAS E PROJETOS
Mauro Morellato Ruben Klein (Consultor Fundao Cesgranrio)
Adriana Derbio
Sandra Maria Zakia Lian Sousa (USP e Unicid)
Tufi Machado Soares (Universidade Federal de

Juiz de Fora)
Wanda Engel (Superintendente Instituto

Unibanco)
2
UNIVERSIDADE FEDERAL DE MINAS GERAIS
Cllio Campolina Diniz

Reitor
FACULDADE DE EDUCAO
Samira Zaidan
Diretora
GRUPO DE AVALIAO E MEDIDAS EDUCACIONAIS
ngela Imaculada Loureiro de Freitas Dalben

Coordenadora
EQUIPE DE PESQUISA
Nigel Brooke
Maria Amlia de A. Cunha
Matheus Faleiros
3
SUMRIO
Apresentao 06
1. Objetivos 11
2. Mtodos 12
3. A Expanso da Avaliao Educacional 14
3.1. A Expanso dos Sistemas Estaduais de Avaliao 25
4. Accountability e as Avaliaes High-Stakes 39
4.1 Sistemas de Incentivos 45
4.2. Sistemas de Responsabilizao na Amrica Latina 50
5. Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional 55
6. O Uso da Avaliao na Gesto da Educao nos Estados 70
6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa 70
6.1.1 Avaliao de Programas 70
6.1.2 Monitoramento 77
6.1.3 Planejamento 82
6.1.4 Pesquisa 85
6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as Estratgias de
Formao Continuada 87
6.2.1 Polticas de Formao Continuada Baseadas nos Resultados 101
6.2.2 O Currculo Bsico 105
6.3 Para Informar ao Pblico 112
6.4 Para a Alocao de Recursos 123
6.5 Para Polticas de Incentivos Salariais 133
6.5.1 Investigaes em Loco 142
6.5.2 Discusso 164

4
6.6 Como Componente da Poltica de Avaliao Docente 168
6.7 Para a Certificao de Alunos e Escolas 177
7. Consideraes Finais 182
8. Referencias Bibliogrficas 189
ANEXO 1 Organizao dos arquivos da pesquisa em Google Docs 199
ANEXO 2 Entrevistados 200
ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado 201
5
Apresentao
Cada vez mais presente nos jornais e em outros meios de comunicao, a

discusso da avaliao educacional permite que o pblico brasileiro se conscientize
no s da complexa realidade da aplicao das avaliaes padronizadas em larga
escala mas tambm dos resultados do ensino em diferentes nveis e localidades e em
comparao com outros pases. O tema dos testes enfrentados por alunos de diversas
idades e at por jovens e adultos que h tempo deixaram de frequentar a escola j
ultrapassa os eventos de especialistas e se torna um assunto capaz de cativar as
manchetes. Talvez o caso mais emblemtico seja o do Enem e as suas dificuldades de
sigilo e logstica. Porm, ao longo dos ltimos anos tambm houve mltiplos debates
pblicos em torno do indicador nacional de desenvolvimento da Educao, o Ideb, o
Exame Nacional de Desempenho de Estudantes, Enade, o novo Exame Nacional para
Certificao de Competncias de Jovens e Adultos, Encceja, e iniciativas do Congresso,
como o projeto de lei (PLS 319/08) do senador Cristovam Buarque para conceder o 14
salrio aos profissionais de escolas que conseguirem elevar seu Ideb em 50% e o
projeto do deputado Ronaldo Caiado para obrigar as escolas pblicas a expor na
entrada do estabelecimento uma placa com seu Ideb. As comparaes internacionais,
principalmente as do Programa Internacional de Avaliao de Alunos, Pisa, tambm
suscitaram questionamentos que permitem perceber que os resultados fornecidos
pelas avaliaes educacionais esto se firmando cada vez mais como a definio oficial
da qualidade da Educao oferecida pelas escolas.
Refletindo o crescente interesse na avaliao, nos indicadores derivados dela e na

sua relao com a poltica educacional, o projeto do Plano Nacional de Educao em
discusso no Congresso contm vrias indicaes para o uso da avaliao externa ao
longo da prxima dcada. Fala da importncia de usar o Ideb para avaliar a qualidade
do ensino, com base em uma avaliao nacional do rendimento escolar, de aplicar
exame peridico especfico para aferir a alfabetizao de crianas, de aprimorar os
instrumentos de avaliao da qualidade do ensino fundamental e mdio, de usar o
Pisa como parmetro externo, de aferir o grau de analfabetismo de jovens e adultos
e de avaliar a qualidade da Educao profissional tcnica de nvel mdio.
6
Como os jornais, o projeto do PNE tambm se concentra nas polticas de avaliao
da esfera federal. Apesar de conferir vrios deveres especficos aos estados e
municpios, como aprovar leis para disciplinar a gesto democrtica da Educao,
instalar conselhos escolares, prever licenas para a ps-graduao de professores e
nomear diretores com base em critrios tcnicos, todas as atribuies no campo da
avaliao educacional feitas pelo PNE so do governo federal. Em nenhum momento, o
PNE atribui funes especficas em relao avaliao da aprendizagem do ensino
fundamental e mdio aos governos subnacionais, mesmo sendo essas as instncias
com responsabilidade preferencial por esses nveis escolares, segundo a LDB.
A falta de clareza em relao s obrigaes dos estados e municpios e se essas

instncias deveriam ser responsabilizadas ou no pela avaliao externa dos seus
alunos refletem certa ambiguidade do prprio Ministrio de Educao perante o
crescimento dos sistemas subnacionais de avaliao. Desde a criao do Saeb, em
princpio da dcada de 1990, as iniciativas dos estados em construir suas prprias
ferramentas de avaliao tm sido vistas ora como uma expresso compreensvel da
sua autonomia administrativa constitucional, ora como um desperdcio de recursos,
dada a existncia de sistemas nacionais com coberturas e caractersticas tcnicas
capazes de fornecer as informaes de que os gestores estaduais precisam. A ausncia
de incentivos federais e de cooperao contnua entre as instncias governamentais na
rea de avaliao, a no ser no emprstimo de itens do Saeb1, talvez reflita a falta de
uma aceitao integral pelo Ministrio da importncia dos sistemas de avaliao
subnacionais e at de um sentimento de rivalidade provocada pela intruso dos
1
Na pgina de perguntas frequentes sobre o Saeb e Prova Brasil do site do Inep
(http://www.INEP.gov.br/web/saeb-e-prova-brasil/perguntas-frequentes) a resposta dada pergunta
Com o Saeb e Prova Brasil o Governo Federal pretende acabar com os sistemas Estaduais e Municipais
de Avaliao?, leia-se a seguinte resposta: As avaliaes federais, as estaduais e as municipais so
independentes. A Prova Brasil e o Saeb so conduzidos nacionalmente pelo Governo Federal, enquanto
as avaliaes estaduais e municipais podem ter metodologia prpria e so concebidas e realizadas pelos
governos estaduais e municipais. Em muitos casos, h a cooperao tcnica entre os governos federal,
estadual e municipal, ou seja, h congruncia entre algumas avaliaes estaduais com a Prova Brasil e o
Saeb. Um dos objetivos da Prova Brasil e do Saeb estimular a cultura da avaliao, fomentando, assim,
a implementao de avaliaes estaduais e municipais. Nesse sentido, o Inep pode auxiliar, sob certas
condies, os estados e municpios a estruturarem e levarem adiante suas avaliaes por meio do seu
Banco Nacional de Itens.
7
estados em terreno antes exclusivamente federal. Em funo desses sentimentos,
consolidou-se a opinio que os estados deveriam apenas complementar o que a Unio
j faz, e no repetir a avaliao das mesmas disciplinas nos mesmos anos escolares
para no desperdiar recursos. Esse posicionamento no leva em considerao o
interesse dos estados em controlar todas as fases de produo e divulgao de
informao sobre as escolas, evitando os atrasos que acometem o Inep, e pode
encobrir as dvidas remanescentes a respeito da convenincia dos estados
desenvolverem seus prprios sistemas. A expanso das avaliaes subnacionais parece
refletir justamente a necessidade de controlar mais detidamente as etapas que
envolvem o processo de avaliao e, assim o fazendo, traar um diagnstico mais
contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e
estratgias talvez mais eficazes.
A falta de ateno do PNE para a funo avaliadora dos governos estaduais e

municipais pode refletir essas mesmas dvidas. Por outro lado, o silncio do PNE em
relao a um instrumento to fundamental para o planejamento e a gesto dos
sistemas de Educao pode tambm refletir simplesmente a ausncia de informao
sobre a real extenso e diversidade das atividades atuais dos estados e municpios no
campo da avaliao. As crticas suposta subutilizao dos resultados da avaliao
externa e a sugesto de que as Secretarias de Educao tm pouca capacidade para
aproveitar as informaes levantadas, a no ser para oferecer sugestes pedaggicas
aos professores, parecem ultrapassadas perante a crescente sofisticao dos sistemas
estaduais e indicam mais uma vez a necessidade de atualizar os nossos
conhecimentos.
O presente estudo pretende remediar essa lacuna ao mostrar o papel cada vez
mais importante das avaliaes subnacionais na composio da poltica educacional.
Mesmo no chegando sempre aos jornais, h indcios suficientes de que est em curso
uma mudana importante na penetrao e diversificao da avaliao educacional em
nvel dos estados e municpios de porte maior ao ponto de muitas das inovaes nesse
campo estarem acontecendo no mais na esfera federal, mas em nvel subnacional. As
avaliaes da aprendizagem na fase de alfabetizao, a criao de instrumentos
8
padronizados para finalidades de diagnstico individual e o uso da avaliao para
polticas de incentivos salariais seriam apenas trs exemplos. Cada vez mais os estados
esto assumindo polticas educacionais que tm como pressuposto a existncia de
informaes detalhadas sobre a aprendizagem dos alunos e cuja execuo requer o
uso cada vez mais variado e sofisticado dessas informaes. Ou seja, os estados
tambm esto galvanizados para uma nova gerao de instrumentos de avaliao e de
uma variedade cada vez maior de polticas de interveno calcadas em informao
sobre o desempenho dos alunos. Portanto, na descrio dos esforos de todos os
sistemas para melhorar a qualidade do ensino, torna-se indispensvel captar os
avanos no uso dos resultados das avaliaes educacionais tambm em nvel
subnacional.
Entretanto, o objetivo do estudo no exclusivamente descritivo. preciso

tambm entender as consequncias da expanso da avaliao subnacional para o
desenvolvimento da Educao. O fato de os estados estarem assumindo novas
polticas de avaliao de escolas e professores com base nos resultados dos alunos no
encontra aprovao total e h a necessidade de pesar as evidncias. Outras polticas,
como a alocao de recursos com base nos resultados das escolas, podem parecer
menos problemticas, mas os critrios empregados podem variar e as consequncias
tambm. H a necessidade, portanto, de submeter as novas polticas de gesto a um
processo de anlise para determinar seus provveis efeitos. Com esse olhar, derivado
em parte de pesquisas e em parte das opinies dos prprios envolvidos, torna-se
possvel responder a perguntas como: as polticas de gesto baseadas nos resultados
dos alunos so sempre bem-sucedidas? Quais os impactos de polticas baseadas na
avaliao de alunos para a melhoria da Educao? Dado o que sabemos dos efeitos
colaterais, os estados esto empregando as avaliaes educacionais da forma mais
adequada?
Para poder contribuir para essa discusso, necessrio, primeiro, entender os

antecedentes dessa expanso. O processo pelo qual os estados comearam a montar
sistemas de avaliao educacional e, em seguida, polticas de gesto derivados dos
produtos desses sistemas no foi aleatrio. Em diferentes graus, foram influenciados
9
pelo movimento de reforma externo e interno chamado de neoliberal, que a partir da
dcada de 1990 estabeleceu a qualidade do ensino como o objetivo primordial da
poltica educacional e definiu os resultados escolares como seu indicador principal.
Precisamos tambm estudar em alguma profundidade o elemento mais crtico do

modelo de avaliao que foi se alastrando pela regio nessa poca. Estamos nos
referindo ao componente de accountability, que se estabeleceu como uma alavanca
nas mos dos gestores interessados em criar novos incentivos para motivar a mudana
na Educao. Para entender como os gestores brasileiros esto aproveitando esse
conceito, precisamos explicitar o significado do conceito nas suas origens, avaliar as
polticas que empregam diferentes verses de accountability e mostrar a
probabilidade de sucesso dessas polticas ao serem incorporadas ao leque de opes
do gestor educacional brasileiro.
O fato de haver origens comuns no significa que as polticas seguidas por cada
estado que optou por implantar um sistema prprio de avaliao so todas iguais.
Mesmo havendo semelhanas, dentro das opes para a utilizao dos resultados das
avaliaes, os critrios e propsitos podem variar. Para distinguir entre as diferentes
polticas de avaliao, precisa-se criar um sistema classificatrio capaz de dar conta da
diversidade ao mesmo tempo em que categorize as polticas de acordo com os
propsitos dos gestores. Sem esse esforo classificatrio, as polticas acabam sendo
discutidas estado por estado como se a sua distribuio geogrfica fosse a razo pela
investigao. Com uma classificao por tipo de poltica, por outro lado, pode-se
contrastar as polticas dos estados e deixar mais ntidas as diferenas existentes entre
as diversas verses de uma mesma poltica.
Aps a explicao do sistema classificatrio, ser possvel entrar no assunto

principal do estudo, que expor e analisar as diversas polticas seguidas pelos
governos estaduais e alguns municpios de porte maior, principalmente das capitais,
que empregam a avaliao educacional na busca da melhoria da Educao. Essas
polticas de uso dos resultados dos sistemas de avaliao representam uma
ferramenta poderosa quando bem entendidas suas potencialidades e limitaes.
10
1. Objetivos
De forma sinttica, os objetivos deste estudo so:
i. Descrever, por meio do emprego de sistema classificatrio prprio, as

diferentes maneiras em que os governos estaduais e municipais usam os resultados
das avaliaes externas na conduo da poltica educacional.
ii. Mediante a coleta de informaes secundrias, fornecer uma sinopse mais

atualizada da variedade das polticas de gesto que fazem uso dos resultados da
avaliao externa.
iii. Com base em pesquisas nacionais e internacionais, e os subsdios oferecidos

por especialistas e gestores, fazer uma anlise de cada poltica de gesto para
determinar se representam um aproveitamento apropriado das informaes
disponveis e se contribuem para a poltica de melhoria da qualidade da Educao.
iv. Como objetivo ltimo, oferecer subsdios para a formulao e reformulao de

polticas pblicas que fazem uso dos resultados dos sistemas de avaliao educacional.
11
2. Mtodos
O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de

todas as fontes secundrias possveis, de todas as informaes disponveis sobre a
avaliao educacional em nvel subnacional. Havia limites de tempo e de pessoal e
dentro desses parmetros descobriu-se que a fonte mais importante foi, de longe, a
internet e os sites patrocinados pelos prprios governos estaduais e municipais.
Organizou-se um banco de dados para o registro de informaes e armazenamento de
documentos por estado e pela natureza oficial ou no oficial da informao. O
ambiente usado para esse banco de dados foi o Google Docs (veja Anexo 1). Criou-se
tambm um sistema classificatrio para todos os diferentes usos da avaliao
padronizada (veja seo 5) e com base nesse sistema desenvolveu-se um instrumento
que sintetizava a informao por tipo de poltica de gesto por cada estado ou
prefeitura. Essa ficha funcionou como catlogo para todas as informaes secundrias
coletadas.
A segunda fase se concentrou no aprofundamento das ideias que surgiram na

primeira fase e na elucidao de exemplos de polticas de gesto cujas informaes
tinham chegado de forma incompleta ou que ainda suscitavam interesse especial.
Nessa fase, foram realizadas 20 entrevistas semiestruturadas com gestores, tcnicos e
especialistas em avaliao em sete estados diferentes (veja Anexo 2). Mediante essas
entrevistas, esperava-se caracterizar melhor as polticas de gesto mais comuns e
descobrir indicaes da sua eficcia. As entrevistas foram gravadas, transcritas e
posteriormente analisadas dentro do ambiente fornecido pelo NVivo 8 (veja Anexo 3).
Esse aplicativo tambm permitiu a organizao das opinies dos entrevistados de
acordo com as categorias do sistema classificatrio.
Pela natureza do estudo, que mais um levantamento para fins classificatrios do

que um retrato de todos os exemplos nos diversos cantos do pas, no ser possvel
oferecer uma medida da frequncia de uso das diferentes polticas de gesto
encontradas. Por ter um propsito mais analtico, sero enfatizadas as caractersticas e
qualidades das polticas encontradas, e no sua distribuio ou importncia em termos
12
geogrficos. Sero empregados exemplos de diferentes estados e municpios, mas sem
insinuar que esses so os exemplos nicos ou necessariamente os mais bem acabados.
13
3. A Expanso da Avaliao Educacional
Entre os elementos que contriburam para a expanso da avaliao externa como

um instrumento da gesto educacional nos diversos nveis dos sistemas educacionais
ao longo das ltimas dcadas, encontram-se dois fatores considerados primordiais
pela literatura especializada: a) a disseminao de um modelo de reforma educacional
na dcada de 1990 calcado na avaliao educacional e voltado para a melhoria da
qualidade; e b) a incorporao pelos governos de metodologias de gesto baseadas em
critrios de eficincia e de planejamento estratgico e voltadas para a melhoria nos
resultados dos servios pblicos. No caso dos governos subnacionais brasileiros, deve-
se acrescentar um terceiro fator: c) o incentivo criado pela inaugurao de um
indicador nacional de desenvolvimento educacional e pela liderana do MEC ao fixar o
foco nos resultados e no uso da avaliao educacional entre as diretrizes principais do
Plano de Metas Compromisso Todos pela Educao.
a) Reforma educacional. A torrente de mudanas educacionais mltiplas e

simultneas nas diversas regies do mundo na dcada de 1990 no foi aleatria. As
semelhanas entre as reformas dos diferentes pases, como se estivessem seguindo
um receiturio, denunciavam uma histria de origens comuns. As origens imediatas
podem ser encontradas, em parte, nos eventos internacionais que galvanizaram os
formuladores das polticas educacionais e tambm no papel dos bancos de
desenvolvimento, as agncias de assistncia bilateral e at as ONGs internacionais na
disseminao mundial das propostas de reforma. Em nvel mais conceitual, precisa-se
de uma anlise da lgica da globalizao e da sua relevncia para a compreenso dos
fenmenos educacionais.
Usando a regio da Amrica Latina como um exemplo, Gajardo (2000) mostra a

semelhana notvel nos objetivos das reformas simultneas de 19 pases. Na maioria
desses pases, so especificados os objetivos gerais de descentralizar a gesto,
melhorar a qualidade, a equidade e a eficincia dos sistemas, oferecer maior
autonomia e tambm cobrar maior responsabilidade da escola, investir mais e melhor
14
na formao do professor e conectar a escola s demandas da sociedade. Quando as
reformas educacionais dos diferentes pases so categorizadas de acordo com seus
objetivos mais especficos, pode-se ver claramente o quanto as reformas seguiram os
mesmos rumos ao longo do continente. No entanto, no caso da implantao de
novos sistemas de avaliao padronizada que a verdadeira uniformidade das propostas
educacionais revelada. Nesse caso, observa-se que nada menos que 13 pases da
regio, incluindo o Brasil, adotaram sistemas de avaliao entre 1990 e 1998. No
quadro da autora que identifica o ano de implantao desses sistemas, as nicas
excees so o Chile, que criou o Simce no final da dcada anterior, e Cuba, um caso
parte, que j tinha um sistema prprio desde a dcada de 1970 (GAJARDO, 2000).
Devemos procurar a explicao das semelhanas e simultaneidade das reformas

em dois nveis. Num primeiro momento, h que reconhecer o efeito das mltiplas
reunies multilaterais e ministeriais e o esforo das agncias de desenvolvimento em
forjar o novo consenso para levar a Educao ao topo da agenda. Antes das outras
reunies e conferncias, cabe mencionar a Conferncia Mundial sobre Educao da
Unesco de Jomtien, na Tailndia, que no princpio da dcada reuniu delegados de 155
pases para fixar diretrizes para a transformao dos sistemas de Educao. Os
delegados criaram histria ao adotar a Declarao Mundial de Educao para Todos,
que estabelece a Educao como um direito humano fundamental e define como
obrigao de todo sistema satisfazer s necessidades bsicas de aprendizagem de toda
a sua populao. Alm da chamada principal de universalizar o ensino fundamental at
o final da dcada, foram tomadas decises de privilegiar as questes da equidade, de
dar nfase aos resultados da aprendizagem, de criar ambientes voltados para a
aprendizagem e de tornar a Educao um instrumento de desenvolvimento econmico
e social.
Incentivados pelo novo consenso e ativados pelas inmeras demandas dos pases
em desenvolvimento, os bancos internacionais se tornaram os financiadores da
reforma educacional na maioria dos pases da regio. O Banco Mundial adotou as
declaraes de Jomtien e moldou uma srie de estratgias consideradas eficazes na
realizao desses objetivos, incluindo o fortalecimento da autonomia das escolas e a
15
criao de sistemas de avaliao de aprendizagem. Diversos estados brasileiros foram
beneficirios desse receiturio, incluindo Minas Gerais, So Paulo, Paran e Cear.
Num segundo nvel, a explicao do consenso a favor da reforma educacional

envolve a referncia nova ordem econmica mundial. Na opinio de diversos
autores, o que alimentava o entusiasmo crescente com os temas educacionais e
movimentava os ministros e os bancos de desenvolvimento eram as mudanas na
organizao da economia global (GAJARDO, 2000; KRAWCZYK, 2000; LIMA ;AFONSO,
2002). Essa nova ordem significava a abertura das economias nacionais concorrncia
em escala global e ao livre movimento de investimentos e tecnologia. Nesse novo
cenrio de integrao e de concorrncia no plano econmico e de redemocratizao
no plano poltico, cabia aos pases a reforma de seus sistemas educacionais para
garantir a competitividade. Nesse debate, inconfundvel a ideia de que a reforma
educacional fazia parte de uma estratgia econmica para alavancar a
competitividade. Fala-se da centralidade adquirida pela Educao na preparao das
novas geraes para o trabalho, para a criao das competncias demandadas pela
nova estrutura de empregos e pelas novas atividades produtivas. Entende-se que essas
demandas provocadas pela globalizao da competio seriam mais bem atendidas
aps serem implantadas as reformas dos sistemas educacionais.
Nas entrelinhas dessa reforma educacional, aparece a conexo entre a

competitividade internacional, a produtividade individual e a melhoria na qualidade da
Educao. Se antes ela foi considerada apenas como um direito social, as reformas da
dcada de 1990 deixaram claro que os governos enxergavam a qualidade como um
ingrediente necessrio modernizao e ao desenvolvimento e os sistemas de
avaliao como os guardies dos esforos de melhoria. Os modelos disponveis, e to
habilmente propagados pelos organismos internacionais, foram as reformas institudas
na Gr-Bretanha e nos Estados Unidos a partir da dcada de 1980. Ambas serviram
para elevar o status da avaliao educacional. No primeiro caso, foram implantados o
currculo nacional e um sistema prprio para sua avaliao. No segundo, deu-se
cobertura para o uso cada vez mais frequente de sistemas de avaliao para exigir
16
competncias mnimas como requisitos para receber o diploma de Ensino Mdio e
para impulsionar reformas no currculo e na qualidade do ensino.
A quantificao dos resultados da escola ocupa a posio central no novo modelo

de gesto educacional e eleva a avaliao ao status no s de fornecedor de
informaes quantitativas mas tambm de pedra fundamental para diversas polticas
orientadas para a melhoria nos resultados. Nos Estados Unidos, o grande estmulo a
favor dessa nova orientao veio com o relatrio lanado em 1983 pela comisso
criada pelo governo de Ronald Reagan para estudar a situao da Educao naquele
pas. Chamado Uma Nao em Risco, o relatrio causou um furor ao fazer uma srie de
previses sombrias sobre o prprio futuro do pas devido baixa qualidade do ensino
das suas escolas. Na parte reservada s recomendaes, o relatrio trata primeiro dos
contedos curriculares e argumenta a favor do fortalecimento dos requisitos para a
concesso do diploma de Ensino Mdio em termos de anos de estudo. Na seguinte
leva de recomendaes, apresenta-se a ideia que o nvel de exigncia para cada
contedo precisa subir ao mesmo tempo em que se criem em todos os estados os
sistemas de testes de desempenho para certificar o nvel de aprendizagem dos
alunos. Com essas orientaes, foi definida a pea fundamental da reforma
educacional das prximas dcadas tanto nos Estados Unidos como em outros pases.
Trata-se do uso da avaliao externa como um instrumento da reforma

educacional para a divulgao das mudanas desejadas e para o monitoramento dos
avanos conseguidos. Uma Nao em Risco deu credito ideia da reforma baseada em
padres. Na sua essncia, essa mudana colocou o desempenho dos alunos no centro
das atenes como o objetivo primordial do trabalho da escola e legitimou o uso das
avaliaes externas para medir a eficcia da escola e dos professores no cumprimento
dessa tarefa. As consequncias que foram sendo associadas aos resultados dos alunos
de determinada escola ou professor, incluindo o pagamento ou no de incentivos,
sinalizam a transferncia do nus pelos esforos de melhoria em direo escola e
deram sentido palavra que virou sinnimo das reformas accountability.
A reforma da Inglaterra se inspirou e reforou essa mesma tendncia. Ao criar um

currculo nacional com estrutura fortemente disciplinar, o governo de Margaret
17
Thatcher estabeleceu as condies para estruturar um sistema de avaliao externa
que pela primeira vez permitiria a comparao de desempenho tanto de alunos como
de escolas. Com base nesse sistema para medir e publicar o desempenho dos alunos
nos anos finais de cada etapa chave do currculo, foram criados, primeiro, o sistema de
ranqueamento de escolas por meio das chamadas league tables2 e, posteriormente, as
metodologias mais sofisticadas de valor agregado que, ao controlar pela aprendizagem
anterior e condio socioeconmica dos alunos, permitem comparaes mais
autenticas entre as escolas (GRAY ;WILCOX, 1995).
b) Reforma da gesto pblica. A reforma educacional da Gr-Bretanha, que tanto

contribuiu para a criao da agenda dos organismos internacionais, no foi um
fenmeno s setorial, isolado do pensamento poltico do governo como um todo. O
partido conservador de Margaret Thatcher, que tomou o poder em 1979, estabeleceu
uma srie de prioridades inspiradas em ideias liberais norte-americanas e adotadas
para combater a influncia do pensamento socialista, que permeava as polticas
pblicas. Entre as prioridades, adotou-se um programa econmico liberal e
incorporou-se um novo modelo de servio pblico baseado em ideais de livre
mercado. Chamado posteriormente de New Public Management, a reforma do estado
na Gr-Bretanha ao longo da dcada de 1980 se desenvolveu em trs dimenses. A
dimenso mais gerencialista se caracterizou por uma nfase na produtividade e
eficincia do aparato governamental. Uma segunda dimenso, atenta s necessidades
da populao consumidora, procurou a melhoria na qualidade e efetividade dos
servios pblicos, enquanto a preocupao com a accountability e a transparncia
refletia a procura por um modelo de governana mais democrtico (ABRUCIO, 2006).
Influenciado por atitudes favorveis ao livre mercado, o destaque desse modelo foi a
criao de uma administrao pblica voltada mais para o controle dos resultados dos
programas e servios do que o controle das normas e dos procedimentos mais
2
Literalmente, tabelas de ligas de futebol. Ranqueavam-se as escolas em Tabelas de Desempenho de
Escolas como se fossem times de futebol.
18
associados aos modelos de planejamento central. Nesse contexto, fazia todo sentido
no s enfraquecer as amarras administrativas e financeiras entre as autoridades
educacionais locais e as escolas como tambm criar um currculo nacional oficial e um
sistema de avaliao educacional correspondente, a ser usado no monitoramento e no
controle da qualidade das escolas.
Segundo Segatto (2011), os instrumentos desse modelo de estado so a

horizontalizao de estruturas, a flexibilizao da gesto de pessoal, a criao de
relaes contratuais entre o rgo central e as instncias descentralizadas e, acima de
tudo, o fortalecimento dos mecanismos de avaliao de desempenho (SEGATTO,
2011). O controle a posteriori dos resultados supe a autonomia para as organizaes
que executam a poltica (PETERS, 2008), que por sua vez pressupe a flexibilizao da
administrao pblica, a adoo de metas claras e a construo de mtodos eficazes
para a avaliao de desempenho das unidades inferiores e a aplicao de sanes para
os que no alcanam os resultados contratados (CLAD, 2000).
A reforma do estado mediante a assimilao das novas prticas de gesto pde

ser observada tambm nos Estados Unidos e em vrios pases da Amrica Latina. Nos
Estados Unidos, foi aprovado em 1993 o Government Performance and Results Act,
que estabeleceu o planejamento estratgico e a mensurao do desempenho das
agncias do governo federal. A partir de 1997, cada agncia governamental precisa
declarar sua misso estratgica, seus objetivos de longo prazo e suas metas anuais de
desempenho. Essas ltimas so expressas em termos de indicadores de desempenho
para ajudar as agncias governamentais a melhorar seu trabalho e facilitar a
comunicao com o pblico (MUNIZ ;SILVEIRA; BECHELAINE, 2010). Na Argentina, o
Sistema de Informao, Avaliao e Monitoramento de Programas Sociais foi criado
pelo governo federal em 1995 para cumprir funes similares e no Chile o governo tem
usado um sistema de acompanhamento de indicadores de desempenho desde 1994.
A gradual adoo desse modelo de gesto em nvel subnacional no Brasil comeou

com o fim da inflao e a crise financeira dos estados, em 1995. Segundo Abrucio e
Gaetani (2006), a privatizao dos bancos estaduais, a renegociao das dvidas em
termos menos favorveis, a Lei Kandir e uma srie de outros regulamentos para
19
enquadrar as finanas subnacionais obrigaram os governos estaduais a reduzir gastos e
procurar maior eficincia (ABRUCIO; GAETANI, 2006). Ou seja, a busca pela eficincia
nas polticas governamentais comeou com o Plano Real e o cerceamento das prticas
financeiras predatrias dos estados, que antes usavam a inflao como uma forma de
resolver seu dficit fiscal.
Ao mesmo tempo, o planejamento estratgico ganhou impulso com base em duas

iniciativas do Governo Federal: o Estudo dos Eixos Nacionais de Integrao e
Desenvolvimento, em 1997, e o Plano Plurianual 2000-2003, denominado Avana
Brasil, que desdobrou o anterior e o organizou em programas referenciados a
resultados. Esses programas continham objetivos, pblicos-alvo, metas, indicadores e
procedimentos e normas para a avaliao dos programas:
A avaliao de programas orientada para resultados insere-se nesse

contexto, com a aferio da efetividade das aes do Governo. Nesse
sentido, os planos anuais estabeleceram nveis de desempenho projetados
atravs de indicadores, que deveriam ser quantificveis e mensurveis, que
deveriam ser avaliados em razo do atingimento dos nveis de
desempenho projetados ou dos objetivos programticos. (MUNIZ;
SILVEIRA; BECHELAINE, 2010)(p. 35)
Nos anos seguintes, essas prticas de planejamento e gesto com base em

resultados se disseminaram por vrios estados, incluindo Minas Gerais, Esprito Santo,
Rio de Janeiro, Mato Grosso e Santa Catarina (PORTO; SILVEIRA, 2010). De modo geral,
esses estados adotaram uma lgica de gesto que se assemelhava ao planejamento
estratgico do setor privado. O modelo seguido se baseava em uma anlise dos
ambientes externo e interno para depois construir uma viso do futuro de longo e
mdio prazo, desdobrado a seguir em objetivos, estratgias e indicadores de
desempenho. A convergncia com o planejamento de empresas e organizaes do
setor sem fins lucrativos reflete as origens do modelo e a sua afinidade com os ideais
de livre mercado.
20
Inspirado nas iniciativas do Governo Federal e nas experincias internacionais,
Minas Gerais foi um dos primeiros estados a incorporar o modelo de gesto por
resultados e oferece um exemplo da afinidade entre os propsitos da avaliao
educacional e as exigncias das novas polticas. Na primeira fase, iniciada em 2003, os
planejadores produziram o Plano Mineiro de Desenvolvimento Integrado, que serviu
como a viso do futuro para o perodo at 2020. Os cenrios futuros evidenciaram a
necessidade da reorganizao e modernizao do setor pblico estadual por meio do
chamado Choque de Gesto. Para criar a ponte entre os cenrios futuros e as aes do
secretariado, foram criados 30 projetos estruturadores e depois os programas setoriais
para compor o plano plurianual do governo para o perodo at 2006. Para definir os
objetivos de seus programas para o ensino fundamental e mdio, a Secretaria da
Educao optou por uma bateria de indicadores, entre os quais as proficincias mdias
dos alunos de 3, 5 e 9 anos e 3 ano do Ensino Mdio. Derivados do sistema
estadual de avaliao, Simave, essas proficincias oferecerem uma forma concreta de
fixar metas com base em resultados finalsticos, quando a maioria das Secretarias s
oferecia indicadores de processo.
Na segunda fase de implantao do novo modelo de gesto, chamada Estado para

Resultados, ficou ainda mais evidente o uso do Simave para atender aos requisitos dos
planejadores. Como grandes estratgias para a criao de critrios comuns para a
reorganizao e modernizao do servio pblico, foram aprimorados o sistema de
avaliao de desempenho de todos os servidores e tambm o Acordo de Resultados.
Esse ltimo, uma metodologia para fixar metas de desempenho para todas as
instncias das Secretarias e pagar uma bonificao em caso de cumprimento dessas
metas, encontrou na Secretaria de Educao o melhor exemplo de como calcular com
exatido os resultados esperados. A orientao poltica a favor da melhoria dos
resultados dos servios pblicos achou no sistema de avaliao educacional as
respostas desejadas. Ao mesmo tempo, o sistema de avaliao se desdobrou e
penetrou em todos os programas da Secretaria em resposta a um ambiente de
planejamento francamente propcio ao uso de objetivos e metas quantificveis. Essa
afinidade entre um modelo de gesto para resultados e os sistemas de avaliao
21
educacional ser retomada em seo posterior. Por enquanto, basta enfatizar a sua
importncia para o uso crescente da avaliao educacional pelas Secretarias de
Educao e o uso dos produtos dessa avaliao para o planejamento.
c) Liderana do MEC. O Sistema Nacional de Avaliao do Ensino Bsico criado

pelo Inep no princpio da dcada de 1990 est na raiz de todos os sistemas estaduais
de avaliao. Pela criao do precedente e pela aprendizagem tcnica oferecida pelo
Saeb, o Governo Federal exerceu uma influncia forte na criao dos sistemas
estaduais. Quando o Banco Mundial ofereceu financiamento para as reformas
educacionais de estados como Paran, Minas Gerais e Cear, na dcada de 1990, j
havia o exemplo de um sistema de avaliao em funcionamento, mesmo s amostral,
e alguma confiana por parte dos estados que seria possvel reproduzir a experincia
do Inep em nvel estadual.
Apesar do inegvel efeito indutor do Saeb, a influncia do Ministrio na definio

e diversificao dos sistemas estaduais s foi sentida de novo a partir da definio da
poltica educacional do segundo governo Lula, com a criao do Ideb e o foco nos
resultados do Decreto N 6.094, de 24 de abril de 2007. A Prova Brasil, criada em 2005,
no teve a mesma influncia indutora que o Saeb, justamente por ser uma avaliao
censitria de todos os alunos de 5 e 9 anos e ser entendida pelos seus idealizadores
como uma fonte suficiente de informao, capaz de suprir as necessidades dos estados
e municpios. Mesmo restrita s zonas urbanas, s escolas de ensino fundamental com
mais de 20 alunos e ser bianual, a Prova Brasil de fato fornece um retrato valioso do
funcionamento do sistema de ensino fundamental no pas.
Foi a partir da criao do Ideb, em 2007, que a Prova Brasil encontrou sua
verdadeira vocao. Pela incluso da mdia de desempenho dos alunos, juntamente
com uma medida de fluxo em uma frmula que permite expressar a qualidade da
escola em um nico nmero numa escala de 1 a 10, foi possvel potencializar os
resultados da Prova Brasil e criar pela primeira vez uma discusso nacional sobre a
direo e velocidade da melhoria da Educao. Por meio do Ideb, portanto, a Prova
22
Brasil comeou a exercer um poder de persuaso sobre os rumos da Educao nos
estados e municpios, permitindo que o Ministrio recuperasse sua ascendncia sobre
a poltica educacional. Como diz Vidal e Vieira:
H uma aceitao incondicional do Ideb. O ndice passou a ser o elemento

norteador, por excelncia, da poltica municipal de Educao. A gesto da
Educao municipal gira em torno da melhoria do Ideb nas escolas, e para
isso, as SMEs procuram estabelecer mecanismos de monitoramento das
escolas. (VIDAL; VIEIRA, 2011)(p. 12)
Ao mesmo tempo, o Ideb forneceu um modelo para os estados com sistemas

prprios de avaliao e capacidade de enxergar o valor em captar em um nico ndice
a situao de cada turma e de cada escola para o planejamento e a gesto do sistema.
Resta saber se o Ideb levar outros estados a criar sistemas prprios de avaliao para
poder ter indicadores prprios com base em informaes mais detalhadas e mais
frequentes. A evidncia que os 15 estados que implementaram sistemas de avaliao
conseguiram promover uma elevao da proficincia mdia em matemtica dos
alunos da 4 srie entre 1997 e 2005 maior do que os outros estados tambm dever
servir de incentivo (OLIVEIRA, 2007).
O pensamento por trs dos passos do MEC e do Inep na criao primeiramente de

uma avaliao censitria nacional e, em seguida, de um indicador que sintetizava a
qualidade do ensino, ficou expressa no Decreto N 6.094, que implementou o Plano de
Metas Compromisso Todos pela Educao. Essa legislao, uma pea central na
estratgia do Ministrio de estabelecer uma espcie de cruzada nacional a favor da
qualidade da Educao e galvanizar os estados e municpios em torno de um conjunto
de metas, explicitou as principais estratgias do Ministrio para a melhoria dos
resultados das escolas. As trs primeiras metas davam a avaliao educacional como o
instrumento preferido e especificavam os resultados dos alunos como o parmetro e o
objetivo dos esforos de melhoria:
Art. 2 A participao da Unio no Compromisso ser pautada pela

realizao direta, quando couber, ou, nos demais casos, pelo incentivo e
23
apoio implementao, por Municpios, Distrito Federal, Estados e
respectivos sistemas de ensino, das seguintes diretrizes:
I - estabelecer como foco a aprendizagem, apontando resultados concretos

a atingir;
II - alfabetizar as crianas at, no mximo, os oito anos de idade, aferindo

os resultados por exame peridico especfico;
III - acompanhar cada aluno da rede individualmente, mediante registro da

sua frequncia e do seu desempenho em avaliaes, que devem ser
realizadas periodicamente;
No segundo captulo do mesmo decreto, o Ministrio estabeleceu o Ideb como a

forma de aferir a qualidade da Educao bsica e como o indicador a ser usado na
verificao do cumprimento das metas fixadas no termo de adeso ao Compromisso
Todos pela Educao. Com um nico artigo, o MEC parecia querer encerrar uma
discusso de dcadas sobre a melhor maneira de definir e medir a qualidade da
Educao e optou por uma soluo de fcil compreenso. A partir de 2007, os
resultados dos alunos, medidos por sistemas de avaliao externa, se tornaram o
objetivo da poltica educacional e o parmetro a ser usado para medir o sucesso do
governo na conduo dessa poltica. Em recente relatrio do Centro de Gesto e
Estudos Estratgicos sobre o legado dos anos Lula, escrito em parceria com a
Secretaria de Assuntos Estratgicos da Presidncia da Repblica, os autores escrevem:
Modelado pelos patamares dos pases da OCDE, o Ideb estabeleceu

objetivos para o pas, para cada sistema de ensino e cada escola, de modo
a que, em 2021, venhamos a atingir o nvel educacional dos pases
desenvolvidos em termos de proficincia em Linguagem e Matemtica.
Teve o mrito de combinar resultados importantes, pois desejvel que os
nveis de proficincia melhorem e aumentem os percentuais de aprovao.
(OLIVEIRA; GADELHA, 2010) (p. 79)
O instrumento escolhido para ajudar os municpios a adotarem as metas e

trabalharem seriamente a favor da melhoria do Ideb foi o Plano de Aes Articuladas
24
PAR. Esse plano, baseado em diagnstico feito com a ajuda do MEC, seria a base de um
convnio pelo qual o Ministrio exerceria o monitoramento da execuo do convnio
ou termo de cooperao e do cumprimento das obrigaes educacionais fixadas no
PAR [...] com base em relatrios ou, quando necessrio, visitas da equipe tcnica (Art.
11). Nas entrelinhas, leia-se o Ideb e a ideia de que os municpios aceitavam os
recursos do Ministrio com a condio de implantar mudanas e promover a melhoria
da qualidade medida pelo novo indicador. Esse sistema de accountability, uma
novidade nas relaes entre nveis de governo na rea da Educao, s servia para
enfatizar uma vez mais a importncia a ser atribuda aos resultados de desempenho
dos alunos e necessidade de estar sempre monitorando a aprendizagem. No de
surpreender que em pouco tempo o Ideb tenha se tornado uma questo poltica para
os gestores da Educao em nvel estadual e municipal e a avaliao educacional um
elemento da maior relevncia na definio de prioridades governamentais. O Ideb
marca um divisor de guas na forma de fazer poltica educacional e uma mudana
radical nos critrios a serem empregados na avaliao do trabalho da escola e dos
responsveis pelos sistemas de Educao.
3.1. A Expanso dos Sistemas Estaduais de Avaliao
O Quadro 1, apresentado na pgina 37, mostra a evoluo dos sistemas estaduais

de avaliao educacional no Brasil. Os primeiros estados a criarem sistemas prprios
so Cear e Minas Gerais, em 1992. O governo do Cear cria o Sistema Permanente de
Avaliao da Educao Bsica em Cear (Spaece), que se mantm at hoje, contando
com algumas mudanas durante os anos. Em Minas Gerais, foi criado o Programa de
Avaliao do Sistema Estadual de Ensino de Minas Gerais, que posteriormente se
tornou o sistema atual: o Sistema Mineiro de Avaliao da Educao Pblica (Simave).
Essas primeiras iniciativas abrangeram testes de portugus e matemtica no ciclo

Bsico (3 srie) e na 8 srie, no caso do primeiro, e, no segundo, foram aplicados,
anualmente, testes de portugus e matemtica para os alunos de 4 e 8 sries do
25
Ensino Fundamental, entre os anos de 1992 e 1996, sendo posteriormente realizado a
cada dois anos para que no coincidisse com as provas do Saeb.
O ano de 1992 tambm foi marcado pela implantao da Avaliao da Jornada

nica, pela Secretaria de Educao do estado de So Paulo. O projeto era verificar os
efeitos da jornada nica nos anos do ciclo bsico, de 1 a 8 srie. Houve o
acompanhamento longitudinal de 3.600 alunos do Ciclo Bsico de 60 escolas da regio
metropolitana de So Paulo entre 1993 e 1995. Esse estudo teve grande importncia,
na medida em que permitiu identificar alunos-fantasmas, matriculados sem estarem
cursando, e por verificar que o desempenho dos alunos das chamadas Escolas-Padro
era semelhante ao observado nas demais modalidades de escola da rede estadual de
ensino, o que ocasionou a extino das Escolas-Padro (OLIVEIRA, 2007).
Esse processo culminou com a implantao do Sistema de Avaliao do

Rendimento Escolar (Saresp) em 1996. Os objetivos eram fornecer um perfil de
realizao dos alunos que pudesse ser utilizado pelos professores para que tomassem
conhecimento do padro de desempenho dos alunos, alm do objetivo de identificar
os pontos crticos no processo de ensino e aprendizagem na Educao pblica do
estado de So Paulo. O Saresp permanece com uma avaliao anual desde ento, sem
interrupes.
A avaliao do Programa de Avaliao do Sistema Estadual de Ensino de Minas

Gerais foi realizada anualmente de 1992 a 1998, avaliando diferentes sries escolares
de um ano para o outro. Os objetivos do programa contemplavam principalmente a
avaliao do desempenho dos alunos das escolas estaduais referentes a aspectos dos
contedos curriculares, o levantamento de dados e informaes que possibilitassem
polticas de interveno para o desenvolvimento do processo de ensino-aprendizagem,
oferecer subsdios para os professores conduzirem com maior efetividade o processo
de ensino e permitir que a Secretaria de Educao como um todo direcionasse suas
aes (OLIVEIRA, 2007).
O estado do Paran tambm criou um sistema prprio de ensino na metade dos

anos 1990. O Programa de Avaliao do Sistema Educacional do Paran foi aplicado
26
pela primeira vez em 1995, na 4 srie do Ensino Fundamental, com testes de
portugus e matemtica. Em 1996, foram aplicados testes na 8 srie do ensino
fundamental em cincias, histria e geografia, alm dos conhecimentos em portugus
e matemtica, e portugus e matemtica para o 2 ano do Ensino Mdio. J em 1997 e
1998, avaliaram-se, nos dois anos, a 4 e 8 sries do Ensino Fundamental e as
habilidades em lngua portuguesa, matemtica e cincias. O objetivo geral do
programa era obter informaes gerais sobre o nvel de conhecimento e habilidades
dos alunos da Educao bsica do estado.
Tambm, na dcada de 1990, houve experincias de avaliao nos estados de

Mato Grosso do Sul e Rio Grande do Sul. De 1993 a 1997, foram realizadas avaliaes
pontuais pelo Ncleo de Avaliao Educacional do estado do Mato Grosso do Sul de
algumas sries a cada ano nas escolas estaduais, mostrando um interesse maior em
fazer o diagnstico do sistema do que o monitoramento do progresso. Em 1993,
15.000 alunos da 8 srie do Ensino Fundamental foram testados. Em 1994, 31.700
alunos da 5 srie do Ensino Fundamental e 1.364 alunos dos cursos de magistrio. Em
1995, 26.000 alunos da 5 srie do Ensino Fundamental e 13.500 da 8. Em 1996,
alunos da 4 srie do curso do Cefam e da 3 srie do Curso do Ensino Mdio da Escola
Hrculos Maymone, no total de 1.250 alunos. Em 1997, 12.000 alunos do 3 ano do
Ensino Mdio foram testados. J no estado do Rio Grande do Sul, houve avaliaes nas
mesmas sries nos anos de 1996, 1997 e 1998. Contudo no se obtiveram maiores
informaes dessas avaliaes (LOPES, 2007).
No final dos anos 1990 e no princpio da nova dcada, observa-se que vrios
estados comeam a criar o seu prprio sistema de avaliao educacional, enquanto
outros aprimoram a parte tcnica da avaliao, utilizando novos instrumentos e
procedimentos estatsticos. Pode-se dizer que um grande marco nas avaliaes
educacionais no Brasil se d com a utilizao da metodologia de anlise e
interpretao dos dados, chamada Teoria de Resposta ao Item (TRI). A utilizao dessa
27
tcnica realizada pela primeira vez em 1995, no terceiro ciclo de avaliao do Saeb3.
Com base nessa tcnica e nas novas Matrizes Curriculares de Referncia, foi construdo
um banco de itens para o quarto ciclo do Saeb, em 1997, utilizado at hoje.
Em 1999, com uma parceria entre MEC, Inep e Secretaria de Educao do Acre,
realizada, de modo censitrio, a avaliao dos alunos da 4 srie do Ensino
Fundamental nesse estado. A parceria realizou nova avaliao em 2003, tambm de
forma censitria, com os alunos de 8 srie do Ensino Fundamental e 3 ano do Ensino
Mdio, alm dos alunos de 4 srie do Ensino Fundamental novamente. Houve uma
orientao s escolas baseada nos resultados da avaliao. O retorno para as escolas
se deu por meio de relatrios individualizados e produzidos no estado, que foram
apresentados em seminrios com diretores e coordenadores pedaggicos.
O ano de 1999 tambm o incio do Programa de Avaliao Externa da Secretaria

de Educao da Bahia, que aplica os primeiros testes em 2001. Esse programa se
dividiu em trs eixos principais: 1. Avaliao de desempenho, com a aplicao de
testes de lngua portuguesa e matemtica a alunos de 4 e 8 sries, alm de
questionrios contextuais, aos alunos das escolas pblicas dos municpios conveniados
ao Programa Educar para Vencer; 2. Avaliao da Aprendizagem, que teve incio em
2001, com a aplicao de testes de matemtica a alunos de 1 e 2 sries do Ensino
Fundamental das escolas pblicas urbanas de 130 municpios baianos, e prosseguiu em
2002, com a aplicao a alunos de 1 a 4 srie em 273 municpios; 3. O terceiro eixo
seria a criao de uma agncia permanente de avaliao independente para dar
continuidade s avaliaes de desempenho criadas pela Secretaria de Educao da
Bahia. Contudo, observou-se o fim do sistema de avaliao da Bahia j no ano de 2004.
Os resultados das avaliaes foram divulgados por meio de relatrios e reunies entre
os responsveis pela avaliao e secretrios municipais de Educao, diretores e
professores das escolas pblicas.
3
As avaliaes anteriores do Saeb se realizaram em 1990 e 1993.
28
Em 2000, houve a Avaliao das Escolas Pblicas do Maranho, numa parceria
com a Fundao Cesgranrio. Foram avaliados, de forma censitria, os alunos da 4
srie do Ensino Fundamental da rede estadual. Em 2001, houve nova avaliao no
estado, de forma censitria para as escolas estaduais, e amostral para as escolas
municipais, destinada a alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do
Ensino Mdio. Em 2001, houve uma avaliao no Tocantins nos mesmos moldes da
realizada em 2001 no Maranho, numa parceria do Inep com a Fundao Cesgranrio.
Em todos os casos, foram realizados testes de portugus e matemtica. Os resultados
foram tratados pela metodologia adotada pelo Inep/MEC, com a anlise estatstica
baseada na TRI.
As avaliaes estaduais em Minas Gerais e Paran no se realizam em 1999. No

ano 2000, o Programa de Avaliao do Sistema Educacional do Paran passa a utilizar a
TRI para o tratamento de seus resultados de modo a compatibilizar o produto das
avaliaes com a escala e resultados do Saeb, tambm produzidos com esse mtodo.
Em 2001, tambm no h avaliao. O ano de 2002 o ltimo a ter uma avaliao
estadual no Paran. Alm dos testes de lngua portuguesa, foram includos cincias e
matemtica para 4 e 8 sries, efetuados desde 1997, e testes de lngua portuguesa,
matemtica, fsica, qumica e biologia para o 3 ano do Ensino Mdio.
J em Minas Gerais, aps a interrupo da avaliao em 1999, criado em 2000 o

Sistema Mineiro de Avaliao da Educao Pblica (Simave). Os objetivos principais de
sua criao foram avaliar todos os alunos estaduais da 4 srie, no primeiro ano do
ciclo intermedirio, da 8 srie, no segundo ano do ciclo avanado, alm do 3 ano do
Ensino Mdio por meio do Programa de Avaliao da Rede Pblica da Educao Bsica
(Proeb). Posteriormente, a partir de 2005, criado o Pro-Alfa para avaliar as sries
iniciais de alfabetizao, os primeiros anos de aprendizagem escolar. O Simave em sua
origem j estabelece como unidade de anlise o item do teste cognitivo, incorporando
tambm a metodologia de anlise estatstica da TRI com o objetivo de explorar os
resultados obtidos e possibilitar a comparao dos mesmos ao longo dos anos. O
Simave, tanto por meio do Proeb quanto do Pro-Alfa, aplicado anualmente at os
dias de hoje.
29
Outro estado que passou por modificaes em seu sistema de avaliao foi o
Cear. A partir de 2001, o Spaece passou a aplicar os testes via internet. Os alunos
includos nas amostras por srie respondiam aos testes em telessalas equipadas com
computadores. Nos trs anos de 2001 a 2003, o programa passou a denominar-se
Spaece-Rede. A partir de 2001, o Spaece aplicado anualmente at os dias de hoje,
possibilitando uma avaliao padronizada do progresso da Educao bsica sem
interrupes. Em 2007, foi criado o Spaece-Alfa para avaliar a aprendizagem dos
alunos nas sries iniciais de alfabetizao. O CAEd ficou responsvel pela avaliao,
que ocorre anualmente desde ento, usando uma metodologia baseada em itens
calibrados.
Em 2000, foi criado o Sistema de Avaliao Educacional de Pernambuco (Saepe),

em parceria entre a Secretaria de Educao de Pernambuco, a Unesco e o Inep, por
meio de um acordo de cooperao tcnica. Inicialmente, foram aplicados testes de
leitura para os alunos de 2 srie e lngua portuguesa, matemtica e cincias para
alunos de 4 e 8 sries do Ensino Fundamental. No 3 ano do Ensino Mdio, no foi
aplicada a prova de cincias. Tambm foram aplicados questionrios contextuais para
escolas, diretores, professores, alunos e pais. O Saepe foi aplicado novamente em
2002, depois em 2005 e, desde 2008, aplicado anualmente, pelo modelo CAEd, com
testes padronizados e a utilizao da TRI.
Tambm no ano de 2000, foi criado o Programa de Avaliao da Educao Bsica

(Paebes) pela Secretaria de Educao do Esprito Santo com o intuito de avaliar a
qualidade da Educao pblica nos nveis fundamental e mdio e, com base nos
resultados, implementar polticas e aes educacionais que visem a melhoria dos
processos de ensino-aprendizagem. Em 2004, o Paebes foi aplicado novamente com
nova metodologia pautada em Matrizes de Referncia para a construo de itens, a
utilizao da Teoria Clssica dos testes e da Teoria de Resposta ao Item (TRI), sendo
disponibilizados relatrios para as escolas e para os pais e um relatrio geral. A
terceira avaliao aconteceu em 2008 e desde ento o Paebes segue sendo aplicado
anualmente pelo CAEd.
30
O sistema de avaliao prpria do estado do Rio de Janeiro foi criado pela
Secretaria de Educao tambm em 2000, baseado na implantao do programa Nova
Escola e aplicado em 2000, 2001, 2003, 2004 e 2005. Esse programa avaliava as escolas
se baseando em testes de portugus e matemtica para alunos de 4 e 8 sries do
Ensino Fundamental e 3 ano do Ensino Mdio. Tambm eram avaliados o fluxo
escolar dos alunos, em termos de aprovao, reprovao e abandono, e a gesto
escolar, na forma da assiduidade dos profissionais que trabalham na escola, relao
com a comunidade, correo da prestao de contas e a gesto com a matrcula. O
Programa Nova Escola tambm continha uma poltica de incentivo salarial para os
professores e demais profissionais da escola por meio de uma gratificao
proporcional aos objetivos alcanados pelas escolas, dentro de uma gradao de cinco
nveis de desempenho, variando de 5 a 25 pontos. A partir de 2008, a Secretaria de
Educao do Rio de Janeiro criou um novo sistema de avaliao, o Sistema de
Avaliao da Educao do Estado do Rio de Janeiro (Saerj), com o intuito de realizar
uma anlise do desempenho dos alunos do ensino fundamental e mdio, buscando
aprimorar os instrumentos para melhorar a Educao bsica no estado. Desde ento, o
Saerj realizado anualmente por meio do modelo CAEd, com a utilizao de Matrizes
de Referncias, TRI e produo de boletins.
Em 2011, o estado do Rio implantou o Saerjinho, um teste diagnstico para os

alunos de 5 e 9 anos do Ensino Fundamental e das trs sries do Ensino Mdio das
escolas estaduais de ensino regular. Os testes de lngua portuguesa e de matemtica
so aplicados ao final de cada bimestre. O objetivo acompanhar mais de perto o
rendimento dos estudantes, detectando de maneira mais gil as dificuldades de
aprendizagem das competncias e habilidades propostas no Currculo Mnimo.
Em 2001, Gois e Alagoas tambm iniciaram seus prprios sistemas de avaliao.

Em Alagoas, foi criado o Sistema de Avaliao Educacional de Alagoas (Saveal), visando
dar um panorama da realidade educacional do estado, e com base nele construir
indicadores bsicos de qualidade que direcionasse as polticas para o fortalecimento
das escolas. A aplicao abrangeu todos os alunos das escolas pblicas da 4 srie do
Ensino Fundamental. A segunda aplicao do Saveal ocorre em 2005, com o apoio da
31
Unesco. Os testes foram aplicados para alunos de 4 e 8 anos do Ensino Fundamental,
com a aplicao de provas de portugus e matemtica. H a previso de que o Saveal
se realize este ano. J a Secretaria de Educao de Gois implantou o Sistema
Integrado de Avaliao do Estado de Gois (Saego) para comparar a Educao no
estado com os nveis nacionais, buscando aperfeioar a Educao no estado. Foram
aplicados testes de lngua portuguesa e matemtica aos alunos de 4 e 8 sries do
Ensino Fundamental e 3 ano do Ensino Mdio de forma censitria. O Saego foi
aplicado novamente em 2002 e 2004.
Em 2003, aps a experincia de avaliao em meados da dcada de 1990, a

Secretaria de Educao do Mato Grosso do Sul, por meio de seu Ncleo de Avaliao
Educacional, implantou o Sistema de Avaliao da Educao do Mato Grosso do Sul
(Saems), tendo o CAEd como agncia avaliadora. Os princpios que nortearam o
programa foram: a centralidade da escola, pela produo de indicadores de
desempenho por meio da aplicao de testes a alunos de 4, 8 sries do Ensino
Fundamental e 3 ano do Ensino Mdio, produzidos por unidade escolar, oferecendo
diagnstico do trabalho por elas produzidos; participao, por meio de oficinas de
discusso da elaborao dos instrumentos de avaliao e a posterior produo de
itens; gesto consorciada, por meio da participao compartilhada entre Inep,
Secretaria Estadual de Educao, Universidade Estadual do Mato Grosso do Sul e CAEd
do sistema de avaliao em diferentes nveis; equidade, como ideal de promoo
poltica; publicidade, por meio da divulgao dos resultados s escolas e comunidades
em geral; e independncia, no sentido de especialidade mais tcnica sem carter
poltico partidrio. O Saems foi aplicado tambm nos anos de 2005, 2007, 2008, 2009 e
h a previso de que seja aplicado este ano.
O estado do Amazonas tambm implementou uma avaliao das escolas pblicas

em 2003, uma parceria entre a Secretaria Estadual de Educao e o Inep/MEC. A
avaliao foi feita nos moldes do Saeb. Houve treinamento dos professores,
elaborao do banco de itens e produo das provas. Foram avaliados alunos de 2, 4
e 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio. Contudo a equipe
estadual responsvel pela avaliao teve dificuldades de trabalhar com a TRI e optou
32
pela utilizao da teoria clssica dos testes. Em 2008, a Secretaria Estadual de
Educao criou o Sistema de Avaliao do Desempenho da Educao do Amazonas
(Sadeam), com o objetivo de ter um monitoramento contnuo da Educao no estado e
planejar aes para melhor-la. O Cespe foi responsvel pela avaliao no estado.
Foram avaliados alunos de 5 ao 9 anos do Ensino Fundamental, 3 ano do Ensino
Mdio e EJA. O Sadeam continua em funcionamento, sendo aplicado anualmente
desde ento, utilizando em sua metodologia a Teoria Clssica e a TRI.4
Em 2004, foi implantado o Exame de Avaliao da Educao Bsica do Estado do

Sergipe (Exaeb-SE) dentro do Sistema de Avaliao Peridica de Desempenho (Saped).
Houve avaliaes em 2004, 2005 e 2006 com um exame aplicado anualmente a alunos
da 5 8 srie do Ensino Fundamental e alunos do Ensino Mdio do Ensino Mdio das
escolas pblicas estaduais. A avaliao foi amostral, mas contemplou todas as
unidades escolares, turmas e disciplinas no estado. Contudo no h muita informao
sobre esse sistema de avaliao, sobre os instrumentos e a metodologia utilizados,
sobre o tratamento de resultados e a divulgao. O que se sabe que os relatrios
foram devolvidos para as escolas e os diretores (LOPES, 2007).
Aps as avaliaes externas realizadas em 1996, 1997 e 1998, o Rio Grande do Sul
implantou seu prprio sistema de avaliao em 2005: o Sistema do Rendimento
Escolar do Rio Grande do Sul (Saers), com objetivo de obter dados e informaes sobre
o desempenho educacional dos alunos no que concerne ao seu desenvolvimento
cognitivo e, com isso, possibilitar a correo de polticas pblicas na rea. Foram
avaliados alunos de 2 e 5 sries do Ensino Fundamental, em relao leitura, escrita
e matemtica, de forma censitria, em escolas urbanas e rurais de duas
coordenadorias da rede estadual e em escolas municipais de 75 municpios. Tambm
4
Pela utilizao de ambas as teorias na produo de materiais, o estado de Amazonas poderia se tornar
um estudo de caso para testar a hiptese que quando os Estados e municpios convertem suas
metodologias para a TRI, eles perdem uma parte da capacidade de avaliar os processos de
aprendizagem. Pela falta de familiaridade com a noo de proficincia e as conhecidas dificuldades de
fazer uma interpretao das escalas, sugere-se que o avano tcnico da avaliao que traz vantagens em
outras reas possa tambm estar associado perda de compreenso dos resultados.
33
foram aplicados questionrios contextuais a alunos, professores e diretores. Em 2007,
segundo ano de aplicao do Saers, alm das sries citadas tambm foram avaliados
alunos do 1 ano do Ensino Mdio. Trabalhou-se, metodologicamente, com a Teoria
Clssica e com a Teoria de Resposta ao Item. O Saers foi aplicado em 2009 e 2010,
sendo interrompido aps esse ltimo ano de avaliao depois da mudana de governo.
Em 2008, alm da criao do Sadeam, tambm foram implementados os sistemas

de avaliao do Piau e do Distrito Federal. A Prova Piau foi aplicada somente em 2008
at o momento. Desenvolvida pela Secretaria de Educao do Estado, a Prova Piau
teve como objetivos, alm de avaliar o desempenho do aluno no estado e realizar
polticas de interveno com base no diagnstico, tambm minimizar os ndices de
evaso e repetncia na Educao pblica do estado. Os alunos de 3, 4, 7 e 8 sries
do Ensino Fundamental e 2 e 3 anos do Ensino Mdio de todas as escolas pblicas do
estado foram avaliados em testes de lngua portuguesa e matemtica.
J a Secretaria de Educao do Distrito Federal implantou em 2008 a primeira

avaliao do Sistema de Avaliao do Desempenho das Instituies Educacionais do
Sistema de Ensino do Distrito Federal (Siade), ficando ela a cargo da Fundao
Cesgranrio. A proposta avaliar 2, 4, 6 e 8 sries do Ensino Fundamental em
relao a redao, matemtica e cincias e a 3 srie do Ensino Mdio, em que a
avaliao de cincias seria substituda por testes de qumica, fsica e biologia. Novos
contedos, como histria, geografia, filosofia e sociologia, tambm tm previso de
serem avaliados. Desde 2008, o Siade realizado anualmente na rede pblica e na
rede privada, quando solicitado ou em funo do recredenciamento. So
disponibilizados matrizes de referncia e guia de itens. A metodologia contempla a
utilizao da TRI e o desenvolvimento de ndice prprio para monitorar as escolas.
Aps as avaliaes esparsas de 1999 e 2003, realizadas em parceria com o

Inep/MEC, a Secretaria de Educao do Acre criou em 2009 o Sistema Estadual de
Avaliao da Aprendizagem Escolar (Seape) com o intuito de fazer um diagnstico do
sistema de ensino estadual e atuar como instrumento de monitoramento das polticas
pblicas implementadas pelo estado. O CAEd o responsvel pelo Seape. So
avaliados, anualmente, alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do
34
Ensino Mdio das escolas estaduais e municipais do estado. So elaborados e
discutidos os itens da prova e posteriormente analisados com base na TRI. So
disponibilizadas tambm as matrizes de referncia.
Pelo progressivo aumento da cor verde do Quadro 1, mostrando o crescimento

dos sistemas estaduais de avaliao, percebe-se que esses sistemas j se tornaram
aspectos fixos do panorama educacional do pas. Os estados que ainda no tm so
minoritrios e alguns dos que j tiveram, mas por diferentes motivos suspenderam seu
funcionamento, mostram a inteno de recuper-los. A reformulao da metodologia
dos sistemas estaduais no princpio da dcada passada e a incorporao da TRI o
divisor de guas na evoluo recente da avaliao. A partir desse momento, um
nmero maior de estados se dispe a experimentar com a criao de sistemas
prprios. No entanto, s a partir da metade da dcada passada que os sistemas se
tornam mais permanentes, menos suscetveis aos reveses polticos dos primeiros anos
da dcada de 1990 e mais slidos em termos tcnicos e metodolgicos. Quase no se
escutam mais as dvidas expressadas pelos professores e outros profissionais a
respeito da utilidade da avaliao externa. Como relatado por um dos tcnicos
responsveis pela implantao de um dos sistemas mais recentes, o do Distrito
Federal, a aceitao geral:
...Desde que ele foi constitudo, desde que se ouvir falar do Siade, a
expectativa foi muito grande, e desde sua primeira publicao at hoje
todo mundo se interessa, e se interessa de maneira positiva, pais, alunos, a
prpria casa, profissionais. Tanto que a gente trabalha do lado da
ouvidoria e a gente no teve uma reclamao sequer da avaliao em
nenhum aspecto, seja logstico, seja de material, seja da sua aplicao, dos
prprios contedos, n? (Tcnico: SEE/DF)
Antes que se crie a noo que o avano da avaliao foi um processo tranquilo,
sem solavancos nem retrocessos, importante destacar a falta de continuidade das
polticas de avaliao mesmo nos estados com os sistemas mais consolidados. Nisso a
avaliao refletiu as dificuldades evidentes em outras dimenses da poltica
educacional, incluindo a fragmentao, falta de documentao e descontinuidade por
35
conta de rivalidades polticas. Devido tendncia de ver a poltica educacional como
questo partidria e as conhecidas resistncias aos processos de avaliao externa por
parte de alguns segmentos dos professores, no foi incomum nas dcadas passadas a
paralizao dos sistemas de avaliao por certo tempo e at por perodos longos.
Pode-se dizer que a falta de continuidade pela ausncia de consensos suprapartidrios
sobre os rumos da poltica educacional prejudicou a evoluo da avaliao educacional
e deixou marcas.
Talvez o exemplo mais marcante de um sistema de avaliao que ficou suspenso

em consequncia de resistncias polticas o de Paran. Esse sistema foi paralisado
em 2002 e continua sem previso de retomada. A recente paralizao do Saers, no Rio
Grande do Sul, pode tambm sinalizar um novo retrocesso caso o novo governo no
recupere a confiana no valor de avaliaes estaduais regulares. Por outro lado, o caso
de Minas Gerais parece oferecer exemplo dos benefcios de um sistema que manteve
sua continuidade e que se consolidou justamente pela capacidade de fornecer
informaes consistentes e comparveis, independentemente da colorao partidria
do secretrio. Com essa continuidade, uma poltica educacional que se fundamenta
nos resultados das avaliaes e outros produtos do sistema de informaes da
Secretaria pde ser implantada gradativamente, permitindo uma consolidao mais
consensual e segura.
36
Quadro 1. Sistemas Estaduais de Avaliao Educacional 1992-2011
Regio Estado 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011*
NO AC AC AC SEAPE
AM AM SADEAM
PA
RR
RO *
AP
TO AEP SAD?
NE MA PAM AEP SIMADE?
PROVA *
PI
PIAU
SPAECE
CE SPAECE
ALFA
RN
PB
PE SAEPE
AL SAVEAL
SE EXAEB
BA PAE
CO MT
MS NAE SAEMS
GO SAEGO *
DF SIADE
SIMAVE
SE MG AVA-MG
PROALFA
ES PAEBES
37
PNE SAERJ
RJ
SAERJINHO
SP SARESP
SU PR AVA
SC
RS SAERS
AC - Avaliao Escolas Pblicas do Acre (1999 e 2003) Parceria Inep-Mec SAEGO Sistema de Avaliao da Educao de Gois
AEP - Avaliao Escolas Pblicas Cesgranrio SAEMS Sistema de Avaliao da Educao Bsica do Mato Grosso do Sul
AC - Avaliao Escolas Pblicas do Amazonas (2003) Parceria Inep-Mec SAEPE Sistema de Avaliao Educacional de Pernambuco
AVA - Programa de Avaliao do Sistema Educacional do Paran SAERJ Sistema de Avaliao da Educao do Estado do Rio de Janeiro
EXAEB-SE Exame de Avaliao da Educao Bsica do Estado de Sergipe SAERS Sistema de Avaliao do Rendimento Escolar do Rio Grande do Sul
NAE Ncleo de Avaliao Educacional do Mato Grosso do Sul SARESP Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo
PAEBES - Programa de Avaliao da Educao Bsica do Esprito Santo SAVEAL Sistema de Avaliao de Alagoas
PAE - Projeto de Avaliao Externa SEAPE Sistema Estadual de Avaliao da Aprendizagem Escolar
PAM Projeto de Avaliao do Maranho SIADE Sistema de Avaliao de Desempenho das Instituies Educacionais do
PNE Programa Nova Escola Distrito Federal
PROVA PIAU SIMADE Sistema Maranhense de Avaliao de Desempenho
SAD Sistema de Avaliao de Desempenho (dvida se nos mesmos moldes dos SIMAVE Sistema Mineiro de Avaliao (SIMAVE PROEB DESDE 2000 /
outros) PROALFA DESDE 2005)
SADEAM Sistema de Avaliao de Desempenho Educacional do Amazonas SPAECE Sistema Permanente de Avaliao da Educao Bsica do Cear
* A referncia de 2011 para estados que vo iniciar ou retomar a avaliao educacional neste ano com base em informaes no oficiais. Para os estados com sistemas
de avaliao consolidados, supe-se que haja a continuidade no ano corrente. O estado do Paran sinaliza com a volta de seu sistema de avaliao no segundo semestre
de 2012.
38
4. Accountability e as Avaliaes High-Stakes
A ideia de usar a avaliao educacional com o propsito de focar as atenes nos

resultados e, mediante diferentes estmulos ou medidas coercitivas, promover ou
induzir mudanas nos professores e nas escolas no uma poltica nova. Em 1863, o
parlamento britnico estabeleceu um sistema de financiamento educacional que
durante quase 30 anos fixava os salrios dos professores de acordo com os resultados
dos alunos em provas orais aplicadas pelos inspetores escolares (RAPPLE, 1994).
Portanto, polticas de accountability efetivadas por meio do uso de provas high-stakes
para determinar o pagamento de professores com base nos resultados dos alunos tm
no mnimo 150 anos.
Em tempos modernos, a associao entre resultados e consequncias,

principalmente no uso de provas finais para determinar a graduao do Ensino Mdio
nos Estados Unidos, data da dcada de 1970. Porm o uso mais recente de polticas
que responsabilizam as escolas pelos seus resultados, coroado por uma legislao
federal naquele pas que no princpio da dcada passada estipulava metas de
proficincia para todos os grupos e ameaava fechar escolas que no as alcanavam,
tem levado a prtica da accountability a um patamar de exigncia nunca antes
experimentado.
O descontentamento pblico com a qualidade da Educao na dcada de 1970

nos Estados Unidos se derivava do aparente fracasso dos programas de Educao
compensatrios, das diferenas marcantes nos resultados dos grupos raciais, da falta
de empregabilidade dos jovens e da sensao geral de que o diploma de Ensino Mdio,
tradicional smbolo de uma Educao completada, j no estava significando grande
coisa. O que nasceu desse caldo foi o movimento a favor das competncias mnimas
e a ideia de que todo aluno deveria passar por testes para certificar se efetivamente
satisfazia s exigncias mnimas para aquele curso ou ano de estudo. A mudana de
nfase de insumos escolares para resultados escolares foi acompanhada por uma
poltica de estabelecer a satisfao das competncias mnimas como requisito para
receber o diploma de Ensino Mdio e, at 1985, 33 dos 50 estados j estipulavam esse
39
requisito em lei (HAERTEL; HERMAN, 2005). Para evitar problemas polticos causados
pelo aumento no nmero de egressos do Ensino Mdio sem diploma, o nvel de
exigncia foi mantido relativamente baixo, e a nfase em competncias mnimas ou
bsicas, preservada. Se havia accountability, nesse momento era mais pelas cobranas
feitas aos distritos escolares para que cumprissem as resolues dos governos
estaduais e aos professores para cumprissem as normas da profisso (ANDERSON,
2005).
Foi a criao de metas de proficincia com consequncias para as escolas,

incorporadas em lei no Texas e em outros estados ao longo da dcada de 1990, que
levou a poltica de accountability a um patamar ainda desconhecido. O novo sistema
continuou de olho nos resultados das avaliaes, mas seguia um raciocnio diferente,
derivado de um clima poltico que traava paralelos entre a Educao e o mundo dos
negcios e refletia uma teoria explcita de ao a respeito da melhoria do desempenho
dos alunos que enfatizava a motivao dos professores, alunos e gestores. Apesar de
pesquisadores demonstrarem que o sistema de accountability implantado no Texas
no trazia nenhum benefcio para os latinos (VALENZUELA, 2005), era quase inevitvel
que se tornasse o modelo para a legislao federal quando o governador George Bush
Jr. se elegeu presidente.
A legislao federal, aprovada pelo congresso em 2001, recebeu o nome de

Nenhuma Criana Deixada para Trs, ou NCLB (sigla em ingls). O NCLB aumentou
significativamente as obrigaes dos estados na aplicao de avaliaes, estipulou
metas de accountability para escolas, distritos e estados e legislou sobre o progresso
anual aceitvel para todos os alunos e subgrupos de alunos por nvel socioeconmico,
raa, lngua materna e necessidade especial (LINN; BAKER; BETEBENNER, 2002). A
avaliao anual foi estendida para entre a 3 e a 8 srie, juntamente com
recomendaes para a formulao de padres curriculares, e as metas para todos os
alunos alcanarem proficincia at o ano de 2014 foram acompanhadas de uma srie
de provises caso a escola no cumpra a sua tarefa. Essas variavam desde o direito dos
pais de levarem seus filhos para outras escolas at o fechamento e reconstituio da
40
escola que no alcanasse o progresso anual adequado por anos consecutivos
(HAERTEL; HERMAN, 2005).
O objetivo da legislao era de pressionar as escolas pblicas, principalmente as

consideradas de desempenho fraco, a melhorar seu rendimento de acordo com
parmetros padronizados nas diferentes reas do currculo e para os diferentes
subgrupos de alunos (MALEN; RICE, 2004). Segundo Fuhrman (2005), esse propsito
tinha vrios pressupostos: que o desempenho dos alunos nas provas fosse o objetivo-
chave da escola e o sistema de accountability devesse ser construdo em torno dele;
que o desempenho pudesse ser medido de forma precisa; que as consequncias
motivassem professores e alunos; que o efeito geral pudesse ser um ensino de
qualidade e um nvel superior de desempenho; e que os efeitos colaterais e
indesejados fossem mnimos (FUHRMAN, 2003).
Esses pressupostos demonstram o quanto os novos sistemas de accountability

so polmicos e indicam, portanto, a necessidade de fazer mltiplas perguntas para
poder avali-los em todas as suas dimenses. No suficiente perguntar se os alunos
esto aprendendo mais. H a necessidade de determinar se essa aprendizagem
significa progresso educacional para todos (SUNDERMAN, 2008), se os sistemas de
avaliao so vlidos e justos e se h formas de melhor-los para que a aprendizagem
avance mais (FUHRMAN, 2003). E, mesmo quando se toma a aprendizagem como
critrio, h de perguntar tambm se os alunos que esto sendo mudados para outras
escolas por fora da legislao esto sendo beneficiados. A esse respeito, uma
pesquisa indica que a proximidade e disponibilidade de escolas de notas altas so
fatores preponderantes na capacidade de os sistemas de accountability e a poltica de
dar a liberdade de escolha de escola aos pais impactarem os resultados dos alunos,
mas que ainda essas condies no so frequentes (HASTINGS, 2007).
As pesquisas que demonstram que h ganhos na aprendizagem so vrias. Jacob

(2002) encontrou ganhos imediatos no desempenho em matemtica e leitura logo
aps a introduo da poltica de accountability nas escolas pblicas de Chicago, em
comparao com as tendncias anteriores e tambm em comparao com outros
distritos urbanos do Meio-Oeste. Porm os ganhos identificados foram provocados por
41
melhorias nas habilidades especficas medidas pelos testes e na motivao dos alunos
e no houve ganhos equivalentes em testes estaduais low-stakes, sem consequncias
para os alunos (JACOB, 2002). O autor tambm notou que os professores responderam
estrategicamente aos incentivos, classificando alunos como portadores de
necessidades especiais, retendo alunos na srie anterior aos testes e procurando
lecionar em reas curriculares no sujeitas aos testes.
Esses comportamentos so observados em outras pesquisas que mostram que,

quando h resultados positivos, indicando ganhos aparentes na aprendizagem dos
alunos aps a implantao de sistemas de accountability, esses resultados podem
tambm ser explicados por outros fenmenos. O mais comum dessas explicaes
alternativas fornecido pela excluso de alunos de desempenho mais baixo que, por
reteno ou por abandono, so removidos da coorte. Se esses alunos tivessem
continuado entre os alunos testados, teriam anulado o ganho mdio do grupo
(NICHOLS; GLASS; BERLINER, 2005). Outra explicao fornecida pelo comportamento
gaming dos prprios estados perante as exigncias de melhorias anuais. Diversos
autores (LINN; BAKER; BETEBENNER, 2002; CAREY, 2007) encontram evidncia de
afrouxamento dos padres de contedos, do rigor dos testes e do nvel de exigncia
dos estados. Em consequncia, o percentual de alunos que alcanam o nvel
considerado satisfatrio ou proficiente nas avaliaes estaduais ao final do Ensino
Mdio pode variar de um estado a outro e de um ano a outro sem que isso signifique
uma diferena substantiva na qualidade do ensino.
A diversidade dos parmetros das avaliaes estaduais tem levado muitos

pesquisadores a abandonarem a taxa de graduao do Ensino Mdio como uma
medida de progresso na aprendizagem e abraar como indicador independente os
resultados da Avaliao Nacional de Progresso Educacional Naep, a maior e mais
conhecida avaliao padronizada de 4 e 8 sries. Apesar de alguns no encontrarem
uma relao significativa entre os resultados do Naep e os resultados medidos pelos
testes estaduais high-stakes (AMREIN; BERLINER, 2002), a maior parte da pesquisa
subsequente mostra essa conexo. As pesquisas de Carnoy e Loeb (CARNOY; LOEB,
2002) e de Braun (BRAUN, 2004) so exemplos de como dados transversais parecem
42
apoiar a concluso que os testes high-stakes de fato promovem desempenhos
melhores. Essas e outras evidncias tm influenciado os formuladores das polticas
educacionais dos estados, como de Nova York:
Exames com consequncias atreladas, como a proibio de se graduar da

escola de Ensino Mdio, fornecero os incentivos para os estudantes
estudarem e trabalharem mais para passar. Mesmo no sendo conclusiva,
a grande maioria dos estudos mostra a existncia de uma relao e
estamos confiantes em concluir que a existncia de exames high-stakes
geralmente leva a um desempenho acadmico mais alto (NYSED, 2004) (p.
3).
No entanto, outras pesquisas mostram que os avanos medidos pelo Naep

podem tambm ser ilusrios. Em pesquisa na Flrida para compreender os avanos
dos alunos da 4 srie no teste de matemtica do Naep de 2005 em comparao aos
alunos de outros estados, Haney (2006) comprova que o festejado resultado foi reflexo
indireto do aumento na taxa de reprovao em 2003-2004. Alm do mais, os alunos
obrigados a repetirem a 3 srie foram desproporcionalmente alunos de grupos
minoritrios, o que levou a uma reduo igualmente falsa na diferena entre as mdias
dos diferentes grupos raciais.
O que causou a queda dramtica na diferena entre os grupos raciais nos

resultados Naep na Flrida? A anlise da transio entre as sries com base
em informaes de matrcula torna bastante clara a resposta [...] as
anlises da matrcula por grupo racial (negro, hispnico e branco) deixa
claro que quando a Flrida comeou, em 2003-2004, a aumentar a
repetio na 3 srie, eram desproporcionalmente crianas negras e
hispnicas (de 15 a 20% tiveram que repetir), em comparao com crianas
brancas (cerca de 4 a 6% tiveram que repetir a 3 srie. (HANEY, 2006) (p.
6).
Devido importncia atribuda reduo das diferenas entre os grupos raciais

na legislao NCLB e no processo de monitoramento anual do progresso de todos os
43
grupos em direo meta comum, chama a ateno a concluso do pesquisador de
que os resultados baseados em amostras de alunos por srie, como da Naep e a
maioria dos testes estaduais, sempre mascararo as desigualdades do sistema.
Enquanto a ateno se concentra nas diferenas de desempenho dos grupos raciais em
determinada srie, a verdadeira diferena se revela no progresso dos diferentes
grupos no sistema educacional (HANEY, 2006).
Outra parte significativa da bibliografia mostra que no s no h resultados

positivos mas que tambm as provas high-stakes chegam a fazer mal ao processo
educativo. Nichols (2005) no encontra a evidncia de um efeito positivo de provas
high-stakes, enquanto Malen (2004) demonstra como verses de sistemas de
accountability high-stakes podem diminuir a capacidade das escolas com mais
dificuldades de melhorarem seus resultados, mesmo na presena de recursos
adicionais (MALEN; RICE, 2004; NICHOLS; GLASS; BERLINER, 2005). Outros efeitos
colaterais incluem a reduo na criatividade e no entusiasmo dos professores devido
s demandas pouco razoveis a que esto sujeitos e que os levam a abandonar a
profisso (JOHNSON; JOHNSON, 2002), e a tendncia dos professores de ensinar para
o teste, e dessa forma inflar artificialmente os resultados dos alunos, ao mesmo tempo
em que se descuidam das atividades e reas curriculares no sujeitas ao
monitoramento (VOLANTE, 2004).
Muitos dos estudos acessados concluem que o accountability como poltica

pblica que promete mudanas substanciais fica aqum do prometido (MANNA, 2010)
ou produz resultados superficiais e contraditrios. O termo superficial se refere
descoberta que, enquanto os testes high-stakes parecem motivar os professores e
gestores a mudarem sua prtica, as mudanas tendem a ser antes meros ajustes
superficiais no contedo ensinado e no preparo dos alunos para as provas do que
melhorias permanentes na prtica de ensino. Ainda mais problemtico, a informao
fornecida pelas avaliaes em larga escala serve mais para medir o progresso da escola
ou do sistema do que para guiar o ensino, de modo que a poltica bem menos
substantiva do que se costuma pensar. Enquanto serve para indicar as fragilidades das
44
escolas, oferece pouco em termos de informao e orientao para a formulao de
respostas pedaggicas (SUPOVITZ, 2009).
Os resultados tambm so conflitantes. Em meta-anlise de 49 estudos das

relaes entre testes high-stakes e prticas docentes, Au (2007) encontra tendncias
contraditrias. Os efeitos mais visveis so a reduo do contedo para os tpicos dos
testes, a fragmentao dos conhecimentos em pedaos relacionados aos testes e o
aumento nas prticas de ensino centradas no professor. Por outro lado, em
determinados momentos, os testes high-stakes tm levado a uma expanso no
currculo, integrao de diferentes reas curriculares e ao uso de estilos de ensino
mais cooperativos, centrados nos alunos. Os achados contraditrios da pesquisa
sugerem que o impacto da poltica de testes high-stakes sobre a prtica do professor
esteja condicionado pela prpria natureza dos testes e pela relao deles com o
currculo (AU, 2007).
Talvez por esse motivo existam autores que pensam que os sistemas de
accountability como o NCLB possam ainda promover mudanas positivas. Anderson
(2005) argumenta que, para um sistema de accountability produzir resultados de
aprendizagem ao mesmo tempo em que atende s necessidades legais e profissionais
do corpo docente, ele precisa satisfazer alguns requisitos, entre os quais a necessidade
de expressar uma completa harmonia de propsitos e instrumentos (ANDERSON,
2005). Para esse e outros autores, a conceito usado o do alinhamento dos objetivos,
do currculo, do ensino, dos recursos e das avaliaes. Sem esse alinhamento, que
comea com um consenso em torno de um currculo-padro e se estende para dentro
da sala de aula por meio do currculo ensinado, no h sistema de avaliao que possa
oferecer alguma orientao para a prtica do professor ou fornecer as bases para uma
distribuio justa de prmios.
4.1 Sistemas de Incentivos
Outro assunto levantado pelos novos sistemas de accountability diz respeito

prpria teoria dos incentivos e seu impacto no comportamento dos professores. Por
45
causa da polmica sobre os novos sistemas de pagamento por resultados e de
incentivos salariais nos Estados Unidos, existe uma literatura j considervel sobre
esse tpico, que nos ajudar a especular sobre os possveis efeitos dos sistemas de
incentivos salariais para professores sendo implantados no Brasil e seus impactos no
resultado dos alunos.
Quando a pesquisa se concentra na comparao dos resultados dos alunos de

acordo com a presena ou no de sistemas de pagamento de incentivos, a tendncia
nos Estados Unidos e em outros pases como ndia e Israel mostrar que os alunos
tm desempenho superior quando seus professores esto aptos a receberem algum
bnus. Usando dados de um experimento natural em um distrito escolar onde uma
escola de Ensino Mdio adotou um sistema de incentivos e outro no, Eberts e colegas
no conseguiram mostrar que houve impacto na mdia dos alunos, mas constataram
que a proporo de alunos evadidos diminuiu significativamente (EBERTS;
HOLLENBECK; STONE, 2000). Figlio e Kenny (2006), por outro lado, com base na
Pesquisa Longitudinal Nacional sobre Educao (NELS), encontraram resultados
melhores em escolas com sistemas de incentivos, mas pela natureza dos dados no
puderam descartar a possibilidade de esse resultado ter sido causado pela adoo dos
sistemas de incentivos pelas melhores escolas (FIGLIO; KENNY, 2006). Resultados mais
convincentes foram encontrados por Winters em estudo do sistema de incentivos de
Little Rock, Arkansas, onde os alunos dos professores includos no programa obtiveram
ganhos substanciais (WINTERS, 2008) e Atkinson, na Inglaterra, onde o ganho equivalia
a aproximadamente 40% de um ano escolar por aluno (ATKINSON, 2009). O estudo de
Lavy de professores de ingls e matemtica includos em programa de premiao por
aumentos no resultados dos alunos no exame de ingresso ao Ensino Mdio mostrou
ganhos na proporo de alunos prestando o exame, nas mdias e na taxa de
aprovao, causados por mudanas no ensino, nos cuidados dos professores com os
alunos e o tempo gasto fora do horrio escolar (LAVY, 2009). Mesmo representando
somente 3% do salrio anual, os incentivos oferecidos no estado indiano de Andra
Pradesh foram suficientes para melhorar os resultados dos alunos em 0,28 e 0,16
46
desvios-padro em matemtica e lngua aps dois anos do programa
(MURALIDHARAN; SUNDARARAMAN, 2009).
Outros autores so menos otimistas e enfatizam possveis efeitos negativos dos

sistemas de incentivos, incluindo a eroso da motivao intrnseca inerente docncia
pela motivao extrnseca mais instrumental. Springer (2009) menciona a perda do
ambiente colaborativo e a instalao de interesses mais competitivos ao mesmo
tempo em que critica a incapacidade dos testes de retratar a complexidade multitarefa
do trabalho do professor (SPRINGER, 2009). Relatrio da Corporao Rand tambm
fala da possibilidade de efeitos negativos na moral dos professores, no esprito de
colaborao entre membros da equipe e no desempenho dos alunos (RAND, 2009). Os
trabalhos que no detectam ganhos entre os alunos de professores includos em
programas de incentivos observam o efeito de pequenas variaes no prprio desenho
dos programas e a necessidade de envolver os interessados no processo de
formulao (PRINCE, 2008 ).
Quando a pesquisa faz a distino entre sistemas de incentivos individuais e

sistemas de incentivos coletivos, pagos a todos os integrantes da equipe escolar
independentemente se foram ou no os professores dos alunos testados, os
resultados se tornam mais relevantes para a situao brasileira. Com a exceo do
prmio para os professores alfabetizadores de Sobral, os incentivos brasileiros so
coletivos, pagos, mediante frmulas diversas, coletividade escolar com justificativas
que geralmente explicitam o propsito de motivar a equipe inteira e evitar possveis
divises causadas pelos incentivos individuais. Os motivos tambm so prticos. Como
detalhado por Ahn e Vigdor, pela concentrao da avaliao em poucas reas
curriculares e em s algumas sries escolares geralmente so poucos os professores
cujos alunos so efetivamente testados, mesmo nos Estados Unidos, (AHN; VIGDOR,
2010). Outro problema a distribuio no aleatria de alunos entre as turmas e a
consequente distribuio enviesada de resultados e incentivos entre os professores. O
terceiro problema, a ser discutido em relao ao uso de novas metodologias de valor
agregado para a avaliao docente, que os instrumentos de avaliao e os mtodos
estatsticos para determinar a relao entre os resultados dos alunos e o trabalho do
47
professor ainda sofrem de flutuaes aleatrias e outras imprecises que dificultam
seu uso para incentivos individuais.
Apesar das aparentes vantagens do incentivo coletivo, a pesquisa no

demonstra o mesmo impacto. Muralidharan mostra que, enquanto as duas
modalidades de incentivo produziram impactos similares no primeiro ano, a partir do
segundo ano os incentivos individuais superaram os outros (MURALIDHARAN;
SUNDARARAMAN, 2009). Goodman e Turner, por outro lado, mostram pouco impacto
para incentivos de grupo pagos de acordo com o cumprimento de metas pela escola.
Em pesquisa conduzida no sistema pblico de Nova York, foram criadas diversas
medidas de resultados, incluindo esforo docente, desempenho dos alunos em
matemtica e leitura e prticas de sala de aula. Foi detectada a prtica de free-riding,
em que os professores cujos alunos no foram testados beneficiaram-se do trabalho
dos outros, mas sem esforo prprio, o que reduziu significativamente o efeito dos
incentivos do programa. Em escolas com um nmero menor de professores, os
incentivos levaram a uma melhora significativa na frequncia dos professores, mas
essa mudana no se traduziu em ganhos nos resultados dos alunos (GOODMAN;
TURNER, 2010).
Talvez no seja to difcil entender esses resultados. No caso dos incentivos

individuais, o professor que no ganha o bnus ter condio de modificar seu
comportamento com base no modelo oferecido por outros professores da mesma
escola que receberam o incentivo. Nesse caso, h uma conexo possvel entre o
sistema de incentivos e a mudana pretendida na prtica dos professores menos
produtivos. No caso do incentivo de grupo, essa conexo no existe. O professor que
pertence a uma escola que no recebe o bnus no tem em quem se modelar para
produzir um comportamento ou prtica docente diferente. Da mesma forma, a escola
que ganha o bnus coletivo no recebe indicao das prticas consideradas bem-
sucedidas e deve encarar o pagamento mais como um adicional ou um 13 salrio do
que propriamente um incentivo para o aprimoramento do ensino da escola.
O resultado de que o incentivo de grupo talvez tenha impactado a motivao do

professor, medida por sua frequncia ou assiduidade, sugere que os sistemas
48
brasileiros que condicionam o pagamento do bnus ao cumprimento de um nmero
mnimo de dias de servio estejam no caminho certo. Nesses casos, os efeitos das duas
condies, a do cumprimento das metas e a dos dias de servio, se somam em favor de
um impacto dobrado. Resta saber se no caso brasileiro o efeito da melhoria na
frequncia do professor se traduz em avanos na aprendizagem dos alunos. Os
resultados de Nova York no encorajam otimismo a esse respeito.
Publicao recente do Comit sobre Incentivos e Accountability Baseado em

Testes na Educao Publica, do National Research Council dos Estados Unidos, pode
nos ajudar a concluir essa discusso a propsito dos resultados de pesquisas sobre os
efeitos dos incentivos salariais em outros pases (HOUT; ELLIOTT, 2011). Nessa
metapesquisa, que classifica e avalia um nmero seleto de trabalhos da ltima dcada,
os autores estabelecem uma srie de critrios para a excluso de estudos que por
motivos metodolgicos no atingem um grau satisfatrio de confiabilidade. O primeiro
critrio que os estudos precisam de grupo de controle, para poder provar que os
incentivos so efetivamente a causa das mudanas na aprendizagem. O segundo
critrio obriga o uso de um teste independente low-stakes para medir o efeito dos
incentivos sobre a aprendizagem. Pelo conhecido efeito de inflao de resultados
nos testes usados para determinar o pagamento de bonificaes, os autores insistem
que este mesmo teste no pode ser usado como a medida usada pela pesquisa para
aferir o impacto da poltica. O terceiro critrio exclui os estudos transversais que
comparam os resultados de escolas includas e no includas em programas de
incentivos que no controlaram pelos critrios de incluso.
So 11 os estudos que satisfazem os critrios e oferecem uma base para

concluses confiveis, cinco dos Estados Unidos e seis de outros pases. Nos Estados
Unidos as pesquisas mostram que os programas de incentivos no tem influenciado os
nveis de desempenho dos alunos de forma significativa. O efeito mdio varia de -0,02
a 0,06 desvio padro quando os programas so avaliados pelo uso de testes low-stakes
de controle. Os estudos em outros pases, incluindo os estudos j mencionados de
Muralidharan e Sundararaman na ndia e Lavy em Israel, os efeitos so maiores, com
49
um efeito mdio de 0,08 d.p., mas com extremos na ndia, de 0,22 d.p., no caso de
escolas com incentivos individuais, e 0,15 d.p., nas escolas de incentivos coletivos.
Os autores relutam em chegar a concluses gerais pelo fato de ainda existirem

muitos desenhos de polticas de incentivos ainda sem experimentao e muita
variao entre os desenhos j testados. Mesmo assim, eles acreditam que os
benefcios so bem menores do que o esperado e pouco convincentes perante o
tamanho do desafio para melhorar os resultados das escolas. Observam que os custos
so altos, o que no deveria ser uma razo para deixar de investir em outras polticas
de melhoria, potencialmente mais eficazes.
4.2. Sistemas de Responsabilizao na Amrica Latina
Depois das reformas educacionais da dcada de 1990 e a incorporao dos

sistemas de avaliao padronizada como instrumentos de gesto, a questo do acesso
cedeu lugar aprendizagem e melhoria dos resultados escolares como objetivos
principais dos sistemas educacionais da Amrica Latina. Na esteira desse movimento,
grandemente facilitado pelas agncias das Naes Unidas e outros rgos
multilaterais, tambm foi incorporada a discusso sobre o uso dos resultados dos
sistemas de avaliao para induzir mudanas no mesmo sentido que os sistemas de
accountability nos Estados Unidos.
A primeira barreira a superar era a traduo correta da palavra accountability. Em

ingls, a palavra expressa dois conceitos, um relacionado com a prestao de contas e
a outra com a ideia da responsabilizao. Quando aplicada especificamente escola, a
noo de prestao de contas significa a cobrana legtima de um servio pblico de
qualidade em troca da manuteno da escola com recursos pblicos oriundos dos
impostos pagos pela populao. Em jogo est o direito do cidado de esperar bons
servios, medidos em termos da aprendizagem dos alunos, se esses so sustentados
pelos dlares ou reais dos contribuintes. O segundo significado da palavra
inseparvel e consequncia do outro, mas expressa a ideia que o pblico tem o direito
de demandar que a escola assuma sua responsabilidade direta pelos resultados de
50
seus alunos. Accountability, portanto, significa uma cobrana por bons resultados e a
demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na
produo desses resultados (BROOKE, 2006; CORVALN; MCMEEKIN, 2006; FERRER,
2006; MCMEEKIN, 2006).
No contexto latino-americano, em que a conscincia do contribuinte menos

cultivada e no h o mesmo rigor ou sentimento de posse em relao a tudo o que
pblico, foi o elemento da responsabilizao que tomou precedncia na hora de
esboar uma traduo (BROOKE, 2006; BROOKE, 2008). A prpria discusso da poltica
pblica pode ter sido prejudicada pela precipitao dos autores em optar por uma
traduo incompleta, mas no h alternativa prtica vista. Entre os dois significados,
parece que a responsabilizao o termo que mais exprime o sentimento de que a
escola precisa ser lembrada das suas responsabilidades.
O pioneiro da responsabilizao na Amrica Latina o Chile. O Sistema Nacional

de Avaliao dos Estabelecimentos Subvencionadas (Sned) desse pas acionado a
cada dois anos, desde 1996, para distribuir prmios s escolas com os melhores
resultados no Simce e dessa forma estabelecer consequncias para o trabalho dos
professores. Segundo Mizala e Romaguera (2003, 2005), essa poltica, dirigida a todas
as escolas que recebem financiamento pblico com o objetivo explcito de aumentar a
motivao dos professores, oferece prmios s escolas com as mdias mais altas na
avaliao bianual do Simce, em comparao a escolas de caractersticas e nvel
socioeconmico similares. Adicionalmente, o sistema de premiao se transforma em
orientao para os pais ao entregar informao comunidade escolar sobre a
qualidade das escolas mediante comparaes em diversas dimenses do ensino
(MIZALA; ROMAGUERA, 2003). Em cada regio, as melhores escolas so premiadas at
alcanar 25% dos alunos matriculados, o que na prtica significa aproximadamente
20% das escolas e 27% dos professores. A lei estipula que 90% do montante recebido
seja distribudo entre os professores e o restante distribudo de acordo com as
prioridades de cada escola. Em 2005, o valor distribudo para cada professor equivalia
entre 5 e 7% do salrio anual, mas a legislao mais recente efetivamente duplica esse
valor, alm de aumentar a proporo da matrcula regional que ser coberta pelos
51
prmios de excelncia de 25 para 35% (MIZALA; ROMAGUERA, 2005; VEGAS;
UMANSKY, 2005). Apesar de existirem sistemas de incentivos em outros pases da
Amrica Latina, como Bolvia e El Salvador, o Sned do Chile era o nico que enfatizava
principalmente os resultados dos alunos no clculo do indicador final de desempenho,
juntamente com alguns indicadores de processo e de igualdade de oportunidades.
Novos sistemas de responsabilizao no Brasil, a serem discutidos logo a seguir,
alteram esse panorama regional.
A pesquisa sobre o impacto do Sned dificultada pela ausncia de um grupo de

comparao, j que todas as escolas com financiamento pblico competem pelos
prmios, e pelo problema de endogenia sofrido pelas avaliaes de impacto do Sned
que precisam usar como indicador o mesmo resultado usado pelo Sned no clculo do
ndice de desempenho da escola. A soluo encontrada por Mizala e Romaguera
(2005) foi empregar um modelo de efeitos fixos, o que permitiu modelar a
heterogeneidade de cada escola e criar uma funo de produo para ver o efeito do
Sned no desempenho dos alunos. Com esse mtodo, os autores fornecem evidncias
preliminares de que, quando os dados das diferentes aplicaes do Sned so
comparados, h a evidncia de que o incentivo tem um efeito cumulativo e positivo no
desempenho dos alunos para aquelas escolas que possuem boas chances de ganhar o
prmio (MIZALA; ROMAGUERA, 2005). No h efeito para a quase metade das escolas
que nunca foram premiadas.
Vegas e Umansky (2005) interpretam esses resultados como a indicao de um

problema no desenho da poltica. As falhas consideradas mais provveis so: 1) que
somente uma pequena proporo dos professores sente o efeito do incentivo para
melhorar a aprendizagem dos alunos, j que a maioria ou recebe o prmio
automaticamente ou no tem nem chance de receb-lo; 2) que o tamanho do prmio
to pequeno que os professores sentem que o esforo para melhorar o desempenho
de seus alunos no vale a pena; e 3) que o prmio pode no estar suficientemente
ligado ao trabalho do professor (VEGAS; UMANSKY, 2005). Carnoy et al. (2004)
tambm levantam dvidas a respeito da eficcia do sistema de incentivo pelo fato de
estar baseado, em parte, na diferena entre os resultados dos alunos de 4 e 8 sries,
52
ou seja, mediante comparaes entre alunos de grupos ou coortes diferentes, em vez
de medir os ganhos intracoorte na aprendizagem dos mesmo alunos ao longo do
tempo passado na mesma escola entre a 4 e a 8 srie (CARNOY et al., 2004). Os
autores argumentam que existe pouca evidncia emprica de que os professores
respondam sistematicamente a incentivos intercoorte de 4 e 8 sries e que a
diferena nos resultados desses testes dependem mais de variaes naturais entre as
coortes e outras flutuaes aleatrias do que do nvel de esforo dos professores. Os
resultados desses pesquisadores mostram que h uma relao entre as duas medidas,
mas que muitas das escolas que receberam prmios no mostraram o mesmo
desempenho nas medidas intracoorte. Em concluso, os autores sugerem que a
melhor estratgia da escola concentrar-se na produo de bons resultados na 4 e 8
sries nos anos dos testes do Simce, antes de se preocupar com a aprendizagem dos
alunos ao longo de seus anos na escola.
O quadro a seguir resume aspectos importantes do Sned desde a sua criao.

Observa-se que o nmero de escolas e professores beneficiados aumentou a partir de
2006 com a legislao que ampliou o clculo de estabelecimentos premiados em cada
regio at abranger 35% da matricula. No mesmo perodo, o valor por professor
premiado quase triplicou, elevando o gasto anual com a poltica de premiao. Em
relao proporo do total dos gastos do Ministrio da Educao com as escolas que
recebem recursos pblicos, o programa de premiao aumentou 80% no perodo, aps
a incorporao dos professores assistentes alocados nas escolas premiadas a partir de
2008. Tanto a continuidade como o aumento significativo nos gastos com o programa
indica o sucesso da poltica aos olhos do Ministrio e do pblico. A definio de todas
as variveis consideradas, a metodologia do clculo e a lista das escolas beneficiadas
por regio so divulgadas abertamente no site do Sned juntamente com a explicao
dos benefcios esperados da Subvencin por Desempeo de Excelencia em termos da
motivao dos professores e a superao das escolas (CHILE, 2010).
53
Quadro 2 . Beneficirios e Recursos: SNED, 1996-2010
SNED SNED SNED SNED SNED SNED SNED SNED
1996- 1998- 2000- 2002- 2004- 2006- 2008- 2010-
1997 1999 2001 2003 2005 2007 2009 2011
Estabelecimentos
2.274 1.815 1.699 1.863 1.829 2.236 2.597 2.656
selecionados
Docentes
30.600 31.400 32.600 34.400 34.380 51.600 57.700 58.597
beneficiados
Premiao por aluno/
1.015 1.050 1.217 1.246 1.779 2.917 3.205 3.640
docentes ($)
Monto anual por
272.622 287.777 334.919 339.493 490.630 559.734 634.161 744.833
docente ($)
Gasto anual
premiao para
8.342 9.036 10.918 11.678 16.867 28.883 37.807 43.645
docentes (Milhes de
Pesos)
Professores
assistentes 27.000 28.455
beneficiados
% Gasto SNED/Gasto
1,02 0,87 0,9 0,84 1,03 1,62 1,8 1,85
total premiaes
Fonte: Sistema Nacional de Evaluacin del Desempeo de los Establecimientos Educacionales

Subvencionados y de los Regidos por el Decreto Ley N 3166. 2010-2011. Hacia la Excelncia Acadmica.
Ministrio de Educacin. http://www.sned.cl/mineduc/sned/documentos/tecnicos/FolletoDifusionSNED.pdf
54
5. Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional
Em pesquisa comparativa realizada em 2006 sobre os sistemas de avaliao de

cinco estados brasileiros, os pesquisadores Sousa e Oliveira (2007) concluram que
houve melhoras significativas no desenho tcnico dos instrumentos e na confiabilidade
dos resultados. Entretanto, os pesquisadores observaram que o uso que as Secretarias
de Educao faziam dos resultados para a formulao de polticas de gesto ainda era
incipiente:
Apesar de constar dos objetivos dos sistemas de avaliao, o uso de seus

resultados por parte dos gestores tnue ou inexistente. Nesse nvel,
observa-se a tendncia de que tais resultados sejam compreendidos como
apenas um indicador (a ser justaposto a outros, tais como evaso,
repetncia etc.), no informando polticas especficas. O gerenciamento do
sistema apoia-se nas estruturas burocrticas no se orientando pelos
resultados de desempenho escolares. O investimento maior humano e
recursos financeiros - na direo da produo de informaes e no em
sistemticas que estimulem e apoiem o uso dos resultados. A noo de
accountability tanto em seu sentido de prestao de contas sociedade
quanto no de responsabilizao ainda pouco explorada. (SOUSA;
OLIVEIRA, 2007)(p. 197).
Em documento de 2005, o prprio Consed parecia confirmar esta concluso ao

afirmar que o principal uso dos resultados das avaliaes externas era para a
orientao da formao continuada de professores e destacou como desafio para os
prximos anos o melhor aproveitamento da avaliao em larga escala (CONSED,
2005).
As explicaes mais correntes pela aparente incipincia de polticas de gesto

calcadas em informaes sobre o desempenho dos alunos eram trs: as Secretarias
ainda no percebiam o potencial dessas informaes para a formulao de polticas de
gesto de recursos e pessoal; as Secretarias estavam constrangidas de formular novas
polticas de gesto pelas resistncias encontradas entre os professores; e os
55
instrumentos de avaliao usados pelas Secretarias nem sempre correspondiam aos
usos almejados pelos gestores.
Os levantamentos feitos pelos pesquisadores no ano de 2010 sobre os diferentes

usos dos sistemas estaduais de avaliao mostram que essas concluses esto
desatualizadas. Pela expanso no nmero e sofisticao dos sistemas de avaliao
durante os ltimos anos e pela explorao de novas formas de aproveitar as
informaes geradas, constata-se a diversificao nas prticas de gesto educacional
com base nos resultados dos alunos. De forma isolada ou em conjunto com outras
informaes, os resultados gerados pelos sistemas estaduais de avaliao educacional
esto sendo usados para finalidades que variam entre a criao de indicadores
estaduais de desenvolvimento educacional at a avaliao de desempenho de
diretores escolares. As Secretarias no esto sentindo os mesmos constrangimentos
do passado e esto aproveitando de diversas formas as informaes geradas pelos
instrumentos e anlises cada vez mais sofisticadas de uma nova gerao de polticas de
avaliao. Se ainda h alguma dificuldade no uso dos instrumentos para orientar as
prticas dos professores, chamadas genericamente aqui de polticas de gesto
pedaggica, ela no tem impedido avanos na aplicao dos resultados em outras
reas. Na maioria das vezes, essas outras reas envolvem a classificao das escolas do
sistema com base nos resultados de portugus e matemtica dos alunos do 5 e 9
anos e do 3 ano do Ensino Mdio. Mesmo no sendo propriamente uma avaliao da
escola, por no testar todos os alunos em todas as disciplinas e anos, as Secretarias
presumem que os resultados das disciplinas bsicas nos anos finais de cada ciclo de
estudos possam oferecer uma amostra das atividades da escola que sirva de indicador
do desempenho geral da instituio. H alguma evidncia na literatura que esse
pressuposto seja valido pela alta correlao entre diferentes medidas de desempenho
acadmico dos alunos (RUTTER et al., 1979; MORTIMORE et al., 1988).
Tanto a diversificao das polticas de gesto como a necessidade de fazer

distines entre as novas reas de uso das avaliaes nos obrigam a procurar um
sistema classificatrio que d conta da variedade. Essa tarefa representa um desafio
pelo fato de as classificaes tradicionais se ocuparem principalmente no dos
56
diferentes usos da informao, mas dos propsitos genricos dos sistemas de
avaliao. Por exemplo, comum a distino entre a avaliao formativa e somativa,
sobretudo na descrio das avaliaes de sala de aula, e entre a avaliao diagnstica
e certificatria. Na avaliao formativa, procuram-se elementos para adequar o
processo de ensino ao grupo ou aos alunos que apresentam dificuldades, tendo em
vista o alcance dos objetivos propostos, enquanto a somativa a avaliao final para
determinar em que medida as metas foram alcanadas e para classificar, selecionar,
aprovar ou reprovar. No caso da avaliao diagnstica, conforme Ravela (2008), o
propsito explcito o de enriquecer a qualidade das percepes e decises sobre os
diversos atores dos sistemas (RAVELA, 2008). Nesse cenrio, o nvel de aprendizagem
empregado como indicador da sade do sistema e no traz consequncias imediatas
para os alunos. A avaliao certificatria, por outro lado, tem o objetivo de estabelecer
quais dos alunos alcanaram os conhecimentos e competncias considerados
necessrios para serem aprovados em determinado curso ou perodo de estudo e
receberem o diploma ou certificado correspondente.
Em ambos os casos, a natureza da tarefa que vai determinar a forma da

avaliao. Ou seja, o desenho do instrumento definido pelo tipo de informao que
se precisa produzir de forma que, grosso modo, o uso da informao j dado pela
natureza e propsito do instrumento. No caso do instrumento diagnstico, por
exemplo, talvez nem seja necessrio aplicar os testes totalidade dos alunos nem
colocar todos os itens num nico teste vultoso. Basta uma amostra de alunos e verses
paralelas do teste para ter uma radiografia da aprendizagem das diferentes matrias.
Esse o modelo de avaliao seguido pelo Saeb. O instrumento certificatrio, por
outro lado, precisa ser aplicado a todos os alunos que querem a certificao e cada
teste precisa dar conta da matria inteira para oferecer uma medida fidedigna da
aprendizagem de cada aluno. Ravela admite que uma avaliao pode ter mais de uma
finalidade e que as diferentes finalidades no so necessariamente exclusivas, mas
lembra que cada opo requer um determinado desenho e tem diferentes exigncias
tcnicas e custos (RAVELA, 2008) (p. 12).
57
Outro tipo de classificao que reconhece a multidimensionalidade da avaliao
procura encontrar as categorias que descrevem os diferentes tipos de informao
gerada. Shulha e Cousin, por exemplo, em estudo que resumia os usos da avaliao
nos Estados Unidos no perodo entre 1986 e 1996, empregaram trs categorias de
informao: instrumental, conceitual e simblica (SHULHA; COUSIN, 1997). Em
esquema parecido, descrito por Soares (2002), encontramos uma tipologia que fala
das trs funes genricas dos sistemas de avaliao. A primeira a funo mtrica,
de medir onde se situam os sistemas de Educao em comparao com algum
parmetro para responder perguntas sobre possveis avanos. A segunda funo a
analtica, ou seja, oferecer subsdios aos pesquisadores e gestores no seu trabalho de
investigar o funcionamento do sistema. A terceira, considerada a mais difcil, a
funo pedaggica, que trata do uso da avaliao como instrumento para a melhoria
do ensino (SOARES, 2002).
No caso brasileiro, fica evidente que os mesmos instrumentos esto sendo usados
com objetivos diversos de modo que a finalidade precpua ou original do instrumento
pouco esclarece sobre seus desdobramentos posteriores. Tambm fica evidente pelas
declaraes das autoridades que as finalidades dadas como razo pela criao dos
sistemas de avaliao so muito abrangentes e, s vezes, at ultrapassam a prpria
capacidade da avaliao educacional. Essas declaraes incluem, por exemplo, a
finalidade de melhorar a qualidade da Educao ou, no caso do Saeb, reverter o
quadro de baixa qualidade e produtividade do ensino caracterizado, essencialmente,
pelos ndices de repetncia e evaso escolar (SOUSA, 2003). A classificao com base
nas finalidades oferecidas pelas autoridades como justificativas deixaria de captar as
especificidades dos diferentes usos ao mesmo tempo em que obrigaria a incluso de
categorias fora do escopo real da avaliao.
Nesse cenrio, a nossa classificao dos usos dos sistemas precisa partir de outra
lgica, a das diferentes polticas efetivamente implementadas pelas autoridades uma
vez construdas e aplicadas as diversas formas de avaliao em larga escala. Ao fazer
essa distino, estaramos concordando com a diferena entre finalidade e utilidade
explicitada no trabalho de Dantas sobre o uso para efeitos pedaggicos dos resultados
58
do sistema de avaliao do estado da Bahia (DANTAS, 2009). Para essa autora, a
finalidade o objetivo expresso, enquanto a utilidade relaciona-se com a demanda de
informaes por parte dos stakeholders do sistema.
Encontramos uma classificao de utilidades em termos de polticas de gesto

no trabalho de Shepard em que so listados sete propsitos ou polticas
governamentais (SHEPARD, 1977). O autor no objetiva definir quais os propsitos que
podem ser alcanados com os mesmos instrumentos. Pelo contrrio, parece
subentendido que cada propsito significaria um instrumento diferente ou no mnimo
um desenho para a avaliao que incorporasse as utilidades previstas. Eles so:
1. Diagnstico da aprendizagem do aluno
2. Certificao do aluno
3. Avaliao de pessoal docente, diretores e outros
4. Avaliao de programas
5. Alocao de recursos
6. Accountability5
7. Pesquisa
Para as nossas necessidades, essa lista tem dois defeitos. O primeiro reside no
desdobramento desnecessrio de pesquisa e avaliao de programas. Em ambos os
casos, os resultados podem ser usados como evidncia da existncia de efeitos
causados por polticas, programas e at situaes quase experimentais, em que h
interesse em medir os impactos de mudanas no funcionamento das escolas e na
aprendizagem dos alunos. As avaliaes podem acontecer em nvel estadual, municipal
ou escolar e podem ser para efeitos tanto somativos, para determinar as
consequncias de determinadas polticas, como formativos, para corrigir os rumos de
programas em andamento.
O segundo defeito reside no uso da categoria accountability para classificar

determinadas avaliaes de forma exclusiva. Os autores Klinger, DeLuca e Miller, na
5
A traduo deste conceito problemtica e ser objeto de discusso especifica mais adiante.
59
descrio da evoluo da avaliao educacional no Canad, e Bauer, no caso dos
sistemas nacionais de avaliao na Amrica Latina, incorrem no mesmo erro ao criar
uma distino entre os objetivos das avaliaes relacionados accountability e os
objetivos relacionados com a seleo, classificao, premiao ou certificao
(KLINGER, 2008; BAUER, 2010). O que tem sido mostrado que accountability no
contexto educacional significa acima de tudo a associao entre resultados de
aprendizagem e consequncias, sejam para o distrito educacional, a escola, os
professores ou os alunos. O nvel de influncia que a autoridade educacional deseja
aplicar ao processo de induo pode ser calibrado de acordo com o tipo ou a seriedade
das consequncias. Nesse contexto, comum rotular os nveis de induo mais altos
de high stakes e os mais baixos de low stakes, usando a palavra inglesa stakes, que
significa o valor colocado em jogo pelo apostador. Por isso, pode haver uma poltica
de gesto com utilidade nica, mas cujas consequncias so variveis de acordo com o
contexto e as intenes das autoridades. Dependendo desses condicionantes, as
consequncias de resultados de aprendizagem baixos podem ser insignificantes ou
nulas ou podem ser extremamente prejudiciais vida futura do aluno ou da escola.
Para dar conta dessas diferentes realidades, em que o objetivo da avaliao pode estar
associado ou no a diferentes medidas de accountability, observa-se a necessidade de
conceituar a accountability como se fosse a segunda dimenso de um sistema
classificatrio bidimensional. Com isso, para todas as utilidades da avaliao,
potencialmente existe a possibilidade de agregar consequncias de impacto maior ou
menor.
Uma terceira caracterstica do esquema de Shepard, que no chega a ser um

defeito, a incluso do propsito certificao de alunos. Diferentemente de outros
sistemas, como dos Estados Unidos, os sistemas brasileiros de avaliao nunca foram
usados para determinar a aprovao dos alunos do ensino bsico, salvo uma breve e
polmica experincia no estado de So Paulo em 2001, quando o Saresp foi usado para
definir a aprovao ou reprovao de alunos ao final dos ciclos do ensino fundamental
(4 e 8 sries). A criao do Enem, que aos poucos assume as caractersticas de um
exame certificatrio de sada do Ensino Mdio na medida em que se torna requisito e
60
critrio para o ingresso universidade, alterou o panorama da avaliao federal, mas
ainda no h sinal de interesse nem a cobertura legal para a criao de avaliaes
certificatrias equivalentes por parte dos estados.
No entanto, a funo certificatria no pode ser eliminada do esquema

classificatrio devido possiblidade do uso dos resultados da avaliao na funo
supervisora que pode exercer a Secretaria de Educao em relao s escolas de
outras redes. Nesses casos, a Secretaria pode usar os resultados da escola como
critrio para autorizar ou reautorizar seu funcionamento. Para todos os efeitos, esse
uso da avaliao, mesmo pouco usual, seria de certificao.
Com as modificaes sugeridas, e a incluso de trs categorias novas que logo

sero explicadas, chega-se a uma nova matriz classificatria para a tarefa de
categorizar todas as polticas dos estados que fazem uso das informaes geradas
pelos seus sistemas prprios de avaliao padronizada. Chamada A Avaliao Externa
como Instrumento da Gesto Educacional: Classificao, esse sistema classificatrio
apresentado a seguir, juntamente com a definio de cada categoria:
Quadro 3. A Avaliao Externa como Instrumento da Gesto Educacional:

Classificao
Sem consequncias ou
Uso dos resultados da avaliao Com consequncias
consequncias menores (low
(Poltica de gesto) importantes (high stakes)
stakes)
1 Avaliao de programas, Edurural (MEC) Continuidade de Head Start,

monitoramento, planejamento e Avaliao PDE (Cear) Title 1, etc. (EEUU)
pesquisa PAR (MEC)
Avaliao Escolas de Referncia
(PE) Prog. Escolas - Padro (SP)
Idedsp; Idepe; Ideam; IDE-Rio
etc.
Gesto para resultados (MG)
2 Para informar as escolas sobre a Boletim de Resultados (PE) Relatrios comparativos

aprendizagem dos alunos e definir Relatrio Pedaggico (DF) (Reino Unido)
as estratgias de formao
PIP (MG)
continuada.
3 Para informar ao pblico Boletim da escola (Paran) School-choice (Chile)

Propaganda poltica (MG)
4 Para a alocao de recursos P-900 (Chile) Escola Nota 10 (CE)
61
Aprender Mais (PE) ndice Municipal de
Escola Referncia (MG) Qualidade Educacional (CE)
5 Para polticas de incentivos salariais Acordo de Resultados (MG)

Escola Nota 10 (CE)
Bonificao por
Desempenho (SP)
Como componente da poltica de ADI (MG)
6
avaliao docente Reconduo de diretores
(DF)
Para a certificao de alunos e Promoo de alunos de 4 e
7
escolas 8 series. 2001. (SP)
Aprovao de
funcionamento de escolas
(DF)
1. Avaliao de programas, monitoramento, planejamento e pesquisa. A primeira

categoria do sistema classificatrio reflete os objetivos explicitados pelos documentos
oficiais de todos os sistemas estaduais de avaliao em existncia no Brasil. Esse uso
precpuo dos sistemas de avaliao para a avaliao de polticas e o monitoramento de
resultados dado pelo nvel de organizao e abrangncia dos sistemas de avaliao,
que pressupe uma funo de controle e acompanhamento. Ele tambm dado pela
natureza dos instrumentos dos sistemas estaduais, derivados do padro estabelecido
pelo Saeb. Esse sistema nacional, criado de experincias iniciais no final da dcada de
1980 e consolidado por meio de mudanas metodolgicas em 1995, regionalmente
reconhecido como um dos sistemas mais completos e tecnicamente sofisticados do
seu tipo. Semelhante ao sistema norte-americano Naep6, no qual foi modelado, o
Saeb coleta informao sobre o desempenho e caractersticas dos alunos nos trs
pontos principais de transio do sistema de ensino bsico, alm de informaes
contextuais de alunos, professores e diretores, de uma amostra nacional estratificada
6
O governo federal dos Estados Unidos criou a National Assessment of Educational Progress Naep
(Avaliao Nacional do Progresso Educacional), no final dos anos 1960. A avaliao testa uma amostra
dos estudantes aos 9, 13 e 17 anos de idade em ingls e matemtica. Conhecido como o Boletim Escolar
da Nao, a Naep usado da mesma forma que o Saeb , ou seja, como parmetro para comparar o
avano ou retrocesso no nvel de aprendizagem dos estados e dos diferentes grupos de alunos ao longo
dos anos.
62
de escolas pblicas e privadas. Pela estrutura da amostra e a natureza dos dados
coletados, o Saeb e os sistemas estaduais que o imitam tm a ntida funo de
radiografar o sistema e acompanhar a sua evoluo ao longo do tempo. Essa segunda
atribuio foi melhorada significativamente em 1995, com a incorporao da Teoria de
Resposta ao Item na organizao das provas e anlise dos dados e na criao de uma
escala nica de desempenho. Pela localizao das proficincias dos alunos de
diferentes sries e diferentes anos de aplicao nessa mesma escala, possvel
acompanhar a evoluo da aprendizagem nos diferentes nveis do sistema e ao longo
dos anos.
O uso dessa escala de resultados para efeitos de planejamento j foi realado na

discusso sobre a implantao da gesto por resultados em muitos governos
estaduais. Uma vez estabelecida a escala para a interpretao do desempenho dos
alunos, fica evidente que as Secretarias podem estipular os avanos esperados ao
longo dos anos, por srie e disciplina. A partir da criao do Ideb e a fixao de metas
para escolas, municpios e estados, a utilidade da Prova Brasil e do Saeb para efeitos
de planejamento e monitoramento foi elevada a outro patamar de qualidade. As
iniciativas dos estados de formularem indicadores prprios similares devero ser
registradas nessa categoria.
A pesquisa do sistema pode significar o uso dos resultados das avaliaes para a
anlise das relaes entre as caractersticas das escolas e seu desempenho em estudos
chamados de fatores associados ou efeito escola. Essa modalidade de pesquisa,
relativamente recente, foi muito influenciada pela tradio de pesquisa em eficcia
escolar e faz uso tanto dos resultados dos alunos como das informaes coletados por
meio dos questionrios contextuais aplicados aos professores, diretores e alunos. O
uso dos resultados para outros tipos de pesquisa, incluindo a avaliao de polticas e
programas, tambm pode ser incentivado pelos estados da mesma forma que o Inep
procura incentivar o uso por pesquisadores das bases de dados dos sistemas nacionais
de avaliao.
63
2. Para informar as escolas sobre a aprendizagem dos alunos e as estratgias de
formao continuada. A preocupao dos gestores com a qualidade da Educao, e o
interesse em colocar os sistemas de avaliao a servio dos esforos de melhoria do
ensino, aflui para uma variedade de diferentes polticas pedaggicas. Essas tm em
comum a necessidade de devolver os resultados da avaliao para as escolas, em
processo comumente chamado de devolutivo, de modo que a instituio e seus
professores possam compreender as variaes no desempenho dos alunos e perceber
formas de influenciar futuros resultados mediante mudanas nas suas prticas
pedaggicas.
Na maioria das vezes, essa poltica de gesto pedaggica se expressa na forma de

boletins escolares ou outros informativos contendo os resultados dos alunos para cada
ano e rea curricular em estudo. A produo e a devoluo dos boletins podem estar
acompanhadas de atividades estruturadas para facilitar a compreenso dos resultados
e a incorporao deles em processos autnomos de autoavaliao e planejamento
pedaggico.
A incorporao de informaes aos boletins sobre outras escolas da regio ou do

sistema um aspecto relevante, na medida em que possa agregar ao processo
devolutivo um elemento de accountability. A comparao com outras escolas toca no
esprito competitivo das pessoas e sinaliza, mesmo em grau menor, que as escolas tm
alguma responsabilidade pelos resultados dos alunos. Essa concluso deriva da
seguinte lgica: a comparao pressupe a comparabilidade, que por sua vez
pressupe que as escolas estejam sujeitas s mesmas condies. Sendo assim, as
diferenas entre elas no podem ser explicadas com base no que elas tm em comum,
seno nas suas caractersticas individuais, que esto sujeitas ao dos membros das
equipes escolares. Por causa dessa lgica, torna-se importante distinguir entre os
boletins em relao s metodologias empregadas na comparao de escolas.
Outra vertente das polticas de gesto pedaggica baseadas nas avaliaes

envolve a interpretao dos resultados por especialistas e membros dos servios de
superviso com o propsito de oferecer oportunidades de formao continuada aos
professores para tratar as dificuldades evidenciadas. Nesse caso, h o pressuposto de
64
que as dificuldades ou lacunas identificadas sejam comuns a grupos ou totalidade
dos professores, de modo que a sua soluo no resida em nvel da escola.
A variedade de alternativas em termos dos objetivos, contedos, mtodos,

logstica e abrangncia dessas polticas to grande quanto todo o panorama da
formao continuada de cada rgo. Vale a pena destacar, no entanto, que a maioria
desses esforos se concentra em questes curriculares, seja na discusso de contedos
j definidos, seja no debate que acompanha a reforma e a redefinio desses
contedos. Essa discusso se torna cada vez mais exigente na medida em que as
autoridades se convenam da necessidade de estreitar o vnculo entre o currculo
oficial, o currculo ensinado e as matrizes de referncia dos instrumentos de avaliao.
3. Para informar ao pblico. A preparao dos boletins escolares representa uma

dimenso importante da poltica de divulgao dos resultados da avaliao. No
entanto, h outras dimenses que indicam a presena de outras preocupaes alm
da pedaggica. A divulgao junto sociedade pode ser para efeitos de publicizao
do sistema de avaliao, com o intuito de disseminar a preocupao com a qualidade e
os resultados alcanados e de angariar apoios genricos a favor da conduo da
poltica educacional. Mais perto das eleies, essa divulgao se torna claramente
eleitoral, indicando a relevncia dos resultados do sistema educacional para a
populao e a probabilidade de serem relevantes para o julgamento da eficcia do
governo. Pode-se encontrar tambm exemplos de disseminao menos interessada
que enxergam na divulgao uma oportunidade de democratizao da informao no
cumprimento do preceito da transparncia.
A poltica de divulgao que mais nos interessa nesse contexto aquela

direcionada especificamente aos pais dos alunos e a outros membros da comunidade
prximos escola. No entanto, os propsitos por trs da inteno de informar os pais
sobre os resultados das escolas de seus filhos precisam ser diferenciados. O gestor
pode querer simplesmente motivar a participao da comunidade dos pais nas
atividades da escola. Mais provvel, porm, o desejo do gestor que os pais exeram
65
alguma influncia sobre a escola com base no conhecimento detalhado dos seus
resultados.
Esse objetivo se torna ainda mais claro na presena de dados comparativos, que
estabelecem a posio exata da escola mediante algum tipo de ranqueamento ou que
fornecem informaes suficientes para o usurio chegar a suas prprias concluses
sobre o nvel de desempenho dela. Esse tipo de divulgao orientada se tornou
bastante comum no Chile, nos Estados Unidos e na Inglaterra por causa da criao de
polticas de gesto que fomentam o uso de critrios de livre mercado na escolha da
escola dos filhos. De novo, h a necessidade de distinguir entre as informaes
divulgadas de acordo com as metodologias empregadas na comparao das escolas.
4. Para a alocao de recursos. O emprego dos resultados dos alunos como um

dos critrios para a incluso das escolas em programas governamentais voltados para
a melhoria ou como indicador para a simples distribuio de recursos talvez seja a
poltica que mais bem expressa a relao entre a avaliao e a gesto educacional.
Nesses casos, no h necessariamente propsitos de responsabilizao, mas a sua
execuo, na prtica, pode criar dificuldades. Nos Estados Unidos, houve resistncia
prtica dos estados de beneficiarem com recursos adicionais distritos mais atrasados
em termos dos resultados dos alunos por ser uma poltica de premiao do fracasso.
O contrrio dessa medida, ou seja, beneficiar escolas que mais progridem, pode ser
uma alternativa, mas tambm sofre criticas por questes de equidade.
No caso brasileiro, pela existncia de um sistema de distribuio de receitas

fiscais entre os entes federados, pode-se prever a existncia de polticas de alocao
de recursos entre as instncias governamentais de acordo com critrios que procuram
avanar a poltica educacional.
5. Para polticas de incentivos salariais. Essa a categoria que contm as polticas

mais polmicas, por reunir as iniciativas recentes de usar a avaliao padronizada
como um instrumento da reforma educacional. A lgica das polticas de gesto nessa
66
rea que o prprio sistema de avaliao pode ser colocado a servio da mudana por
causa de uma conhecida propriedade das provas chamada em ingls de backwash.
Essa palavra descreve a capacidade da prova de sinalizar para os professores todo um
conjunto de preferncias em termos de contedos e, pela natureza das questes, de
mtodos de ensino tambm. Dessa forma, a prova o mensageiro do currculo
desejado e do tipo de ensino a ser favorecido. Alm disso, a prova tambm sinaliza o
nvel de domnio esperado do aluno em termos do patamar de competncia a ser
atingido. Quando a prova escolhe aleatoriamente seus elementos curriculares e testa
somente a capacidade de memorizao do aluno, o backwash, com toda a
probabilidade, ser negativo. Quando a matriz de referncia da prova representa um
currculo oficial e os itens procuram testar competncias cognitivas mais avanadas, o
efeito da prova ser bem mais benfico ao levar os professores a abraarem o
currculo oficial e buscarem desenvolver essas mesmas competncias entre os seus
alunos.
Para o gestor, o importante a capacidade da avaliao de instigar o professor

a se preocupar com os resultados. Por mais bem pensada que seja a prova em termos
das suas caractersticas tcnicas, ela provocar pouco interesse nos resultados e pouca
mudana no comportamento do professor se no tiver alguma consequncia. As
provas certificatrias e outras que influenciam o futuro do aluno, seja a aprovao no
final do ano ou no final do curso, j por definio trazem consequncias para os alunos
e tambm para os professores que se preocupam com o destino deles. Essas provas
so high-stakes, o que, na expresso inglesa, significa que h bastante a ganhar ou
perder dependendo do resultado da prova.
As autoridades podem aumentar as consequncias dessas provas por meio da

fixao de metas, definio de percentuais de alunos que precisam passar ou qualquer
outra medida que tornem mais significativos os resultados da avaliao. Seriam
includos aqui sistemas de bonificao, premiao e tambm medidas administrativas
para ajudar ou fechar escolas com nveis de desempenho considerados insuficientes.
Por aumentarem o nvel de responsabilidade dos professores, essas polticas
costumam ser chamadas de accountability, ou responsabilizao. Seu objetivo elevar
67
o grau de relevncia dos resultados para que o ensino se beneficie do aumento no
interesse dos professores e dos efeitos backwash positivos.
As polticas de responsabilizao podem ser direcionadas para os alunos, para

os professores e para as escolas. As polticas introduzidas nos Estados Unidos a partir
da dcada de 1980, j discutidas, mostram a tendncia de se preocupar com a
disseminao de padres curriculares mais exigentes para a graduao do Ensino
Mdio. Por esse motivo, entende-se que a avaliao esteve a servio da reforma
curricular do Ensino Mdio naquele pas. No caso brasileiro, as polticas de
responsabilizao por meio de incentivos salariais tm outros objetivos, mas
perseguem a mesma lgica em termos da conexo entre as provas, o comportamento
dos professores e a melhoria do ensino e so desenhados para atingir o sistema como
um todo. Por isso, as polticas desse tipo no so categorizadas junto com as prticas
de gesto pedaggica. Seu raio de ao maior e tem como alvo o padro de
qualidade de todas as escolas do sistema.
6. Como componente da avaliao docente. Ainda mais polmica, existe a

possibilidade de o gestor empregar os resultados dos alunos como componente da
avaliao do professor como profissional. Essa poltica, incomum fora dos Estados
Unidos, no faz parte da categoria anterior pelas diferenas entre a avaliao de
escolas, para efeitos do clculo de bonificaes ou qualquer outra medida temporria
para beneficiar as escolas e suas equipes, e a avaliao docente que um processo
individual destinado a determinar mudanas permanentes na situao funcional do
professor, tipicamente promoes ou avanos salariais.
Tipicamente os sistemas de avaliao docente tm trs finalidades, de reconhecer

os docentes mais qualificados e identificar os que mais precisam de ajuda, de premiar
docentes com atuao mais destacada para estabelecer novos padres de excelncia
e, finalmente, para efeitos de certificao profissional, para sinalizar os requisitos
mnimos necessrios e assegurar a qualidade profissional bsica antes que o professor
se torne estvel. Em nenhum desses casos, o nvel de desempenho dos alunos do
68
professor um elemento indispensvel no conjunto de informaes utilizadas. Mesmo
assim, a discusso bastante disseminada sobre a possibilidade de incluso dessas
informaes sugere que tal tipo de poltica possa surgir no nosso meio a qualquer
momento (DANTAS, 2009).
7. Para a certificao de alunos e escolas. Mesmo incomum no contexto

brasileiro, o uso dos resultados da avaliao externa para determinar se os alunos
esto aptos para receber seus diplomas/passar de ano ou se escolas so credenciadas
para o funcionamento deve constar de um sistema classificatrio que pretende
esgotar todas as possveis utilidades dessa informao para a gesto educacional.
69
6. O Uso da Avaliao na Gesto da Educao nos Estados
Esta seo est dividida em sete partes, correspondentes s sete categorias

definidas pelo sistema classificatrio. Cada parte se inicia com o levantamento
bibliogrfico realizado pelos pesquisadores para descrever os diferentes tipos de
poltica e para extrair das pesquisas nacionais e internacionais possveis indicaes das
consequncias de cada poltica. A seguir, abre-se a discusso para as informaes
coletadas que fornecem exemplos concretos de como os estados e alguns municpios
de porte maior efetivamente utilizam os produtos de seus sistemas de avaliao.
No caso de existirem exemplos de polticas high-stakes, com base na associao

entre a poltica de uso dos resultados da avaliao e consequncias para os envolvidos,
sejam alunos, professores ou a prpria instituio escolar, o texto dar destaque ao
fato.
6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa
6.1.1 Avaliao de Programas. A histria da consolidao da avaliao

educacional nos Estados Unidos nas dcadas de 1950 e 60 est calcada na sua funo
de instrumento de avaliao de programas. A demanda por instrumentos
padronizados nasceu da necessidade de avaliar os novos currculos escolares que
surgiram sob a coordenao da Fundao Nacional de Cincia aps o lanamento do
Sputnik e a deciso daquele pas de recuperar a qualquer custo a liderana mundial em
cincia e tecnologia. Poucos anos depois, com a Guerra contra a Pobreza, do
presidente Lyndon Johnson, foi aprovada a Lei de Educao Elementar e Secundria,
que no seu primeiro captulo (Title 1) estabeleceu uma linha volumosa de
financiamento para os estados para o desenvolvimento de programas
compensatrios de apoio s crianas de famlias de baixa renda. Entre os diversos
mecanismos para garantir o uso adequado dos recursos, figurava a avaliao dos
resultados alcanados. A avaliao no era um assunto novo, mas o uso de testes
padronizados para medir o impacto das polticas pblicas de combate pobreza
70
combinava bem com a racionalidade dos novos mtodos da administrao pblica em
processo de assimilao pelo governo Johnson (HERMAN; HAERTEL, 2005).
S resta registrar que, na maioria dos casos, as avaliaes dos programas

compensatrios, como Head Start e o chamado Title 1, no encontraram evidncias de
que os investimentos em professores adicionais, equipamentos, ambientes escolares e
enriquecimento curricular produzissem ganhos significativos na aprendizagem dos
alunos. Para alguns autores, esse conjunto de dados apresentava uma viso bastante
pessimista e uma base para a rejeio das crenas tradicionais sobre a eficcia da
escola (MADAUS; AIRASIAN; KELLAGHAN, 1980) (p. 27). Uma possvel explicao do
aparente fracasso fornece uma importante lio em relao aos riscos de usarem os
resultados das avaliaes para finalidades inapropriadas. Os testes padronizados
disponveis poca foram criados e normatizados para produzir medidas e
ranqueamentos para crianas de habilidade mdia. s vezes, eram difceis demais para
alunos de famlias mais pobres, tendo sido baseados em objetivos de aprendizagem
bem diferentes daqueles dos programas compensatrios. E, como medidas de
habilidade, no eram sensveis aos efeitos de curto prazo de mudanas nos mtodos
de ensino (MADAUS; STUFFLEBEAM; SCRIVEN, 1983).
Da mesma forma que nos Estados Unidos, a histria do desenvolvimento das

avaliaes padronizadas em larga escala no Brasil est associada avaliao de
programas educacionais com financiamento federal. No caso brasileiro, foi o Projeto
Edurural, que se desenvolvia em todos os estados do Nordeste, que foi objeto da
primeira avaliao com base em testes padronizados. Usando instrumentos criados
sob medida baseados em exemplos de exerccios e trabalhos de sala de aula colhidos
nas escolas dos trs estados onde a avaliao se desenvolvia Piau, Cear e
Pernambuco , a avaliao acompanhou a implementao e o desenvolvimento do
projeto de 1982 a 1986, medindo o rendimento dos alunos e analisando as formas de
gerenciamento do projeto, professores, organizaes municipais de ensino, alunos e
famlias. A avaliao do Edurural se tornou um marco justamente por ela fornecer as
bases tcnicas e mostrar a relevncia da avaliao educacional em larga escala para a
71
identificao mais ntida dos problemas das escolas. At o final da mesma dcada, os
alicerces de um sistema nacional de avaliao j haviam sido criados (GATTI, 2002 ).
Apesar da conexo histrica entre a avaliao de polticas e programas

governamentais e a avaliao educacional, os exemplos de uso dos resultados dos
sistemas estaduais brasileiros para essa finalidade so limitados. Introduzir a
aprendizagem dos alunos como uma varivel dependente em um modelo controlado
de pesquisa para medir os resultados ou impacto de determinada poltica ou programa
de interveno estadual ainda incomum em comparao com os estudos, muito mais
frequentes, dos mtodos e processos de implantao desses mesmos programas. A
explicao est dada em estudo sobre a avaliao de programas em que Kirkpatrick
descreve as perguntas apropriadas para a avaliao das quatro fases de programas de
treinamento, como seria o caso dos cursos de formao continuada para professores
(KIRKPATRICK, 1994). As questes correspondentes s primeiras trs fases, sobre a
reao dos participantes, sobre a aprendizagem alcanada pelos participantes e sobre
o quanto os participantes esto aplicando seus novos conhecimentos ao trabalho,
podem ser todas respondidas mediante o levantamento de opinies e expectativas e
analisadas de forma qualitativa, o que explicaria a relativa frequncia dessa
modalidade de avaliao.
Conforme os cnones da pesquisa cientfica, a quarta e ltima fase na avaliao de

um programa educacional, envolvendo primordialmente os resultados de
aprendizagem dos alunos, requer a utilizao de informaes quantitativas
contrafactuais para poder mostrar o que teria acontecido se os alunos e as escolas
no tivessem participado do programa. Para cumprir essa condio e garantir a
fidedignidade da pesquisa, a avaliao de programas precisa formar um grupo de
controle composto de alunos e escolas no participantes com as mesmas
caractersticas e condies que os alunos e as escolas que participaram do programa
em estudo. Essa condio se torna quase impossvel quando os programas em estudo
so polticas educacionais que se estendem para todos os alunos e escolas da rede.
Quando o programa se estende a um grupo menor de escolas, selecionadas com base
em determinadas caractersticas, o problema do avaliador consiste em encontrar
72
escolas de controle que tenham as mesmas caractersticas que as escolas do
programa, mas que mesmo assim no tenham sido contempladas.
A dificuldade em formar grupos de controle para efetuar a comparao entre

alunos e escolas que foram expostos aos efeitos da poltica e outras que no foram
pode explicar a reticncia das Secretarias em embarcar em estudos avaliativos de suas
polticas. Outros motivos podem incluir a complexidade da pesquisa quantitativa
envolvendo grandes bases de dados, a falta de interesse poltico em submeter as aes
da Secretaria ao escrutnio dos pesquisadores e dos meios de divulgao e a falta de
continuidade de muitas das polticas por um perodo de tempo suficiente que
justifique o emprego dos recursos e esforos da avaliao ou que permita que os
resultados da avaliao tenham algum proveito prtico. Em pesquisa recente, Bauer
sugere outra hiptese relacionada falta de accountability governamental e o pouco
costume da sociedade brasileira em exigir uma prestao de contas aos governantes
em termos da eficcia e custo/beneficio das polticas financiadas com recursos do
contribuinte (BAUER, 2011). Independentemente dos motivos, a consequncia que a
avaliao do impacto de programas e polticas educacionais constitui um campo de
trabalho ainda muito incipiente com poucos exemplos de avaliaes de envergadura
que contaram com o apoio das Secretarias da Educao. Apesar da importncia
atribuda funo de avaliao de polticas pblicas na explicitao oficial dos
objetivos dos sistemas estaduais de avaliao, pouco se realiza no cumprimento desse
papel.
Uma exceo recente o trabalho da Secretaria de Educao do Cear, em que

foram usados indicadores baseados nos resultados do Spaece para avaliar trs
programas, o Prmio Escola Nota 10, o Plano de Desenvolvimento da Educao (PDE) e
o Prmio Aprender pra Valer. As avaliaes do primeiro e do terceiro programa sero
discutidas mais adiante, juntamente com outras iniciativas do mesmo tipo, por se
tratarem de polticas estruturadas com base no prprio Spaece e que usam os
resultados desse sistema para a distribuio de prmios e incentivos. No caso da
avaliao do PDE, a anlise teve como propsito verificar se as escolas estaduais do
ensino fundamental que aderiram ao PDE apresentariam nveis diferenciados de
73
proficincia no 5 ano do Ensino Fundamental entre 2008 e 2009, quando comparadas
com as demais escolas da rede estaduais e da rede municipal (CEAR, s.d.). Em
contrapartida, outros dois estudos pela mesma Secretaria, um sobre a Gesto
Integrada da Escola Gide, e outro fazendo uma avaliao de impacto do Projeto
Escola do Novo Milnio Penm, no usaram dados produzido pelo Spaece, apesar de
estabelecer como critrio para o sucesso desses programas a sua contribuio para a
melhoria efetiva dos indicadores de rendimento escolar e desempenho acadmico
(ECOSTRAT, 2008).
De modo geral, as avaliaes de impacto de programas mediante a comparao da

aprendizagem de alunos de um grupo de controle com o grupo de alunos atingidos
pelo programa, o grupo de tratamento, so trabalhos de pesquisa de alunos de ps-
graduao que contaram com algum grau de colaborao dos rgos oficiais para
poder acessar os dados das avaliaes educacionais. Um exemplo a pesquisa de
dissertao de Corra (2007) em Minas Gerais, que empregou um desenho quase
experimental para realizar uma anlise comparativa dos resultados de escolas antes e
depois da implantao do projeto Escola Viva Comunidade Ativa, criado pela Secretaria
de Educao para combater a violncia escolar. A avaliao usou dados de
desempenho do Simave para os anos de 2005 e 2006 a fim de comparar as escolas de
dois grupos de pesquisa: um grupo formado pelas 79 escolas estaduais de Belo
Horizonte participantes da 1 fase de implantao do projeto e um grupo de controle,
contendo 21 escolas estaduais no submetidas ao projeto, mas similares s escolas do
projeto em termos de nvel de ensino, tamanho e nvel socioeconmico dos alunos
(CORRA, 2007). A avaliao recente da poltica de formao continuada de
professores alfabetizadores Letra e Vida, da Secretaria de Educao de So Paulo,
outro exemplo. Em tese de doutorado, Bauer (2011) emprega anlises de regresso
para determinar a importncia da Letra e Vida na explicao das variaes no
rendimento dos alunos da 1 srie, tanto em termos da mdia no Saresp de 2007
como em termos do percentual de alunos da 1 srie no nvel 6 de proficincia. Os
resultados das anlises so tnues e mostram que o impacto do curso Letra e Vida
depende da presena de outras variveis do contexto escolar. No entanto, quando a
74
pesquisadora compara o desempenho no Saresp de alunos de escolas em que todos os
professores passaram pelo curso de um ano de durao com alunos de escolas cujos
professores no fizeram o curso, os resultados so mais claros. Quando h um nmero
de casos suficientes para fazer a comparao entre os grupos de tratamento e
controle, a vantagem dos alunos cujos professores fizeram o curso mais clara,
sobretudo em escolas do interior do estado (BAUER, 2011).
Em estudo similar, Fontanive mediu o impacto de um processo de formao em

servio organizado pelo Cesgranrio chamado Projeto de Capacitao dos Professores
do Tocantins para os professores da rede estadual de ensino desse estado. O estudo
procurou identificar se nas escolas com professores que apresentavam um alto grau de
participao nas atividades de capacitao houve o aumento das mdias de
proficincias dos alunos em matemtica e lngua portuguesa, medidas no ano de 2001
pelo sistema estadual de avaliao organizado pela Fundao Cesgranrio e em 2007
pela Prova Brasil. Apesar da rotatividade de professores, a falta de contato direto entre
formadores e professores e a falta de acompanhamento e de continuidade nos
treinamentos, as anlises realizadas indicam uma relao entre a participao no
Programa de Capacitao e no uso do material didtico fornecido e a melhoria de
desempenho dos alunos da 8 srie (9 ano) na disciplina de matemtica, pelo menos
no caso dos professores que responderam aos questionrios. O estudo se destaca pela
engenhosidade da metodologia e sofisticao da anlise, impelidas pelas mudanas
sofridas pelo prprio projeto de capacitao e a perda de professores ao longo dos
anos, e demonstra as dificuldades reais para realizar pesquisas de avaliao de
impacto com grupos de controle (FONTANIVE; KLEIN, 2010). Medir e atribuir mudanas
nos resultados do sistema educacional a determinado programa, com base em
raciocnio de causalidade, um grande desafio metodolgico mesmo quando
disponibilizadas todas as informaes sobre o desempenho dos alunos.
Em nenhum dos casos de avaliao de programas baseada nos dados dos sistemas
estaduais de avaliao, encontramos o uso das informaes para determinar a
mudana ou a continuidade do programa em questo. Caso houvesse esse tipo de
consequncia, poderamos fazer um paralelo com as avaliaes dos programas
75
compensatrios dos Estados Unidos, onde a continuidade do financiamento dependia
de resultados satisfatrios. Nesses casos, pode-se dizer que a avaliao de programas
high stakes e desenhada para responsabilizar as autoridades educacionais e as
equipes escolares pelos resultados dos alunos participantes.
O que achamos foram exemplos de um tipo de avaliao de polticas e programas

mais caseira, tipicamente com base em apreciaes informais, mesmo usando dados
objetivos. Esses julgamentos, feitos pelos prprios gestores, parecem fazer parte do
dia a dia do trabalho da gesto educacional:
Ento esse uso [da avaliao] de orientar polticas, ele mais antigo, n? E
em alguma medida ele um uso genrico. Mesmo quando eu fao
derivaes para usar como sistema de incentivo de professores, [...] ou para
estratgias de ensino, na verdade eu estou sempre reorientando polticas e
programas. Vamos dizer assim, esse o uso primeiro e mais preciso da
avaliao, n? (Gestor: SEE/CE)
Em outros casos, como na avaliao das novas Escolas de Referncia de Ensino

Mdio sendo implantadas no estado de Pernambuco, o uso do indicador de qualidade
daquele estado como parmetro mostra o uso de dados objetivos:
Em 2014 ns vamos ter Escolas de Referncia nesse modelo em quantidade

suficiente pra atender todos os egressos de 8 srie das escolas municipal e
estadual. [...] No primeiro ano em que implanta, o Idepe delas j vai pra 4 a
4,5. Ns tivemos 20 avaliadas j em 2009, e 10 atingiram mais de 5 [...]
Quando comparada a mdia nossa de Ensino Mdio, que chega a 3,
excepcional nesse caso. (Gestora: SEE/PE)
No caso de Minas Gerais, o gestor entrevistado tinha usado a avaliao do Ensino

Mdio para distinguir os efeitos de diferentes polticas para essa faixa etria:
Como voc implementa vrias coisas ao mesmo tempo, voc tem que ter o
efeito de uma ao sobre a outra tambm. [...] Por exemplo, como a
poltica de EJA interfere no desenvolvimento do Ensino Mdio, [...] como
que a Educao profissional altera os indicadores e o desempenho dos
76
alunos no Ensino Mdio e assim por diante. Tem os cruzamentos das
polticas e s vezes o efeito de um contrrio sobre o outro. Por exemplo,
[...] como a poltica foi muito forte no aumento de vagas e de oportunidade
de EJA, a taxa de concluso do Ensino Mdio diminua. [...] os meninos
esto indo para a EJA? Ento, analisar esses efeitos e ver tambm o efeito
sobre quem foi para a EJA. O desempenho melhorou ou piorou? T certo.
Tudo bem, aumentou a taxa de concluso. Ento no seria possvel voc
estar permanentemente fazendo essa adequao, ajustando as aes que
voc estava implementando a cada ano, se voc no tivesse uma
informao muito precisa sobre o que andava acontecendo. (Gestor:
SEE/MG)
6.1.2 Monitoramento. Alm da avaliao de polticas e programas, os

sistemas estaduais costumam explicitar o objetivo de monitoramento ou
acompanhamento da evoluo do sistema ao longo do tempo. Essa foi a razo
fornecida pela criao do Saeb em princpios da dcada de 1990 e reafirmada na
portaria 931/2005, que reformulou o sistema de avaliao com base na criao da
Prova Brasil. Nessa legislao, o Saeb tem o objetivo de avaliar a qualidade, equidade e
eficincia da Educao brasileira, ao mesmo tempo em que fornece subsdios para a
formulao de polticas pblicas ao buscar comparabilidade entre anos e entre sries
escolares, permitindo assim a construo de sries histricas. Nessas frases, fica
explicitada a ideia central do monitoramento, ou seja, produzir informaes
comparveis ao longo do tempo para servir de parmetro para medir a evoluo e
distribuio da aprendizagem, entendidas como indicadores da qualidade e equidade
da Educao e, ao mesmo tempo, ajudar na identificao de dificuldades.
Segundo Fontanive e Klein (2000), o Saeb e outros sistemas de avaliao nacionais

tm carter diagnstico:
Eles so mais bem definidos como sistemas de informao do que como

programa de testagem e visam, sobretudo, a construir sistemas de
77
informaes consistentes, confiveis, vlidos e comparveis para
responder basicamente a duas questes: Qual a qualidade da Educao
oferecida no pas? Em que condies ela se realiza? Alm de um programa
de testes, as avaliaes em larga escala coletam informaes para analisar
o contexto no qual se d a aprendizagem dos alunos - essencial para
qualquer proposta de melhoria de qualidade. (FONTANIVE; KLEIN, 2000) (p.
411)
No desempenho desse papel, o Saeb aplica um grande nmero de itens cerca de

130 a 170 itens por srie e disciplina , em vez de usar provas nicas compostas,
tipicamente, de 20 a 30 questes. A cobertura de todos os aspectos do currculo para
determinada rea e fase visa alcanar uma validade curricular maior. Isso significa
poder identificar com maior propriedade o nvel de aprendizagem efetivamente
alcanado pelos alunos em todos os componentes e identificar com maior facilidade os
aspectos curriculares deficitrios. Haver a necessidade de voltar a essa questo
quando da discusso da adoo do modelo Saeb pelos estados e o uso dos resultados
para fins pedaggicos.
O uso das avaliaes estaduais para fins de monitoramento evidenciado pela

criao recente de indicadores que tentam captar em um nico nmero uma medida
da qualidade de cada fase de Educao em cada escola. Influenciados e incentivados
pela criao do Ideb em nvel nacional, alguns estados, incluindo Pernambuco (Idepe),
Amazonas (Ideam), So Paulo (Idesp), Cear (IDE-Alfa), Rio de Janeiro (Iderj), e o
municpio do Rio de Janeiro (IDE-Rio) e o Distrito Federal (IDDF) j criaram indicadores
desse tipo. Porm o tema ainda no se tornou assunto de discusso acadmica. Com
poucas excees, as discusses sobre os propsitos e as metodologias para a
confeco dos indicadores tm sido mantidos no mbito das Secretarias. Uma exceo
a discusso do indicador de So Paulo Saresp. Seguindo uma metodologia mais
completa que o Ideb, o indicador de So Paulo capta tambm a equidade das
estratgias educacionais usadas naquele sistema pela incluso de uma medida da
distribuio dos alunos por faixa ou categoria de desempenho (SOARES, 2009). Ao
incentivar a progresso de todos os alunos, e no somente a melhoria da mdia, o
78
Saresp consegue corrigir uma falha do Ideb e promover uma equidade maior nas
estratgias de melhoria das escolas.
O indicador de Pernambuco, chamado Idepe, tambm utiliza uma frmula anloga

do Ideb, multiplicando as proficincias mdias de portugus e matemtica por uma
medida de fluxo escolar para produzir um ndice de desempenho para cada
disciplina/srie entre 0 e 10. Diferentemente do Idesp, no entanto, o ndice no cria
categorias de desempenho e, ao empregar a nota mdia das provas, no gera
incentivos para a escola procurar melhorar o desempenho somente daqueles alunos
com notas prximas linha de corte das categorias, como no caso do Idesp (FERRAZ,
2009).
Uma das responsveis pela implantao do Idepe reconhece a importncia da

liderana do MEC, mas mostra a necessidade de o estado ter um indicador prprio:
Nossa primeira preocupao foi ter um ndice estadual. Embora ns

reconheamos que o MEC tem realmente um trabalho muito consistente,
ns pensamos o seguinte: ns no pudemos pensar em implementar uma
poltica educacional com o nvel de mudana que ns estamos
pretendendo, sem ter segurana de um ndice estadual que no estivesse a
merc de alteraes. Ento com isso ns decidimos. Foi uma deciso do
governador, do secretrio na poca e nossa, da equipe, de que era
importante ter um ndice de desenvolvimento de Educao em Pernambuco
com periodicidade anual e que tivesse a mesma metodologia para ser
comparado ao ndice do MEC. E a em 2009 coincidiu que ns tivemos o
nosso ndice e o MEC teve o dele, o IDEB. E o nosso IDEPE foi
metodologicamente validado. Ns tivemos l praticamente o mesmo
resultado. (Gestora: SEE/PE)
No caso do Ideam, do estado de Amazonas, observa-se em documento da

Secretaria de Planejamento uma explicitao da esperana que a prpria criao do
indicador possa contribuir para a melhoria dos resultados do sistema:
79
Na busca pela melhoria dos indicadores da Educao, o Governo do Estado
do Amazonas implantou em 2008 o Sistema de Avaliao do Desempenho
da Educao do Amazonas - SADEAM, que objetiva ter um contnuo
monitoramento do sistema educacional, bem como subsidiar a gesto
institucional no que se refere s definies de polticas educacionais para
possveis correes de distores desse processo. No SADEAM foi
construdo o ndice de Desenvolvimento da Educao do Amazonas
IDEAM com o objetivo de possibilitar uma viso mais integrada do
desenvolvimento educacional do Estado, o qual est em consonncia com
o ndice de Desenvolvimento da Educao Bsica IDEB, cujo primeiro
resultado foi apresentado em 2009. (AMAZONAS, 2009)(p. 13)
O IDE-Alfa Indicador de Desempenho Escolar em Alfabetizao criado pela

Secretaria de Educao do Cear um pouco diferente dos exemplos anteriores.
Criado para facilitar a divulgao dos resultados do Spaece-Alfa, o indicador leva em
conta a proficincia mdia dos alunos que possuem desempenho intermedirio e
desejvel e o percentual de alunos que participaram da avaliao. Esse ltimo critrio
utilizado para evitar que as redes impeam a participao dos estudantes que tm
dificuldade de aprendizagem. O IDE-Alfa construdo em uma escala de 0 a 10. Os
municpios que possuem IDE-Alfa igual ou maior do que 5 esto no nvel intermedirio
e aqueles com ndice de 7,5 ou mais no padro desejvel. Voltaremos a falar do IDE
quando apresentada a poltica do governo de Cear de premiar os municpios com
base nesse indicador.
Independentemente das frmulas usadas, os indicadores estaduais tm em

comum a dependncia de informaes produzidas por sistemas estaduais de avaliao
que empregam a Teoria de Resposta ao Item TRI. Esse detalhe permite que o ndice
produzido ao longo do tempo no sofra flutuaes aleatrias devido a mudanas na
medida, como no nvel de dificuldade dos testes. Essa consistncia da medida de
desempenho to vital para o processo de monitoramento que sem a TRI dificilmente
um sistema estadual poderia reivindicar esse papel.
80
Como palavras finais desta seo, oferecemos as falas de representantes de duas
Secretarias. Na primeira um tcnico da Secretaria de Educao de Minas Gerais d a
opinio que o uso da avaliao de desempenho naquele estado para o monitoramento
das escolas est inextricavelmente ligado ao modelo de gesto para resultados e que
no h como separar os efeitos motivadores do monitoramento dos efeitos da
interveno que decorre dele:
De 2008 pra 2009 sentimos um crescimento importante na alfabetizao,

inclusive comparado com as redes municipais que no tiveram esse mesmo
tipo de interveno que ns. A existncia de uma medida, ela desencadeia
um processo. A existncia dela associada a uma gesto com foco em
resultado, medio e acompanhamento, ela desencadeou um processo de
monitoramento de interveno. Sem essa medida poderia at haver
interveno, mas ela estaria mais desfocada. A gente no conseguiria saber
se houve ou no um crescimento, n. Eu acho que a medida tem que estar
associada a uma gesto, a um tipo de gesto e interveno. Por si s eu
acho que [a medida] no produz, mas ter a medida fora a gesto a ir l de
novo para acompanhar, a medir outra vez, a saber, por que. Eu acho que [a
avaliao] um instrumento de motivao associada ao monitoramento.
Eu entendo a avaliao desse jeito. [...] Ento a existncia da medida ela
desencadeia um processo, uma mudana de atitude, de comportamento,
de procedimento nos diversos nveis da gesto da Educao. (Tcnico:
SEE/MG)
Na segunda fala, que serve de ligao com a prxima seo, a gestora da

Secretaria de Educao de Pernambuco mostra que o monitoramento anda de mos
dadas tambm com o planejamento, no modelo de gesto para resultados. A fala
tambm destaca a resistncia avaliao que ainda existe dentro da universidade:
O governador introduziu aqui o modelo de gesto por resultados em 3

reas prioritrias em 2007. Ele comeou com Educao, sade, segurana e
receita. [...] quando ns entramos em 2007 o resultado do Ideb de 2005 [...]
deu conta que a rede estadual de ensino de 5 a 8 srie foi o pior resultado
81
do Brasil dentre todos os estados. Ento houve uma presso muito grande
para melhoria. [...] Ento o que houve na verdade foi uma conjuno de
fatores em que a administrao do governador Eduardo Campos
possibilitou a introduo de mudanas muito grandes em pouco tempo.
Porque ns tivemos uma resistncia razovel do sindicato com relao ao
bnus, com relao gesto de resultado, com relao ao monitoramento.
Em algum tempo ns fomos proibidos at de usar a palavra monitoramento
porque as pessoas no aceitavam, pessoas da prpria universidade. A
gente tem essa dificuldade ainda de trabalhar, eu acho que no currculo
principalmente da graduao a questo de aferio de resultados na
Educao. Mas acho que houve uma vontade poltica muito grande que fez
com que isso pegasse, digamos assim. Ento hoje comum. Se voc
conversa com as escolas, por exemplo, ns fazemos sempre pesquisa no
final do ano, fazemos levantamento. A gente pergunta para as escolas: o
que foi mais importante durante esses 4 anos? Elas respondem: foi o
monitoramento. (Gestora: SEE/PE)
6.1.3 Planejamento. A utilizao dos resultados das avaliaes educacionais

como pea central do planejamento estratgico dos estados j foi discutida na
introduo. Alm do caso emblemtico de Minas Gerais, podem tambm ser
destacados os casos de Esprito Santo e Pernambuco. No caso de Esprito Santo, o
Plano Estratgico Esprito Santo 2025 reafirmou a prioridade absoluta a ser dada
Educao pelo governo que tomou posse em 2003. Posteriormente, a parte do plano
que cabia Secretaria da Educao recebeu um detalhamento para o perodo 2008-
2011 e assumiu o nome Plano Estratgico Nova Escola. O objetivo maior era o alcance
de escolas vivas, com capacidade criativa e inovadora, modernas e atrativas, que na
essncia tenham como resultados de suas aes a aprendizagem dos alunos,
segundo o Secretrio da poca, Haroldo Corra Rocha (ESPRITO SANTO, 2008) (p. 5).
Alinhado com a nfase nos resultados de aprendizagem, o plano assumiu como sua
Viso de Futuro 2011 um cenrio em que o Esprito Santo figuraria entre os estados
82
mais bem colocados nas avaliaes de resultados e formulou diversas metas
pensadas para levar o estado a essa posio. Entre as metas assumidas, constam a
elevao das mdias do 3 ano do Ensino Mdio do Saeb para 350 pontos em
portugus e 400 em matemtica, a elevao do Ideb das sries iniciais e finais do
ensino fundamental de, respectivamente 3,7 e 3,5 em 2005 para 5,9 em 2021, e o Ideb
no Ensino Mdio de 3,1 para 4,5. Se o Plano Estratgico Nova Escola ainda no
expressava suas metas em termos dos resultados do seu prprio sistema de avaliao,
Paebes, a incluso do projeto de avaliar sistematicamente as condies de
funcionamento das escolas e de desempenho dos alunos visando a obteno de
melhores resultados da aprendizagem deixa claro o quanto que o plano oferecia
respaldo s atividades de avaliao educacional e o quanto o esprito da avaliao
estava presente no pensamento dos planejadores.
O planejamento estratgico da Secretaria de Educao de Esprito Santo tambm

serviu para colocar ordem em um verdadeiro cipoal de projetos e programas que se
multiplicavam sem critrio:
Quando eu cheguei aqui a gente foi fazer um inventrio de projetos para

identificar todos os projetos que havia na Secretaria e a gente identificou
92 projetos. Impossvel de monitorar 92 projetos e totalmente sem foco,
sabe, quase que um delrio das pessoas. O projeto uma ferramenta para
chegar a algum resultado. Qual o seu resultado? E a a gente chegou
numa viso para 2011 e com as metas que a gente tinha fomos fazendo um
teste de aderncia [para ver] que projetos que j estavam na rede tinham
mais aderncia a onde a gente queria chegar. A ficamos com esses 48.
(Tcnica: SEE/ES)
No caso do Programa de Modernizao da Gesto da Secretaria de Educao do

Estado de Pernambuco, o sistema estadual de avaliao est no centro dos planos. Na
definio da identidade estratgica da Secretaria de Educao, encontra-se como viso
tornar-se referncia nacional em Educao de qualidade at 2011 e como misso
assegurar, por meio de uma poltica de Estado, a Educao pblica de qualidade,
focada em resultados.... Entre as diferentes prioridades para o alcance desses
83
objetivos consta a Implantao do Modelo de Avaliao, envolvendo a conjugao
do Sistema de Avaliao da Educao de Pernambuco Saepe, com periodicidade
anual a partir de 2008, o Termo de Compromisso, o Idepe e o Bnus de
Desenvolvimento Educacional. No material de divulgao sobre os avanos do Idepe
entre 2008 e 2009 encontram-se dados que mostram que 890 ou 94,3% das escolas do
estado com 4 e/ou 8 e/ou Ensino Mdio consegui elevar seus ndices educacionais.
Dessas escolas, 550 atingiram 100% da meta para aquele ano com base no Idepe e
mais 211 alcanaram entre 50 e 99% da meta. Como esses percentuais tambm foram
usados para o clculo do Bnus de Desenvolvimento Educacional a ser pago aos
professores, voltaremos a esse tpico mais adiante.
No obstante a importncia do planejamento estratgico, talvez o aspecto mais

inovador da conexo entre a avaliao e o planejamento seja a relao, ainda em
construo, entre os indicadores estaduais de desenvolvimento e a fixao de metas
em nvel escolar. Com uma medida confivel do desempenho dos alunos e um ndice
que capta a qualidade em um nico nmero compreensvel, a tarefa de fixar e cobrar
metas se tornou mais fcil. Isso tem significado o avano na utilizao de metas no
planejamento das atividades das Secretarias e tambm na formulao de polticas de
incentivos que dependam do cumprimento das metas fixadas, como ser discutido em
outra seo.
O ndice de Desenvolvimento da Educao do Distrito Federal se apresenta como

exemplo tanto da necessidade de criar um indicador compreensvel como do valor do
indicador como um elemento estruturador dos planos da Secretaria. Na opinio de
tcnico da SEE/DF:
O IDDF surgiu por uma necessidade de trazer um nmero ao DF, um

nmero escola. Assim, as pessoas j estavam acostumadas com um
ndice, a questo do Ideb, mas no DF no se tinha isso, nada parecido. s
vezes [a Secretaria] queria utilizar o resultado da avaliao de rendimento
que no tem nada a ver para tentar botar nos jornais. A prpria imprensa,
alis, faz questo de exibir alguma coisa nesse sentindo e ns no tnhamos
e ento por deciso do gabinete, para no s satisfazer a opinio publica,
84
mas tambm para dar um horizonte e uma viso mais clara, o IDDF foi
criado, se utilizando da avaliao de rendimento, dos resultados, assim
como das taxas de aprovao. (Tcnico: SEE/DF)
Segundo o material usado para explicar o IDDF s escolas, o desafio primordial da

SEE/DF garantir que os alunos aprendam sem desperdiar tempo com reprovaes e
sem abandonar a escola. Para cumprir essa tarefa, a SEE/DF precisa de indicadores
objetivos para acompanhar a evoluo das escolas e definir metas individuais para
cada instituio educacional, a serem alcanadas em curto prazo. O objetivo, em nvel
da escola, que as metas sirvam como guia para seus gestores e se traduzam em
esforos pedaggicos capazes de elevar o desempenho dos estudantes, garantindo
que uma proporo cada vez maior de alunos domine um slido conhecimento dos
contedos e habilidades esperados para o seu estgio escolar. Visando esse objetivo,
com base em um indicador que junta os dois critrios para uma avaliao da qualidade
da escola, o IDDF composto de uma medida da aprendizagem dos alunos, advinda
dos exames do Siade, e de uma medida da movimentao escolar derivada das taxas
de aprovao, em formula anloga ao do Ideb.
Com a formulao do indicador e a fixao de metas para cada escola, a Secretaria

parece ter cumprido a promessa de estabelecer um novo modelo de poltica
educacional. Em comum com outras Secretarias, esse modelo traz a vantagem de
converter esperanas em objetivos concretos e oferecer um foco legtimo para os
esforos de melhoria.
6.1.4 Pesquisa. A qualidade da pesquisa em Educao no Brasil tem se

beneficiado enormemente pela aplicao e divulgao dos resultados dos sistemas
nacionais de avaliao. Aqui cabe registrar que o uso tem sido tipicamente de dois
tipos. Um tipo de pesquisa se concentra no acompanhamento do desempenho dos
alunos ao longo do tempo. A ttulo de exemplos, temos o trabalho de Alves, que
mostra que cerca da metade da queda observada no desempenho mdio no Saeb dos
alunos da 4 srie entre 1995 e 2003 deveu-se mudana no perfil dos alunos em
85
decorrncia da melhoria do fluxo escolar (ALVES, 2007), e Klein, que mostra que a
proporo de alunos acima dos nveis satisfatrios em matemtica decresce com a
srie (KLEIN, 2006). O outro tipo de pesquisa que na ausncia de dados objetivos sobre
a aprendizagem dos alunos era vedado aos pesquisadores aquele que prope
identificar as caractersticas da escola e dos professores que mais incidem na produo
de bons e maus resultados. Por exemplo, Franco et alii indicam que no Brasil 39% da
varincia na proficincia em matemtica encontra-se entre escolas, enquanto, em
pases europeus e nos EUA, a varincia entre escolas usualmente est em torno de
20%. A alta porcentagem encontrada no Brasil um indicativo de que nosso sistema
educacional altamente estratificado, apresentando muita desigualdade entre as
escolas. Os pesquisadores tambm constatam a importncia de algumas
caractersticas escolares no desempenho mdio dos alunos. Os elementos que indicam
que a escola atribui nfase especial s questes acadmicas, como o uso de dever de
casa, bibliotecas na sala de aula e um bom clima disciplinar, apresentam efeitos
positivos no aumento do desempenho mdio das escolas (FRANCO et al., 2007).
O uso das bases de dados estaduais para esse tipo de pesquisa menos comum,
no havendo o mesmo empenho por parte das Secretarias de tornarem pblicos os
resultados das avaliaes. Uma exceo a linha de pesquisa desenvolvida pelo CAEd
desde 2002 com base nos dados do sistema mineiro de avaliao Simave. Em vrias
publicaes, Soares e colaboradores tm avanado na compreenso de fatores
associados aprendizagem e ao uso de diferentes modelos estatsticos para o estudo
hierrquico dos fenmenos escolares, mostrando a progressiva sofisticao conceitual
e metodolgica da pesquisa em efeito escola (SOARES, 2003; 2005; SOARES; TEIXEIRA,
2006). Estudos equivalentes realizados com base nos resultados do Saresp tambm
tm contribudo para a criao de um corpo de evidncias a respeito das
caractersticas da escola eficaz naquele estado.
86
6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as
Estratgias de Formao Continuada
A preocupao com a qualidade da Educao bsica est no cerne dos programas

subnacionais de avaliao. Apesar de usarem instrumentos descendentes do Saeb, que
so fundamentalmente de monitoramento e no de diagnstico, todos tm como
objetivo explcito fornecer feedback aos professores de sala de aula e ajudar na busca
de solues para superar as dificuldades de aprendizagem dos alunos. Do ponto de
vista do grande contingente de educadores envolvidos em todas as fases da avaliao
externa seria de fato impensvel no extrair ao mximo as lies sobre as dificuldades
de aprendizagem refletidas nas proficincias para as diferentes sries e matrias. E,
para muitos professores, a avaliao externa s se justifica com base nas informaes
fornecidas para melhorar a compreenso da situao dos alunos.
Mas como essa dimenso pedaggica vem sendo trabalhada dentro desses
programas? Quais as estratgias tpicas das Secretarias para municiar as escolas e os
professores com as informaes que precisam para tornar a avaliao externa um
subsdio para a melhoria da sua prtica?
Sem exceo, as Secretarias fundamentam seu apoio pedaggico na produo de

materiais informativos que tentam traar um diagnstico do nvel de aprendizagem
dos alunos. Esses materiais so apresentados basicamente em duas verses: a)
Boletins Pedaggicos, que seguem um formato prprio para o consumo do professor e
disponibiliza, em meio a informaes padronizadas, resultados especficos de cada
escola; e b) Relatrios, os quais resumem de forma mais tcnica os resultados da rede
de forma global, destinados, sobretudo aos gestores. Juntamente com essa prtica,
observam-se diversas estratgias para a formao continuada de professores com base
nos resultados da avaliao para facilitar a compreenso dos Boletins ou remediar
problemas comuns. Ambas as polticas tm evoludo de forma marcante ao longo dos
anos, de modo que uma das concluses a que chegamos, aps a anlise do apoio
pedaggico no mbito dos programas de avaliao, que esse apoio tem
acompanhado a sofisticao dos prprios programas.
87
De incio uma produo bastante rudimentar, pouco a pouco o Boletim
Pedaggico passou a ser percebido como um instrumento rico de apoio pedaggico
quando bem construdo. Com a aprendizagem acumulada com base no ensaio e erro,
sobretudo no mbito dos programas pioneiros no Brasil (como os de Minas Gerais, So
Paulo e Cear), os gestores passaram a dar mais destaque produo desse material,
tal como percebemos na fala de alguns entrevistados:
A questo da avaliao do rendimento escolar do aluno e sua apropriao

pela escola era uma coisa bem longe do cotidiano das escolas. Tanto que a
gente percebe que a forma de divulgao dos resultados era mais os mapas
dos resultados que eram mandados para as regionais. As regionais
discutiam, as delegacias na poca de ensino discutiam com o diretor da
escola, mas numa instncia muito tcnica e muito distante realmente do
cho da sala de aula. [...] Os boletins eram boletins gerais, alm de no se
produzir boletim para cada escola. (Tcnico/SEE-CE).
Hoje o objetivo do Boletim Pedaggico parece estar alm da simples divulgao,

pois, ao devolver os resultados, ele tambm espera familiarizar melhor o professor
diante da linguagem mais tcnica e objetiva utilizada nesse tipo de material. Nesse
sentido, pode-se dizer que o material contribuiu para aproximar o professor diante dos
dados apresentados:
A partir de 2007, o CAEd que passa a produzir o nosso material, s que

cada boletim agora vem com a cara da escola, ele vem com o nome dos
alunos da escola. No vem s com a mdia da escola, vem com a mdia de
cada turma, o resultado por turma e o resultado por cada aluno da escola,
alm de ser uma tentativa de ler esses resultados luz de uma escala que
fosse mais associada a cada intervalo. A gente criou a uma descrio
pedaggica desses intervalos que foi [.. ] bem mais objetiva e
compreensvel para o professor. (Tcnico/SEE-CE).
Uma coisa tambm que a gente passou a trabalhar muito assim de 2007
pra c foi essa questo da forma de divulgao dos resultados, quer dizer a
88
gente no s melhorou o boletim, mas quando o boletim chega, primeiro
feito uma oficina geral com a empresa que ganhou com todos os
especialistas dos rgos das regionais. Ento todas as regionais mandam
os seus tcnicos para c, e cada municpio manda 2 tcnicos tambm que
coordenam o programa [...] e a gente apresenta o boletim, faz a primeira
leitura com ele, a primeira compreenso do material que foi produzido,
discute a lgica que est embutida naquele material. (Tcnico/SEE-CE).
No somente o contedo do Boletim passou a merecer destaque como tambm

sua apresentao grfica:
(...) todos eles sabem pegar o boletim e ler aquele resultado. As cores
ajudaram muito. De longe, quando voc coloca o resultado de um
municpio, eles j percebem logo quantos alunos esto em cada nvel,
quantos esto numa situao no alfabetizada, quantos esto numa
alfabetizao incompleta. A gente tentou dar ao boletim uma cara mais
objetiva e fcil de ser compreendida pelo professor e pelos tcnicos do
municpio, que tm uma grande deficincia de trabalhar com os indicadores
educacionais. (Tcnico/SEE-CE).
Esse material devolutivo procura dar uma resposta ao compromisso de fazer dos
sistemas de avaliao um servio de melhoria do ensino, por meio da devoluo dos
resultados da avaliao para as escolas, de modo que esse material possa servir como
um instrumento para melhorar a prtica pedaggica nas escolas:
O boletim foi evoluindo (...) a partir de alguns estudos que foram

mostrando que isso era difcil, eles tentam fazer boletins com uma
linguagem mais simplificada para as escolas. Voc fazer um boletim
simplificando uma linguagem, explicando melhor, tipo: Olha, os seus
alunos esto neste nvel, isso no significa que os professores conseguem
se apropriar desses resultados e a partir dele, propor aes. Numa outra
fase eles comeam ento a dar dicas de aes. (Especialista-Fundao
Carlos Chagas/SP).
89
Uma parte do crdito pela melhoria progressiva dos materiais devolutivos
deve ser atribuda s prprias agencias de avaliao, como o CAEd, Cespe e Cesgranrio.
Incentivadas pelas Secretarias de Educao que so seus clientes, essas organizaes
experimentaram diferentes contedos e formatos ao longo dos anos e puderam
verificar o grau de acerto das diferentes maneiras de apresentar as informaes por
meio dos contatos diretos com professores e tcnicos. Quando chamadas para atender
a novos clientes ou a retomar avaliaes suspensas temporariamente, tais agncias
puderam oferecer um produto que incorporava a aprendizagem de muitos anos,
permitindo que as novas avaliaes principiassem em patamares mais sofisticados.
Mesmo com a evoluo dos Boletins Pedaggicos, a divulgao dos resultados no

redunda automaticamente na sua apropriao por parte dos professores. A crtica
proveniente principalmente por parte dos professores sugere que os resultados no
so imediatamente consumveis pela comunidade escolar (Diretores, Supervisores,
Professores etc.), no obstante todo o empenho das Secretarias na apresentao de
um material com cunho mais didtico e instrutivo para o professor, distanciando-se do
formato do relatrio tcnico, geralmente endereado aos gestores. Alm disso, os
Boletins Pedaggicos costumam chegar s escolas com certo atraso em relao s
turmas que acabaram de ser avaliadas, dificultando a conexo entre os resultados
apresentados e o tipo de interveno necessria:
(...) na avaliao persiste o grande desafio que a questo da apropriao

do resultado mesmo para o usurio final, que o professor. Apesar de todo
esse movimento que a gente fez de oficinas de item de um lado, encontros
do outro, seminrios para leitura de material, de fazer com que a coleo
chegasse a cada escola, quer dizer, apesar de tudo isso voc tem um
depoimento de uma professora [...] a professora no tinha o conhecimento
de que no boletim tinha o nome de todos os alunos. Ento isso mostra que
de fato, ns ainda no atingimos o objetivo de fazer com que cada
professor saiba que exista um boletim na escola dele que tem o nome de
cada aluno l com seu o desempenho. (Tcnico/SEE-CE).
90
A despeito dos problemas levantados, o Boletim est sendo utilizado pela
equipe pedaggica das Secretarias para otimizar pedagogicamente os resultados da
avaliao. Na tentativa de transformar o produto (resultado) em processo (melhores
prticas), os Boletins Pedaggicos parecem colocar em questo o seguinte desafio: o
que fazer e como fazer se baseando na evidncia dos resultados?
[...] a primeira deciso que a gente tomou aqui foi a de quem leva e quem
explica o resultado o pedaggico. Ns no vamos mais, enquanto
gerncia de avaliao, ficar levando os resultados para a escola, porque se
o pedaggico no encampa, se o pedaggico no entende, isso aqui no vai
servir para nada. (Gestora/SEE-ES)
Uma faceta da sofisticao por que passaram os Boletins Pedaggicos deve-

se descentralizao dessa discusso, que agora sai do mbito da Gerncia de
Avaliao de algumas Secretarias e passa a ser gerida por equipes pedaggicas
incumbidas de avaliar o material produzido e elaborar estratgias para a sua
divulgao, alm de monitorar o uso dessa produo no cotidiano da escola por parte
dos professores:
[...] traduzir essa linguagem para que isso possa ser revertido
especificamente nas competncias e habilidades que essas crianas esto
demonstrando ou esto deixando de demonstrar, para que [o professor]
possa entender como que se faz a interveno pedaggica. Ento, a
gerncia de avaliao nos mobiliza com relao a esses dados e nos
permite [...] uma compreenso disso em nvel central e em nvel regional
por parte dos tcnicos. Entretanto, mais importante do que isso so as
reunies que a gente faz com os diretores, professores e pedagogos das
escolas para que eles entendam o que isso que est chegando l e de fato
faa sentido e eles possam utilizar pelo carter diagnstico que isso que
nos interessa, para que haja promoo da aprendizagem. (Tcnica/SEE-ES).
[...] a chave do sucesso de uma boa apropriao dos Boletins que ele seja
levado com algum do pedaggico para dentro da escola, para poder
91
acompanhar esse uso. Porque se a gente simplesmente colocar isso no site
e entregar o documento na escola, como muita gente faz, no poderamos
cobrar algum resultado com base nesta avaliao, entendeu? (Tcnica/SEE-
ES).
A divulgao de informaes sobre as medidas de todas as escolas de uma nica

rede poderia ser vista como um elemento de responsabilizao, uma vez que tal
informao poderia incitar a comparao entre as escolas, sinalizando a
responsabilidade das mesmas pelos resultados dos alunos. O que ouvimos nos
estados, por outro lado, que a poltica das Secretarias de Educao no deve ser
comparar as escolas e que as escolas s podem ser comparadas com elas mesmas.
Essa afirmativa reflete um pouco o esprito dos Boletins, os quais cumprem mais o
papel de divulgar e disponibilizar um material didtico que possa ser facilmente
manuseado e compreendido por toda a comunidade educativa. Quando existem
comparaes nos Boletins, elas seguem o padro estabelecido pela Prova Brasil,
mostrando a mdia da escola ao lado da mdia do seu municpio e da sua rede. Essa
informao o suficiente para a escola se situar, mas sem permitir comparaes com
outras instituies especficas.
Em nossa pesquisa, como dissemos, encontramos uma gama de material bem

trabalhado, alguns com mais recursos, inclusive com recursos grficos mais
sofisticados e agradveis para o leitor. o caso, por exemplo, do Esprito Santo, que,
juntamente com Cear, Pernambuco, Minas Gerais e outros estados, tem seu material
produzido pelo CAEd e disponibilizado em pdf tanto na pgina do CAEd como em um
link disponvel nas pginas de sua Secretaria da Educao.
O estado de So Paulo tambm chama a ateno pela amplitude e qualidade do

repertrio pedaggico disponvel: caderno do gestor, caderno do professor, caderno
do aluno. No link da Arquivoteca, esto disponveis todas as erratas e os materiais
relacionados aos Cadernos. Vale lembrar que os Boletins Pedaggicos do estado de
So Paulo encontram-se disponveis tanto nos sites da Secretaria como impressos,
bimestralmente.
92
Grande parte dos Boletins, especialmente aqueles confeccionados pelo CAEd,
produz um material que vai alm da divulgao dos resultados: eles analisam formas
de interveno pedaggica com base na anlise da produo do material e apresentam
dados gerais da avaliao, bem como os resultados de proficincia para todas as
sries/anos e disciplinas avaliadas. Apresentam os resultados da escola: resultados de
acordo com a proficincia e a interpretao qualitativa desses por meio da escala de
proficincia. Os Boletins Pedaggicos costumam apresentar tambm os padres de
desempenho e a anlise pedaggica dos itens dos testes. Para discutir outro aspecto
essencial da dimenso pedaggica, o nvel socioeconmico dos alunos, o CAEd criou
outro documento, chamado Boletim Contextual. Ele informa os fatores intra e
extraescolares que interferem nos resultados dos estudantes e o ndice da eficcia da
escola, fator que permite entender o resultado do desempenho escolar, controlando o
nvel socioeconmico dos estudantes.
Juntamente com a produo desse material de divulgao, percebe-se tambm

um movimento por parte das Secretarias de Educao e das agncias contratadas para
fazer a avaliao, em levar os Boletins Pedaggicos e os resultados at os pais. o caso
do estado do Amazonas, que tem promovido reunies sistemticas entre pais,
professores e alunos em um programa chamado Sbado nas Escolas: aulas de reforo,
oficinas culturais e de redao, cantinho da leitura e experimentos cientficos
costumam ser as atraes do programa.
A finalidade do encontro apresentar aos pais as medidas que vm sendo

planejadas e desenvolvidas e a classificao da escola de seus filhos. Para atrair esses
pais em um espao destinado divulgao dos resultados da avaliao, foram
ofertadas, durante alguns sbados do ano, atividades extraclasse, como aula de
reforo, acompanhamento etc. Essa uma estratgia no negligencivel que busca
tambm chamar a ateno dos pais sobre os resultados das escolas de seus filhos, ao
mesmo tempo em que chama a responsabilidade dos pais e da escola para a produo
desses resultados. A estratgia tambm pode ser eficaz, na medida em que vai alm da
produo escrita do material a ser divulgado, cumprindo talvez uma funo mais
diretiva.
93
Outro exemplo interessante de uso do Boletim Pedaggico como uma tentativa
de chamar a ateno dos pais sobre a importncia dos resultados de avaliao da
escola e assim criar um canal de comunicao entre escola e famlia encontrado no
estado do Esprito Santo. No interior do Boletim Pedaggico, encontra-se um termo de
compromisso que deve ser assinado pelo Conselho da Escola, Diretor, Professor e Pais,
cuja assinatura representa a confirmao do compromisso de cada um desses
responsveis pelo processo de aprendizagem do aluno:
O professor tambm assina, o conselho de escola assina, o diretor assina, o

pedagogo assina, todo mundo assina e a assim, para os professores, como
para mim tambm, muito favorvel porque ele divide com o grupo de
gestores da escola a responsabilidade pela aprendizagem do aluno.
(Tcnica/SEE-ES)
Alm desses exemplos de iniciativas chamando a responsabilidade da famlia

pela aprendizagem do aluno, os Boletins Pedaggicos vm se sofisticando cada vez
mais, como sugere o exemplo do Distrito Federal, confeccionado pelo Cesgranrio. O
aspecto grfico no to atraente quanto o material produzido pelo CAEd, mas
chamaram a ateno a quantidade e a qualidade de um material pedaggico bem
circunstanciado, com descries mais detalhadas e tambm genricas, por habilidades
e faixa de desempenho dos alunos. Mas mais interessante pareceu-nos a preocupao
em esclarecer e se fazer didtico a um leitor pouco familiarizado com os jarges da
avaliao, discutindo heuristicamente o que so os resultados, como utiliz-los, qual a
importncia de apropriar-se deles, como explicitado nesta fala:
[...] o que a gente precisa detalhar um pouco mais que o boletim no vai
sozinho. O boletim ele uma ferramenta de mostrar o nmero frio, o
nmero, o resultado pronto e frio, e uma distribuio percentual desses
alunos numa escala de proficincia. Agora, o que que deve vir
acompanhando esses boletins? Os relatrios pedaggicos que, apesar de
no ser algo to inovador, creio que o grande diferencial para as escolas
do DF. So cadernos, livros de cada componente curricular avaliado, e para
cada srie. (Tcnico/SEE-DF)
94
Em geral, pode-se dizer que as propostas dos Boletins e materiais auxiliares so
muito parecidas, ainda que e o emprego da palavra Boletim seja polissmico, como
denotam as seguintes expresses utilizadas para o mesmo fim: guia de interveno,
relatrio, boletim, caderno etc.
Mesmo reconhecendo os avanos contidos nessa forma de apoio pedaggico, as

Secretarias de Educao perceberam que a divulgao dos resultados no estava
sendo capaz de promover uma mudana sistmica por parte dos professores. A
estratgia passa a voltar-se para as Oficinas Pedaggicas, espaos destinados no
somente apresentao dos resultados, mas como melhor apropriar-se deles.
Assim, quase como uma extenso da divulgao, as Oficinas Pedaggicas

aparecem como espaos de formao, as quais contam com a participao de
especialistas e mesmo a Instituio/Agncia contratada pelas Secretarias para a
produo da avaliao. Essa rotina acaba servindo para dois propsitos: a) divulgar
os resultados; e b) colaborar para o processo formativo do professor:
[...] a nossa equipe de avaliao tambm teve que ir a vrios municpios

tambm ministrar oficinas por demandas municipais e de professores da
rede municipal para essa questo de entender melhor os descritores, as
competncias que sero avaliadas e a prpria leitura do boletim.
(Tcnico/SEE-Cear)
Em nosso mapeamento sobre os usos da avaliao com finalidade

expressamente pedaggica, percebemos o quanto a formao continuada passa cada
vez mais a depender da interpretao dos resultados dos testes de avaliao por
equipes de especialistas que possam refletir sobre as lacunas no processo de ensino-
aprendizagem e, com base nas primeiras inferncias, oferecer subsdio para tratar das
dificuldades observadas:
Na verdade, isso para ns o sentido da avaliao. A avaliao s tem

sentido se ela for capaz de mexer na interveno pedaggica. Aqui, no final
do livro, tem as sequncias didticas, que uma inspirao [...]. O professor
olha a avaliao e aqui tem uma srie de ideias de como ele organiza a
95
aula dele. Ento um documento pedaggico. (Gestor/SEE-ES)
As Secretarias passam a perceber que informar e familiarizar os professores com

os preceitos da avaliao no suficiente para melhorar a qualidade das escolas. As
equipes encarregadas pela produo da avaliao nos estados passam a perceber as
inmeras dificuldades dos professores para entender as matrizes, associ-las aos
contedos ministrados e trabalh-las em sala de aula:
[...] dando muita formao, insistindo sobre o que a habilidade e onde

que ele acha isso na matriz e como que ele desenvolve. Eu acho que so
duas coisas. Uma delas entender o resultado da avaliao, a outra para
mim didtica. (...). o professor saber ensinar dentro dessa linha porque
ele no foi formado para ensinar a desenvolver habilidade, ele foi formado
para dar contedo. (Tcnica/SEE-ES)
De maneira mais pontual, alguns estados promovem um dia especfico para

divulgar os resultados da avaliao para a comunidade escolar e, ao mesmo tempo,
inseri-los em um processo de formao que leve em considerao os dados fornecidos
pelo sistema de avaliao:
Tem um Dia D, para fazer essa discusso [do planejamento]. Manda o

boletim para as escolas e as aulas so suspensas por 2 dias por ano para
isso. No dia D se discute os resultados e se reflete sobre o que que a
escola vai fazer [..] No s uma questo de mandar o boletim. O boletim
virou uma ferramenta importante para esse planejamento que eles sabem,
cada professor sabe na sua turma como que est a situao de cada
aluno. (Especialista-MG)
As oficinas acabaram cumprindo o papel de formao em vrios aspectos:

passaram a trabalhar, com os professores, sobre a importncia de ler e saber
interpretar os resultados da avaliao. Com base nessa postura reflexiva, evidenciaram
a importncia do planejamento didtico, da organizao dos contedos e da mediao
entre a matriz de referncia e a matriz curricular, alm do prprio trabalho de
formao presente na elaborao dos itens de avaliao, momento este em que se
96
oferece aos professores do Cear a oportunidade de serem sujeitos e partcipes do
processo contido na avaliao.
Com a ampliao dessas oficinas no interior, o ano passado, por exemplo, a

gente capacitou aproximadamente 1.500 professores em todo o Estado
com a elaborao de itens [...] No comeo, at o ano 2006, a gente tinha
meio que um pacto com o professor. Ele vinha para essa oficina, ele
produzia itens. A gente no remunerava esse item. A gente investia na
formao desse professor que elaborava itens para o Spaece. Cada
professor elaborava em mdia 3 itens. Ele recebia o descritor e elaborava 3
itens, eram esses itens que a gente selecionava para fazer a prova.
(Tcnico-SEE/CE)
Nesse processo, no s os professores so formados e informados de uma nova

cultura escolar. Concomitante introjeo da chamada cultura de avaliao,
percebemos um novo desafio posto a estes profissionais:
Qual a dificuldade que a gente encontra? A dificuldade exatamente a

cultura da avaliao, a cultura do contato com a avaliao externa em
especial, de se apropriar de uma linguagem que feita por grficos, por
escalas e uma srie de coisas que o professor no tem referncia e no est
acostumado a lidar com isso. (Tcnica/SEE-ES)
Uma constatao parece evidente: a de que o Boletim Pedaggico e as Oficinas

Pedaggicas no conseguem produzir, sozinhos, uma mudana de atitude ou de
prtica por parte do profissional docente. O trabalho dos Analistas Educacionais (ANEs)
em Minas Gerais de fazer a mediao entre o trabalho de divulgao do Programa de
Avaliao do Ciclo Inicial da Alfabetizao (Proalfa) e a formao dos professores
mostra como as Secretarias comeam a oferecer apoio pedaggico individualizado
para ir alm dos Boletins e as Oficinas Pedaggicas. O estudo de Carvalho e Macedo
(CARVALHO; MACEDO, 2010) foca o trabalho dos ANEs da Superintendncia Regional
de So Joo Del Rey e mostra como esses especialistas ocupam o papel de mediadores
com base em discusses e reunies pedaggicas com os professores. O estudo
97
tambm oferece uma indicao dos provveis impactos de um programa de avaliao
sobre a prtica dos professores quando acompanhado de apoio pedaggico direto.
O Proalfa realizado em todas as escolas estaduais de ensino fundamental no

estado de Minas Gerais. Seus resultados so divulgados por meio de Boletins
Pedaggicos, que supem a interpretao e elaborao de intervenes por parte do
professor com base nos nveis alcanados pelos alunos na escala de proficincia. O
objetivo das ANEs em relao ao trabalho do professor ajudar a identificar os
aspectos negativos e positivos e, no caso dos aspectos negativos, diagnosticar os
principais problemas.
Para medir o impacto desse trabalho, foi aplicado, entre os responsveis pelo
acompanhamento pedaggico nas escolas estaduais de So Joo Del Rey, um
questionrio no qual a pergunta central era: O Proalfa causa alguma espcie de
impacto na prtica dos professores das sries iniciais da rede estadual de ensino de
Minas Gerais? As analistas foram unnimes em reconhecer que a prtica da avaliao
oficial, como o Proalfa, impacta o trabalho docente. Em outra pergunta Como voc
percebe (ou avalia) o tipo de impacto que o Proalfa causa na prtica dos professores
das sries iniciais na rede estadual de ensino? , das nove analistas educacionais, sete
s apontaram aspectos positivos e duas indicaram tambm aspectos negativos. Em
relao aos aspectos positivos, destacamos alguns excertos das analistas educacionais:
As avaliaes do Proalfa servem como referncia para os professores

avaliarem suas prticas de sala de aula, bem como o aprendizado dos
alunos. Muitos, diante do resultado insatisfatrio nessa avaliao, vm
repensando sua prtica e modificando-a para melhor. (ANE C)
(...) O impacto positivo, pois faz com que os professores procurem

mudanas em seu cotidiano. (ANE L)
(...) Acredito que todo professor tem um certo receio do Proalfa, uma vez
que ele reflete tambm o trabalho desenvolvido pelo professor do ano
letivo em curso. Por isso, nas escolas estaduais s quais atendo, a
proximidade das avaliaes do Proalfa 2008 levaram a uma mudana da
98
prtica dos professores no que diz respeito ao planejamento. Os
professores do 3 ano do ensino fundamental realizaram semanas de
intensives dos alunos com questes do Proalfa de anos anteriores. (ANE
A)
possvel perceber a escola elaborando seus planejamentos e preparando

atividades com base na matriz curricular e matriz de referncia das
avaliaes externas. (ANE R) (CARVALHO; MACEDO, 2010)(p. 266 e 267).
Em relao aos aspectos negativos, as analistas educacionais destacaram os

seguintes fatores:
H uma espcie de acelerao ou supresso das disciplinas (do plano de

ensino) em decorrncia do que cobrado na prova. Muitos professores
deixam de trabalhar ou intensificam o trabalho com alguns descritores,
deixando de lado coisas muitas vezes relevantes para o aprendizado
escolar. (ANE G) [...] em vrias escolas os professores ficam ansiosos,
apreensivos e podem mascarar os resultados, por exemplo, auxiliando os
alunos na hora da avaliao ou colocando para fazer a prova apenas os
alunos preparados [...]. Alm disso, hoje, a poltica pblica do estado
vinculou resultado e remunerao, o que, na minha opinio, foi um
equvoco, pois incentiva, ainda mais, a inteno de mascarar o resultado
final. (ANE H) (CARVALHO; MACEDO, 2010)(p. 268).
Nesses excertos, possvel verificar que um bom Boletim Pedaggico que versa
sobre a anlise dos resultados da avaliao acaba sendo uma fonte de apoio
interessante para o professor, que passa a ter uma medida do que est funcionando
ou no na sua prtica em sala de aula. A preparao para o dia dos testes tambm
exige por parte do professor um planejamento do contedo que ele est ministrando,
alm de contextualizar o que est sendo ensinado com base em um trabalho mais
dialgico entre a matriz curricular e a matriz de referncia da avaliao.
Paradoxalmente, o alinhamento excessivo entre a matriz de referncia da

avaliao e a matriz curricular apontado pelas analistas como um aspecto negativo,
99
uma vez que o professor corre o risco de deixar de lado contedos igualmente
importantes para a formao do aluno, mas que, pelo fato de no serem cobrados nos
testes de avaliao, no seriam objeto de ateno por parte dos professores.
Talvez um dos aspectos positivos mais marcantes encontrados na fala das

analistas educacionais sobre o impacto do Proalfa na rotina pedaggica do professor
diga respeito capacidade de mobilizar as professoras para uma reflexo sobre suas
prprias prticas pedaggicas. Essas mudanas foram percebidas por elas como uma
atitude mais sensvel para a importncia do planejamento, para o estabelecimento de
planos e metas a serem alcanados com vistas melhoria no desempenho dos alunos.
Nesse processo, no se pode deixar de desconsiderar a importncia que as analistas
educacionais tm na interpretao e divulgao dos resultados, bem como o papel de
mediadoras de um trabalho pedaggico que pode alcanar bons resultados quando
realizado em equipe. Entretanto, parece-nos que a prpria prova a catalizadora de
mudanas, comportamentos e atitudes, uma vez ela traz consigo o diagnstico e, com
ele, a possibilidade de observar e refletir sobre as possveis dificuldades a serem
trabalhadas e suplantadas.
Em nossa pesquisa, temos tambm vrios exemplos dos problemas apontados

pelos gestores em Educao a respeito dos materiais pedaggicos de divulgao e
formao. Para a maioria desses gestores, tcnicos e especialistas em Educao, o
material pedaggico produzido para a divulgao e formao ainda no consegue
promover uma mudana efetiva na prtica diria do professor. Esses casos forneceram
evidncias de uma conexo ainda difcil de ser estabelecida entre as polticas de
divulgao e formao implementadas pelas Secretarias e o currculo a ser ensinado, o
que tem feito com que muitas delas reconheam que, apesar de todos os esforos
nesse sentido, os Boletins Pedaggicos continuam sendo, em certa medida, objeto de
difcil compreenso por parte dos professores.
No faltaram exemplos das dificuldades manifestas pelos professores em

relacionar os itens usados ao contedo ensinado. As oficinas pedaggicas, algumas das
quais preveem a elaborao de itens, refletem mais a tentativa de mostrar a conexo
entre o item e o descritor da matriz de referncia, mas o problema que essa matriz
100
nem sempre est explicitada em termos de contedo. Na tentativa de dirimir esse
problema, algumas Secretarias, como a do Esprito Santo, passaram a elaborar um guia
de interveno pedaggica, material auxiliar ao Boletim Pedaggico, para facilitar o
processo de comunicao entre o material pedaggico de apoio e o professor:
[...] ns produzimos para o professor um guia de interveno que tem todas

as sequncias didticas, que um documento que quase um plano de
aula para o professor, o passo a passo do que ele tem que fazer [...] porque
ele no consegue interpretar a habilidade. O que significa desenvolver
[habilidade]? Como que eu enxergo esta habilidade desenvolvida no
aluno? Essa a maior dificuldade que a gente vem escutando. Por isso a
gente se rene muito com os professores nas oficinas de item.
(Tcnica/SEE-ES)
Outra forma de superar esse desafio tem sido a criao de programas

estruturados de formao continuada com base nos resultados das escolas, que vo
alm do trabalho individual dos analistas ou supervisores pedaggicos, na tentativa de
atingir um nmero mais significativo de professores. Trataremos do melhor exemplo
desse tipo de estratgia na seguinte seo.
6.2.1 Polticas de Formao Continuada Baseadas nos Resultados
Com as informaes levantadas, observamos que muitas Secretarias comeam a

instruir suas polticas de formao de professores baseadas no diagnstico fornecido
pelas avaliaes externas. Nesses casos, as estratgias de formao vo alm das
oficinas voltadas para a explicao dos resultados das avaliaes para se tornarem
programas permanentes de interveno junto aos professores. Na cidade de Belo
Horizonte, por exemplo, foi implantado o programa de Monitoramento da
Aprendizagem. Com a anlise dos resultados das avaliaes externas realizadas na
Rede Municipal de Educao (Proalfa, Provinha Brasil e Avalia BH), a Secretaria
Municipal de Educao iniciou em 2009 um acompanhamento sistemtico e
individualizado de todos os alunos do ensino fundamental, chamado de
101
Monitoramento da Aprendizagem. Alm de diversas aes, como o reforo escolar,
visando melhorar o Ideb das escolas, so tambm desenvolvidas aes de formao
docente, em que os professores recebem formao especfica e acompanhamento
constante da Secretaria Municipal de Educao.
Talvez o exemplo mais acabado de uma poltica de formao continuada calcada

nos resultados da avaliao se chame Plano de Interveno Pedaggica PIP, da
Secretaria da Educao do estado de Minas Gerais. Com base nos resultados das
avaliaes do Proalfa, educadores e gestores elaboram um plano de interveno
pedaggica cuja finalidade reside na construo de estratgias para melhorar o
desempenho dos alunos.
No caso aqui de Minas Gerais, voc tem muitos projetos, mas somente um
deles que usa [os resultados] especificamente como um ponto de partida,
ou seja, estabelece um diagnstico e agora vamos trabalhar, vamos traar
estratgias. (Tcnicos-SEE/MG)
O objetivo fazer com que as escolas com os piores resultados recebam visitas de
uma equipe pedaggica competente para discutir e trabalhar pontualmente as lacunas
observadas com os resultados da avaliao.
O PIP teve incio em 2008 com a implantao do programa chamado Alfabetizao

no Tempo Certo,7 cuja meta era garantir as competncias de leitura e escrita de toda
criana at os 8 anos de idade at 2010. O PIP entra como suporte a esse programa a
fim de oferecer subsdio para que o estado pudesse alcanar a meta de alfabetizao e
letramento de todas as crianas na idade certa, corrigindo problemas de fluxo de
desempenho entre as escolas das diferentes regies do estado, evidenciado pelos
resultados da avaliao do Proalfa.
7
Modelado em programa quase homnimo do estado de Cear chamado Programa de Alfabetizao na
Idade Certa.
102
Foi ento montada uma equipe central e regional de apoio pedaggico,
desenvolvido um material didtico para servir de guia ao professor, especialistas,
diretores e grupo regional e, concomitante produo do material, oferecer uma
capacitao em servio a esses professores. Depois da construo da equipe e do
suporte para sua operacionalizao, foram definidas as metas de interveno e,
posteriormente, planejada a execuo e acompanhamento da interveno.
Embora o PIP acompanhe todos os tipos de escola (estratificadas em escolas

pequenas, melhores escolas e escolas estratgicas), a ateno se volta para o
atendimento s escolas estratgicas. Essas recebem essa denominao pela SEE, mas
na realidade so as escolas maiores que apresentam os piores resultados na avaliao
externa. Essas escolas esto distribudas por todo o estado, mas com uma
concentrao mais evidente na regio metropolitana de Belo Horizonte e na regio
norte.
A estrutura do PIP est apoiada na constituio de equipes de trabalho regionais

ligadas s Secretarias Regionais do Ensino (SREs), que, por sua vez, esto ligadas
Equipe Central da Secretaria. A capacitao da Equipe Regional treina analistas e
inspetores escolares, os quais recebem os guias (materiais didtico-pedaggicos) e o
sistema de acompanhamento. Todas as 46 SREs definem metas para as escolas do
estado no ensino fundamental, com base na avaliao do 3 ano do ensino
fundamental no Proalfa. interessante destacar que essas equipes, organizadas
segundo um organograma que obedece a uma estrutura hierrquica, se mobiliza para
intervir nas escolas, dentro de uma agenda pr-programada de reunies.
Pode-se dizer que essa constitui uma das estratgias mais bem definidas da
Secretaria de Educao de Minas Gerais, uma vez que, ao acompanhar as dificuldades
dos professores no domnio de certos contedos, a equipe desenvolve um trabalho de
capacitao individual dos professores baseado no resultado da avaliao dos alunos.
As metas de alfabetizao para o estado, ultrapassadas com folga, demonstram o xito
do PIP:
Ento na verdade quando voc v, por exemplo, que tnhamos uma meta
103
de 74 para proficincia de alfabetizao, vamos assim dizer, e ns
atingimos 86, alguma coisa melhorou, alguma coisa eles esto indo atrs. A
gente no sabe se realmente a interveno do PIP, isso a, a gente ainda
no sabe qual que a causa dessa melhora. Mas de 74 que era a nossa
meta e ns atingirmos 86, muita coisa n? (Tcnico/SEE-MG)
Um dos grandes diferenciais do PIP parece ser a realizao de um trabalho

pedaggico em um nvel muito circunscrito. A possibilidade de elaborar um
diagnstico da turma com base nos resultados de avaliao e, diante disso, inferir qual
a dificuldade do professor diante da turma permite que a equipe elabore um plano
de interveno muito circunstanciado, oferecendo uma possibilidade de formao em
servio para aquele professor, no que diz respeito sua competncia nos contedos e
habilidades ministrados. O resultado positivo fez com que a Secretaria pensasse na sua
expanso para outros segmentos da Educao bsica, mas a disperso de contedo do
segundo segmento do Ensino Fundamental, bem como dos trs anos do Ensino Mdio,
pode servir de obstculo para a eficcia do PIP observada nos anos iniciais de
alfabetizao:
O PIP bom porque um Programa que tem metas. No Ensino Mdio no

garantimos que isso vai ter sucesso porque o professor no muito
favorvel e as disciplinas so vrias. Ento a sistemtica deve ser muito
mais complexa. O outro problema que em geral, os resultados da
avaliao so muito pouco utilizados, so pouco apropriados pelas escolas,
pouco discutidos. (Tcnicos/SEE-MG)
As nossas investigaes junto s outras Secretarias evidenciaram uma

heterogeneidade de prticas, mtodos e concepes tericas sobre o uso dos
resultados da avaliao na poltica de formao do professor. Se o PIP em Minas Gerais
fornece um exemplo de um programa bem estruturado e aparentemente bem-
sucedido, ele no representa um fenmeno isolado. Essa dimenso do uso dos
resultados das avaliaes parece estar em expanso. Na medida em que os
instrumentos usados comeam a fornecer informaes sobre alunos individuais e vir
104
acompanhados de materiais curriculares e didticos, pode-se prever a diversificao
ainda maior de iniciativas desta natureza.
No estado de Esprito Santo encontrou-se a nica meno de uma conexo entre a

avaliao e a formao inicial dos professores. Entre os tcnicos da Secretaria de
Educao desse estado notou-se a esperana das matrizes de referncia do sistema de
avaliao criar uma sinalizao para os cursos de formao de professores em relao
s expectativas da SEE/ES. O mecanismo dessa sinalizao, e se haveria interferncia
direta da Secretaria, no ficou estabelecido, mas o tema de interesse ao mostrar a
impacincia da Secretaria com a falta de alinhamento entre a formao inicial e a
realidade da profisso e falta de informao e prtica nos cursos de pedagogia na
interpretao e uso da avaliao externa.
6.2.2 O Currculo Bsico
Mesmo no sendo o instrumento ideal para esse propsito, para muitos gestores
a extrao das lies sobre as dificuldades dos alunos contidas nas proficincias
fornecidas para as diferentes sries e matrias a contribuio principal da avaliao
para a melhoria da Educao.
Apesar desse voto de confiana no valor das avaliaes para usos pedaggicos,
patente a frustrao dos responsveis com os retornos dessa poltica.
Ns disponibilizamos os boletins pedaggicos com os resultados e a ns

observamos que estava sendo pouco utilizada essa ferramenta. Esses
resultados eles no estavam sendo utilizados como instrumento de gesto
pedaggica ou de interveno pedaggica. (Gestor: SEE/PE)
O constante aprimoramento dos boletins foi uma resposta a essa dificuldade e

uma aposta que, ao aprofundar cada vez mais a compreenso do professor em relao
s matrizes de referncia das provas e s habilidades que se pretendem formar nos
alunos, o aproveitamento dos resultados das avaliaes seria cada vez melhor:
105
No basta mandar um boletim para a escola, voc tem que mandar
informaes significativas que fazem sentido para a escola, essa a
primeira coisa. Ento a primeira mudana , que tipo de informao a
escola tem que receber? (Especialista: CAEd)
Nesse sentido, foram sendo eliminadas informaes que no diziam respeito

aprendizagem dos alunos, como as mdias no Saeb , no caso dos Boletins do Proeb em
Minas Gerais, e enfatizados exemplos de itens para ajudar o professor a entender a
natureza das habilidades cobradas pela matriz. Os Boletins se expandiram com
visualizaes da escala de proficincia, mostrando a faixa de desempenho em que se
situa a mdia da turma em relao a todas as principais competncias testadas, e com
exemplos de itens usados nas provas para fazer a conexo entre a matriz, a escala e as
habilidades identificadas pelos descritores.
Ao mesmo tempo, e possivelmente como mais uma indicao da frustrao com a

falta de impacto dos Boletins e os outros meios tradicionais de informar o professor,
acendeu-se o interesse de algumas Secretarias em implantar um currculo oficial
composto dos elementos considerados mnimos para cada srie. Chamado de
Currculo Bsico Comum em Minas Gerais, a Base Curricular Comum em Pernambuco e
a Proposta Curricular em So Paulo, esses currculos parecem advir da constatao de
que os esforos na busca por melhores resultados podem ser incuos se no houver
uma poltica bem focada nos contedos ensinados.
O problema na matriz de referncia est no fato de que o MEC faz uma

matriz de referncia nacional e nacional um negcio complicado [...] No
nosso caso, a nossa matriz de referncia o CBC, ns fizemos o CBC e ela
virou a nossa matriz de referncia. Sem isso eu acho que difcil
interpretar. Por isso que o Saeb no tinha condio e continua no tendo
condio de ser til na sala de aula. (Especialista-MG)
Nossa investigao demonstrou uma dinmica de construo de um currculo

comum oficial bastante recorrente: aps a implantao dos sistemas de avaliao,
chega-se concluso de que pouco vale investir em formao, oficinas pedaggicas ou
106
na divulgao dos resultados por meio de boletins se no existir um currculo bsico
comum, que permita construir um dilogo com o professor a respeito daquilo que est
sendo cobrado pelo sistema de avaliao. No caso de So Paulo, por exemplo, a
prpria introduo ao novo currculo deixa evidente este propsito:
Estes documentos, que do origem aos Cadernos do Professor, do Aluno e

do Gestor, so as referncias essenciais para o estabelecimento das
matrizes de avaliao do Sistema de Avaliao de Rendimento Escolar do
Estado de So Paulo (Saresp). (SO PAULO [ESTADO] SECRETARIA DA
EDUCAO, 2010.) (p. 3)
Nesse caso, havia a inteno clara de reduzir a diversidade curricular reinante e,

por meio de documentos bem estruturados, criar um consenso:
[...] o diagnstico que se tinha da rede antes da implantao do Saresp era

que, por exemplo, as escolas da rede tinham mais de 300 currculos e
mesmo na mesma escola era complicado um aluno sair de um turno e ir
para outro [...] Cada um construa ao seu bel prazer o que achava
conveniente. [...] claro que a reao inicial [ao novo currculo] no foi,
assim, natural. Depois foi caminhando, caminhando, caminhando. Eu acho
que hoje no se discute mais a implantao do currculo h muito tempo.
(Tcnico/SEE-SP)
No caso de Minas Gerais, os documentos tambm mostram a inteno de traduzir

os novos currculos em matrizes de referncia para os sistemas de avaliao e, dessa
forma, criar um dilogo entre os dois:
A importncia dos CBCs justifica tom-los como base para a elaborao da

avaliao anual do Programa de Avaliao da Educao Bsica (Proeb) e
para o Programa de Avaliao da Aprendizagem Escolar (Paae) e para o
estabelecimento de um plano de metas para cada escola. O progresso dos
alunos, reconhecidos por meio dessas avaliaes, constitui a referncia
bsica para o estabelecimento de sistema de responsabilizao e
premiao da escola e de seus servidores. Ao mesmo tempo, a constatao
107
de um domnio cada vez mais satisfatrio desses contedos pelos alunos
gera consequncias positivas na carreira docente de todo professor.
(Proposta Curricular CBC: http://crv.educacao.mg.gov.br)
Em outros casos, como no do Esprito Santo, as prprias matrizes de referncia

so transformadas em contedos curriculares bsicos. Nesse exemplo, a linguagem
das competncias e habilidades usada pelas matrizes est ainda mais prxima aos
objetivos do ensino:
A avaliao puxou o currculo. Ns tnhamos a avaliao j avanada e no

tnhamos o currculo [...] assim fica difcil, no tem uma referncia para o
professor, o professor no pode ficar usando matriz de avaliao como
currculo. A comeou a confeco do currculo com competncias [...] e eles
partiram da matriz para montar o currculo. (Gestora/SEE-ES)
[...] houve uma reunio com o secretrio de Educao e a gerencia de

avaliao para apresentar o programa de avaliao e o currculo. A
orientao toda foi para que o currculo contemplasse competncias e
habilidades, desde que alinhado avaliao. Na verdade, o currculo
nasceu a partir de um movimento contrrio, ou seja, o currculo acabou
nascendo a partir da matriz de avaliao. (Tcnica/SEE-ES)
No caso de Cear, a deciso da Secretaria em governo anterior foi encurtar o

caminho e imprimir a lista de competncias e habilidades contidas nas matrizes de
referncia nos prprios dirios dos professores. H reconhecimento dos perigos dessa
atitude:
[...] claro que a matriz de referncia da avaliao um recorte do currculo.

[...] a gente v o professor procurando a matriz de referencia, mas isso a
gente tambm tem muito medo. A gente tambm tem muito medo que eles
reduzam o currculo matriz de referncia da avaliao [...] Eles
trabalhavam era o livro, mas hoje j temos esse movimento curricular n,
de interesse dos professores de pegar a matriz, de conhecer a matriz para
ver o que est sendo cobrado na avaliao. (Gestor/SEE-CE)
108
Posteriormente, uma pesquisa constatou que a carga horria dedicada
efetivamente ao ensino das habilidades era mnima e que se precisava partir para a
produo de um currculo bsico calcado em contedos:
Ento a escola gastava muito do seu tempo trabalhando coisas que no

seriam objetos de avaliao. No que ela no tivesse que trabalhar essas
outras dimenses n, mas percebia muito claro o desalinhamento entre [o]
currculo trabalhado e o currculo avaliado. [...] A pesquisa tornou isso
muito evidente, n. E foi a partir da que surgiu a ideia de construir esse
documento sinalizando os contedos que queria que trabalhasse em cada
semestre.
A Secretaria do Cear reconhece que a deciso de produzir um currculo para o

estado vem com atraso:
De certa forma o currculo do estado uma coisa meio que tocada. A gente
tem conhecimento de alguns estados que avanaram muito nessa questo
de socializar e trabalhar o currculo com o professor assim, sem essa
questo da autonomia escolar. Durante muito tempo essa questo do
currculo parecia ser uma coisa que no poderia ser tocada por uma
secretaria de Educao do estado, que a escola tinha que fazer o seu
currculo e, em nome disso, se perdeu muito [tempo]. (Tcnico: SEE/CE)
Em Pernambuco, j houve uma evoluo com a Base Curricular Comum em

direo a uma especificao ainda mais detalhada dos contedos que os professores
precisam ensinar:
[...] ns j temos o que ns chamamos de OTMs que so as Orientaes

Terico Metodolgicas, que como se fosse o currculo nosso. [..] Da Base
Curricular Comum aperfeioou-se para as OTMs que um pouco mais,
digamos assim, restrito n, talvez um pouco mais selecionado os
contedos. (Gestor/SEE-PE)
Na maioria dos casos, h indicaes de que os currculos em construo nos

estados contam com a participao dos professores e refletem, portanto, um esforo
109
comum para estipular os objetivos do ensino. Essa construo coletiva cria a esperana
de uma implantao mais tranquila:
A Base Curricular comum, ela foi feita a partir de um trabalho coletivo. Um

trabalho contemplando as 17 Gerncias Regionais de Educao, n? E esse
trabalho, obviamente no foi feito diretamente com todos os professores,
mas com uma boa amostra para que cada professor desses pudesse dar
sua contribuio. Muitas GREs conseguiram avanar. (Gestor/SEE-PE)
A implantao e adoo gradual dos currculos estaduais um processo lento. O

domnio insuficiente dos contedos deixa os gestores frustrados e indicam problemas
de fundo em relao formao inicial:
Eu diria que mesmo com o CBC ainda tem um bom espao para andar [....]
principalmente porque o professor no sabe o CBC. Esse o problema, ele
no sabe. (Especialista-MG)
Essas reflexes sobre a evoluo das estratgias das Secretarias em direo a um

currculo de contedos bsicos servem para indicar que h uma vertente da relao
entre avaliao e poltica de gesto que a presente pesquisa no teve condies de
aprofundar. Essa relao no a do uso dos resultados do sistema de avaliao para
estabelecer os critrios para uma poltica de gesto. Em vez disso, ela reflete uma
interpretao da dificuldade em fazer uso mais produtivo dos resultados como
consequncia da ausncia de uma poltica curricular. Portanto, mais a compreenso
da fragilidade da avaliao externa em servir de instrumento pedaggico do que da
sua utilidade. O movimento em direo ao currculo bsico expressa a concluso de
que, na ausncia de um consenso compartilhado com os professores a respeito dos
contedos curriculares e de um alinhamento entre os objetivos do ensino, o currculo
da escola e as matrizes do sistema de avaliao, a contribuio deste para a melhoria
da qualidade ser seriamente prejudicada.
Essa evoluo na poltica dos estados pde acontecer no contexto brasileiro pelo
fato de a avaliao educacional ter sado na frente e se estabelecido como um pilar da
poltica educacional sem uma evoluo correspondente na especificao das
110
expectativas de aprendizagem para cada nvel e contedo de ensino. Essa
correspondncia a que normalmente define a relao entre o currculo e a avaliao.
Na Inglaterra, por exemplo, a criao do primeiro sistema nacional de avaliao no
contexto da reforma educacional da dcada de 1980 aconteceu pari passu com a
definio do currculo nacional. Ou seja, o caminho do sistema de avaliao aberto
geralmente pela implantao de objetivos de ensino que precisam ser monitorados. A
avaliao nessa conjuntura serve tanto para ajudar a implantar o novo currculo como
para medir o sucesso das escolas na sua execuo.
Pela natureza federativa do sistema educacional brasileiro e a aparente

impossibilidade de um currculo nacional que v alm dos parmetros filosficos, o
Saeb foi criado com base em pesquisas que, na mdia, tentaram espelhar o currculo
real usado pelas escolas sem que ele fosse o oficial ou comum a todas as escolas.
Quando os estados comearam a adotar sistemas de avaliao modelados no Saeb,
eles tambm adotaram as mesmas matrizes e a mesma orientao no sentido da
especificao de objetivos em termos de competncias de diferentes nveis de
sofisticao. Isso no significa que no haja um amplo grau de convergncia entre as
matrizes do Saeb e aquelas produzidas pelos estados que j passaram pelo processo
de especificao do currculo bsico. A diferena reside na explicitao e implantao
de um currculo que possa legitimamente servir de foco para todos os processos de
formao continuada, sobretudo quando expressado em termos de expectativas e
quando fruto de uma construo coletiva. Usar as matrizes definidas externamente
para essa finalidade no s restringe o currculo a um subconjunto daquilo que as
escolas deveriam ensinar como tambm obriga a utilizao de uma linguagem de
especialistas que no a dos livros didticos e muito menos a das atividades que o
professor precisa desenvolver.
Uma pesquisa sobre essa vertente da relao entre a avaliao e a poltica

educacional mostraria provavelmente que, se no fosse pela dificuldade em comunicar
os resultados da avaliao aos professores, o progresso na definio dos currculos
estaduais teria sido menor. Mesmo atrasados, os currculos bsicos dos estados e o
progresso na definio de expectativas de aprendizagem para as sries so avanos na
111
direo certa que em algum grau podem ser atribudos ao fato de os sistemas de
avaliao terem sado na frente.
6.3 Para Informar ao Pblico
Com a crescente preocupao com os resultados fracos dos Estados Unidos na

dcada de 1980 em avaliaes comparativas internacionais, to habilmente explorados
pela Comisso Nacional sobre Excelncia em Educao em seu relatrio Uma Nao
em Risco, (THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION, 1983), o
Programa Nacional de Avaliao do Progresso dos Alunos (Naep) decidiu ampliar sua
amostra e, na dcada de 1990, comeou a publicar os resultados dos sistemas
educacionais estado por estado (GTEE/PREAL, 2010a). Aos poucos, os estados tambm
comearam a publicar seus resultados, dessa vez distrito por distrito e escola por
escola. Por trs dessa prtica, encontrava-se a influncia do economista Milton
Friedman e de outros economistas liberais, que contestavam o monoplio natural do
estado na oferta da Educao pblica e procuravam estabelecer um mercado de livre
escolha com base na circulao irrestrita de informao sobre as escolas. O
argumento desses tericos a favor da reduo das funes do estado e da devoluo
ao indivduo do direito de escolha num mundo regido pelas regras do mercado livre. Se
h razes para os governos arcarem com os custos da Educao, inclusive dos que vo
alm da fase obrigatria do ensino, esses tericos no veem justificativa na
estatizao da oferta. Ou seja, o fato de o estado subvencionar a Educao no
significa que tem que ser o estado que oferea a Educao. Em vez disso, o estado
poderia dar bolsas ou vales-Educao aos pais, que poderiam gast-los nas escolas que
achassem melhor. O papel do estado nesse caso se reduziria ao monitoramento dos
estabelecimentos educacionais no estatais para garantir um padro satisfatrio de
qualidade (FRIEDMAN, 1955).
Dentro desse mesmo raciocnio, seguido tambm pelo governo britnico a partir
da reforma de 1998 (BALL, 2008; RANSON, 2008), indispensvel tornar pblicos os
resultados de cada escola por meio de alguma mtrica que permita aos pais fazer uma
comparao entre as escolas. Se a essa divulgao de informao se acrescenta uma
112
delegao de poder de deciso aos pais a respeito de qual escola pblica eles preferem
para seus filhos, cria-se o tipo de concorrncia entre as instituies, necessria para o
funcionamento de um mercado educacional livre. Na prtica, as restries so
inmeras e o mercado funciona de uma forma imperfeita e irregular, mas a divulgao
de informao mesmo em um quase-mercado continua sendo um elemento forte da
poltica de livre escolha da escola (school-choice).
No foi nos Estados Unidos que a ideia do vale-Educao encontrou seu primeiro
teste, mas no Chile, durante o perodo da ditadura. Com a fora de um regime
autoritrio e de poderes extraordinrios, a gesto de todas as escolas pblicas foi
descentralizada para o nvel municipal, os professores foram desfiliados do governo
central, foram introduzidos instrumentos de financiamento baseados na ideia da
subveno, ou seja, a distribuio de verbas de acordo com o nmero de alunos
matriculados, e criaram-se os instrumentos e incentivos para os pais exercerem seu
direito de gastarem os vales-Educao nas escolas da sua escolha. Foi institudo o
Simce, o sistema nacional de avaliao educacional, e iniciado o processo de
publicao e divulgao dos resultados escola por escola. E, pela relao entre as
escolhas dos pais, a matrcula dos alunos e o sistema de financiamento per capita,
criou-se o primeiro exemplo de um sistema de divulgao high stakes na Amrica
Latina.
A divulgao bianual dos resultados do Simce no sofreu nenhuma

descontinuidade com a volta da democracia. Pelo contrrio, o sistema foi se
aperfeioando, como em outros lugares onde havia uma razo doutrinria para a
divulgao dos resultados escolares. O aperfeioamento principal foi a incorporao de
informao sobre o nvel socioeconmico dos alunos para permitir a comparao de
escolas com caractersticas similares. Esse aperfeioamento tambm foi incorporado
pelas publicaes de resultados escolares na Inglaterra a partir de 2002. At esta data,
os resultados brutos publicados nesse pas no sofriam nenhum ajuste e refletiam
muito mais o desempenho dos alunos do que o desempenho das escolas. Isso no
seria um problema no fosse pelas consequncias para as escolas com resultados
aparentemente ruins que so taxadas de fracas e comeam a perder alunos e
113
professores (TAYLOR; NGUYEN, 2006). Em reconhecimento aos problemas inerentes
ao uso de dados brutos, aps dez anos da poltica de Tabelas de Desempenho de
Escolas, o governo britnico introduziu indicadores de valor agregado para todas as
escolas pblicas. O indicador foi construdo com base no clculo do desempenho
esperado do aluno, levando em considerao seu desempenho na fase escolar
anterior. A diferena entre o desempenho esperado e o desempenho atingido a
medida do valor agregado pela escola ou para mais ou para menos da mdia nacional.
Em 2010, com a ascenso de um governo conservador no Chile, houve um ntido

retrocesso na qualidade das informaes prestadas naquele pas. Segundo o Preal
(2010):
Os caminhos que os novos dirigentes da Educao esto tomando para

informar sobre os resultados das provas do Simce so contrrios ao mais
elementar sentido comum em matria de divulgao e uso de resultados e
jogam por terra 25 anos de trabalho durante os quais o Simce evoluiu e
melhorou significativamente. Retrocedem aos enfoques e erros prprios da
dcada de 1980, que h tempo foram deixados para trs tanto por pases
como os Estados Unidos e o Reino Unido, como pela maior parte dos pases
da regio. (GTEE/PREAL, 2010b) (p. 1)
A razo da clera do Preal se resume na atitude desavisada do Ministrio de

disponibilizar as informaes sobre as escolas em mapas virtuais na internet, em que
cada escola est sinalizada por um alfinete de cor verde, amarelo ou vermelho,
dependendo de se a mdia de proficincia da escola est acima, em torno ou abaixo
da mdia do pas. Como dizem os autores, a entrega dos resultados brutos do Simce
sem fazer ajustes pelas origens socioeconmicas das famlias confunde os pais e
estigmatiza as escolas que atendem os alunos mais pobres. Ao suprimir as informaes
de valor agregado, os alfinetes de cores acabam refletindo simplesmente a
composio social do alunado de cada escola. Como na Inglaterra, o problema no
seria to srio caso no fosse pelo impacto das decises dos pais sobre onde
matricular seus filhos e sobre o volume de recursos recebido pela escola de acordo
com o nmero de alunos matriculados (GTEE/PREAL, 2010b).
114
Felizmente, a histria da comunicao dos resultados dos sistemas federais de
avaliao no Brasil segue outros caminhos. A lgica dessa comunicao publicizar as
informaes com o intuito de apoiar as instncias subnacionais na sua tarefa
constitucional de prover a Educao. Seria impensvel o Saeb ou a Prova Brasil sem um
processo amplo de divulgao ou com uma divulgao enviesada, visando influenciar a
opinio dos pais. Esses instrumentos foram construdos para um pblico externo ao
MEC que abrange todos os governos subnacionais, a comunidade educacional e toda a
populao nacional que acompanha os assuntos da Educao.
Por muito tempo, a disseminao dos resultados dos sistemas estaduais seguia
outra lgica. Na sua maioria, esses sistemas eram vistos pelos seus criadores
exclusivamente como instrumentos internos de gesto, e no como uma oportunidade
para a prestao de contas a um pblico com direito a informaes transparentes
sobre a qualidade da Educao. As polticas de divulgao se restringiam aos boletins
para os professores e a outros poucos documentos internos.
A falta de transparncia pode refletir mais a atitude de autopreservao comum a

todos os setores governamentais do que uma caracterstica prpria das Secretarias de
Educao. Mesmo assim, surpreendente a ausncia de informaes detalhadas sobre
os resultados das avaliaes nos sites das Secretarias na internet. Em vez de acesso
irrestrito a todos os dados, desagregados por escola e agregados por rede, regio,
municpio, nvel e disciplina, o comum um acesso liberado exclusivamente para as
escolas, com informaes que permitem poucas comparaes. Em nenhum lugar se
encontram as sries histricas do tipo publicado nos relatrios do Saeb para permitir
que a populao faa suas prprias anlises das tendncias mostradas pelos sistemas
estaduais.
Uma das possveis razes pela falta de informao nos sites das Secretarias tem a
ver com a relao terceirizada entre o rgo pblico e a agncia responsvel pela
avaliao. No Brasil, so quatro ou cinco as principais agncias e empresas que
oferecem o servio de produo, aplicao e anlise dos testes previstos pela
legislao estadual que institui os sistemas de avaliao. De longe a maior dessas
agncias, o Centro de Polticas Pblicas e Avaliao da Educao CAEd, ligado
115
Universidade Federal de Juiz de Fora, oferece alguma informao no seu prprio site
sobre as avaliaes realizadas. A impresso, no entanto, que essa atividade de
divulgao ocupa um lugar secundrio para o CAEd, mesmo nos casos em que h o
pedido explcito da Secretaria da Educao. Se as prprias Secretarias fossem as
responsveis diretas pela anlise dos resultados e pela produo dos diversos textos
que so distribudos para as escolas, provvel que houvesse uma melhora na
qualidade e diversidade das informaes nos seus sites.
As excees que comeam a aparecer, juntamente com o foco nos resultados

cada vez mais explcito, incluem os estados de So Paulo e Minas Gerais. No caso de
So Paulo, encontram-se os dados do Saresp de 2007 a 2010 no site da Secretaria, com
os documentos legais, os questionrios aplicados equipe escolar e a descrio das
matrizes de referncia. Os resultados so apresentados ano a ano por rede, nvel,
disciplina, coordenadoria da capital e interior e tambm de acordo com os diferentes
nveis de desempenho, para ver a distribuio dos alunos em termos das competncias
adquiridas. Mesmo na ausncia de grficos e tabelas para facilitar o processo de
comparao, os interessados podem encontrar todas as informaes bsicas, incluindo
cpia dos boletins remetidos para as escolas. No caso de Minas Gerais, so oferecidas
informaes completas sobre os ltimos trs anos de aplicao das provas do Proeb,
juntamente com a matriz curricular, o boletim pedaggico e a revista contextual,
como chamado o documento contendo dados sobre o nvel socioeconmico da
escola e seu grau de eficcia. No so mostrados nenhuma mdia por ano, disciplina,
SRE ou qualquer outro parmetro de agregao. Como no caso do Rio Grande do Sul e
outros estados, a divulgao via site se dirige escola e pressupe que o nico
interesse dela seja ver seus prprios resultados, isolados de quaisquer comparaes.
Outra Secretaria que leva a srio sua obrigao de comunicar os resultados da

avaliao a do Distrito Federal. Nesse caso, a obrigao se deriva das prprias
diretrizes do Sistema de Avaliao do Desempenho das Instituies Educacionais do
Sistema de Ensino do Distrito Federal Siade, que estipulam a divulgao dos
resultados comunidade escolar e sociedade civil, conforme o Sumrio Executivo do
Siade 2009 (SEE/DF, 2010). No site da Secretaria, encontram-se disponveis para
116
download a Matriz de Referncia para Avaliao, os Relatrios Pedaggicos Siade 2009
e um conjunto de apresentaes para ajudar na utilizao dos instrumentos de
avaliao e a interpretao dos resultados. Pelo fato de a Secretaria de Educao do
DF ter expandido seu sistema de avaliao para incluir a si mesma, do ponto de vista
tanto das suas polticas como da oferta da Educao, encontram-se entre os diversos
documentos a Sntese da Anlise dos Indicadores de Polticas Pblicas e a Sntese da
Anlise dos Indicadores de Gesto. Chamam a ateno os dois documentos por
conterem os checklists de todos os indicadores usados na avaliao da atuao do
governo na conduo de suas polticas e na gesto do sistema. Ainda mais
surpreendentes so as verses impressas de todos os diferentes documentos
encontrados no site, produzidas com capricho para a distribuio pblica.
No caso do Rio de Janeiro, por outro lado, as informaes so escassas. Os

resultados das ltimas duas avaliaes do Saerj esto organizados ou por lista de
escolas, com uma indicao da mdia por disciplina e sua classificao como baixo,
intermedirio ou adequado, ou por lista de alunos, devido importncia recente do
ranqueamento do aluno com base na premiao com notebooks dos alunos que
atingem os nveis mais altos em portugus e matemtica. No se encontram as mdias
por nvel e disciplina e muito menos as comparaes entre os anos.
Os sites visitados tambm no oferecem nenhum ranqueamento das escolas.

Apesar de termos localizado esse tipo de informao nos jornais do Rio Grande do Sul,
Minas Gerais e no Distrito Federal, a fonte das matrias no foram as Secretarias de
Educao. Dentro das Secretarias, existe a convico que a divulgao no deve
permitir a comparao entre as escolas, como nos informou um gestor no Esprito
Santo:
Os educadores aqui no concordam com o ranking, acham que o ranking

no deve existir que isso em vez de estimular cria uma competitividade
desnecessria, tira a questo de unidade de rede, fragiliza a escola mais do
que estimula. uma cultura brasileira mesmo. (Gestora; SEE/ES)
117
s vezes, as informaes fornecidas ficam at incompletas justamente para
prevenir qualquer risco desse tipo de comparao. A imprensa, no entanto, tem outras
ideias:
A imprensa tem liberdade. A gente no tem esse controle de dizer, divulgue

dessa ou daquela maneira, n? Voc informa, passa uma lista, uma
planilha com todos os resultados e eles ordenam em ordem decrescente, do
maior para o menor, n? Acaba naturalmente virando um ranking, mesmo
que a inteno no seja essa. (Tcnico: SEE/DF)
Em Pernambuco, a imprensa mostra o mesmo interesse que em outros lugares:
Quando a gente chama a coletiva da imprensa pra dar o resultado, a

primeira coisa que eles querem um ranking. [...] na primeira vez que saiu
o Idepe, sem querer [o Secretrio] deu o ranking e quase morreu todo
mundo. Ento a gente segura isso como se fosse um tesouro, a gente no
libera. Se a imprensa quiser entrar e pegar responsabilidade dela, ns no
damos ranking de forma nenhuma. [...] E isso deu tranquilidade s escolas
porque o diretor ele no entra em sofrimento. Se eu tenho uma escola que
est numa situao de alta vulnerabilidade social, uma escola em que o
diretor assumiu recentemente, uma escola em que o resultado muito ruim
e de repente voc compara ela com outra escola que o diretor est l a 8,
10 anos, injusto. (Gestor: SEE/PE)
No h dvida de que na ausncia de informaes que permitam controlar a

influencia do nvel socioeconmico dos alunos e outros fatores externos escola, a
comparao de escolas com base nos dados brutos dos sistemas estaduais no
recomendvel. Pela impossibilidade de identificar claramente a contribuio da escola
no resultado geral dos alunos, a comparao de dados brutos pode levar a concluses
errneas tanto no sentido de atribuir qualidade maior a escolas com alunos de nvel
socioeconmico mais alto como no sentido de achar de pior qualidade escolas com
alunos mais pobres. Perante esse risco, e o possvel constrangimento das escolas, as
118
Secretarias fazem bem em no permitir a divulgao de informaes que possam
facilitar o ranqueamento de escolas.
A nica exceo que encontramos a essa regra geral foram os Relatrios de

Desempenho Geral da Rede Estadual de Ensino produzidos pela Secretaria de
Educao de Mato Grosso do Sul. Nesses relatrios, sobre os resultados dos alunos no
Saems em lngua portuguesa, produo de texto e matemtica em 2009, encontram-se
ranqueados escolas e municpios, abrindo os flancos para as mesmas comparaes
enganosas ocorridas no Chile. No se sabe se os relatrios foram produzidos para
circulao interna ou no, mas, ao apresentar como um dos objetivos oficiais da
avaliao fornecer informaes s escolas da rede estadual e sociedade sul-mato-
grossense sobre o desempenho dos alunos e os fatores que interferem na
aprendizagem, essa Secretaria mostra que gostaria que os pais se familiarizassem
com os resultados das avaliaes. No entanto, como a divulgao dos boletins
pedaggicos atinge somente os diretores das escolas e no h poltica explcita de
disseminao externa, deve-se supor que os ranqueamentos no faziam parte de uma
estratgia premeditada de divulgao de comparaes junto comunidade.
O nico caso documentado de um canal oficial de comunicao com os pais dos

alunos mediante a produo de um informativo contendo os resultados da escola o
caso do Boletim de Escolas da Secretaria de Educao do Paran, descrito por Ayres
(2003). Criado como parte de uma estratgia para fomentar um mnimo de
responsabilizao para as escolas e dar poder aos pais para demandar resultados, o
Boletim tambm tinha o propsito menos divulgado de fortalecer as associaes de
pais e contrabalancear o poder do sindicato de professores, que na poca estava em
desavena com o governo do estado. A teoria por trs dessa estratgia parece ser a de
que as escolas se sentiriam mais pressionadas em demonstrar bons resultados se os
pais estivessem mais bem informados a respeito da sua escola em comparao com as
outras.
Distribudo a todos os pais e membros da equipe escolar, o boletim era organizado

em um informativo de quatro pginas que continha trs blocos de informao. O
primeiro trazia os resultados do programa de avaliao estadual de 2000 com a mdia
119
das notas dos alunos de 4 e 8 srie em portugus e matemtica da escola, do
municpio e do estado, classificados de acordo com quatro nveis de desempenho. Em
2002, o Boletim da Escola adicionou um indicador que informava se a escola tinha
atingido ou no o nvel de desempenho esperado para ela, levando em considerao
a condio socioeconmica mdia dos alunos de cada srie. O segundo bloco de
informaes continha dados do censo escolar oficial, incluindo taxas de aprovao,
reprovao e evaso, com comparaes com as mdias municipais e estaduais, mas
sem nenhuma comparao com outras escolas especficas. O terceiro bloco
apresentava afirmaes subjetivas em relao escola, retiradas dos questionrios
aplicados a alunos, diretores e pais (AYRES, 2003).
Com a mudana da administrao estadual em 2003 e a nomeao de um

Secretrio da Educao com fortes laos com os sindicatos dos professores, o sistema
de boletins foi abandonado. As dificuldades em treinar os pais na interpretao e no
uso do boletim, a falta de comunicao real entre pais e professores e a falta de
confiana geral dos professores e diretores com relao ao propsito do Boletim
levaram ao seu abandono precoce. O fracasso do Boletim da Escola do Paran mostra
que uma estratgia de divulgao aparentemente low stakes e sem consequncias
para os professores pode criar desconfianas e ser combatida se no implementada de
forma adequada. Pode-se supor que se o Boletim tivesse usado uma estratgia high
stakes, incorporando comparaes entre as escolas e atribuindo alguma consequncia
aos indicadores empregados, a sua vida teria sido ainda mais curta.
Outra modalidade de divulgao diz respeito ao uso dos resultados das avaliaes
como um elemento de propaganda poltica. Foram encontradas peas dessa natureza
em Minas Gerais, onde, no perodo anterior s eleies estaduais de 2010, foram
distribudos documentos pdf contendo informaes positivas sobre os avanos da
Educao no estado. Um desses documentos, intitulado Choque de Gesto e
Educao, se dedica a mostrar os avanos da Educao como consequncia do novo
modelo de gesto pblica. Ao falar dos avanos, d-se destaque ao aumento de 48,6
para 72,6% na proporo de alunos com nvel recomendado em leitura e escrita entre
2006 e 2009, sendo essas informaes derivadas dos testes Proalfa do sistema
120
estadual de avaliao. Em outro documento, de julho 2010, a Secretaria procura
mostrar a situao excepcional do Ideb de Minas Gerais, em comparao com os
outros estados. Dados mostravam que nas series iniciais em 2009, 94,8% das escolas j
alcanaram a meta do Ideb para 2011, que Minas passou do 3 lugar para 1 lugar em
portugus e matemtica, que das 149 escolas do pas com Ideb 7, 73,2% estavam em
Minas Gerais, que das 500 escolas com o Ideb mais alto, 63,6% estavam em Minas
Gerais, e assim por diante.
Essas peas de divulgao chamam a ateno justamente por serem to incomuns.

Enquanto as notcias sobre a Educao eram sempre to infelizes e os resultados dos
sistemas de avaliao tidos como ruins, no havia o que celebrar. Os governantes que
cumpriam seu papel de dar ao pblico o conhecimento dos resultados das avaliaes o
faziam mais por obrigao do que por querer a publicidade. Alm do mais, na ausncia
de uma relao entre a poltica educacional e a popularidade do governo, no havia
razo para o governante se expor. A divulgao dos resultados das avaliaes no era
uma prtica calculada para ganhar votos.
A mudana desse cenrio est associada consolidao de instrumentos de

avaliao que permitem fazer comparaes ao longo dos anos e entre os estados e
criao de polticas educacionais voltadas para os resultados que pelo menos em
alguns estados parecem estar produzindo efeito. Nesses lugares, comeam a surgir
melhorias que podem ser atribudas qualidade da gesto pblica e tambm sinais de
que a populao est pronta para priorizar a qualidade da Educao e disposta a
premiar os governantes que mostram avanos nessa direo. No Cear, o sucesso da
poltica educacional do municpio de Sobral, disseminado por meio de todos os meios
de comunicao, contribuiu para a eleio do governador e continua fazendo escola.8
Nesse estado, o governador procura fazer um evento poltico da entrega dos prmios
dos sistemas estaduais de incentivos:
8
No municpio de Sobral, houve 34,7% de aumento no Ideb nas sries iniciais entre 2007 e 2009.
121
O que ganha mais visibilidade hoje o prmio Escola Nota 10. Tanto que na
solenidade de entrega o ministro veio. Aquela coisa. Foi feita com todos os
prefeitos presentes, os secretrios municipais. Ele ganhou uma dimenso
em termos de ser algo pomposo para a escola que ganhasse, o municpio
ter uma escola que ganhasse. Na primeira edio foi no centro de
conveno do estado que vieram todos os prefeitos e realmente foi um
evento. Tem sido feito assim com uma grande solenidade para a concesso
desse prmio. Nas edies anteriores era algo muito limitado. No governo
Lcio, por exemplo, o prmio de Escola Destaque no mximo eram
convidados diretores das escolas dos estados. (Tcnico: SEE/CE)
O comportamento do governador pode ser atribudo ao desejo de dar prestigio

poltica educacional e angariar apoios entre os municpios para os esforos da
Secretaria de Educao. O evento pomposo da Escola Nota 10 seria, ento, uma
estratgia de mobilizao para entusiasmar os dirigentes e provocar melhorias nos
resultados dos municpios. Por outro lado, pode tambm ser um evento com fins
polticos de carter eleitoral. De qualquer forma, o clculo que o assunto da
premiao render frutos tanto para o estado como para os municpios se houver uma
melhoria nos resultados das escolas. A fala do tcnico da SEE sugere que a estratgia
de dar destaque aos resultados est dando certo:
Quando a gente fez a escala do Saeb a gente transformou aqueles

intervalos e pintou os intervalos, atribuiu cores aos intervalos. A cor salmo
um nvel intermedirio. Tem prefeito que at diz assim: "Eu no quero
mais o verde ruim, eu quero o verde bom". Por que na escala tem o
dgrad de verde. O suficiente um verdinho claro e o desejvel ou
adequado seria o verde escuro. Ento o prefeito j dizia, eu no quero o
verde ruim eu quero o verde bom. Ento assim, isso j mostra que mesmo
aquelas pessoas que no so da rea da Educao, leigos, um prefeito que
no tem uma facilidade muito boa pra entender os indicadores. (Tcnico:
SEE/CE)
122
A concluso a que se chega que a avaliao educacional faz parte de um
movimento que, ao promover a melhoria dos resultados da escola, est propiciando
ganhos polticos pelos gestores dos sistemas de Educao. Nesse cenrio, a avaliao
que fornece as informaes sobre os avanos do sistema que ao serem divulgadas
angariam os apoios desejados, tanto em termos de colaborao como em termos
eleitorais. Se a Educao nos estados continuar a melhorar e se o interesse da
populao no assunto da qualidade da Educao continuar a crescer, pode-se esperar
um volume cada vez maior de informao nos sites das secretarias, em inseres na
televiso e em publicaes de diversos tipos. No h duvida de que a circulao de
maiores informaes e a divulgao de resultados educacionais com propsitos
polticos traro benefcios para a qualidade da Educao pblica.
Mesmo no havendo nenhuma inteno de implantar polticas de escolha de

escolas, a divulgao de informaes de valor agregado por escola aumentaria
significativamente o interesse da populao e introduziria um elemento de
responsabilizao, mesmo low stakes, ao processo de publicizao dos resultados. A
questo se isso traria alguma vantagem para a rede em termos de melhorias ou se
simplesmente abriria uma rea de conflito com as escolas. As experincias de outros
pases no fornecem as respostas pelo fato de esse tipo de divulgao estar sempre
associada a polticas de responsabilizao high stakes que confundem as evidncias
sobre o impacto. Mesmo assim, possvel imaginar a retomada de polticas de Boletim
Escolar, como no Paran, para efeitos de divulgao de informaes de valor agregado
visando o engajamento da comunidade sem que haja a mesma reao por parte dos
professores.
6.4 Para a Alocao de Recursos
O exemplo mais difundido, e aquele que mais resume o esprito e a tcnica da

gesto de recursos educacionais com base em informaes do desempenho das
escolas, o chileno. O Programa das 900 Escolas (P-900) foi formulado como uma
poltica de melhoramento com base nos resultados do Sistema Nacional de Medio
123
da Qualidade da Educao (Simce) em maro de 1990, na volta da democracia chilena
aps 17 anos de ditadura, e at poucos anos atrs ainda orientava atividades e
recursos do Ministrio da Educao desse pas (GARCIA-HUIDOBRO, 2006).
O programa P-900 foi criado para melhorar a aprendizagem de alunos de escolas

de ensino fundamental das regies rurais e urbanas mais pobres do pas. As 900
escolas da primeira fase do programa representavam 10% de escolas com os piores
resultados no Simce, que desde 1988 vem fazendo levantamentos a cada dois anos do
desempenho escolar em matemtica e lngua espanhola de alunos de 4 e 8 sries do
Ensino Fundamental. O objetivo do P-900 foi melhorar a aprendizagem de alunos de 1
a 4 sries em leitura, escrita e matemtica e para tanto foram desenvolvidas
numerosas aes com as crianas e seus professores. A lgica subjacente foi a de que,
para atingir uma qualidade mnima em todas as escolas, havia a necessidade de
distribuir os recursos entre elas de forma desigual, num movimento que pode se
chamar de discriminao positiva.
Na medida em que as escolas foram alcanando a mdia de desempenho para

sua regio, foram sendo substitudas por outras de alto risco, de modo que, at o
ano 2000, o programa conseguiu atender o total de 2.500 escolas. Mesmo as escolas
que no alcanavam as mdias regionais, e que continuavam entre as atendidas,
registraram a melhora de 18,5 pontos em mdia, mais que o dobro das escolas no
atendidas (GARCIA-HUIDOBRO, 2006). Das escolas atendidas pelo P-900, a metade
delas foi de reas rurais, mas, nesse mesmo perodo, 75% dos alunos atendidos foram
urbanos. Em 1997, o programa se expandiu para atender a pr-escola e as 5 a 8
sries. Isso representou o incremento de mais de 117% no nmero de alunos, que
aumentou de 140 mil para 305 mil, e tambm de docentes, que aumentou de 5 mil
para 11 mil. Para os padres brasileiros, esses nmeros podem no parecer to
significativos, mas no contexto chileno representavam aproximadamente 10% de todo
o sistema pblico de ensino do pas. Os resultados da avaliao realizada em 2000
mostraram que o programa P-900 contribuiu para a equidade do sistema, na medida
em que os alunos de 4 srie das escolas atendidas aumentaram seu desempenho
mais do que o das no atendidas (SANTIAGO CONSULTORES Y ASESORAS PARA EL
124
DESARROLLO, 2000). O impacto do programa foi maior no seu perodo inicial, entre
1990 e 1992 e, de novo, entre 1996 e 1999, conseguindo diferenas entre as escolas
do programa e as outras escolas do sistema superiores a 3 pontos numa escala
parecida com a do Saeb. No perodo intermedirio, as diferenas diminuram devido
ao apoio dado pelo Ministrio a outras escolas do pas por meio das numerosas aes
do Programa de Melhoramento da Qualidade e Equidade da Educao Bsica, tambm
distribudas de acordo com o rendimento das escolas no Simce.
Um novo programa, chamado Mejor Escuela, que atende escolas com baixo
rendimento instaladas em regies de vulnerabilidade social, recupera alguns dos
critrios do P-900. O foco do novo programa gira em torno do cumprimento dos
objetivos previstos pelo currculo nacional do Chile e oferece materiais pedaggicos
aos professores e treinamento no uso de mtodos prticos apropriados s clientelas
atendidas. Resultados do Simce mostram o sucesso da estratgia com aumentos de 6
pontos em lngua e 8 em matemtica aps quatro anos (O Estado de S.Paulo,
4/4/2011).
No principio da dcada passada, o Mxico estabeleceu outro exemplo de um

programa de melhoramento em escolas urbanas de populaes de baixa renda
escolhidas com base nos seus contextos sociais e nos resultados no Sistema Nacional
de Evaluacin de la Educacin SNEE (FERRER, 2006). Chamadas de Escuelas de
Calidad, foram incorporadas mais de 35 mil at o final de 2005. Segundo relato de
pesquisadores brasileiros, o Programa de Escuelas de Calidad PEC segue a mesma
lgica que o programa dos P-900 ao procurar promover igualdade de qualidade e de
oportunidades educacionais para todos os educandos, independente de sua
capacidade, origem social, etnia e ambiente familiar, mediante um processo de
discriminao positiva a favor dos mais necessitados (DOS SANTOS; DE AVILA; SILVA,
2010). O mesmo SNEE que foi usado para a identificao das escolas tambm usado
a cada dois anos para fazer uma avaliao detalhada dos avanos das escolas PEC.
O Plano de Aes Articuladas implantado pelo MEC em 2007 contemplava

originalmente os municpios considerados prioritrios em funo do Ideb alcanado
em 2005 e por esse motivo se classifica aqui como poltica de alocao de recursos
125
federais com base em resultados da avaliao externa. Com a extenso do plano para
todos os municpios, a poltica adquiriu conotaes de accountability. Pelo menos,
nessa luz que Adrio e Garcia (2008) analisam os objetivos e mtodos do Ministrio.
Composto de programas e aes com o objetivo declarado de promover a melhoria da
qualidade da Educao bsica brasileira, o plano operacionalizado por meio de
convnios entre os municpios e a Unio e da elaborao local de um PAR:
Por esse instrumento, os gestores municipais se comprometem a promover

um conjunto de aes no campo educacional, responsabilizando-se pelo
alcance das metas estabelecidas pelo mbito federal. Em contrapartida,
passam a contar com transferncias voluntrias e assessoria tcnica da
Unio. (ADRIO; GARCIA, 2008) (p. 779)
A existncia de um documento legal que estabelece um acordo pblico na forma

de metas implica, necessariamente, algum grau de responsabilizao subjetiva.
Dependendo da mobilizao da populao, o no-cumprimento das metas acordadas
possa trazer um custo poltico para os gestores municipais. Resta saber se o MEC se
interessa por condicionar a continuidade do financiamento ao cumprimento das metas
e dessa forma elevar conscientemente os stakes dessa responsabilizao.
Apesar de incipiente no Brasil, o uso das informaes sobre o desempenho escolar

para a definio de polticas de alocao de recursos deve estar bastante difundido.
Essa impresso se deriva da existncia em quase todos os estados visitados de
exemplos de polticas de pequeno e de grande porte para a distribuio de materiais,
treinamentos e outros recursos fsicos e financeiros com base em critrios que levam
em considerao o desempenho da escola ou da sua regio no sistema de avaliao.
No caso de polticas compensatrias ou de discriminao positiva, definidas para

favorecer escolas com desempenho menor, podem ser citados o projeto Aprender
Mais, da Secretaria de Educao de Pernambuco, que garante reforo escolar em
portugus e matemtica dado por 3.275 professores temporrios para todos os
estudantes de 4 e 8 sries e 3 srie do Ensino Mdio, um kit boletim e cursos para
as escolas que no atingem as metas do Idepe; uma poltica veiculada pela Secretaria
126
de Educao do Rio Grande do Sul em 2010 para a identificao de escolas com
resultados insuficientes para receber apoio do poder pblico e replanejamento de
sua gesto e ao pedaggica; uma distribuio de recursos e aes pela Secretaria de
Educao de Minas Gerais para favorecer as escolas da regio Grande Norte do estado,
identificada como detentora dos piores resultados no Simave; e outra poltica de
Pernambuco chamada Certificao de Padres Base. Nesse caso, trata-se de um
processo de implantao e manuteno de um padro fsico de funcionamento das
221 escolas com o pior resultado no Idepe de 5 a 8 srie. Com dinheiro do Banco
Mundial e por meio da gerncia geral de engenharia da prpria Secretaria, prope-se
que as escolas atinjam um padro de ventilao, iluminao, salas, carteiras, material
etc. e recebam os recursos e o apoio para a manuteno desse padro.
H tambm polticas que favorecem escolas ou regies com base na lgica

contrria. Nesses casos, os beneficirios so escolas ou regies com os melhores
resultados. A lei 14023/07 do Cear, que distribui a cota estadual do ICMS para os
municpios de acordo com os resultados do Spaece, seria um exemplo. Nesse caso, foi
criado o ndice Municipal de Qualidade Educacional com base nos resultados de
portugus e matemtica do 2 e do 5 ano do Ensino Fundamental e todo ano o
governo calcula o repasse de ICMS aos municpios de acordo com os critrios
estipulados no Decreto 29.306, de 5 de junho de 2008. Nessa legislao, em nome de
uma gesto publica por resultados, se estabelece que 18 dos 25% da arrecadao do
ICMS ser distribuda em funo do ndice Municipal de Qualidade Educacional de
cada municpio, formado pela taxa de aprovao dos alunos do 1 ao 5 ano do ensino
fundamental e pela mdia obtida pelos alunos de 2 e 5 ano da rede municipal em
avaliaes de aprendizagem (Art. 1, Pargrafo nico, II).
Pelo componente de responsabilizao inerente distribuio de recursos com

base no desempenho, as consequncias dessa legislao tm sido a mobilizao dos
prefeitos e uma concorrncia para melhorar os resultados nos municpios:
Veja bem, o prefeito que nunca ligava para a Educao hoje ele est louco
aqui ligando pra gente o tempo todo, por qu? Por que tem o ICMS
atrelado ao resultado do 2 e 5 ano tambm. (Tcnica: SEE/CE)
127
Outra consequncia, menos interessante, tem sido a perda de receita da capital
por causa das caractersticas da populao, que confirma que a distribuio da receita
do ICMS com base em um critrio aparentemente meritocrtico um jogo de soma
zero:
...a gente viu agora em Fortaleza como tem perdido mais com isso por que
Fortaleza tem as adversidades maiores [...] mais difcil colocar os meninos
nessa mobilizao. No interior os prefeitos conseguem que os meninos
tenham participao de 100%, ou seja, no falta nenhuma na prova.
(Tcnica: SEE/CE)
Mesmo com as dificuldades provocadas pela perda de receita de alguns

municpios, a poltica comea a fazer escola e em Pernambuco o governo j distribui
3% da receita do ICMS dos municpios com base em critrios parecidos.
O governador est to fortemente motivado a isso que ele aprovou em

2008 o ICMS Educao em que 3% (dos 25%) so destinados aos
municpios com o melhor resultado no Idepe. Isso est fazendo com que os
municpios solicitem [..] que ns tambm calculemos o Idepe para eles. [...]
E uma das preocupaes tanto dos prefeitos quando do governador agora,
dar apoio aos municpios para que no haja muita distncia entre o que a
Educao estadual est fazendo e est conseguindo de resultado, com
relao ao resultado do municpio.
Mais comum em se tratando da alocao de recursos de acordo com os resultados

so os prmios pagos diretamente s escolas em reconhecimento aos resultados
alcanados nas avaliaes estaduais. Um exemplo seria o Prmio Escola de Valor,
criado pelo governo do Amazonas, para estimular a obteno de melhores ndices
educacionais. Anualmente so oferecidos prmios de 30 mil reais a cada uma das
escolas que obtiverem os melhores ndices no Ideb. O valor precisa ser empregado em
benefcio da comunidade escolar e administrado pelas Associaes de Pais, Mestres e
Comunidade. No primeiro ano de aplicao, 39 escolas foram premiadas e, no segundo
ano, 180. Segundo o site da Secretaria de Educao, o prmio j ajudou a modificar a
128
realidade dessas escolas. Conforme as regras, foram aplicados 40% para a melhoria da
estrutura fsica, 40% para a compra de materiais pedaggicos e equipamentos
tecnolgicos e 20% para a realizao de eventos educacionais.
A poltica do Amazonas sofre do defeito de premiar as escolas que precisam

menos de recursos adicionais. Mesmo havendo alguma vantagem em oferecer um
prmio, em termos de possveis ganhos na produtividade da escola pelo efeito do
incentivo de obterem recursos adicionais para a caixa escolar, provvel que as
necessidades das escolas com desempenho menor sejam mais prementes. Ou seja, a
poltica de premiar as escolas melhores colide com os critrios de equidade que
recomendariam uma poltica compensatria para diminuir as diferenas existentes, e
no aument-las.
Existem exemplos de polticas que fazem as duas coisas simultaneamente. Mais

complexas, e potencialmente mais eficazes, essas polticas partem da premissa de que,
alm de merecerem seus prmios, as escolas mais bem colocadas nas avaliaes
tambm tm alguma coisa a oferecer s escolas com o desempenho mais fraco. O que
essas polticas promovem, portanto, uma relao de assistncia tcnica entre as
escolas premiadas e as escolas adotadas. Essa combinao d um novo significado
responsabilizao. Alm de serem responsabilizadas pelos seus prprios resultados, as
escolas premiadas tambm assumem uma nova responsabilidade para com as escolas
adotadas ou apoiadas.
O municpio de Rio de Janeiro abraou uma poltica desse gnero ao definir em

2010 que as 25 melhores escolas de cada ano da Prova Rio, avaliao externa daquela
cidade, vo apadrinhar as 25 piores escolas, dando orientaes e mostrando algumas
estratgias que deram certo em suas unidades. No entanto, a verso mais completa
dessa poltica de apadrinhamento foi lanada no Cear em 2009 pela Lei 14.371, de 19
de junho 2009, que se chama Prmio Escola Nota 10. Nesse caso, os critrios para a
seleo das escolas premiadas so de que tenham mdia no IDE-Alfa entre 8,5 e 10,
percentual de participao nas provas de Spaece de 85% e pelo menos 20 alunos de
ensino fundamental na poca da avaliao. As escolas que atendem a essas condies
tm o direito de receber R$ 2.500,00 por aluno matriculado no 2 ano do Ensino
129
Fundamental. A contrapartida a adoo de uma das escolas que obtiveram os
menores resultados no IDE-Alfa. A partir da sua adoo, essas escolas recebem uma
contribuio financeira do estado no valor de R$ 1.250,00 por aluno avaliado e aes
de cooperao tcnico-pedaggica, vindas das escolas premiadas. Fazem parte dessas
aes a elaborao dos planos escolares e viagens de articulao e apoio entre as
escolas. Os recursos financeiros concedidos s escolas apoiadas so utilizados apenas
para a melhoria das condies escolares e dos resultados da aprendizagem dos alunos.
Isso significa que as melhorias podem ser na forma de investimentos na formao dos
professores, aulas de reforo escolar, aquisio de materiais didtico-pedaggicos,
equipamentos eletrnicos e moblias e melhorias estruturais, como construes de
espaos, reformas e adequao de reas. Cabe esclarecer que a poltica visa
principalmente as escolas municipais devido ao processo acelerado de municipalizao
do ensino fundamental empreendido pelo governo estadual a partir do final da dcada
de 1990, que deixou nas mos do estado menos de 8% da matrcula nesse nvel de
ensino.
Em 2009, com base nos resultados do Spaece de 2008, foi beneficiado o total de
300 escolas entre premiadas e adotadas. No ano seguinte, na Solenidade da 2 Edio
da Entrega do Prmio Escola Nota 10, realizada no Centro Administrativo com a
presena do ministro da Educao e da maioria dos prefeitos, foram beneficiadas mais
300 escolas com os mesmos valores que no ano anterior. Na mesma ocasio, tambm
foram agraciados com trofu os prefeitos de 83 municpios, entre os 184 municpios
cearenses que atingiram o Nvel Desejado, com a mdia de 150 pontos ou mais na
prova Spaece-Alfa. Pelo menos na opinio dos governantes, o simbolismo do prmio,
carregado do prestgio de um evento que conta com a presena do ministro, tem valor,
na poltica do estado, de concentrar as atenes nos resultados dos alunos.
A premiao recebida pela Escola Nota 10 dividida em duas parcelas. Para

receber a segunda, a escola precisa manter sua prpria mdia na avaliao seguinte e
a escola assistida mostrar que houve avano no desempenho ao ponto de alcanar a
nota 5 no IDE-Alfa. Esse critrio para garantir que haja de fato uma relao de apoio
entre as duas escolas. Outra questo de importncia diz respeito ao processo de
130
escolha das escolas adotadas e os usos do dinheiro. Na opinio de um gestor,
importante obrigar a escola premiada a se relacionar com escolas distantes e no se
acomodar com escolas mais prximas. Na opinio de um tcnico, a poltica melhoraria
se a premiao fosse menor, porm estendida a um nmero maior de escolas.
Outra questo a confiabilidade das avaliaes para operar um sistema de

premiao com base em uma nica medida. Com informaes fornecidas por um
tcnico, descobriu-se que muitas escolas podem mudar de categoria entre associadas
e premiadas de um ano para outro, o que levanta a suspeita de que a categorizao
deixa a desejar ou que a margem de erro grande. Uma escola que passa das piores
para as melhores em perodo to curto desafia a prpria lgica dos sistemas de apoio :
O efeito prmio ele foi muito mais forte no grupo das 148 escolas que
foram apoiadas. Ento a gente percebeu uma evoluo muito maior das
escolas que estavam num nvel baixo e passaram para o alto. Ao todo, das
148 foram 107 escolas que receberam a segunda parcela. Ento foi um
nmero altssimo das escolas que conseguiram crescer e atingir a meta 5. E
tivemos 8 que saram do status de apoiada de 2009 e em 2010 foram
premiadas e esto entre as 150 melhores do estado. Elas operaram uma
grande mudana. (Tcnico: SEE/CE)
Mesmo no tendo sido criado como uma poltica de incentivo ou premiao, o

projeto de Escolas Referncia de Minas Gerais se situa nessa categoria do sistema
classificatrio por promover investimentos de diversos tipos nas escolas beneficiadas e
tambm por obrigar que elas adotem outras escolas de desempenho mais fraco. Um
dos programas estruturantes da poltica educacional de Minas Gerais (PEREIRA, 2009),
o Projeto Escolas-Referncia busca a reconstruo da excelncia na rede pblica e a
superao do fracasso escolar por meio de uma Educao de qualidade. Iniciado em
2004, com a seleo de 223 escolas pela sua tradio, nmero de alunos nos ensinos
Fundamental e Mdio e resultados positivos no Simave, o projeto visa tornar as
escolas escolhidas focos irradiadores de Educao de qualidade no estado.
131
Apesar da expanso do projeto para o total de 581 escolas com base nos
resultados do Proeb, ainda no existem avaliaes mais detalhadas desse modelo de
gesto. O que se encontram so dissertaes e outros estudos que focam aspectos da
estratgia, como o instrumento utilizado na formao continuada dos professores, o
PDP (FIGUEIREDO, 2007), o sistema de planejamento, o PDPI, e o papel do gestor
(REZENDE, 2010). Em estudo ainda em andamento, prope-se comparar os ganhos dos
alunos das escolas referncia e suas escolas associadas com escolas no includas no
projeto (PEREIRA, 2011). A grande questo desse estudo diz respeito justia em
concentrar esforos em um subconjunto de escolas em condies de se tornarem
escolas de excelncia, em vez de estender os benefcios dos investimentos a todas as
escolas da rede. Para responder a essa pergunta, preciso avaliar o possvel efeito de
demonstrao ao estabelecer um padro de qualidade e desempenho para toda a rede
por meio do exemplo de algumas escolas e o impacto nas escolas associadas da sua
proximidade com essas escolas de excelncia.
Os estados que ainda no tm polticas de alocao de recursos com base no

desempenho das escolas j pensam ter:
A gente est pensando utilizar o IDE [ndice de Desenvolvimento da Escola]

para a criao do fundo de distribuio de recursos para a escola. De
alguma forma estabelecer uma entrega do recurso com base na elevao
desse indicador, ento com programas que a escola apresente desde
necessidades fsicas, infra estrutura, quanto de pessoas, de assessoria, de
assessorias pedaggicas, principalmente. Eu acho que seria grande chance
da escola poder ter assessores para o desenvolvimento pedaggico dela.
[...] uma forma mais orientada e uma poltica mais focada, com
focalizao de poltica no resultado da escola para aquilo que a escola
precisa. (Tcnico: SEE/ES)
Como comentrio final, convm destacar a diferena entre as polticas de alocao

de recursos com base em resultados de acordo com o nvel de impacto das
consequncias ou responsabilizao. A distribuio de recursos em favor de escolas
com desempenho menor no pode ser considerada poltica de responsabilizao por
132
no existir nenhum propsito de estimular as escolas a reduzir seu desempenho para
se tornarem escolas beneficiadas. No caso das polticas de premiao, por outro lado,
em que as escolas com melhor desempenho so aquinhoadas com recursos at
vultosos, como no caso do Cear, a mensagem claramente de competio e de
incentivo a todas as escolas para que melhorem seus resultados. A no-premiao da
escola acarreta prejuzos pela perda de melhores condies de trabalho e pelo no-
reconhecimento da qualidade da escola. Por colocar os resultados nas mos das
escolas e dos seus profissionais, a poltica de responsabilizao, mesmo sendo uma
premiao para a escola, e no para os profissionais. Na seo seguinte, sero tratados
os incentivos dirigidos os profissionais das escolas.
6.5 Para Polticas de Incentivos Salariais
A bibliografia sobre o tema da responsabilizao no Brasil no extensa, mas

permite traar o histrico dessa poltica desde o principio da dcada passada. Os
exemplos mais bem documentados da primeira gerao de polticas dessa natureza
so os casos da Nova Escola, do estado do Rio de Janeiro, o sistema de bnus salarial
do estado de So Paulo, o prmio Escola do Novo Milnio, do estado de Cear, e o
bnus salarial para professores alfabetizadores do municpio de Sobral, todos criados
no ano de 2001 (MEC/INEP, 2005; BROOKE, 2006; RODRIGUES, 2007; ANDRADE, 2008;
BROOKE, 2008). O que essas polticas tiveram em comum foi a formulao de critrios
para o pagamento de incentivos salariais aos profissionais das escolas com base nas
mdias de desempenho dos alunos.
Semelhantes ao sistema Sned, do Chile, essas polticas de responsabilizao

associam consequncias aos resultados dos alunos em termos de um adicional ao
salrio dos professores pertencentes s escolas classificadas ou premiadas. Por esse
motivo, essas polticas se diferenciam das polticas de accountability high stakes dos
Estados Unidos, onde as consequncias atingem primeiramente os alunos. Nos Estados
Unidos, a legislao estipula as metas em termos da proporo de alunos que
alcanam o desempenho mnimo necessrio para receber o diploma de concluso do
133
Ensino Mdio. No Chile e no Brasil, os resultados dos sistemas de avaliao no so
usados para classificar ou certificar o aluno e muito menos para influenciar seu futuro
no mercado de trabalho. Portanto, as consequncias criadas pelos sistemas de
premiao/incentivos desses pases so decorrncias secundrias dos resultados do
processo escolar que nos dizem mais sobre a viso dos gestores a respeito da
motivao do professor, e menos sobre a qualidade de Educao da escola. verdade
que nos Estados Unidos as consequncias se estendem tambm para as escolas e seus
professores mediante as polticas de interveno naquelas escolas que demonstram
um progresso anual insuficiente, mas mesmo nesses casos o indicador de qualidade ou
a falta dela so as taxas de graduao dos alunos. Nos casos brasileiro e chileno, o
indicador que se produz ao final dos clculos determina se a escola premiada ou no
e qual o nvel de premiao alcanada. Por mais sofisticada que seja a metodologia de
clculo, esse indicador bem menos transparente que a taxa de graduao.
Outra diferena entre as polticas de responsabilizao e as de accountability diz

respeito natureza sempre positiva da premiao ou bnus salarial, enquanto as
consequncias high stakes nos Estados Unidos podem ter implicaes bastante
negativas para os alunos, seus professores e suas escolas. A ausncia de qualquer
consequncia negativa no caso brasileiro no significa a priori a falta de eficcia da
poltica de incentivos, mas deixa dvida sobre a pertinncia do termo
responsabilizao como a traduo cabal da palavra accountability. A recusa dos
professores e legisladores em permitir qualquer tipo de punio inteiramente
compreensvel, mas, quando inexiste a possibilidade de consequncia negativa, torna-
se mais difcil alegar que a escola e sua equipe esto sendo responsabilizadas pelo
produto de seu esforo. Somente na presena da possibilidade de consequncias tanto
negativas como positivas pode-se dizer que h algo em jogo que represente um valor a
ser ganho ou perdido conforme o significado da prpria palavra stakes, usada para
descrever a poltica.
Com essas diferenas em mente, convm fazer a distino de acordo com o nvel
em que a poltica de responsabilizao incide no processo escolar, em nvel do aluno,
do professor ou da escola. Com essa distino, pode-se dizer que as polticas
134
brasileiras de responsabilizao so direcionadas quase exclusivamente s escolas,
havendo s um registro, no caso de Sobral, no Cear, onde, alm de dar prmio
escola, a poltica de responsabilizao identificava e premiava professores
alfabetizadores individuais.
Tambm convm explicitar quem est responsabilizando a quem. No caso dos

Estados Unidos e de certa forma no do Chile, uma parte das polticas de accountability
mostra que os governos centrais tomam para si o papel de exigir os direitos da
populao de receber um servio pblico de qualidade dos governos estaduais e
distritais. Nesses casos, o accountability expressa um acordo a respeito do gasto
correto e eficiente dos recursos dos contribuintes e a obrigao dos governos
subnacionais de cumprir esse papel com transparncia. Tambm pressupe uma
organizao de poder em que o governo central tem ascendncia legtima sobre os
governos subnacionais. No caso brasileiro, essas condies no so dadas. O nico tipo
de responsabilizao em jogo, do governo estadual em relao aos seus funcionrios,
o mesmo do empregador que exige bons resultados dos seus empregados. Por mais
que faam uso de justificativas que expressam os direitos do cidado de ser bem
atendido, as polticas estaduais de incentivos salariais sempre sero, antes de tudo,
estratgias para aumentar a produtividade.
Os outros exemplos mencionados de programas estaduais de responsabilizao

empregam diferentes medidas de resultados como indicadores da qualidade da escola.
Os indicadores so de trs tipos. O mais comum o desempenho mdio dos alunos de
determinada srie e matria. Os outros dois indicadores so o de calcular o progresso
da escola com base na mudana no nvel de aprendizagem dos alunos de um ano
escolar para outro e o de mostrar a distribuio percentual dos alunos por faixa ou
nvel de desempenho.
O desempenho mdio apresenta uma srie de problemas para o clculo do

incentivo. Como o desempenho do aluno uma combinao de vrios fatores,
incluindo muitos que so externos escola, o desempenho medido pelo sistema de
avaliao reflete muito mais do que a contribuio dada pela equipe escolar. Portanto,
as mdias podem indicar o nvel de desempenho, mas no a fonte da aprendizagem.
135
Pelo uso exclusivo desse indicador, possvel premiar uma escola que em nada tenha
contribudo para o nvel mdio de desempenho dos seus alunos.
para contornar esse problema que os estados do Cear e do Rio de Janeiro

introduziram uma medida de progresso no desempenho da escola de um ano para
outro. Trata-se do modelo chamado nos Estados Unidos de mudana de status
(HANUSHEK; RAYMOND, 2003), que pode ser visto como um avano parcial pelo fato
de controlar hipoteticamente pela aprendizagem anterior dos alunos. Como a
composio social do alunado de determinada escola no muda de forma brusca,
pode-se supor que o alunado da mesma srie, em dois anos consecutivos, composto
do mesmo tipo de aluno e tem caractersticas sociais e nveis de aprendizagem prvia
similares. Portanto, medindo a diferena no desempenho dos alunos da mesma srie
em anos consecutivos, pode-se obter uma medida do quanto a escola avanou no
perodo em questo. O problema dessa suposio que h as flutuaes naturais
entre as turmas e entre os anos mencionadas por Carnoy em relao ao Sned (CARNOY
et al., 2004) e a escola pode ser julgada como apresentando mais ou menos progresso
exclusivamente em funo dessas flutuaes. Em suma, a mudana de um ano para
outro confunde o desempenho da escola, as diferenas socioeconmicas entre os
alunos e os erros naturais de medio.
Outro problema relacionado medida de progresso que ela pressupe uma

mudana constante e positiva no nvel de desempenho dos alunos. Para a fase inicial
do programa de responsabilizao ou para a escola que comea a instituir programas
de melhoramento, essa mudana pode ser uma meta realista. Para a escola que j
alcanou um nvel mais alto de desempenho, o progresso constante pode no ser to
realista e a escola ser julgada de menor qualidade.
tambm importante observar que em nenhum dos exemplos da primeira

gerao de polticas de responsabilizao havia uma medida da distribuio dos alunos
pelos diferentes nveis de aprendizagens alcanados nas diferentes matrias testadas.
No havia, portanto, uma medida do grau de equidade alcanado pela escola e
nenhuma forma de premiar as escolas que se esforavam para eliminar as
desigualdades intraescolares existentes. Da mesma forma que as polticas de
136
responsabilizao entendem que o aprimoramento da qualidade depende da nfase
nos resultados da escola, pode-se argumentar que somente com a incluso de
indicadores de equidade que os sistemas comearo a combater as diferenas no
tratamento de alunos dentro das escolas. Nesse contexto, cabe lembrar que as
variaes intraescolares no desempenho dos alunos so sempre maiores do que a
variao entre as escolas.
A segunda gerao de polticas de responsabilizao tenta superar as crticas

relatadas. Criados nos ltimos dois ou trs anos e exemplificados pelos sistemas de
incentivos de Pernambuco, So Paulo e Esprito Santo, esses novos sistemas
incorporam procedimentos mais sofisticados para a definio de critrios e a avaliao
de escolas. Segundo Formoso (2009), o objetivo do novo Programa de Qualidade da
Escola em So Paulo foi promover a melhoria da qualidade e a equidade do sistema de
ensino estadual e ao mesmo tempo combater o problema do absentesmo dos
professores. O programa de pagamento de uma bonificao foi atrelado, portanto, a
dois fatores: o resultado de um ndice de desenvolvimento das escolas, denominado
Idesp, e a assiduidade dos professores (FORMOSO JR., 2009).
A metodologia do Idesp descrita por Soares (2009) mostra a forma encontrada

para verificar a qualidade do ensino e tambm privilegiar a dimenso da equidade. O
primeiro passo foi a definio dos nveis de desempenho aos quais seriam atribudos
significados pedaggicos e normativos. H muita diversidade de opinio sobre o
nmero e denominao dos nveis que devem ser usados. No caso do Idesp foram
escolhidos quatro nveis com as seguintes denominaes: Abaixo do Bsico, Bsico,
Proficiente e Avanado. As etiquetas escolhidas para os nveis tm um claro significado
normativo e descrevem graus de dominao das competncias almejadas pelos
responsveis pelo currculo oficial. A opo por quatro nveis reflete a necessidade de
orientar a organizao de atividades a serem oferecidas aos alunos aps a anlise dos
dados obtidos em uma avaliao, dando s proficincias dos alunos uma utilidade
pedaggica, e no apenas gerencial (SOARES, 2009).
O segundo passo foi a escolha dos pontos de corte das proficincias do Saresp
para os quatro nveis. Encontrou-se uma distribuio de referncia por meio da
137
comparao do desempenho dos alunos brasileiros com o desempenho dos alunos de
um grupo de pases participantes do Pisa de 2000. Mediante a comparao da
distribuio da pontuao dos dois grupos e o clculo da diferena em desvios padro
foi possvel criar uma distribuio ideal das pontuaes para o Saeb. Com base nessa
distribuio, e a deciso de colocar aproximadamente 25% dos alunos no nvel
avanado e outros 25% no nvel bsico, chegou-se a duas tabelas com a definio dos
pontos de corte para cada nvel para 4, 8 e 3 e para leitura e matemtica do Saresp.
O significado desses passos se revela com a frmula para o clculo do Idesp para
cada escola. Ao mesmo tempo em que o Idesp mantm a ideia bsica do Ideb de
agregao dos indicadores de fluxo e desempenho, ele tambm incorpora a dimenso
de equidade no indicador de desempenho ao mudar a maneira de clculo do primeiro
fator, passando a utilizar um indicador baseado nos percentuais de alunos nos
diferentes nveis. O indicador de desempenho usado no Idesp obtido calculando-se
primeiramente a defasagem mdia dos alunos da escola em relao ao nvel avanado.
Para isso, atribuem-se aos alunos classificados no nvel Abaixo do Bsico, Bsico,
Proficiente e Avanado respectivamente trs, duas, uma e nenhuma defasagem. A
defasagem do sistema ou escola definida como a mdia ponderada das defasagens
de cada nvel, tomando como peso a porcentagem de alunos em cada nvel. Para
transformar essa medida de defasagem em um indicador similar ao Ideb, foi
necessrio transform-la em um nmero que assume valores entre 0 e 10, sendo
atribudo pior escola o valor 0 e melhor escola o valor 10. Isso obtido pela
aplicao da seguinte frmula: Indicador = (1 - (Defasagem/3))*10
O uso da defasagem como medida de desempenho da escola sinaliza a

importncia de melhorar o desempenho dos alunos mais fracos, em vez de exclu-los.
Quando os incentivos eram pagos com base na mdia das turmas testadas, a
estratgia mais eficiente para aumentar as chances de receb-los residia na melhoria
dos resultados dos alunos com maior condio de mostrar avanos, e no no trabalho
mais paciente com os alunos de desempenho mais baixo.
As metas desenhadas pela Secretaria de Educao com base no indicador Idesp

servem para monitorar a evoluo da qualidade da Educao nas escolas. Segundo
138
Ferraz (2009), a inovao do programa est na relao entre o tradicional bnus
monetrio e o grau de cumprimento dessas metas. Para isso, foi definido um ndice
que mede o grau de cumprimento das metas para cada ciclo em cada escola. No ciclo
2007/2008, esse ndice foi calculado comparando o quanto a escola melhorou entre
2007 e 2008 (Idesp2008 - Idesp2007) com quanto a escola deveria ter melhorado para
atingir a meta (Idespmeta Idesp2007). Essa relao oferece a percentagem da meta
efetivamente atingida pela escola. Para escolas que tm mais de um ciclo, h
diferentes metas que a escola tem de atingir. Uma maneira de analisar se ela se
aproximou das metas como um todo calcular a mdia ponderada de cada ndice de
Cumprimento, em que a ponderao o nmero de alunos avaliados no Saresp em
cada um dos ciclos (FERRAZ, 2009).
Esse ndice de cumprimento ponderado ento utilizado para remunerar as

equipes das escolas por seu desempenho. A Secretaria de Educao definiu uma
remunerao que proporcional ao grau de atendimento das metas. Em escolas que
tiverem um ndice de cumprimento de 100% da meta, por exemplo, todos os
professores e funcionrios da escola recebem um bnus equivalente a 20% dos 12
salrios mensais, ou seja, 2,4 salrios mensais a mais. Porm, em ateno ao outro
objetivo do sistema de responsabilizao, o pagamento individual depende da
frequncia dos professores. Para receberem o bnus, os funcionrios devem ter
atuado, no mnimo, em dois teros dos dias letivos do ano (ou 244 dias). Mesmo
entendido como punio pelos professores, a SEE/SP entende que, como no h
punio para o no-alcance das metas, o sistema de bonificao no se equivale aos
sistemas encontrados nos Estados Unidos (FORMOSO JR, 2009).
O estado do Esprito Santo demonstra um enfoque muito parecido com So Paulo.

Em documento da prpria Secretaria (SEDU/ES, 2010), encontra-se a descrio da
Bonificao por Desempenho, criada em 2010 e baseada no ndice de desenvolvimento
da escola - IDE, composto do indicador dos resultados, o IRE, e do indicador do esforo
da escola, o IEE, de modo que o IDE = IRE x IEE.
Como em So Paulo, o primeiro passo se resume na definio dos mesmos quatro

nveis de desempenho e os pontos de corte a serem empregados. Diferentemente do
139
clculo de defasagem em So Paulo, a metodologia usada no Esprito Santo atribui um
valor de 0 a 10 para cada nvel de desempenho, deixando clara a inteno de
beneficiar a escola que consegue passar seus alunos para os nveis de desempenho
mais altos. Um nvel adicional da classificao formado pelos alunos excludos que
evadem ou, mesmo matriculados, no se apresentam para as avaliaes e recebem em
consequncia o valor 0. Essa categoria desestimula a perda de alunos por abandono e
tambm a prtica de esconder alunos de baixo desempenho na poca dos testes. O
clculo do Indicador de Resultado da Escola obtido pela multiplicao do percentual
de alunos em cada nvel de desempenho pelo valor atribudo quele nvel (mostrado
no Quadro 2.), dividido por 100.
Quadro 2. Categorizao dos Alunos em Nveis e Respectivos Escores para 5 e 9

Anos do Ensino Fundamental e 1 Ano do Ensino Mdio
Abaixo do
Nvel Excludos Bsico Proficiente Avanado
Bsico
Escore 0 2 6 8 10
O prximo passo se resume ao clculo do Indicador de Resultados da Escola para

todas as avaliaes a que foi submetida ao longo do perodo de referncia. No caso da
aplicao da frmula em 2010, levaram-se em considerao as avaliaes de 2008 e
2009. O Indicador de Resultados da Escola final calculado com base na mdia
ponderada, levando em considerao o nmero de alunos matriculados nas sries
testadas.
O indicador de esforo da escola, IEE, a forma encontrada para levar em

considerao o nvel socioeconmico da escola e permitir, dessa maneira, uma
comparao entre escolas que no seja viciada pelas diferenas na condio dos
alunos. A lgica do indicador que, quanto mais alto o nvel socioeconmico, menor o
esforo da escola para produzir bons resultados. Portanto, o clculo do indicador
dado pela diferena entre o nvel socioeconmico da escola, numa escala de 0 a 5, e
140
um valor mximo arbitrado em 10. A escola com nvel socioeconmico mais alto teria
um ndice de esforo 5, enquanto a escola com o nvel socioeconmico mais baixo
teria o ndice 10. Usando a mesma lgica em relao aos nveis de ensino da escola, e
pressupondo o aumento de esforo na medida em que os alunos avanam desde as
primeiras sries do ensino fundamental at o Ensino Mdio, calcula-se o esforo total
da escola levando em considerao a composio do corpo estudantil por nvel de
ensino. A definio do modelo para o clculo e o pagamento da bonificao das
escolas premiadas tambm foi objeto de discusso detalhada para evitar certos
inconvenientes, incluindo o risco de fomentar um ranqueamento das escolas e a
prtica dos professores de procurarem transferncias para as escolas mais bem
classificadas. O pagamento da bonificao ao individuo condicionado a uma
frequncia mnima, como em So Paulo.
De modo parecido com So Paulo, o sistema de incentivos implementado em

Pernambuco em 2008 tambm premia escolas com base em metas de desempenho
calculadas usando o sistema de avaliao do estado, o Saepe, e um indicador de fluxo
escolar, de forma anloga ao Ideb. No entanto, a definio das metas foi feita de forma
diferente da de So Paulo, pela ausncia de resultados do Saepe para o ano de 2007.
Para as escolas de desempenho no quartil inferior da distribuio do Indicador de
Desenvolvimento da Educao de Pernambuco Idepe, foi usada como meta a nota do
Ideb de 2009. Para as escolas de desempenho intermedirio, a meta foi definida para
superar em 10% o estado com melhor desempenho do Nordeste. Por ltimo, para o
grupo de escolas com desempenho superior, as metas foram estipuladas pelo valor do
estado com melhor desempenho no Brasil.
Para determinar a proporo da meta que foi atingida pela escola, feito um
clculo em duas etapas, segundo Ferraz (FERRAZ, 2009). Calcula-se primeiro um ndice
que represente o quanto a escola deveria melhorar para cumprir a meta o ndice de
Cumprimento (IC) e depois o ndice de Progresso (IP), para estimar o quanto a escola
efetivamente progrediu. A mdia para cada srie ponderada pela proporo de
alunos em cada ciclo. Finalmente, a proporo da meta global atingida pela escola
calculada pela diviso do que a escola efetivamente atingiu, o IP, pelo ndice de
141
cumprimento das metas, o IC. A remunerao por desempenho paga somente para
aquelas escolas em que o ndice de cumprimento global seja pelo menos de 50%.
Os avanos metodolgicos dos novos sistemas de incentivos so evidentes. Todos

evitam o uso de medidas simples de tendncia central e incorporam mtodos mais
sofisticados para captar tanto a proficincia quanto o fluxo de alunos. Tambm no caso
de So Paulo e Esprito Santo, foram criados mtodos para levar em considerao
questes de equidade e amenizadas as dificuldades em fazer comparaes entre as
escolas ao controlar pelas diferenas no nvel socioeconmico e composio do corpo
estudantil. O uso de metas tambm incorpora uma viso prospectiva para facilitar a
compreenso do incentivo.
Mas certas dificuldades tcnicas ainda permanecem. As medidas usadas para

controlar o nvel socioeconmico dos alunos se baseiam em valores arbitrados, e no
no impacto real do nvel socioeconmico ou em outras caractersticas dos alunos.
Tambm no resolve o problema da falta de medida do desempenho anterior dos
alunos, o que impede que seja calculada a contribuio especfica da escola
aprendizagem dos alunos. No h duvida de que a melhor medida para o desempenho
dos alunos seria a medida longitudinal, em que os mesmos so monitorados ao longo
de um perodo de tempo a partir de uma primeira avaliao servindo de linha de base.
O resultado dessas medidas longitudinais, em termos de ganhos mdios de
aprendizagem da coorte de alunos, pode ser considerado um clculo mais exato do
valor agregado da escola porque, alm de controlar pelo efeito da aprendizagem
prvia, controlam-se tambm as flutuaes na composio das turmas.
6.5.1 Investigaes em Loco.
Quatro dos estados escolhidos para a pesquisa de campo tm polticas de

bonificao regidas pelos seus sistemas de avaliao So Paulo, Minas Gerais,
Pernambuco e Cear. Mais um estado, Esprito Santo, e o Distrito Federal j
142
prepararam as metodologias para o clculo do bnus, mas ainda no fizeram o
primeiro pagamento9. Essa demora se deve deciso de deixar passar o perodo
eleitoral de 2010 e aguardar as orientaes dos novos Secretrios de Educao. As
incertezas desse perodo, que se estendeu pelo primeiro semestre de 2011, dificultou
a pesquisa de campo e tornou necessrio restringir as entrevistas discusso das
polticas dos governos cujos mandatos tinham terminado. As mudanas j efetuadas
ou ainda em curso nas polticas educacionais de diversos estados a partir da chegada
dos novos governantes levam a crer que algumas das observaes dos pesquisadores
descritas a seguir possam estar j desatualizadas.
As observaes no repetiro os detalhes fornecidos sobre as metodologias dos

sistemas de bonificao, extrados da bibliografia levantada. Elas se restringiro aos
detalhes do funcionamento desses sistemas no disponveis na bibliografia e queles
aspectos que esclarecem melhor os princpios e problemas dessa modalidade de
poltica de gesto.
Cear
No caso do Cear, cabe esclarecer que o prmio Escola Nota 10, j apresentado na
categoria Alocao de Recursos, tambm ser estudado aqui pelo fato de parte do
prmio ser destinado aos professores. Conforme o Manual de Orientaes para
Elaborao, Execuo e Prestao de Contas do Plano de Aplicao dos Recursos
Financeiros do Prmio, documento de 63 pginas, dos 75% do valor total do prmio
recebidos na primeira parcela, as escolas podem destinar at 20% para bonificar os
professores do 2 ano do Ensino Fundamental; profissionais do ncleo gestor e demais
profissionais lotados na escola, no ano de referncia da premiao. Do resto do
prmio, at 70% destinado para aquisio de materiais de apoio pedaggico,
material permanente, formao continuada e adequaes dos ambientes fsicos da
9
No caso de Espirito Santo, o Bnus foi regulamentado em 31/5/11 e o primeiro pagamento, referente
ao ano de 2010, est programado para julho de 2011.
143
escola e outras aes que contribuam para a melhoria da qualidade do ensino e da
aprendizagem dos alunos, e at 20% destinados a deslocamento, alimentao e
hospedagem para a equipe escolar com o objetivo de desenvolver aes de
cooperao tcnico-pedaggicas junto escola apoiada. Dentre os limites fixados pela
legislao, a escola fica livre para seguir seus prprios critrios, at na forma de
calcular e fazer a distribuio da bonificao.
A Secretaria de Educao do Cear tambm patrocina o prmio Aprender pra

Valer, voltado para escolas de Ensino Mdio, conforme a Lei n 14.484, de 2008. Nesse
caso, so premiados os professores de at 45 escolas que atingem os seguintes ndices
na soma das mdias de lngua portuguesa e matemtica em cada uma das trs sries
do Ensino Mdio:
Evoluo de 7 a 10% sobre a mdia de proficincia obtida no ano anterior.
No apresentar mdia de proficincia no padro Muito Crtico.
Percentual de participao mnima de 80% (no Spaece) com base na matrcula

inicial informada no Educacenso.
O prmio, destinado aos gestores, professores e servidores efetivos e

temporrios, concedido no valor mensal da remunerao de cada servidor,
proporcional ao acrscimo na mdia de proficincia dos alunos. Ou seja, no limite
inferior de 7% de crescimento na mdia da escola, os professores ganham uma
bonificao de 70% do salrio. No limite superior de 10% ou mais, a bonificao de
100%. Em 2010, a premiao representou um gasto de cerca de R$ 2 milhes e, como
no caso da Escola Nota 10, houve solenidade para a entrega s escolas de placas de
homenagens pelo desempenho alcanado. A ideia de trabalhar vrias polticas de
incentivos simultaneamente no por acaso:
No sistema de motivao precisa perceber o seguinte, que voc precisa de

mais de um modelo. Voc no pode trabalhar s com uma linha de fora,
voc tem que ter vrias linhas de fora coerentes e convergentes. Ento
com Escola Nota 10 eu motivo os professores e diretores, com o ICMS eu
motivo o prefeito, e com o Aprender para Valer, eu motivo diretores,
144
gestores, professores, funcionrios, e ai, eu motivo independente do
contrato de trabalho, se cargo efetivo ou se temporrio ou se
terceirizado, eu motivo todos. Nenhuma pessoa da escola pode ficar fora
do prmio. (Gestor: SEE/CE)
A convico do estado do Cear na eficcia dos prmios como incentivo para os

professores tem uma dcada de histria, que, como poltica para as escolas de ensino
regular, comea com a criao do prmio Escola do Novo Milnio pela Lei N 13.203,
de fevereiro 200210. Alterado em 2004, quando o estado institui o Programa de
Modernizao e Melhoria da Educao Bsica e cria o Selo Escola Destaque do Ano, o
prmio continua ininterrupto at 2007. Nesse ano, o atual governador, Cid Gomes,
toma posse. Prefeito de Sobral de 1997 a 2005, quando aquele municpio implantou o
primeiro exemplo de um sistema de bonificao individual para professores
alfabetizadores, o novo governador d continuidade s polticas de incentivos ao criar
o ndice Municipal de Qualidade Educacional como base para a distribuio dos 25%
do ICMS pertencentes aos municpios e estabelece as bases para a retomada da
premiao de escolas em 2008 por meio da Escola Nota 10. No ano seguinte, so
criados o Prmio Aprender pra Valer e tambm o Prmio para os Alunos do Ensino
Mdio, tambm pioneiro, que distribui um laptop a todos os alunos que conseguem
mdia de 325 em lngua portuguesa e 350 em matemtica na escala do Spaece.11
A prpria continuidade da poltica de incentivos sugere que os gestores locais

esto convictos da sua eficcia. Como diz uma especialista:
Ns no temos ainda nenhuma evidncia sobre o impacto desse sistema de

bonificao, por que eles so bastante novos. Mas voc tem casos de
10
Em 2001, o projeto chamado Tempo de Avanar, que utilizou o telecurso 2000 da Fundao Roberto
Marinho para implantar 2 mil turmas de alfabetizao com alunos fora de idade escolar, foi a primeira
experincia com a poltica de premiao. De acordo com os resultados na Prova de xito, ao final do
curso foram premiados os professores dos alunos com o melhor desempenho.
11
Poltica similar institudo na cidade do Rio de Janeiro para homenagear e valorizar os alunos que
obtiveram as melhores notas em Portugus e Matemtica vai premiar os cinco melhores alunos de
cada disciplina dos dois anos avaliados com uma bicicleta.
145
estados como Cear que tem sistemas de premiao que j tem mais de 10
anos e o estado continua usando. Ou seja, pelo menos no nvel de uma
apreciao mais subjetiva de impacto desses programas eles esto
achando que eles tm razo que esses sistemas produzem bons resultados.
Agora esto aplicando inclusive para os alunos, dando prmios aos alunos
que saem com os melhores resultados e eles vem impactos instantneos.
(Especialista: UFMG)
A opinio positiva dos gestores cearenses no vem s do efeito cumulativo da

experincia mas tambm de um raciocnio que deposita f no efeito real do incentivo
tanto na melhoria da competncia como na motivao do professor:
Eu acho que essa ideia [do prmio], ela persiste porque as pessoas se
comportam diferentemente, tem nveis de compromisso e nveis de
competncias diferentes. Quem tem nvel de competncia diferente precisa
s vezes ser incentivado internamente para adquirir a competncia que no
tem. E quem no tem compromisso precisa saber que, ou passa a ter
compromisso ou passa a ter, vamos dizer assim, um tratamento
diferenciado em relao a quem tem. Que quem tem merece mais que
quem no tem. (Gestor: SEE/CE)
Para o mesmo gestor, a questo de se haveria outras formas de abordar os

problemas da Educao ou de organizar a prpria poltica de incentivos no uma
preocupao. A poltica de premiao uma opo pragmtica que chega ao cerne da
preocupao pelos resultados da escola e que qualquer poltica nesse contexto
melhor do que nenhuma:
Ns somos, sim, pragmticos, funcionalistas, realistas, sabe? Agora ns

no somos s isso. Mas se a realidade requer nesse momento uma
abordagem assim, ento que seja essa, sabe? Vamos separar um pouco o
ideal, idealismo pedaggico, das condies de possibilidade da prtica,
sabe? [...] No estado [...] em que a escola brasileira est, a pior estratgia
146
de premiao melhor do que nada, porque ns precisamos quebrar a
inrcia dessa indiferena pelos resultados. (Gestor: SEE/CE)
Isso no significa que a poltica de incentivos salariais no oferece problemas na

hora da aplicao prtica das regras. No caso da Escola Nota 10, por exemplo, foi
necessrio criar o IDE-Alfa, que leva em considerao a proporo de alunos
matriculados que efetivamente participam do Spaece porque as escolas nem sempre
aplicavam as provas aos alunos mais fracos para no prejudicar suas mdias. Alm
desse tipo de gaming, em que as escolas aprendem a manipular as regras, tambm se
observa a tendncia das escolas de se preocuparem menos com as sries que no so
levadas em considerao no calculo do IDE-Alfa:
visvel como que alguns municpios relaxam um pouco no

acompanhamento do terceiro e do quarto ano. Porque o foco do prmio
est no segundo ano. Ningum quer ser professor mais do segundo ano. Ele
quer ser professor do terceiro ou do quarto ano porque ele no est sendo
to pressionado, to cobrado. H um afrouxamento. H aquela poltica de
acompanhamento austero, intensivo, que foi montado para o primeiro e,
sobretudo para o segundo ano. Mas, por mais que a escola saiba como
fazer, ela no se aplica ao terceiro, no se aplica ao quarto. (Tcnico:
SEE/CE)
O gestor responsvel pela poltica reconhece a existncia dessas estratgias, que

classifica de distores:
Todas as pessoas se comportam em funo de resultados mais imediatos.

Ento, se eu posso conseguir [...] uma avaliao com um mnimo de
esforo, eu vou fazer um mnimo de esforo. s vezes isso significa uma
reduo de escopo da tarefa, s vezes at uma inverso dos valores em
relao s tarefas, no ? O exemplo mais claro disso aquela coisa de
dizer, assim, bom se o que importa Portugus e Matemtica, vamos
treinar os meninos pra fazerem boas questes de Portugus e Matemtica
e nada mais importa, n? (Gestor: SEE/CE)
147
Outros problemas incluem a transferncia branca de alunos para outras escolas
para tentar se livrar de alunos de desempenho mais baixo e a insatisfao criada pela
presso irreal do prmio Aprender pra Valer, que estipula um crescimento de no
mnimo 7% ao ano na mdia de desempenho da escola, independentemente do
patamar j alcanado:
Os diretores tm uma reao muito grande. Os diretores escolares

consideram alto esse crescimento de 7%. Tem que ser mexida logo, logo,
por que a escola no consegue manter esse percentual do crescimento. A a
gente viu que poucas escolas, foi um nmero muito pequeno, que
conseguiu atingir essa meta. (Tcnico: SEE/CE)
Na opinio dos tcnicos da Secretaria, h indicaes de que o programa Escola

Nota 10 produz resultados positivos no conjunto das escolas atingidas. Em comparao
com 2009, as mdias tanto das escolas premiadas como das apoiadas cresceram em
2010 e, das 148 apoiadas, 107 chegaram a receber a segunda parcela do apoio
financeiro em 2010, mostrando que suas mdias j alcanaram 5 no IDE-Alfa.
A evoluo da mdia no Cear se deu de uma forma muito acelerada. Com

certeza a gente tem que atribuir isso a essa poltica de publicizao de
resultados, de poltica de premiao mesmo, e de mdia que foi feito em
cima desses resultados.
No entanto, o efeito parece no ser pelo recebimento do dinheiro. Uma evidencia

nesse sentido o fato de as escolas apoiadas, que recebem menos, terem avanado
mais que as escolas premiadas. Outra evidncia fornecida pelo fato de os recursos
terem demorado a chegar s escolas e o avano no desempenho ter acontecido
mesmo na ausncia dos recursos. A explicao alternativa tem a ver com o efeito
psicolgico da premiao, tanto para as premiadas como para as apoiadas:
O efeito da avaliao e a divulgao do resultado por si s j uma

dinmica de motivao. A escola saber que ela est entre as melhores. A
eu fico perguntado: por que as apoiadas evoluram mais do que as
premiadas? As premiadas no conseguiram manter a mdia de
148
desempenho. Ento talvez o efeito psicolgico do prmio, do fato de ter o
prmio e ter a publicizao do resultado e a escola ser conhecedora que
est numa situao crtica e tudo mais. Talvez isso tenha gerado um
movimento interno na escola de tentar rever o seu projeto e tentar rever
suas prticas. Talvez muito mais do que o efeito do dinheiro que chegou
a essa escola ou mesmo o efeito da cooperao tcnica da apadrinhada
que chegou a essa escola. (Tcnico: SEE/CE)
Mesmo assim, nem todas as escolas premiadas conseguem manter suas mdias
para justificar o recebimento da segunda parcela da premiao, equivalente a 25% do
total. Das 148 premiadas em 2009, 75 no receberam a segunda parcela por no
manterem o IDE-Alfa da escola no mesmo nvel e mais 12 pelo fato de suas escolas
apoiadas no alcanarem o ndice de 5 nessa mesma escala.
No caso do Ensino Mdio, houve tambm uma melhoria expressiva nos

resultados. Mas nesse caso o efeito pode ter sido pelo novo entusiasmo dos alunos,
provocado pelo Prmio para os Alunos do Ensino Mdio, e refletir, portanto, a
melhoria causada pela medio mais exata da proficincia dos alunos:
Por que antes os alunos do Ensino Mdio muitos deles nem sequer liam a
prova. Marcavam qualquer letra, queriam se ver livre pra logo ir embora.
Alguns que sabiam que ia ter avaliao nem iam naquele dia por que eles
no so obrigados a fazer a prova. A gente no tem como obrigar o aluno a
fazer a prova, n. E agora na aplicao a gente observou o aluno
questionando com o aplicador o tempo da aplicao. Ento houve uma
mudana de paradigma do aluno ao fazer o teste por que ele estava
querendo, ele estava brigando pra fazer o teste, no era mais o aplicador
tentando convenc-lo a ficar na cadeira e a reler o teste de novo. (Tcnico:
SEE/CE)
A taxa de participao dos alunos matriculados, criada para contornar o problema

da transferncia branca e a falta de comparecimento dos alunos no dia das provas,
tem criado seus prprios problemas. Um deles tem sido a no premiao de escolas
149
que por motivos alheios tm perdido alunos por abandono ou transferncia. Nesses
casos, escolas com desempenho inferior podem chegar a receber a premiao por no
ter sofrido a mesma perda de alunos. H relatos de funcionrios das escolas viajarem
at os novos domiclios de alunos transferidos para receber a documentao oficial da
transferncia e de um diretor que teve que falar com o conselho tutelar do Rio de
Janeiro para garantir que o aluno transferido tivesse sido de fato matriculado em
escola do Rio. Um tcnico da SEE/CE sugere que uma forma de contornar o impacto da
perda inevitvel de alunos seria estipular um percentual mnimo de participao e
fazer a distribuio dos prmios entre os que satisfazem esse mnimo:
Tipo assim, iro concorrer ao premio Escola Destaque as escolas que

tiveram uma participao mnima de 90%. E a vai ganhar quem tiver a
maior proficincia. [..]No tem culpa uma escola que tinha atingido uma
nota altssima mas perdeu um aluno que foi transferido, mudou para uma
outra escola e a no ficou mais com 100% [de participao] e caiu a mdia
dela de proficincia. (Tcnico: SEE/CE)
No fundo, essa dificuldade diz respeito aparente injustia dos critrios

estipulados para o pagamento do incentivo. Em se tratando de um acrscimo
importante renda do professor, equivalente a um ms de salrio, no trivial a
questo de se as regras da competio so percebidas como legtimas e justas. A
experincia de Sobral, e os ajustes sucessivos nas regras do bnus do professor
alfabetizador para o aperfeioamento da poltica de incentivos mostra o quanto os
gestores precisam fazer as adaptaes de acordo com as definies locais de justia.
Numa primeira verso dessas regras, as cinco primeiras escolas na prova de
alfabetizao levaram o prmio, independentemente do tamanho da escola e do
nmero de turmas. No ano seguinte, a competio foi subdividida em categorias pelo
nmero de turmas das escolas em reconhecimento dificuldade maior em melhorar
os resultados em escolas maiores. No terceiro ano, houve nova mudana pelo fato de
algumas escolas no receberem prmios mesmo tendo desempenho melhor que
escolas premiadas em outros grupos por s existir um prmio para cada grupo. Neste
ano, foi eliminado o ranqueamento e criado no seu lugar um sistema de metas com
150
base no desempenho da prpria escola no ano anterior. Nesse formato, a escola
competia consigo mesma para alcanar pelo menos 90% da meta. A lio aprendida
que o sistema de incentivo nunca ser perfeito:
Eu j coloco que meu modelo esse, que vai funcionar assim, que esse ano
vai ser assim, doa a quem doer, esse ano vai funcionar assim. Agora, tenho
certeza que ele no perfeito, e ns poderemos tambm falar seriamente
de como melhor-lo. Mas no fazer nada porque nunca vai ser perfeito
errado. (Gestor: SEE/CE)
Esprito Santo
O sistema de bonificao de Esprito Santo, que prev pagamento a toda a equipe

da escola que atingir determinado ndice de desenvolvimento da escola, de
elaborao recente, o que permite o resgate mais pormenorizado dos diferentes
objetivos perseguidos pelos gestores. Mesmo no havendo ainda uma aplicao
prtica da metodologia, o raciocnio por trs da sua criao ainda est fresco na
memria dos envolvidos. O primeiro objetivo levar para dentro da escola a mesma
preocupao com os resultados das avaliaes que aquela expressa no planejamento
estratgico do estado:
Para mim, eu no tenho grandes pretenses com relao ao bnus e tal,

mas se conseguirem levar para dentro da escola essa discusso de que o
resultado principal a aprendizagem eu acho que o jogo j est ganho.
(Gestora: SEE/ES)
Uma vez aceita a relao entre qualidade e resultados e estabelecida a

preocupao da escola em melhorar seus resultados, parece que haver naturalmente
a compreenso de por que a escola ganhou ou deixou de ganhar o bnus:
O que a gente queria com o sistema de bonificao levar essa discusso

da qualidade para dentro da escola. Ou seja, o Paebes, que o nosso
sistema de avaliao, passa a ganhar uma nova cara porque hoje ele no
vai para a escola simplesmente como uma avaliao. [...] Com a
151
bonificao ele coloca uma coisa nova, ento voc cria um estmulo para
que as pessoas pelo menos passem a entender por que que eu ganhei
1000 e voc ganhou 2000, por que a escola A assim e a B assado.
(Gestora: SEE/ES)
O que no fica explicitado nesse raciocnio como o professor possa de fato

entender as diferenas entre as escolas e, com base nessa compreenso, alterar de
alguma forma a sua prtica. As informaes que circularo entre as escolas podem
explicitar as diferenas nos ndices, mas dificilmente identificaro por que uma escola
atingiu determinado patamar e outra no.
O segundo objetivo diz respeito ao propsito de incentivar os professores a se

verem como responsveis pelos resultados da escola;
A ideia voc levar [para a escola] essa questo da discusso dos

indicadores de avaliao, de que o resultado do trabalho do professor a
aprendizagem e que ele tambm responsvel pela evaso escolar, pela
reprovao do aluno, ou seja, isso no um fator s do aluno. Ele tem uma
participao ali que a gesto da escola em que ele trabalha. (Gestora:
SEE/ES)
Esse raciocnio parece completo, j que o pagamento de uma bonificao aos

professores das escolas com os melhores resultados de fato sinaliza a crena de que
esses professores tm de uma parte da responsabilidade por esses resultados,
sobretudo na presena de uma metodologia de clculo que leva em considerao o
nvel socioeconmico dos alunos. O que no fica garantido que os professores sintam
as mesmas convices a respeito da sua contribuio ou que entendam o que precisa
fazer para ganhar o prmio no futuro.
O terceiro objetivo retribuir o esforo dos professores. Como o bnus

classificado como prmio, e no como remunerao, ele se justifica como um
reconhecimento da dedicao adicional que os professores mostraram ao produzirem
resultados acima da mdia. O incentivo esperado no sentido de suscitar nveis de
esforo maiores no futuro, mesmo sabendo que o nvel de esforo pode variar entre os
152
professores de uma mesma escola e que o incentivo pode no afetar a todos
igualmente:
[...] os diretores de escola, [...] eles aplaudem muito o bnus, porque eles
conseguem ver isso dentro da escola. Eles veem isso mais de perto, ou seja,
o esforo de determinados professores e o esforo menor de outros.
(Gestora: SEE/ES)
O quarto objetivo, ao condicionar o pagamento do bnus ao cumprimento de um

nmero mnimo de dias de trabalho, coibir as faltas dos professores:
A gente chega a receber professores aqui que dizem que tiraram atestado
porque tinham que resolver um problema hoje na unidade central e falam
assim como se fosse a coisa mais normal do mundo tirar um atestado
mdico falso para usar o tempo para outra coisa. Ento a frequncia veio
como uma [razo] para compor esse ndice at para a gente saber at que
ponto essa falta realmente real ou ela enfim, uma cultura. (Gestora:
SEE/ES)
Haver necessidade de voltar a esta discusso dos objetivos da premiao na hora

de determinar se justifica classificar esta poltica como de responsabilizao e de
prever seus provveis impactos no ensino.
Minas Gerais
O sistema de premiao de Minas Gerais merece uma anlise mais detalhada por
seguir um modelo diferente dos outros estados. Chamado Acordo de Resultados, a
metodologia implantada em 2008, e repetido anualmente desde ento, se estende a
todas as Secretarias do governo. No caso da Secretaria da Educao, o acordo diz
respeito aos resultados da Secretaria, das Superintendncias Regionais de Ensino (SRE)
e de todas as escolas. No caso das escolas, a nota recebida composta em 65% da
nota da Secretaria, 10% da nota da SRE e 25% da avaliao dos indicadores
finalsticos da escola. Por meio dessa composio, mostra-se claramente que a
responsabilidade pelos resultados finais da escola compartilhada entre as trs
153
instncias. Essa caracterstica do Acordo de Resultados a diferencia das demais
polticas de incentivos estudadas que tendem a identificar os professores, os dirigentes
e demais membros das equipes escolares como os nicos integrantes do sistema de
ensino responsveis pelos resultados de aprendizagem, apesar da conhecida
importncia das condies materiais fornecidas pelo rgo central e os diversos
servios de apoio das instancias regionais.
Os indicadores finalsticos da escola dizem respeito a um conjunto de dez metas,

expressas tipicamente em termos da proficincia mdia dos alunos por ano e matria.
Como exemplo, a sexta meta, com peso valendo 2,14% do total da nota da escola, diz
respeito proficincia mdia dos alunos do 9 ano do Ensino Fundamental em
portugus. A escola ganha a nota mxima se o valor observado para a meta for maior
ou igual ao Nvel Recomendvel para o ano, de acordo com a classificao publicada
pelo sistema de avaliao do estado. No caso de a meta da escola ser menor que o
Nvel Recomendvel, precisa-se empregar uma equao para calcular o desempenho
da escola de 0 a 1 com base na diferena entre a proficincia alcanada no presente
ano com a proficincia do ano anterior dividido pela diferena entre a meta e a
proficincia do ano anterior. No final, a nota do indicador = Desempenho x Peso do
Indicador x 10. Quando somados todas as notas dos indicadores, mais as notas da
Secretaria e da SRE a que a escola pertence, a nota final da escola mostrar a
proporo da meta global alcanada e, portanto, o percentual do prmio de
produtividade a que ter direito.
Essa matemtica necessria depois da deciso de beneficiar a escola com

alguma recompensa mesmo no caso de no alcanar 100% da meta acordada. Essa
flexibilizao torna o processo mais brando, permitindo a diluio do significado das
metas ao ponto de elas se tornarem indicadores de resultados, o que permite levar em
considerao a realidade das escolas que nem sempre conseguem melhorar no ritmo
desejado, apesar dos esforos. O raciocnio da Secretaria que levou a essa flexibilizao
mostrado na seguinte fala:
Meta tem que ser flexvel por que meta rgida meta boba. Meta uma
coisa importante? importante, mas ela no foi feita para ser sustentada a
154
ferro e fogo; de qualquer jeito voc tem que ganhar. Se for a ferro e fogo o
cara toma anabolizante para no sei o que l nas olimpadas, se for a ferro
e fogo as pessoas usam tudo quanto tipo de artifcio para chegar l.
Passa menino sem saber, altera nota do menino, ensina o menino a fazer
prova. Acontece esse tipo de coisa por qu? Por que se eu no conseguir, eu
vou perder salrio e ningum est em condies de perder salrio. (Gestor:
SEE/MG)
O aspecto mais interessante do acordo de resultados o procedimento para a

fixao das metas. Esse processo culmina na assinatura de um termo de compromisso
por parte das SREs e das escolas aps a consulta ao sistema online em que as metas
esto listadas escola por escola. No caso de a escola no concordar, existe um
procedimento para a sugesto de nova meta e para o julgamento do pleito da escola.
Ou seja, mesmo sendo um processo centralizado, a possibilidade de a escola fazer uma
contraproposta torna mais legtimas as metas fixadas e justifica a assinatura do termo
de compromisso que pactua os resultados esperados:
[...] tem que ser pactuada, no pode ser imposto. Ento a gente tem um
sistema na internet onde a Secretaria examina o histrico da escola, as
condies com base no relatrio das visitas [...]. Com base nisso voc
elabora uma proposta de meta para todas as escolas, essa a primeira
providncia. [...] o diretor acessa, imprime e discute internamente. Olha a
meta da secretaria essa, d para fazer ou no d? Eles podem variar o
que est previsto l em 10%. [...] Eles podem propor variao pra cima ou
pra baixo e o gozado que alguns fazem pra cima. (Gestor: SEE/MG)
No que a Secretaria acate todas as contrapropostas das escolas:
[em 2009] de 3.988 escolas foram 10% de pedidos de alterao [...] E,

desses 10%, ns modificamos s 10%, o resto no. Na verdade assim, vinha
muito pedido de abaixar meta. (Tcnico: SEE/MG)
Outro aspecto relevante, que remete discusso sobre o impacto do modelo de

planejamento estratgico assumido por diversos governos estaduais, diz respeito
155
relao entre as metas dos planos governamentais e as metas colocadas para as
escolas. No caso de Minas Gerais, as metas do Plano Mineiro de Desenvolvimento
Integral PMDI 2003-2023 foram desdobradas em metas plurianuais por meio dos
PPAG Plano Plurianual de Ao Governamental. No caso do PPAG 2008-2011, coube
Secretaria planejar suas metas de acordo com o percentual de crescimento fixado
pelo estado:
A distribuio das metas est amarrada meta geral do Estado por que no
Estado foi dito: olha, ns vamos crescer 5% esse ano. Ento a distribuio
mais ou menos assim: umas [escolas] esto acima de 5, outros esto
abaixo, mas no fim, na hora em que todo mundo bater a meta, a gente
bate a meta daqui [do Estado] tambm. (Gestor: SEE/MG)
No entanto, nem sempre os planejadores ouvem os gestores antes de fixar as

metas globais do estado. Na primeira edio do Acordo de Resultados, os planejadores
dividiram as escolas em cinco faixas de acordo com a proficincia do ano de 2007 (um
ano de crescimento acima da mdia), calcularam a taxa de crescimento para cada faixa
e fixaram as metas at 2010.
Fizeram essas metas e foram embora. [...] E a ns verificamos que as

escolas no estavam com um percentual de cumprimento muito bom, pelo
contrrio, as notas foram muito baixas. [...] eles superestimaram as metas
porque justamente eles consideraram um crescimento do Estado muito alto
[...] Ento eles pegaram aquele crescimento e fizeram uma projeo s que
na hora em que ns pegamos os bandos e fizemos a primeira avaliao, o
percentual de cumprimento foi muito baixo. por isso que ns fizemos a
primeira reviso, no ano de 2009. (Tcnico: SEE/MG)
As metas estavam muito altas, principalmente no ano de 2010. A ns

conversamos, a Secretria conversou com o pessoal do Estado para estudar
os resultados e eles aceitaram as nossas reivindicaes e ns fizemos um
histrico, ns mostramos as tendncias de crescimento e eles viram que
realmente estavam muito alto [...], eles aceitaram, tanto que as metas,
156
nossas metas, reduziram bem para o ano de 2010, que estavam bem altas.
(Tcnico: SEE/MG)
No trivial a questo de como estabelecer as metas de um sistema de incentivos

quando no se quer usar um ranqueamento competitivo nem fixar as metas
exclusivamente com base no histrico do crescimento anual da proficincia. O que
est em jogo uma combinao de fatores que tambm leva em considerao a
vontade dos governantes de ir alm da meta:
A Educao trabalha com desafios e politicamente o que move as pessoas

o desafio. [...] A Educao precisa de uma coisa maior, precisa de uma
coisa mais significativa, alguma coisa de natureza diferente. Ento a ideia
que ns trabalhamos ao ir para a escola a idia de desafios e no a idia
de meta. Meta prmio por produtividade. Isso a meta, isso a vocs vo
ter que cumprir mesmo. Agora o desafio no isso no, o desafio muito
maior do que esse. O desafio diferente [...] Se no, fica todo mundo
marcando passo. (Gestor: SEE/MG)
O sistema de acordo de resultados tem vrios mritos metodolgicos. Tambm

tem uma deficincia criada pelo uso de mdias para a fixao de metas e o clculo do
desempenho da escola. Pelo fato de a escola poder melhorar suas mdias com mais
facilidade mediante ateno especial aos alunos mais capazes, existe o risco de a
escola esquecer-se dos alunos mais atrasados:
Quando a gente vai ler os documentos, percebe que h uma

supervalorizao de um ponto na escala. Quando eu super valorizo um
ponto na escala, nem todos os alunos me interessam, me interessam os
alunos que esto prximos de ultrapassar aquele limite e isso tem
consequncia. claro que essa anlise ela pode ser uma anlise difcil de
ser feita no primeiro ano, razovel esperar que logo as escolas vo
perceber que isso a maneira de voc ficar bem no indicador. (Especialista:
UFMG)
157
A Secretaria j percebeu esse problema e pensa resolv-lo ao criar requisitos para
melhorar a distribuio dos alunos entre as faixas de desempenho, de forma anloga a
de So Paulo e Esprito Santo:
A gente acha que a proficincia s vezes engana um pouco. Porque s vezes

a escola cresce na proficincia mdia, mas reduz o nmero de alunos no
nvel recomendado, o que no desejvel. Ento talvez a gente tenha que
alocar esses dois indicadores. (Tcnico: SEE/MG)
Outra possvel deficincia diz respeito dificuldade de a escola entender o clculo

do porcentual do bnus a que tem direito e a dificuldade de aceitar as diferenas nas
metas de cada escola:
O acordo avalia a escola em relao a ela mesma. Ento teve um problema

que no primeiro acordo foi muito claro. A escola que tinha uma proficincia
maior e outra que tinha menor em municpios iguais. Aquela que tinha
proficincia menor tinha um prmio de produtividade maior por que ela
cresceu mais que a outra escola [...] Ento assim ela no entendia e a gente
teve que explicar, olha o acordo compara voc com voc mesma. (Tcnico:
SEE/MG)
O fato de os indicadores estarem relacionados s matrias avaliadas pelo Simave

no 3, 5 e 9 anos do Ensino Fundamental e 3 ano do Ensino Mdio tambm traz
consequncias para a maneira de pensar dos professores de outras matrias e anos.
Mesmo pago a todos os professores da escola, a capacidade de o bnus incentivar os
professores no includos nos indicadores deve ser menor, o que abre a possibilidade
do free riding, encontrado na bibliografia:
Muitos funcionrios e outros professores de outras matrias no se sentem

parte do acordo de resultados, eles acham que no vo contribuir com
nada, eles tm esse sentimento. Ento assim, eles no se sentem parte
desse pacto. Eles recebem o prmio e "que bom, mais um prmio", mas eles
no sentem que o seu trabalho foi reconhecido, que a nota que est ali
158
traduz o trabalho que eles desenvolveram durante aquele ano. Muitos. E eu
acho que eles tm completa razo. (Tcnico: SEE/MG)
Apesar das deficincias, tanto os tcnicos como os gestores da Secretaria

atribuem uma parte do avano nos resultados das escolas durante os ltimos anos
incorporao de um regime de metas e incentivos:
Ento a escola hoje gosta de receber as metas, ela gosta de trabalhar com
as metas, de ter o caderno dela. [...] Ento na verdade quando voc v, por
exemplo, que ns tnhamos uma meta de 74 pra proficincia de
alfabetizao [...] e ns atingimos 86, alguma coisa melhorou, alguma
coisa eles esto indo atrs. [...] a gente ainda no sabe qual que a causa
dessa melhora a gente no sabe. Mas de 74 que era a nossa meta e ns
atingimos 86, muita coisa, n? (Gestor: SEE/MG)
Pernambuco
O sistema de incentivo salarial introduzido pela Secretaria de Educao de

Pernambuco em 2009 era pensado como um dos elementos de um conjunto de aes
voltados para a reviso da situao funcional e salarial do professor. Entre essas aes,
figurava a reformulao do contrato de trabalho e do plano de carreira de modo que o
professor pudesse se dedicar docncia em uma nica escola, em vez de acumular at
70 horas aula/semana em diferentes escolas e redes, como permitido pela legislao
atual. Portanto, o incentivo era visto como um complemento para um salrio que j
resolveria as necessidades do professor. Alm disso, a viso da Secretaria de
Pernambuco atrelava o aumento salarial da nova carreira a um esquema de superviso
bem mais rigoroso. O incentivo salarial, pago com base nos resultados da escola, seria
ento um dos elementos desse esquema de superviso:
O professor pode ter 70 horas-aula por semana uma coisa meio louca,
tem que rever isso. Ento ns temos muito claro o que o professor precisa.
O professor precisa ser bem remunerado, ter uma jornada de trabalho
plausvel, mas ns sabemos que s isso no basta porque sistemas que
159
adotaram isso sem um forte sistema de superviso no funcionam bem. [...]
Ento ns acreditamos que preciso ter um plano de carreira de incentivo,
de salrio bom, mas atrelado a isso o sistema de superviso, de
monitoramento, de aferio de resultados, de atrelar uma parte da
remunerao com esses resultados. Ns estamos caminhando pra isso, at
o final do ano a gente consegue fechar todas essas variveis, digamos
assim. (Gestora:SEE/PE)
Para enfatizar a poltica de fixar os professores em uma nica escola, o bnus

salarial pago aos professores que estiveram na escola por um perodo superior a seis
meses. De forma parecida de Minas Gerais, o valor do bnus calculado com base
no percentual de cumprimento da meta fixada para a escola, a partir de 50%. As metas
so determinadas para cada escola com base na faixa de desempenho em que se
encontra baixo, mdio ou alto de acordo com os resultados do Saepe do ano
anterior.
O que tambm chama a ateno do sistema de Pernambuco a maneira de

estipular o valor do bnus pago aos professores. Comum em outros sistemas o
pagamento a uma proporo fixa de escolas ou, como no Chile, s escolas que
atendem a uma proporo fixa de alunos, no caso 25%. Em Pernambuco, criado todo
ano um fundo representando a folha de pagamento de um ms, o que permitiria pagar
um bnus equivalente a um salrio a todos os professores caso todas as escolas
atingissem 100% da meta. Em 2008, 51,8% das escolas tiveram acesso ao bnus, o que
permitiu pagar 2,4 vezes o salrio-base dos beneficiados no caso de escolas que
atingiram 100% da meta. Em 2009, a proporo de escolas atingindo pelo menos 50%
da meta subiu para 82%. Com isso, o fator usado no pagamento do bnus caiu para 1,6
salrio nas escolas que alcanaram 100% da meta.
Nesse mesmo ano, a Secretaria estendeu o pagamento do bnus s gerncias

regionais com base na mdia ponderada da taxa de cumprimento das metas das
escolas, sinalizando a responsabilidade tambm atribuda aos rgos de apoio e
superviso, como em Minas Gerais. No prximo passo, pretende-se criar uma
sistemtica para o pagamento de bnus aos funcionrios do rgo central.
160
No entanto, o fato de as polticas referentes nova carreira dos professores no
terem sido implantadas e os salrios no terem sido reformulados reduz bastante a
credibilidade da poltica de incentivos salariais de Pernambuco. Sem essas mudanas,
colocadas como pr-requisitos pela prpria Secretaria, ser mais penoso cobrar as
atividades esperados pelo sistema de superviso e mais difcil concretizar os avanos
esperados do sistema de incentivos.
So Paulo
Sendo o sistema estadual de bonificao mais contestado pelos integrantes do

magistrio e o que mais aparece no noticirio, a poltica implantada pela Secretaria de
Educao de So Paulo merece uma discusso mais detalhada. J foram tratadas as
questes tcnicas sobre a frmula usada para avaliar a qualidade e a equidade da
escola. Nesta seo, precisa-se investigar o status da Bonificao por Desempenho
como o mais problemtico dos diversos exemplos em estudo das novas polticas de
incentivos salariais.
O primeiro problema da Bonificao por Desempenho, lanada em maio de 2008,

que ela tem antecedentes. Entre 2001 e 2006, a Secretaria j pagava um bnus anual
aos professores e diretores. Entre os anos de 2001 e 2003, esse bnus foi calculado de
acordo com a assiduidade mdia da equipe, o desempenho global da escola, medido
durante o ano escolar anterior atravs do Saresp, e outros indicadores de qualidade,
principalmente o nvel de reteno de alunos pelas escolas. Em 2004, os critrios
foram modificados para, em primeiro lugar, incluir um mnimo de 200 dias de trabalho
efetivo e o desenvolvimento de projetos envolvendo a comunidade da escola, e, em
segundo lugar, para excluir o uso dos resultados de desempenho do Saresp. Em 2006,
o Saresp foi suspenso e os resultados do desempenho dos alunos novamente retirados
do clculo do bnus. Isso se deveu, em grande medida, aplicao no ano anterior da
nova Prova Brasil.
A resistncia aos bnus anuais pagos pela Secretaria foi contnua. A oposio mais
vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de So Paulo,
161
expressou uma rejeio transferncia abusiva da lgica de mercado para a
Educao (CAVALIERE, 2003) (p.30) e competio entre as escolas e os diretores das
escolas, que seria fomentada por essa poltica (CDEP, 2006). Outras crticas tiveram
mais a ver com problemas de trapaas, havendo meios para os professores ajudarem
os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos,
uma vez que eram os professores que aplicavam e corrigiam as provas. Supostamente
esses casos eram bem conhecidos entre os professores das escolas estaduais
(DISSIDNCIA, 2006), bem como os problemas burocrticos associados ao clculo e ao
pagamento individual dos professores. Outro argumento, aparentemente bem
justificado, dizia respeito ao uso de resultados de desempenho mdio dos alunos sem
nenhuma tentativa de controlar por diferenas socioeconmicas entre as escolas ou
pelo impacto de diferenas no nvel anterior de aprendizagem.
Com a eliminao dos resultados dos alunos, o programa de bnus se tornou mais
uma maneira de justificar um benefcio natalino. Porm o uso contnuo de medidas de
assiduidade e at de taxas mnimas de comparecimento em cursos de treinamento
para os professores, tal como includo entre os critrios de 2005, uma indicao do
problema perene de absentesmo e da vontade da Secretaria de cobrar a frequncia
dos professores mesmo na ausncia de um indicador de qualidade da escola.
Com esses antecedentes, difcil saber se a resistncia atual de uma parte dos
professores se deve mais s cobranas de frequncia, ao sistema de avaliao em si ou
aos efeitos negativos provocados pela associao high stakes entre os testes e o
pagamento da bonificao. H evidncias de que ainda h restries ao Saresp no qual
a bonificao est fundamentada. Sem uma atitude tranquila em relao
legitimidade e confiabilidade do prprio sistema de avaliao, dificilmente ser
recebida de braos abertos uma poltica alicerada nesse instrumento. O que se
observa no caso do Saresp so os questionamentos que se arrastam h mais de uma
dcada e mostram a sobrevivncia de resistncias que em outros estados j foram
superadas. A forte politizao do tema da avaliao, classificada como produto das
reformas neoliberais de recorte gerencialista, e a falta de simpatia do principal
sindicato de professores para a poltica de avaliao do estado, impulsionado e
162
consolidado por um governo do PSDB, ajudaram a criar um ambiente ainda um tanto
hostil ao prprio tema da avaliao.
No entanto, os argumentos publicados pela Apeoesp para sua oposio atual

poltica de bonificao no incluem nenhuma restrio explcita ao sistema de
avaliao. Os argumentos empregados dizem respeito, primeiro, falta de uma
verdadeira poltica salarial, que assegure reajustes e aumentos reais para todos os
professores, da ativa e aposentados; segundo, falta de evidncia de que o sistema
de bonificao possa elevar a qualidade do ensino ou o nvel de satisfao dos
professores; terceiro, falta de incluso de outros fatores, alm dos resultados dos
alunos; e quarto, ao valor irrisrio do bnus pago (APEOESP, 2011).
Surpreendentemente, as ltimas duas crticas apontam para a necessidade de
melhorias na poltica, e no para sua abolio.
Ao mesmo tempo, o sindicato sinaliza que pretende contestar na Justia a Lei

Complementar n 1078/2008 por no ter considerado todas as justificativas de faltas
previstas no Estatuto do Servidor Pblico do Estado na hora de calcular a bonificao
de cada servidor. A reivindicao da Apeoesp que a Secretaria deixe de descontar as
faltas que tm justificativa legal. A posio da Secretaria que a bonificao no
salrio, seno uma forma de premiar os professores e outros servidores que mostrem
dedicao ao deixar de aproveitar todas as faltas que a lei faculta.
O argumento do sindicato de que o sistema de bonificao incapaz de elevar a

qualidade do ensino deriva de uma leitura sobre a experincia de outros pases.
Dependendo da bibliografia consultada, essa leitura fornece uma srie de argumentos
sobre os efeitos colaterais dos testes high stakes usados por polticas de
accountability, como os sistemas de incentivos j discutidos na seo 4 deste
documento. Recm-sumarizados pelo Movimento Contra Testes de Alto Impacto em
Educao, criado no mbito da Anped em 2010, os efeitos colaterais dos testes de alto
impacto (high stakes) incluem a capacidade de falsear os dados das avaliaes, induzir
desonestidade, substituir os esforos de ensino pelo de preparao para testes,
estreitar o currculo e desestruturar os profissionais do magistrio, alm de provocar
163
extrema ansiedade em alunos, pais, professores e administradores (MOVIMENTO,
2010).
Alm dos possveis efeitos colaterais negativos, o sindicato pode tambm apontar
a falta de evidncia de um impacto positivo na aprendizagem e at de evidncia pelo
contrrio. O incentivo pago em 2011 causou constrangimento ao revelar um recuo no
total pago e a queda no nmero de escolas aptas para receber o bnus, em
comparao com o ano anterior. O valor pago a 190 mil funcionrios, de 3.778 escolas
75% das 5.019 unidades estaduais foi de R$ 340 milhes. Em 2010, foram
concedidos R$ 655 milhes. O nmero de escolas que no receberam o bnus
triplicou. Em 2010, 510 escolas (9,9% do total) ficaram sem a bonificao, enquanto
em 2011 foram 1.474, o que representa 29,1% da rede pblica do estado. As causas
principais foram as variaes negativas do Saresp entre 2009 e 2010 nos anos finais do
Ensino Fundamental e no Ensino Mdio. Com isso, s houve aumento no valor do
Idesp nos anos iniciais do ensino fundamental, que subiu de 3,86 para 3,96, em uma
escala que vai at 10. Nos anos finais do Ensino Fundamental, houve o recuo de 2,84
para 2,52 e, no Ensino Mdio, o Idesp caiu de 1,98, em 2009, para 1,81.
6.5.2 Discusso
Para alguns especialistas ligados universidade, a queda na bonificao de So

Paulo permite inferir que a poltica como um todo um fracasso e que no so os
incentivos financeiros que motivam os professores (O Globo, 23/4/2011). No entanto,
as atitudes ainda favorveis entre os gestores dessa mesma poltica em outros estados
e o interesse de estados como Par em experimentar com o pagamento de bnus (O
Liberal, PA, 3/4/2011) podem sugerir que o impacto depende do contexto, das
relaes entre as partes e tambm de uma continuidade maior no perodo de
aplicao da poltica. A literatura tambm recomenda cautela antes de chegar a
concluses gerais, devido grande diversidade na configurao das polticas de
incentivos e nos resultados alcanados.
164
De toda forma, observa-se a necessidade de clareza maior sobre o tipo de impacto
desejado pelos sistemas de incentivos brasileiros. A falta de evidncia de que o prmio
incentive o professor a procurar se capacitar ou modificar sua prtica de ensino impe
a necessidade de explicitar que o propsito seja muito mais do que bonificar a
assiduidade. Nesse caso, talvez nem precisasse de indicadores de aprendizagem.
Outros usos de incentivos, como para trazer professores para reas menos atraentes,
como o caso das escolas rurais, ou para atrair professores para disciplinas
curriculares em que h falta de professores, ainda no constam do elenco de polticas
dos governos estaduais, mesmo havendo uma conexo bem mais clara entre o
pagamento de bnus para essas finalidades e os resultados alcanados.
Do ponto de vista das metodologias usadas, inegvel que as polticas de

incentivos de segunda gerao, que utilizam indicadores de desempenho construdos
de diversos elementos para levar em considerao o fluxo, o nvel socioeconmico dos
alunos, o esforo da escola, a distribuio dos alunos por faixa de desempenho etc. so
mais slidas e confiveis do que seus antecessores. No entanto, at a construo de
indicadores que levem em considerao o valor agregado e que permitam a avaliao
da escola ao longo de um perodo de anos, sempre haver dvidas sobre a influncia
de movimentos aleatrios no desempenho dos alunos. Os resultados da Escola Nota
10 do Cear, em que a metade das escolas premiadas em 2009 no conseguiu mostrar
o mesmo desempenho no ano seguinte, leva a crer que uma parte dos prmios se
deve a flutuaes aleatrias. O fato de algumas das escolas identificadas como de
desempenho mais baixo em 2009 conseguirem melhorar, a ponto de receberem
prmios como escolas nota 10 no ano seguinte, tambm levanta suspeitas srias.
Dificilmente uma escola pode cumprir essa trajetria em um nico ano escolar, mesmo
com a assistncia tcnica de uma escola de excelncia.
O estudo da implantao e dos primeiros passos da nova gerao de polticas de

incentivos salariais no foi capaz de mostrar sinais claros de benefcios em termos dos
resultados dos alunos. Pelo contrrio, os resultados do sistema de bonificao de So
Paulo de 2010, em que o nmero de professores beneficiados e o volume pago de
165
bnus foram menores que em 2009, sugere que o sistema de bonificao no uma
ao suficiente para promover a melhoria dos resultados dos alunos em curto prazo.
Tambm no h evidncias seguras de que os sistemas de incentivos causem os

danos colaterais da gravidade sugerida pelos crticos da poltica. H razes para
acreditar que, no caso brasileiro, esses danos colaterais talvez no sejam to graves
justamente pela natureza da poltica de responsabilizao em jogo. Onde a
responsabilizao traz possveis consequncias muito negativas para os professores,
incluindo o fechamento da escola e a consequente perda de emprego, o nvel do risco
de no se alcanar a meta muito alto, o que pode provocar os comportamentos
vistos como destrutivos tanto tica quanto pedagogicamente. Por outro lado, quando
a poltica de responsabilizao se fixa no pagamento de prmios de bonificao que
possam atingir at a maioria dos professores, a nica consequncia negativa da
poltica o no-recebimento do bnus. Em um regime em que o nvel salarial dos
professores considerado adequado, com no caso de Esprito Santo, o no-
recebimento do bnus pode ser encarado com maior tranquilidade.
Os embates ideolgicos que caracterizam o campo, e que tambm explicam por

que a bibliografia continua incapaz de decantar algum consenso, indica que a
formulao de novas polticas e a reformulao de polticas existentes ser mais uma
questo de f do que de cincia. Sendo assim, me permito duas suposies. A primeira
que, quanto mais se avana no sistema em termos do ano escolar e idade dos alunos,
maior a dificuldade em relacionar a atuao dos professores aos resultados dos alunos
e mais tnues os sistemas de incentivos. Por isso, ser sempre mais difcil criar prmios
que faam sentido para os professores do Ensino Mdio ou os ltimos anos do Ensino
Fundamental. Pelo mesmo raciocnio, ser mais provvel encontrar evidncia de algum
impacto de um sistema de premiao nos primeiros anos do Ensino Fundamental.
Nesses anos, mais fcil o professor sentir que sua atuao far alguma diferena no
nvel de desempenho absoluto dos alunos.
A segunda suposio que, quanto menor o piso salarial e maior a insatisfao

dos professores com seus salrios, menor a probabilidade de o incentivo salarial
produzir os efeitos desejados. Enquanto o incentivo seja visto com um remendo ou
166
uma tentativa disfarada de oferecer o salrio que o professor reivindica, a sua lgica
como prmio fica prejudicada, e sua capacidade de provocar o tipo de atuao
colaborativa pretendida, ainda mais remota. Isso significa que no propriamente o
tamanho do incentivo que faz a diferena, seno a distncia entre o salrio recebido e
o salrio visto como merecido. Independentemente do nvel salarial efetivamente
recebido, o fato de os professores de Esprito Santo estarem mais satisfeitos com seus
contracheques proporcionar um futuro mais promissor poltica de incentivo
naquele estado do que em So Paulo.
167
6.6 Como Componente da Poltica de Avaliao Docente
O sistema de avaliao docente implantado no Chile em 2004 e extensivo a todos

os professores de sala de aula das escolas pblicas municipais faz uso de informaes
de quatro fontes sobre a prtica do professor. A planilha de autoavaliao conta 10%
da nota final, o portflio organizado pelo prprio docente conta 60%, a entrevista com
um professor avaliador, 20%, e o informe fornecido pelo superior hierrquico os 10%
restantes. Ou seja, mesmo no pas que foi pioneiro na implantao de um sistema de
avaliao escolar baseado nos resultados dos alunos, no h previso para o uso desse
tipo de informao na avaliao de desempenho individual a que so submetidos os
professores chilenos para efeitos de classificao de competncia.
A razo por essa restrio no uso dos resultados dos alunos tem relao com duas
caractersticas fundamentais das informaes produzidas pelos sistemas de avaliao
externa. A primeira a sua incapacidade de mostrar o quanto o rendimento dos
alunos em determinada disciplina e ano se deve atuao do seu professor. Sem
tomar em considerao o ponto de partida dos alunos que compem a turma do
professor, no legitimo atribuir o ponto de chegada ao esforo e competncia dele.
Quanto mais alta a srie escolar, mais o desempenho do aluno se deve a seus
professores e a suas experincias em anos anteriores. E, em um sistema educacional
que atende a alunos de diversas origens sociais, o uso de informao sobre a
proficincia dos alunos para medir o desempenho individual do docente pode levar a
classificaes que devem muito mais s caractersticas dos alunos do que s dos
professores.
A segunda caracterstica, j discutida em relao aos incentivos salariais, que os

sistemas de avaliao externa nunca aplicam testes para todas as disciplinas a todos os
alunos em todos os anos. Isso significa que no h informao de desempenho dos
alunos para todos os professores. Tipicamente os professores das disciplinas ligadas s
artes e esporte so excludos, como so os professores das outras disciplinas nas sries
intermedirias. Ao mesmo tempo, a pesquisa sobre eficcia escolar mostra que o
168
desempenho dos alunos influenciado por diversos outros fatores escolares, alm do
professor, que incluem a qualidade dos materiais curriculares, o tamanho da turma, o
clima da escola e outras condies que afetam a aprendizagem. Em escolas que
prezam a colaborao entre os professores, atribuir o desempenho acadmico dos
alunos em determinada disciplina a um nico professor, mesmo que seja o responsvel
pela disciplina, tambm pode levar a erros.
Para tentar evitar esses problemas, e produzir uma medida que capte de maneira
mais fidedigna a contribuio do professor para a aprendizagem dos alunos, vrios
estados norte-americanos tm empregado modelos estatsticos de valor agregado (VA)
para mostrar o crescimento do desempenho em determinado ano escolar mediante a
comparao de duas avaliaes (BAKER et al., 2010; GLAZERMAN et al., 2010). Em
resposta falta de eficcia das polticas tradicionais e incentivada pelo governo
Obama, muitos estados esto comeando a determinar no s o pagamento de
professores individuais com base nessas medidas do valor agregado aos resultados dos
alunos mas tambm a sua situao funcional, incluindo a continuidade dos seus
contratos. H a esperana nesses lugares de que os incentivos tornem os professores
mais eficazes e os professores menos eficazes deixem a profisso.
O problema que nem os modelos VA resolvem as dificuldades metodolgicas.

Por exemplo, as estimativas da produtividade ou eficcia dos professores usando VA se
mostram muito instveis. Dependendo do ano, da turma estudada ou do modelo
estatstico usado, a classificao do professor pode variar significativamente. Um
estudo em cinco distritos escolares urbanos em San Diego, Califrnia, mostra que, dos
20% de professores classificados como os mais eficazes no primeiro ano, menos de um
tero estava no mesmo grupo no segundo ano e outro tero estava no grupo dos 40%
menos eficazes (KOEDEL; BETTS, 2007). Outro estudo que correlacionou os VAs de dois
anos seguidos de professores na Flrida encontrou ndices de correlao muito
modestos entre 0,2 e 0,3 (SASS, 2008). Ambos os resultados contrariam a ideia de que
a qualidade ou a eficcia do professor sejam uma caracterstica que muda pouco com
o tempo.
169
Nesses casos, a instabilidade seria consequncia de mudanas nas caractersticas
das turmas e outros fatores dentro e fora da escola que influenciam a aprendizagem
dos alunos. Mesmo quando so empregados mtodos para ajustar por diferenas nas
caractersticas demogrficas e econmicas dos alunos e nas condies das escolas, os
professores de alunos de nvel socioeconmico mais baixo recebem classificaes mais
baixas. Portanto, a distribuio no aleatria de alunos entre escolas e professores e a
grande variao na experincia dos alunos em casa e na escola significa que no h
como comparar o mrito dos professores com base nos resultados das suas turmas,
mesmo quando se usam modelos que supostamente controlam caractersticas dos
alunos.
Faz sentido, portanto, que no haja quase registro no Brasil de uso de resultados
de avaliaes externas para organizar polticas de incentivo salarial que faam
distines entre os professores de uma mesma escola e muito menos para tomar
decises sobre a situao funcional dos professores. As nicas excees so o sistema
de avaliao de desempenho individual de Minas Gerais e uma poltica de curta
durao do Distrito Federal para decidir sobre a reconduo de diretores escolares
com base na mdia de desempenho da escola.
No caso do Distrito Federal, o uso da mdia da escola no Siade foi uma deciso ad
hoc para facilitar a reconduo de uma parte dos diretores e vice-diretores de escola.
As equipes gestoras eleitas em 2007 que ainda permaneciam em seus cargos poderiam
ganhar mais dois anos de mandato em 2009 se as comunidades escolares os
reelegessem. Para isso, as escolas dirigidas por elas precisavam ter um bom
desempenho do Siade 2009, realizado em outubro desse ano. Se o desempenho dos
alunos no fosse melhor em relao aos resultados de 2008, essas equipes
obrigatoriamente teriam que participar de novo processo seletivo no final de 2010.
Caso os ndices fossem alcanados, a equipe poderia permanecer na direo da escola
por mais dois anos. Portanto, os resultados dos alunos foi um critrio definitivo para
determinar a durao do perodo de gesto do diretor.
A partir da implantao em 2009 de um sistema de Avaliao da Gesto

Compartilhada e da Gesto Escolar Regimental, como parte do sistema de avaliao
170
das instituies educacionais do DF, a Secretaria fica de posse de checklist extenso de
indicadores sobre o funcionamento de todas as escolas com base nas informaes
prestadas online pelos diretores. Esses indicadores vo desde a implantao da
proposta pedaggica da escola at os processos participativos das instancias
colegiadas, passando por uma bateria de parmetros para a gesto compartilhada e
desempenho escolar. Nessa ltima categoria, esto includas as taxas de aprovao,
promoo, evaso, distoro idade-srie e tambm a variao do Ideb de 4 e 8 sries
e a relao entre a avaliao escolar dos alunos e a avaliao do Siade (indicador
2B23). A presena desses indicadores sinaliza a importncia dos resultados no
conjunto de critrios da boa gesto e provavelmente dispensa o uso da mdia no Siade
em decises futuras sobre a reconduo da equipe escolar.
No caso de Minas Gerais, por outro lado, o uso de informao sobre o

desempenho dos alunos na avaliao anual dos docentes tem todas as caractersticas
de uma poltica permanente. Mesmo sendo s mais uma informao entre muitas nas
mos dos avaliadores, valendo no mximo 10% no conjunto de critrios empregados,
fica evidenciado o interesse das autoridades em colocar o foco nos resultados e
responsabilizar os professores pela aprendizagem dos alunos.
A Avaliao de Desempenho Individual (ADI) realizada todo ano por uma

comisso avaliadora de cinco integrantes. Os avaliadores levam em considerao cinco
critrios ao analisar o professor regente, como mostrado no Quadro 2.:
Desenvolvimento Profissional, Relacionamento Interpessoal, Compromissos
Profissional e Institucional e Habilidades Tcnicas e Profissionais. Cada critrio
composto de dois a nove indicadores, tendo peso 1 ou 2, o que permite aumentar ou
diminuir a relevncia do indicador na composio da pontuao final. O ltimo
indicador do quarto critrio especifica que [O professor] obtm bons resultados de
aprendizagem de seus alunos evidenciados pelas avaliaes internas, realizadas pela
escola, e por avaliaes externas. Valendo at 5 pontos, mas com peso 2, esse
indicador pode contribuir com at 10% da pontuao total do professor, dependendo
da opinio dos avaliadores.
171
Essa avaliao high stakes para o professor, na medida em que a progresso
horizontal ou vertical na carreira s permitida para quem recebeu uma avaliao
igual ou superior a 70%. Por exemplo, quem obteve um diploma de ps-graduao,
mas no atingiu a nota mnima no ADI, fica impedido de ocupar o nvel correspondente
ao novo ttulo. E, com duas avaliaes seguidas inferiores a 70% ou com quatro em
dez avaliaes abaixo desse limite, o professor exonerado do cargo. At o presente,
mais de 400 professores j foram exonerados por esse motivo.
Esse sistema de avaliao docente formaliza um critrio usado pela Secretaria

cinco anos atrs para exonerar um nmero grande de professores alfabetizadores.
Uma resoluo publicada em 2006 impediu a renovao dos contratos de professores
eventuais em escolas com mais de 30% de alunos no alfabetizados de acordo com a
avaliao do Proalfa. O gestor responsvel pela poltica no tem dvida de que levar
em considerao os resultados dos alunos na hora da avaliao individual contribui
para incentivar os professores:
O resultado do aluno o negcio que mais pesa na pontuao e tem vrias

fontes. A comisso pode olhar vrias coisas e o professor pode dar a sua
explicao. [...] Onde tem Proeb [...] e Paae que so do Estado [a comisso]
pode olhar esses resultados todos. [...] E o que qu isso tem a ver com
estmulo? Tem a ver o seguinte; a condio para voc ser promovido na
carreira que voc tem avaliao de desempenho positivo. (Gestor;
SEE/MG)
Uma gestora da Secretaria de Educao de Pernambuco mostrou entusiasmo com

uma poltica de avaliao docente para efeitos de promoo na carreira que tambm
incorpora critrios relacionados ao desempenho dos alunos:
[...] vai ter [...] um sistema de informao. Ele vai ser em cima do resultado
do aluno, do tempo de ensino, do cumprimento do programa de ensino e
do resultado do Saepe. [...] o projeto j est desenhado. E por sua vez o
plano de carreira vai prever, porque ele j prev avaliao de desempenho.
A avaliao de desempenho vai ter tambm um link com o resultado do
172
desempenho do aluno. Tudo nosso em funo do desempenho do aluno.
(Gestora: SEE/PE)
A poltica ainda no foi implantada e no se sabe se haver tentativas por parte da

Secretaria de Pernambuco de incorporar medidas de valor agregado para torn-la mais
palatvel. Mesmo nesse caso, se existe qualquer reflexo por parte dos professores
sobre as imprecises e instabilidades inerentes avaliao docente, pode-se prever
um grau merecido de resistncia nova poltica.
173
Quadro 2. Ficha de Avaliao Individual. Secretaria de Educao de Minas Gerais
ESTADO DE MINAS GERAIS

SECRETARIA DE ESTADO DE EDUCAO
TERMO DE AVALIAO - PARTE II
ANEXO V - INSTRUMENTO DE AVALIAO
Servidor: ______________________________________________ Masp: _________
Cargo/Disciplina: ________________________________________ N adm.: ________
Escola Estadual:________________________________________ Cd.: _________
Lotao _________________________Perodo/Etapa: ___/___/____ a ___/___/____
Cargo: Professor da Educao Bsica PEB
CRITRIO I - DESENVOLVIMENTO PROFISSIONAL 1 a 5 pts. Peso Total
Participa de grupos de estudos, reunies pedaggicas, cursos, eventos e palestras disponibilizados pelo sistema; estuda e se
1 2
orienta pelos materiais institucionais da SEE e outros.
2 Compartilha conhecimentos, informaes, dificuldades, solues e prticas exitosas que agregam valor ao trabalho. 1
SUBTOTAL - 15 pontos
174
CRITRIO II - RELACIONAMENTO INTERPESSOAL 1 a 5 pts. Peso Total
Relaciona-se cordialmente com todos do seu ambiente de trabalho e com o pblico em geral, cumpre as normas legais e as
1 decises pactuadas ou emanadas das instncias hierrquicas, agindo segundo os princpios ticos que norteiam a administrao 1
pblica.
Respeita a diversidade, adotando prticas inclusivas e ticas no relacionamento com a comunidade e com os alunos em sala de
2 1
aula.
Participa do trabalho de equipe e das aes da escola que envolvem interao com as famlias e alunos, contribuindo para o
3 1
desenvolvimento das atividades de aprendizagem, recreao e convivncia.
CRITRIO III - COMPROMISSOS PROFISSIONAL E INSTITUCIONAL 1 a 5 pts. Peso Total
Cumpre com responsabilidade suas atribuies e atende as normas da administrao pblica relativas assiduidade e
1 2
pontualidade.
2 Participa de projetos e aes coletivas e da realizao das avaliaes internas e externas da aprendizagem dos alunos. 1
3 Zela pela conservao de todo o patrimnio pblico da instituio. 1
CRITRIO IV - HABILIDADES TCNICAS E PROFISSIONAIS 1 a 5 pts. Peso Total
Planeja seu trabalho, participa da construo do Projeto Pedaggico da escola, elabora e executa o planejamento didtico anual e
1 1
planos de aulas observando as diretrizes curriculares estaduais.
Analisa e utiliza os resultados de avaliaes internas e externas para diagnosticar os nveis de aprendizagem dos alunos, avaliar a
2 1
eficcia do ensino e implementar intervenes pedaggicas, quando necessrio.
175
Facilita a aprendizagem utilizando materiais didticos e processos pedaggicos que estimulam e desafiam os alunos na superao
3 1
das dificuldades.
Apresenta aos pais ou responsveis os resultados das avaliaes de aprendizagem e os indicadores do desenvolvimento do aluno
4 1
e busca caminhos para superar dificuldades identificadas.
Desenvolve eficiente gesto de sala de aula, cria ambiente propcio ao desenvolvimento da aprendizagem e de relaes humanas
5 saudveis, orienta os alunos quanto necessidade de organizao, limpeza e conservao dos equipamentos, mobilirio e do 1
prdio escolar.
Cria novas oportunidades de aprendizagens e avaliaes para os alunos com desempenho insatisfatrio, para que todos possam
6 1
aprender efetivamente o que foi ensinado.
Compromete-se com a aprendizagem de todos os seus alunos, esclarecendo dvidas, orientando e corrigindo, individual e
7 1
coletivamente, os trabalhos escolares e deveres de casa e presta atendimento diferenciado aos alunos com mais dificuldades.
Apresenta atitude positiva em relao capacidade de aprendizagem dos alunos e capaz de reconhecer talentos e de promover
8 1
o desenvolvimento da autoconfiana e autoestima.
Obtm bons resultados de aprendizagem de seus alunos evidenciados pelas avaliaes internas, realizadas pela escola, e por
9 2
avaliaes externas.
PONTUAO TOTAL
176
6.7 Para a Certificao de Alunos e Escolas
Diferentemente de outros pases, os responsveis pela criao dos sistemas

estaduais de avaliao no cogitam usar os resultados como um critrio para a
aprovao dos alunos. Mesmo na srie final do Ensino Mdio, quando os alunos
concluem o ensino bsico e saem do mbito do sistema estadual de ensino, a
aprovao dos alunos determinada exclusivamente pela escola, com base em
avaliaes realizadas pelos professores.
Em outros pases, comum o emprego de avaliaes externas para decidir se o

aluno est apto para receber o diploma de Ensino Mdio ou dar nota de acordo com o
nvel de aprendizagem alcanado nas diferentes matrias que compem o currculo
nesse nvel de ensino. A vantagem sempre citada para a criao de parmetros
externos para a avaliao dos alunos diz respeito ao estabelecimento de um padro
nico e a garantia de equivalncia do significado do diploma em diferentes lugares e
tempos. Na ausncia desse padro, podem existir diferenas significativas entre os
critrios de diferentes escolas e entre os critrios da mesma escola em diferentes
anos. As autoridades ficam sem parmetro para a comparao das escolas e as escolas
sem uma medida clara dos seus resultados. Os esforos recentes de promover
mudanas na qualidade da Educao tanto nos Estados Unidos como na Inglaterra tm
como critrio-chave os resultados das escolas calculados baseados nas taxas de
diplomao dos alunos ou nas notas dos alunos nas matrias que compem o
certificado de Ensino Mdio. Nesses pases, o aluno se submete as avaliaes externas
por ser o nico meio de garantir o diploma ou certificado de Ensino Mdio e de se
habilitar para o processo de seleo ao Ensino Superior.
H diversas razes histricas e estruturais para a no-utilizao dos sistemas

estaduais de avaliao implantados a partir da dcada de 1990 para a certificao de
alunos ao final do Ensino Mdio, incluindo a autonomia dos sistemas estaduais e
municipais e a autonomia das prprias escolas. H tambm restries de natureza
mais tcnica devido incapacidade dos instrumentos de avaliao externa usados
nesses sistemas de oferecer uma viso completa do rendimento de cada aluno. Sem
177
um instrumento de avaliao capaz de aferir o nvel alcanado por cada aluno em cada
uma das competncias e habilidades que compem o currculo do Ensino Mdio,
torna-se indispensvel o processo avaliativo interno respaldado pelo conhecimento do
aluno pelos seus professores.
Nos primeiros anos de escolarizao, a restrio ao uso da avaliao externa pode

ser superada pelo fato de o currculo para esse perodo ainda ser pouco extenso. Na
medida em que o aluno progride dentro do sistema, a aprendizagem se torna cada vez
mais abrangente, ficando cada vez mais difcil capt-la com um nico instrumento de
avaliao. A matriz de referncia para cada rea curricular vai aumentando com o
acrscimo de novos elementos e o aprofundamento dos elementos j introduzidos.
Por esse motivo, a partir da 4 srie, os sistemas de avaliao do Saeb e dos estados
trabalham com diversas verses paralelas do mesmo teste, compostas por itens
diferentes, mas equivalentes. Com a aplicao dos diferentes testes a diferentes
subconjuntos de alunos da mesma srie, consegue-se aplicar um nmero maior de
itens e abraar uma parte maior do currculo. Quando somados os resultados dos
diferentes subconjuntos, obtm-se um panorama da situao de toda a populao de
alunos sem ter exigido demais de cada aluno. Se fosse para aplicar ao mesmo aluno
todas as questes necessrias para cobrir o currculo, o teste se tornaria extenso
demais, inviabilizando sua aplicao em um nico perodo escolar.
O nico caso em que foram usados os resultados de uma avaliao externa para
determinar a progresso de alunos individuais foi em So Paulo no ano de 2001. Nesse
caso, porm, no foram os alunos do final do Ensino Mdio, mas alunos de 4 e 8
sries que foram promovidos ou retidos com base nos resultados do Saresp. A
experincia foi polmica por diversas razes, incluindo o problema de usar um
instrumento no desenhado para a avaliao de indivduos. Outro problema foi o fato
de os alunos no saberem de antemo que os resultados seriam usados com essa
finalidade. Pelo fato de o Saresp ser um instrumento de monitoramento, sem
consequncias para os alunos, estes nem sempre levam os testes a srio e podem ter
sido prejudicados na ocasio por no responderem s questes com o devido cuidado.
178
A criao e a consolidao do Enem como um exame certificador para os alunos
que querem continuar seus estudos mostram que algumas das restries histricas
sobre a avaliao externa ao final do Ensino Mdio foram superadas. Ao mesmo
tempo, o Enem mostra que, quando a matriz de referncia da prova definida mais
com base em competncias e menos em termos de conhecimentos curriculares,
possvel criar um instrumento capaz de medir o nvel alcanado por cada aluno. O que
o Enem nunca fornecer uma medida da qualidade da escola onde os alunos
estudaram. Apesar de ser muito usada com essa finalidade, a mdia dos resultados dos
alunos de determinada escola no indica a qualidade da escola porque os alunos que
fazem a prova no representam nem a totalidade nem uma amostra representativa
dos egressos daquela instituio. A falta de correspondncia exata entre a matriz de
referncia e o currculo das escolas e o fato de estas atenderem a populaes bastante
diferenciadas seriam outras razes para no confiarem nos resultados do Enem como
um indicador de qualidade da instituio.
A nica avaliao externa em condies de fornecer essa indicao, aps

modificaes, seria a avaliao estadual. Por enquanto, porm, ainda no h sinal de
interesse nesse sentido por parte dos gestores estaduais. As mudanas necessrias
seriam bastante radicais, incluindo a reformulao da legislao sobre a organizao
do ensino para permitir a exigncia de nota mnima na avaliao estadual para a
finalizao do Ensino Mdio. Com os problemas atuais de fluxo nesse nvel de ensino,
representados pelas altas taxas de abandono, dificilmente um gestor criaria mais
algum impedimento finalizao do curso e diplomao do aluno. A necessidade de
reorganizar a matriz de referncia do 3 ano e seu impacto sobre o currculo dos anos
anteriores tambm representariam um desafio difcil de superar, a no ser mediante a
utilizao de provas anuais ao longo do Ensino Mdio. Mas, dadas as grandes
disparidades de qualidade no interior dos sistemas e as diferenas entre as escolas
pblicas e privadas, mesmo esta soluo seria pouco atrativa por deixar em evidncia a
grande desvantagem educacional de alunos mais desfavorecidos, do ponto de vista da
origem social e econmica. At o sistema implantar uma qualidade de ensino mais
homognea e oferecer oportunidades reais de avano aos alunos mais pobres, uma
179
avaliao estadual seletiva, com funes certificatrias, seria considerada
extremamente antidemocrtica.
O nico exemplo encontrado de uso dos resultados dos alunos para efeitos de
certificao no trata de decises sobre alunos, mas sobre escolas, no caso as escolas
privadas do Distrito Federal. Essa situao se deriva do fato da Secretaria de Educao
do DF ser o rgo responsvel pela autorizao de funcionamento das escolas privadas
e pela sua recertificao como estando aptas para continuarem em funcionamento
depois de cinco a dez anos, dependendo do tipo de escola. No ano anterior ao
vencimento da sua autorizao, as escolas privadas candidatas recertificao so
automaticamente inscritas entre as escolas a serem avaliadas pelo Siade. Outras
escolas privadas podem se inscrever voluntariamente para essa mesma avaliao
mediante o pagamento dos custos. A ideia da Secretaria era comparar os resultados da
escola privada durante dois anos seguidos para determinar se ela mantinha o mesmo
nvel de qualidade:
Quando ela for recredenciar, ela vai ser avaliada antes para [poder]
comparar se ela melhorou mesmo ou no, at para dizer se ela vai ser
recredenciada ou no, em cima de um resultado do Siade. (Tcnico:
SEE/DF)
No havia informaes disponveis para verificar o impacto dessa poltica em

termos do nmero de escolas privadas avaliadas nem se havia escolas impedidas de
funcionarem com base nos seus resultados. Suspeita-se que a poltica foi divulgada
mais para alertar as escolas privadas do interesse da Secretaria em promover a
melhoria dos resultados do que para fechar escolas com crescimento de desempenho
aparentemente insatisfatrio. Essa concluso deriva do fato de que tomar a deciso
sobre o funcionamento de uma escola com base no crescimento da mdia dos alunos
para um nico ano escolar seria uma temeridade. Por no levar em considerao as
flutuaes naturais nessa mdia, nem as taxas diferenciadas de crescimento de acordo
com o nvel absoluto de desempenho da escola, a medida no oferece o rigor
necessrio para uma deciso high stakes de tamanha importncia.
180
181
7. Consideraes Finais
O estudo teve como propsito descrever e refletir sobre as diferentes polticas de

gesto empreendidas pelas Secretarias de Educao dos estados e dos municpios
maiores com base em seus sistemas prprios de avaliao educacional. Para essa
finalidade, foi elaborado um esquema classificatrio e foram levantadas informaes
primrias e secundrias sobre diversos exemplos para permitir uma discusso dos
provveis impactos dessas polticas no novo cenrio da gesto educacional.
A primeira constatao da pesquisa da diversificao e progressiva sofisticao

nas metodologias empregadas pelas secretarias estaduais e municipais na utilizao
dos resultados das avaliaes para a tomada de decises. O aumento no nmero e na
competncia tcnica dos mtodos dos sistemas estaduais, concomitante com a
melhoria nos sistemas de informao, tem contribudo para essa disseminao. Outras
contribuies advm da incorporao pelos governos estaduais de um novo modelo de
gesto pblica, voltado para o controle dos resultados dos servios oferecidos
populao, e da liderana do MEC e de organizaes da sociedade civil na criao de
um consenso nacional sobre a importncia dos resultados das avaliaes externas
como uma medida da qualidade do ensino e como parmetro para o progresso da
Educao brasileira em direo a uma equiparao com os pases desenvolvidos. A
criao de um indicador prprio, tipo Ideb, por um nmero cada vez maior de estados,
indicativo dessa nova abordagem para a poltica de monitoramento dos servios
pblicos e da disposio de empregar os resultados da avaliao na formulao de
novas polticas, como a da responsabilizao. Nesse novo contexto, no surpreende
descobrir que em 2007 quase 60% de uma amostra da populao da periferia de So
Paulo j tinha conhecimento da existncia do Saresp (OLIVEIRA; GUEDES, 2010).
Confirmando a diversificao nos usos da avaliao, foram identificadas sete

categorias de polticas de gesto que se fundamentam nos resultados dos alunos e das
escolas. Na maioria dos casos, e em determinadas condies, essas polticas podem ser
entendidas como contribuies importantes para a melhoria da qualidade da
Educao. Em outros casos, porm, notadamente no uso dos resultados dos alunos
182
como um componente da poltica de avaliao docente e para a certificao de alunos
e escolas, observa-se o emprego desavisado das avaliaes para a tomada de decises
que precisam de informaes bem mais confiveis e de fontes diversas.
A discusso sobre o uso da avaliao para formular polticas de responsabilizao

high stakes mostra a necessidade de fazer distines entre o contexto educacional
brasileiro e o contexto dos pases onde foi realizada a maior parte das pesquisas sobre
os efeitos dessas polticas. A primeira distino a fazer que nos outros pases os
critrios usados para determinar a qualidade da escola e, com base nessa avaliao,
fixar consequncias como o pagamento de bnus salarial, podem ser de vrios tipos.
Nos Estados Unidos estes incluem o progresso da escola de acordo com as metas
estaduais e as ameaas de sanes estipuladas pela legislao NCLB, e tambm os
resultados dos alunos em termos de desempenho e taxa de diplomao ao final do
Ensino Mdio. Essa diplomao representa uma conquista para os egressos do Ensino
Mdio que vai determinar o curso de sua vida futura e no difcil imaginar o
empenho dos professores em elevar as chances de seus alunos de passarem nos
Exames Obrigatrios de Sada de Ensino Mdio (Mandatory High School Exit Exams). O
interesse dos pais e das autoridades educacionais tambm intenso, sobretudo depois
do monitoramento pblico dos resultados das escolas. O professor pode enxergar na
taxa de sucesso dos seus alunos a medida de sua prpria capacidade profissional, alm
de se sentir pessoalmente responsvel caso os resultados no forem os melhores.
No contexto norte-americano, as consequncias caso a escola no alcance as

metas propostas tambm podem ser extremas. Com uma legislao federal que exige
que cada escola demonstre um progresso anual adequado em direo s metas
estipuladas para o ano 2014 para todos os grupos tnicos e uma legislao estadual
que pode determinar a remoo de alunos e at o fechamento de escolas caso o
progresso no se materializar, os professores tm motivos de sobra para se preocupar
com os resultados dos alunos.
Nesse contexto e sob essa presso, possvel que acontea tudo aquilo que os
crticos da accountability high stakes arrolam como os efeitos colaterais negativos. A
literatura fala do estreitamento do currculo, do ensino voltado para o ensaio de
183
contedos previstos para os testes, da perda da autonomia e do esprito de
colaborao entre docentes e de condutas, incluindo as tentativas de falsear os dados
das avaliaes, que mostram uma deturpao do comportamento tico esperado dos
educadores. Mas, pelas presses a que esto sujeitos e por agirem na condio de
pessoas que podem fazer a diferena para a vida dos alunos, difcil culpar os
professores pelas atitudes tomadas.
No contexto brasileiro, as polticas de responsabilizao que recaem nos ombros

dos professores no dizem respeito ao futuro de seus alunos e no envolvem os pais.
Tambm no h riscos para as escolas que envolvem o fechamento de
estabelecimentos e a perda de emprego dos membros da equipe. Nas palavras de
Afonso, so formas parcelares de accountability e, portanto, incompletas (AFONSO,
2009). No deixa de ser verdade que, quanto melhores os resultados dos alunos,
melhores suas chances na vida, mas essa equao no tem a mesma urgncia em um
sistema que diploma todos os alunos que sobrevivem at o final do ciclo e que jamais
discriminaria as escolas com os piores resultados. No caso brasileiro, as avaliaes dos
alunos que so usadas para determinar se as escolas cumpriram suas metas ou
alcanaram um patamar de desempenho considerado satisfatrio representam muito
pouco para os alunos. Pelo contrrio, h evidncias de que os alunos fazem to pouco
caso dos testes que, quando se criam consequncias, como os laptops e as bicicletas
para os alunos de Ensino Mdio do Cear e do Rio de Janeiro, respectivamente, a
mudana no empenho dos alunos to radical que altera por completo a base de
comparao. Nessa situao, o professor no assimila o drama dos alunos nem
consegue transferir para eles a sua preocupao em relao aos resultados dos testes.
O que est em jogo nesses casos no so as consequncias para os sujeitos principais
da Educao, os alunos, mas o nvel de recompensa dos professores. Em vez de ser a
prpria definio do objeto de seu trabalho, pelas consequncias para os alunos, a
motivao para a melhoria nos resultados se torna uma decorrncia do nvel de
preocupao do professor em melhorar seu salrio.
Talvez por esse motivo, ainda no existam evidncias claras para os efeitos
negativos das polticas de responsabilizao no Brasil. Tambm no h evidncias, a
184
no serem anedotas, que os incentivos efetivamente motivam os professores a
produzirem resultados melhores.
Com base em trs argumentos, chega-se concluso de que no contexto brasileiro

as polticas de responsabilizao formuladas em termos de incentivos salariais podem
ser incuas no que se refere ao seu objetivo primordial de melhorar a qualidade do
ensino. O primeiro argumento deriva da pesquisa que mostra que os esquemas de
incentivos coletivos podem impactar a assiduidade dos professores, mas dificilmente
alteram sua forma de ensinar. Essa concluso no de difcil compreenso dado o fato
de que o pagamento coletivo sai ou para todos os membros da equipe ou para
ningum da equipe. Isso dificulta o trabalho do professor que quer receber o bnus,
mas que no tem com quem aprender para mudar seu ensino. E, mesmo motivado, o
professor s receber o bnus se a escola inteira se interessar pelo mesmo objetivo.
Pesquisa chilena tende a mostrar que as escolas que no recebem o bnus dificilmente
passam a receber em anos posteriores. Ou seja, o bnus s premia quem j tem
resultados melhores.
O segundo argumento a falta de evidencia sobre a relao entre a assiduidade

do professor e o desempenho dos alunos. Se for verdade que os sistemas de incentivos
podem influenciar positivamente a assiduidade dos professores, no sentido de coibir
as faltas excessivas, que caracterizam os sistemas pblicos, seria natural pressupor um
impacto positivo sobre a aprendizagem dos alunos. No entanto, essa relao
relativizada por diversos elementos, incluindo o desempenho dos professores
substitutos, o desempenho do professor titular quando presente e a falta de critrio
no controle das faltas. Ainda no sabemos se a melhoria na assiduidade conduz de fato
a uma melhoria nos resultados dos alunos.
O terceiro argumento tem relao com o currculo. Para o accountability

funcionar, precisa-se de quatro elementos, segundo Corvaln: informao (sobre o
desempenho dos alunos), autoridade (para definir os critrios), consequncias (em
termos de prmios e castigos) e padres (em termos do significado pedaggico das
metas) (CORVALN; MCMEEKIN, 2006). No caso brasileiro, os padres esto faltando.
O professor no saberia qual a diferena entre 220 e 240 na escala de proficincia
185
usada pelo Boletim Pedaggico em termos dos contedos que ele precisa ensinar para
chegar ao nvel de proficincia requerido. Essa falta de correspondncia entre os
critrios empregados pelos sistemas de incentivos e a compreenso do seu significado
em termos da aprendizagem dos alunos est na base da falta de progresso da maioria
dos estados no uso dos resultados das avaliaes como material de apoio pedaggico.
Se os sistemas de incentivos tiverem algum impacto, ele ser a consequncia da

nfase colocada nas metas e nos resultados do ensino. Essa contribuio, que diz
respeito a um novo iderio em relao aos objetivos finais do sistema educacional e do
trabalho do professor, a expresso de um estilo de gesto que produz as polticas de
incentivo salarial, mas que no precisa delas para existir. Em outras palavras, a
importncia atribuda aos resultados uma mensagem implcita nas polticas de
responsabilizao que pode ter sua prpria influncia na maneira de a escola enxergar
seu papel.
A outra contribuio diz respeito aos avanos na implantao dos novos currculos
bsicos nos estados. Conforme discutido, as polticas de accountability tm sido usadas
em outros lugares como uma estratgia para a implementao de reformas. Existe at
a expresso evaluation-driven reforms para descrever o processo conhecido como
backwash, em que as questes abordadas pelas avaliaes sinalizam no s os
contedos cobrados mas tambm o tipo de ensino que deveria ser privilegiado. No
caso dos estados que j optaram pela criao de currculos prprios e j estabeleceram
uma nova correspondncia com as matrizes de referncia dos sistemas de avaliao,
no h dvida de que esses sistemas funcionaro como porta-vozes do currculo bsico
e que aceleraro a sua adoo. Se acharmos que a iniciativa dos estados de criar seus
prprios currculos um passo na direo certa, a consequncia dos testes high-stakes
deve ser levada em considerao. As dvidas ficam por conta dos possveis impactos
colaterais negativos na autonomia e na criatividade dos professores de um currculo
oficial fincado em contedos bsicos. Porm, no contexto brasileiro, a nossa aposta
que os professores que se beneficiaro de um currculo estadual que no s estrutura
os contedos mas tambm fornece sugestes didticas, representem a maioria.
186
Independentemente dos seus possveis efeitos, a pesquisa demonstrou o avano
tcnico da segunda gerao de polticas de responsabilizao. Mesmo assim, pode-se
observar a continuidade de determinados problemas, incluindo o uso de mdias de
desempenho de um nico perodo escolar, a falta de medidas de equidade com base
na distribuio dos alunos por faixa de desempenho e a falta de informao sobre o
fator principal na explicao do desempenho dos alunos, ou seja, seus antecedentes
socioeconmicos. Ainda no foi criado um sistema de responsabilizao que usa uma
mdia mvel com base nas vrias medies anuais para diminuir as flutuaes
inerentes s avaliaes. Tambm no foi testado o uso de modelos longitudinais para
aferir o valor agregado das escolas por meio da montagem de bancos de dados e do
acompanhamento dos mesmos alunos ao longo dos anos. Na falta desses avanos,
observa-se que os estados esto tomando decises que inevitavelmente incluem e
excluem escolas das diferentes categorias de premiao com base em erros de
medio.
A questo que a pesquisa no conseguiu resolver adequadamente diz respeito ao

significado do movimento em direo formalizao do currculo bsico estadual.
Como a implantao de um currculo no representa uma poltica de gesto baseada
nos resultados da avaliao externa, a sua investigao escapou dos limites da
pesquisa. No entanto, a relao entre os sistemas de avaliao e os currculos bsicos
em processo de implantao em diversos estados merece a ateno dos
pesquisadores. A reforma dos fundamentos das matrizes de referncia representa uma
mudana importante na qualidade dos instrumentos da avaliao educacional e a
esperana de um crculo virtuoso em que a avaliao externa passe a cumprir uma
funo diagnstica de utilidade para o professor.
O movimento dos currculos bsicos estaduais pode ser entendido como uma das
consequncias da dificuldade em usar as informaes tradicionais fornecidas pelos
Boletins e por outras estratgias de apoio pedaggico. Essa dificuldade atribuda s
deficincias na formao dos professores, mas tambm falta de compreenso do
significado pedaggico das proficincias e outras informaes providas pelas
avaliaes. Em um primeiro momento, essa dificuldade encarada mediante um
187
esforo em explicar os resultados por meio de um detalhamento cada vez maior dos
componentes tcnicos das avaliaes. Nesse momento, so introduzidas as
explicaes sobre a escala de proficincia, a matriz de referncia e a relao entre
determinados itens das provas e as habilidades que pretendem avaliar.
Em um segundo momento, os responsveis percebem que o que faz falta uma

explicitao dos contedos curriculares que esto sendo cobrados, descritos nos
termos em que os professores esto acostumados a trabalhar. Com base nessa
construo, mais ou menos estruturada em termos de contedos especficos, torna-se
possvel criar um alinhamento compreensvel entre os objetivos do ensino, o currculo
da escola e as matrizes do sistema de avaliao. Mesmo no sendo uma soluo
instantnea pelas dificuldades dos professores na assimilao dos novos currculos, h
certo consenso sobre as vantagens em criar uma sintonia nova entre os contedos, as
expectativas de aprendizagem e a avaliao. Essa vantagem passa pela capacidade de
dizer o que os itens das provas esto medindo e o que os alunos de determinada
proficincia sabem ou no sabem ainda. Com isso, explica-se, finalmente, o significado
da escala de proficincia e abre-se a possibilidade de padres ou expectativas de
aprendizagem com base em referenciais curriculares, e no em faixas arbitrrias de
desempenho.
188
8. Referencias Bibliogrficas
ABRUCIO, F. L. Os avanos e os dilemas do modelo ps-burocrtico: a reforma da
administrao pblica luz da experincia internacional recente. In: BRESSER PEREIRA, L. C. e
SPINK, P., (ORGS.) (Ed.). Reforma do Estado e Administrao Pblica Gerencial. Rio de
Janeiro:: FGV, v.7 ed., 2006.
ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizo. In: FUNDAP, C. E. (Ed.). Avanos e
perspectivas da gesto pblicas nos Estados. Braslia: CONSAD, 2006.
ADRIO, T.; GARCIA, T. OFERTA EDUCATIVA E RESPONSABILIZAO NO PDE: O PLANO DE

AES ARTICULADAS. Cadernos de Pesquisa, v. v. 38, n. n. 135, p. p. 779-796, set./dez. 2008
2008. Disponvel em: < http://www.scielo.br/pdf/cp/v38n135/v38n135a12.pdf >. Acesso em:
03/11/10.
AFONSO, A. J. Polticas avaliativas e accountability em Educao - subsdios para um debate

iberoamericano. Ssifo. Revista de Cincias da Educao, v. 09, p. pp 57-70, 2009. Disponvel
em: < http://sisifo.fpce.ul.pt/?r=23&p=57 >. Acesso em: 08/10/10.
AHN, T.; VIGDOR, J. The Impact of Incentives on Effort: Teacher Bonuses in North Carolina.
Harvard2010. 2010. (PEPG 10-06)
ALVES, F. Qualidade da Educao fundamental: integrando desempenho e fluxo escolar.

Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro., v. vol.15, n. n.57, p. pp.
525-541, 2007. Disponvel em: <
http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0104-
40362007000400005&lng=en&nrm=iso&tlng=pt >.
AMAZONAS. RELATRIO DE AO GOVERNAMENTAL. SNTESE 2003-2009. SEPLAN, S. D. E. D.

P. E. D. E.-. Manaus: GOVERNO DO ESTADO DO AMAZONAS 2009.
AMREIN, A.; BERLINER, D. The impact of high-stakes tests on student academic performance:
An analysis of NAEP results in states with high-stakes tests and ACT, SAT, and AP test results
in states with high school graduation exams. Education Policy Research Unit (EPRU),
Education Policy Studies Laboratory, College of Education, Division of Educational Leadership
and Policy Studies, Arizona State University, 2002. Disponvel em: <
http://epaa.asu.edu/ojs/article/viewFile/297/423 >.
ANDERSON, J. A. Accountability in education. Paris: IIEP/IAE, 2005. Disponvel em: <

http://www.iaoed.org/files/Edpol1.pdf >.
ANDRADE, E. D. C. School Accountability no Brasil: experincias e dificuldades. Revista de

Economia Poltica, v. 28, n. n 3(111), p. pp. 443-453, julho-setembro 2008. Disponvel em: <
http://www.scielo.br/pdf/rep/v28n3/a05v28n3.pdf >. Acesso em: 05/10/10.
APEOESP. Fax Urgente 2011. Disponvel em: <

http://apeoespsub.org.br/teste/Fax/Fax_2911.pdf >. Acesso em: 06/06/2011.
ATKINSON, A. B., SIMON; CROXSON, BRONWYN; GREGG, PAUL; PROPPER, CAROL; SLATER,
HELEN; WILSON,DEBORAH. Evaluating the impact of performance-related pay for teachers in
England Labour Economics Elsevier B.V. 16: 251-261 p. 2009.
189
AU, W. High-Stakes Testing and Curricular Control: A Qualitative Metasynthesis. Educational
Researcher, v. Vol. 36, n. No. 5, p. pp. 258-267, 2007. Disponvel em: <
http://edr.sagepub.com/content/36/5.toc >.
AYRES, S. Boletim da Escola: Diagnstico Multidimensional das Escolas do Paran. Ensaio, v.

11, n. 38 p. 33-44, 2003.
BAKER, E. L. et al. Problems with the Use of Student Test Scores to Evaluate Teachers. The
Economic Policy Institute Washington D.C. 2010. (Briefing Paper # 2 7 8)
BALL, S. J. The Legacy of ERA, Privatization and the Policy Ratchet. Educational Management
Administration and Leadership., v. Vol. 36 n. 2, p. 185-199, 2008.
BAUER, A. Usos dos resultados das avaliaes de sistemas educacionais: iniciativas em curso
em alguns pases da Amrica. Revista Brasileira de Estudos Pedaggicos. , v. v. 91, n. n. 228, p.
p. 315-344, maio/ago. 2010 2010. Disponvel em: <
http://www.rbep.inep.gov.br/index.php/RBEP/article/viewFile/1690/1341 >.
BAUER, A. Avaliao do impacto de formao docente em servio: o programa Letra e Vida.

2011. 230 (Doutorado). Faculdade de Educao, USP, So Paulo.
BRAUN, H. Reconsidering the impact of high-stakes testing. Education Policy Analysis

Archives, v. 12, n. 1, p. 1-43, 2004.
BROOKE, N. As perspectivas para as polticas de responsabilizao educacional no Brasil. .

Cadernos de Pesquisa, v. 36, n. 128, p. pp. 377-401, 2006. ISSN ISSN 0100-1574. Disponvel
em: < http://www.scielo.br/scielo.php?script=sci_issuetoc&pid=0100-
157420060002&lng=en&nrm=iso >.
BROOKE, N. Responsabilizao Educacional no Brasil.

http://www.rinace.net/riee/numeros/vol1-num1/art7.pdf. Acesso em (Data). Revista
Iberoamericana de Evaluacin Educativa. 1: pp. 93-109 p. 2008.
CAREY, K. The Pangloss Index: How States Game the No Child Left Behind Act. Washington,
D.C: Education Sector 2007.
CARNOY, M. et al. Las Limitaciones de Incentivos Salariales para Profesores Basados en

Comparaciones Inter-Cohortes: El Caso del Programa SNED. Expansiva. 2004
CARNOY, M.; LOEB, S. Does external accountability affect student outcomes? A cross-state
analysis. Educational Evaluation and Policy Analysis, v. 24, n. 4, p. 305, 2002. ISSN 0162-3737.
Disponvel em: < http://epa.sagepub.com/content/24/4/305.full.pdf+html >. Acesso em:
07/01/2011.
CARVALHO, G. F. D. S.; MACEDO, M. D. S. A. N. Avaliao oficial: o que dizem os mediadores da

poltica pblica sobre o impacto na prtica docente. Estudos em Avaliao Educacional, v.
vol.21, n. nmero 46, p. 253-270, maio/agosto 2010. ISSN 1984-932x. Disponvel em: <
http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1577/1577.pdf >.
CAVALIERE, A. M. Entre o Pioneirismo e o Impasse: A reforma paulista de 1920. So Paulo:

Educao e Pesquisa, v. Vol 29, n. No 1, p. p.27-44, 2003.
190
CDEP. Comit em Defesa da Escola Pblica. http://www.adusp.org.br/PEE/PEE.rtf So Paulo
2006.
CEAR. ANLISE DO USO DOS RESULTADOS DAS AVALIAES A PARTIR DOS PLANOS
ESCOLARES E DOS PROGRAMAS MUNICIPAIS E SUAS ESTRATGIAS DE EFETIVAO. s.d.
CLAD. La responsabilizacion en la nueva gestion publica latinoamericana. Buenos Aires:

Eudeba, 2000.
CONSED. Estudo sobre Avaliao da Educao e Valorizao do Magistrio. Consed. Brasilia.

2005
CORRA, D. Avaliao de polticas pblicas para a reduo da violncia escolar em Minas

Gerais: o caso do Projeto Escola Viva, Comunidade Ativa. 2007. (Mestrado). Faculdade de
Educao, Universidade Federal de Minas Gerais, Belo Horizonte.
CORVALN, J.; MCMEEKIN, R. W. O. Accountability educacional: Rendicin de cuentas ms

responsabilizacin por los procesos y resultados de la educacin. In: MCMEEKIN, J. C. R. W.
(Ed.). Accountability educacional: posibilidades y desafos para Amrica Latina a partir de la
experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006.
DANTAS, L. M. V. As Contribuies das Polticas de Avaliao Educacional em Larga Escala: o

caso da avaliao de aprendizagem na Bahia. 2009. (Doutorado). Faculdade de Educao,
Universidade Federal da Bahia, Salvador, Bahia.
DISSIDNCIA. Gilberto Dimenstein e a bonificao dos professores. Dissidncia,

http://www.andrekenji.com.br/weblog/?p=264 10/11/2006. 2006. Disponvel em: <
http://www.andrekenji.com.br/weblog/?p=264 >. Acesso em: April 10th, 2006.
DOS SANTOS, G.; DE AVILA, S.; SILVA, W. A qualidade da Educao na Amrica Latina. Revista
da FACED. ISSN, v. 1980, p. 6620, 2010. Disponvel em: <
http://74.125.155.132/scholar?q=cache:EvOWzXA6U4AJ:scholar.google.com/+PEC+Mexico&hl
=pt-BR&as_sdt=2000 >.
EBERTS, R.; HOLLENBECK, K.; STONE, J. TEACHER PERFORMANCE INCENTIVES AND STUDENT
OUTCOMES. W.E. Upjohn InstituteAugust, 2000 2000
ECOSTRAT, C. I.-. AVALIAO DE IMPACTO DO PROJETO ESCOLA DO NOVO MILNIO - PENM

2008
ESPIRITO SANTO. Plano Estratgico Nova Escola. Vitria, ES: Secretaria da Educao 2008.
FERRAZ, C. Sistemas Educacionais Baseados em Desempenho, Metas de Qualidade e a

Remunerao de Professores: os Casos de Pernambuco e So Paulo. In: VELOSO, F. P.,
SAMUEL; HENRIQUES, RICARDO; GIAMBIAGI, FBIO (Ed.). Educao Bsica no Brasil:
Construindo o Pas do Futuro. Rio de Janeiro: Elsevier, 2009.
FERRER, G. Sistemas de Evaluacin de Aprendizajes en Amrica Latina: Balance y Desafos.

Maro 2006, p.174. 2006
FIGLIO, D. N.; KENNY, L. W. Individual teacher incentives and student performance. National
Bureau of Economic Research. Cambridge, Mass., p.26 p. 2006
191
FIGUEIREDO, J. PROJETO MINEIRO DE DESENVOLVIMENTO PROFISSIONAL DE EDUCADORES
PDP: um estudo da formao continuada de professores. 2007. (Mestrado). Educao, PUC-
Campinas, Campinas.
FONTANIVE, N. S.; KLEIN, R. Uma viso sobre o Sistema de Avaliao da Educao Bsica do
Brasil - SAEB. Ensaio, v. 29, n. Vol.8, p. pp.409-439, Outubro-Dezembro 2000.
FONTANIVE, N. S.; KLEIN, R. O EFEITO DA CAPACITAO DOCENTE NO DESEMPENHO DOS

ALUNOS: UMA CONTRIBUIO PARA A FORMULAO DE NOVAS POLTICAS PBLICAS DE
MELHORIA DA QUALIDADE DA EDUCAO BSICA. Revista Iberoamericana de Evaluacin
Educativa, v. 3, n. 3, 2010. Disponvel em: < http://www.rinace.net/riee/numeros/vol3-
num3/art4.pdf >.
FORMOSO JR, A. BUROCRATAS DE LINHA DE FRENTE E PRESSO POR RESULTADOS NA

EDUCAO: Experincias Brasileiras em Governos Estaduais. 2009. 118 Dissertao
(Mestrado) (Mestre em Administrao Pblica e Governo). ESCOLA DE ADMINISTRAO DE
EMPRESAS DE SO PAULO, FUNDAO GETLIO VARGAS, SO PAULO.
FRANCO, C. et al. Qualidade e eqidade em Educao: reconsiderando o significado de

"fatores intra-escolares"*. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro,
v. vol.15, n. no.55, Apr./June 2007. Disponvel em: <
http://www.scielo.br/pdf/ensaio/v15n55/a07v1555.pdf >.
FRIEDMAN, M. O Papel do Governo na Educao. In: SOLO, R. A. (Ed.). Economics and the
Public Interest. New Jersey: Rutgers University Press, 1955. p.1- 144.
FUHRMAN, S. H. Redesigning Accountability Systems for Education. CPRE Policy Briefs.

Graduate School of Education, University of Pennsylvania: Consortium for Policy Research in
Education 2003.
GAJARDO, M. Reformas Educativas na Amrica Latina. Balano de Uma Dcada. Documentos

PREAL, v. No. 15,, 2000. Disponvel em: < www.preal.cl >.
GARCIA-HUIDOBRO, J. E. Programa de las 900 Escuelas y Escuelas Crticas (Chile). Dos

experiencias de discriminacin positiva. . Apresentao em Conferencia do Banco Mundial,
Cartagena, Colmbia, outubro 9-11, 2006. , 2006. Cartagena, Colmbia. p.30.
GATTI, B. A., , AO/, PP. 17-41 AVALIAO EDUCACIONAL NO BRASIL: PONTUANDO UMA
HISTRIA DE AES EccoS revista cientfica, UNINOVE, So Paulo, Brasil, v. vol. 4, n. nmero
001, p. pp.17-41, junho 2002 Disponvel em: <
http://www4.uninove.br/ojs/index.php/eccos/article/viewFile/291/280 >.
GLAZERMAN, S. et al. Evaluating Teachers: The Important Role of Value-Added Brown Center
on Education Policy. 2010
GOODMAN, S.; TURNER, L. Teacher Incentive Pay and Educational Outcomes: Evidence from
the NYC Bonus Program. HarvardJune, 2010. 2010. (PEPG 10-07)
GTEE/PREAL. LOS RANKINGS DE ESCUELAS COMO FORMA DE ENTREGAR INFORMACIN

SOBRE CALIDAD EDUCATIVA. Boletn N17: 1-11 p. 2010a.
______. Qu est pasando en Chile con el SIMCE? Boletim Monografico No. 16 2010b.
192
HAERTEL, E.; HERMAN, J. L. A Historical Perspective on Validity Arguments for Accountability
Testing. In: HERMAN, E. H. J. L. (Ed.). Uses and Misuses of Data for Educational Accountability
and Improvement: 104th Yearbook of the National Society for the Study of Education.
Malden, MA: Blackwell Publishing, v.Part II, 2005. p.1-34.
HANEY, W. M. Evidence on Education under NCLB (and How Florida Boosted NAEP Scores and
Reduced the Race Gap). Broad Seminar for K-12 Reporters, 2006. Grace Dodge Hall, Teachers
College, Columbia University, New York City, Sept. 8-10, 2006. National Board on Educational
Testing and Public Policy.
HANUSHEK, E. A.; RAYMOND, M. E. Lessons about the Design of State Accountability Systems.
In: PETERSON, P. E. e WEST, M. R. (Ed.). No Child Left Behind? The Politics and Practice of
School Accountability. Washington, D.C.: The Brookings Institution, 2003.
HASTINGS, J. S. W., JEFFREY. No Child Left Behind : estimating the impact on choices and
student outcomes. NBER Working Paper No. 13009, Cambridge, Mass., p. 39 p., 2007.
Disponvel em: < http://www.nber.org/papers/w13009 >. Acesso em: 06/09/2010.
HERMAN, J. L.; HAERTEL, E. Uses and misuses of data for educational accountability and
improvement. Malden, Mass., p. xvi, 383 p., 2005.
HOUT, M.; ELLIOTT, S. W., Eds. Incentives and Test-Based Accountability in Education.
National Research Council. Committee on Incentives and Test-Based Accountability in Public
Education. Washington, D.C.: The National Academies Press, National Research Council.
Committee on Incentives and Test-Based Accountability in Public Educationed. 2011.
JACOB, B. A. ACCOUNTABILITY, INCENTIVES AND BEHAVIOR: THE IMPACT OF HIGH-STAKES

TESTING IN THE CHICAGO PUBLIC SCHOOLS. NATIONAL BUREAU OF ECONOMIC RESEARCH.
Cambridge, MA: June 2002. 2002
JOHNSON, D. D.; JOHNSON, B. High stakes : children, testing, and failure in American schools.
Lanham, Md.: Rowman & Littlefield Publishers, 2002. xxi, 223 p. ISBN 0742517888 (cloth alk.
paper) 0742517896 (pbk. alk. paper).
KIRKPATRICK, D. L. Evaluating training programs: the four levels. So Francisco (EUA): Barrett-
Koehler, 1994.
KLEIN, R. Como est a Educao no Brasil? O que fazer? Ensaio: aval.pol.pbl.Educ. Rio de
Janeiro., v. vol.14, n. n.51, p. pp. 139-171, 2006. Disponvel em: <
http://www.scielo.br/pdf/ensaio/v14n51/a02v1451.pdf >.
KLINGER, D. A., DELUCA, CHRISTOPHER & MILLER, TESS. THE EVOLVING CULTURE OF LARGE-
SCALE ASSESSMENTS IN CANADIAN EDUCATION Canadian Journal of Educational
Administration and Policy, n. Issue #76, July 3 2008. Disponvel em: <
http://www.umanitoba.ca/publications/cjeap/articles/klinger.html >.
KOEDEL, C.; BETTS, J. R. Re-Examining the Role of Teacher Quality in the Educational
Production Function. National Center on Performance Initiatives Nashville, TN. 2007
KRAWCZYK, N. A Construo Social das Polticas Educacionais no Brasil e na Amrica Latina. In:
(Ed.). O cenrio educacional latino americano no limiar do sculo XXI. Campinas: Editora
Autores Associados, 2000.
193
LAVY, V. Performance Pay and Teachers Effort, Productivity, and Grading Ethics. American
Economic Review v. 99, n. 5, p. 1979-2011, 2009. Disponvel em: <
http://www.economics.harvard.edu/faculty/staiger/files/Lavy%2Baer%2Bdec%2B2009.pdf >.
Acesso em: 15/11/10.
LIMA, L. C.; AFONSO, A. J. Reformas da Educao Pblica: Democratizao, Modernizao,

Neoliberalismo. . Porto: Afrontamento, 2002.
LINN, R. L.; BAKER, E. L.; BETEBENNER, D. W. Accountability Systems: Implications of

Requirements of the No Child Left Behind Act of 2001. Educational Researcher 31: pp. 3-16 p.
2002.
LOPES, V. V. Cartografia da avaliao educacional no brasil. 2007. 396 Doutorado

(Doutorado). Educao, Universidade de So Paulo, So Paulo.
MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School Effectiveness: A Reassessment of the

Evidence. New York: McGraw-Hill Book Company, 1980.
MADAUS, G. F.; STUFFLEBEAM, D.; SCRIVEN, M. S. Evaluation Models: Viewpoints on

educational and human services evaluation. In: MADAUS, G. F.;STUFFLEBEAM, D., et al (Ed.).
Program Evaluation: An historical overview. Norwell, MA: Kluwer Academic Publishers, 1983.
MALEN, B.; RICE, J. K. A Framework for Assessing the Impact of Education Reforms on School
Capacity: Insights From Studies of High-Stakes Accountability Initiatives. EDUCATIONAL
POLICY, v. 18, n. 5, p. 631-660, November 2004 2004. Disponvel em: <
http://epx.sagepub.com/content/18/5/631.abstract >. Acesso em: 06/10/10.
MANNA, P. The No Child Left Behind Act and educational accountability in the United States.
Prepared for the conference on Understanding and Evaluating New Accountability Regimes:
Canada in Comparative Perspective, University of Toronto, Canada, February 5-6, 2010. 2010.
MCMEEKIN, R. W. Hacia una comprensin de la accountability educativa y cmo puede

aplicarse en los pases de Amrica Latina. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability
educacional: posibilidades y desafos para Amrica Latina a partir de la experiencia
internacional. Santiago, Chile: PREAL - CIDE, 2006.
MEC/INEP. Vencendo o Desafio da Aprendizagem nas Sries Iniciais: A Experincia de

Sobral/Ce. Brasilia: MEC/INEP, 2005. Disponvel em: <
www.sic.inep.gov.br/index.php?option=com_docman&task... >.
MIZALA, A.; ROMAGUERA, P. RENDIMIENTO ESCOLAR Y PREMIOS POR DESEMPEO. LA

EXPERIENCIA LATINOAMERICANA. Centro de Economa Aplicada, Universidad de ChileAbril,
2003. 2003
MIZALA, A.; ROMAGUERA, P. Teachers Salary Structure and Incentives in Chile. In: VEGAS, E. E.
(Ed.). Incentives to Improve Teaching: Lessons from Latin America. Washington, D.C: The
World Bank, 2005.
MORTIMORE, P. et al. School Matters. Berkeley, CA: : University of California Press, 1988.
MOVIMENTO. Movimento contra Testes de Alto Impacto em Educao. 2010. Disponvel em:
< http://sites.google.com/site/movimentocontratestes/home >. Acesso em: 04/06/2011.
194
MUNIZ, R. M.; SILVEIRA, M. C. D.; BECHELAINE, C. O Caminho em Direo Gestao por
Resultados em Minas Gerais: uma anlise do Plaos Mineiros de Desenvolvimento Integrado. In:
GUIMARES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora
UFMG, 2010.
MURALIDHARAN, K.; SUNDARARAMAN, V. Teacher performance pay : experimental evidence

from India. National Bureau of Economic Research. Cambridge, Mass., p.37, [11] p. 2009
NICHOLS, S. L.; GLASS, G. V.; BERLINER, D. C. High-Stakes Testing and Student Achievement:
Problems for the No Child Left Behind Act. Education Policy Research Unit (EPRU)/ Education
Policy Studies Laboratory/ Arizona State University06/09/2010. 2005. (EPSL-0509-105-EPRU)
NYSED, N. Y. S. E. D. The Impact of High-Stakes Exams on Students and Teachers. Albany, NY.
2004
OLIVEIRA, L. K. M. D. ANLISE DA IMPLEMENTAO DE PROGRAMAS ESTADUAIS: avaliao

em larga escala e o efeito na Proficincia em Matemtica dos alunos da 4 srie do Ensino
Fundamental 2007.
OLIVEIRA, N. V.; GUEDES, P. M. A aspirao das famlias por melhores escolas pblicas. In:
FUNDAO VICTOR CIVITA (Ed.). Estudos & Pesquisas Educacionais N 1. SP: Fundao Victor
Civita, 2010.
OLIVEIRA, R. P. D.; GADELHA, C. G. Evoluo da Educao e da Sade. In: ESTRATGICOS, C. D.

G. E. E. (Ed.). Projeto Brasil 2003-2010: Trajetrias e desafios. Braslia: Centro de Gesto e
Estudos Estratgicos, 2010.
PEREIRA, M. C. AS AVALIAES EXTERNAS MINEIRAS: CONTEXTO DE POLTICAS DE

RESPONSABILIZAO. XXIV Simpsio Brasileiro de Poltica e Administrao da Educao
Universidade Federal do Esprito Santo (UFES), Vitria, Espirito Santo.: Associao Nacional de
Poltica e Administrao da Educao (ANPAE) 2009.
PETERS, G. B. Os dois futuros do ato de governar: processos de descentralizao e

recentralizao no ato de governar. Revista do Servio Pblico, v. vol. 59, n. n 3, p. p. 298-
307, jul./ set. 2008.
PORTO, C. A.; SILVEIRA, J. P. O Planejamento e a Gesto Estratgica e sua Funao em Minas

Gerais. In: GUIMARES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo
Horizonte: Editora UFMG, 2010.
PRINCE, C. D. K., JULIA; AZAR, TAMARA MORSE; BHATT, MONICA; WITHAM, PETER J. Building
Teacher and Community Support for New Compensation Systems. Center for Educator
Compensation Reform. Washington, D.C. 2008
RAND. Designing Effective Pay-for-Performance in K12 Education. Policy Brief. Santa Monica,
CA: Rand education 2009.
RANSON, S. The Changing Governance of Education. Educational Management Administration

& Leadership, v. 36, n. 2, p. 201-219, 2008.
RAPPLE, B. Payment by results: An example of assessment in elementary education from

nineteenth century Britain. Education Policy Analysis Archives, v. 2, n. 1, p. 1-23, 1994.
195
RAVELA, P. A., PATRICIA; VALVERDE, GILBERT; WOLFE, RICHARD; FERRER GUILLERMO;
MARTNEZ RIZO, FELIPE; AYLWIN, MARIANA; WOLFF, LAURENCE,. Las evaluaciones educativas
que Amrica Latina necesita. Preal. Santiago: 2008. 2008
REZENDE, V. O PAPEL DO GESTOR ESCOLAR NA IMPLANTAO DO PROGRAMA DE

QUALIDADE NA ESCOLA DE ENSINO MDIO. I Congresso Ibero-Brasileiro e VI Congresso Luso-
Brasileiro na Espanha e em Portugal. Cceres e Mrida na Espanha 2010.
RODRIGUES, J. R. S. Responsabilizao e Resultados Escolares no Rio de Janeiro. 2007.

(Mestrado). Departamento de Educao, PUC-Rio, PUC-Rio, Rio de Janeiro.
RUTTER, M. et al. Fifteen Thousand Hours: Secondary Schools and their Effects on Children.
London: Open Books, 1979.
SANTIAGO CONSULTORES Y ASESORAS PARA EL DESARROLLO. Evaluacin del Programa de las

900 Escuelas. MINISTERIO DE EDUCACIN. Santiago, Chile 2000.
SO PAULO (ESTADO) SECRETARIA DA EDUCAO. Currculo do Estado de So Paulo:

Matemtica e suas tecnologias. So Paulo, 2010. Disponvel em: <
http://www.rededosaber.sp.gov.br/portais/Portals/43/Files/MEST.pdf >.
SASS, T. R. The Stability of Value Added Measures of Teacher Quality and Implications for
Teacher Compensation Policy. National Center for Analysis of Longitudinal Data in Education
Research, Washington, D.C., 2008. Disponvel em: <
http://www.urban.org/uploadedpdf/1001266_stabilityofvalue.pdf >. Acesso em: 09/06/2011.
SEDU/ES. Relatrio Tcnico Modelo da Bonificao: Secretaria de Estado da Educao do

Estado de Espirito Santo -: 66 p. 2010.
SEE/DF. SIADE 2009: Sumrio Executivo Avaliao de Rendimento. Brasilia: Governo do

Distrito Federal 2010.
SEGATTO, C. I. COMO IDEIAS SE TRANSFORMAM EM REFORMAS: Um estudo comparativo

das mudanas educacionais orientadas pelo desempenho nos estados brasileiros. 2011.
Mestrado (Mestre em Administrao Pblica e Governo). Escola de Administrao de
Empresas de So Paulo Fundao Getlio Vargas
SHEPARD, L. A Checklist for Evaluating Large-Scale Assessment Programs. The Evaluation

Center, Western Michigan University. Kalamazoo. 1977
SHULHA, L. M.; COUSIN, J. B. Evaluation use: theory, research and practice since 1986.
American journal of Evaluation., v. vol 18, p. p.195-208, 1997.
SOARES, J. F. ndice de desenvolvimento da Educao de So Paulo (IDESP): bases

metodolgicas. . Revista So Paulo em Perspectiva, So Paulo, Fundao SEADE, v. V.23, n.
n.1, p. 29-41, Janeiro-Junho 2009 2009.
SOARES, S. AVALIAO EDUCACIONAL COMO INSTRUMENTO PEDAGGICO. TRABALHO E

SOCIEDADE, IETS, Rio de janeiro, v. Ano 2, n. N 4, p. p.23-25, Agosto 2002 2002.
SOARES, T. Influncia do professor e do ambiente em sala de aula sobre a proficincia

alcanada pelos alunos avaliados no SIMAVE-2002. Estudos em Avaliao Educacional, v. 28,
p. 103-123, 2003.
196
______. Modelo de trs nveis hierrquicos para a proficincia dos alunos de 4 srie avaliados
no teste de Lngua Portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educao, v.
no.29 n. May/Aug. , p. 73-87, 2005 2005.
SOARES, T.; TEIXEIRA, L. Efeito do perfil do diretor na gesto escolar sobre a proficincia do
aluno. Estudos em Avaliao Educacional. So Paulo: Fundao Carlos Chagas, v. 17, p. 34,
2006.
SOUSA, S. M. Z. L. POSSVEIS IMPACTOS DAS POLTICAS DE AVALIAO NO CURRCULO

ESCOLAR. Cadernos de Pesquisa, v. 119, p. p.175-190, 2003. Disponvel em: <
http://www.scielo.br/pdf/cp/n119/n119a09.pdf >. Acesso em: 05/12/10.
SOUSA, S. M. Z. L.; OLIVEIRA, R. P. D. Sistemas de Avaliao Educacional no Brasil:

caractersticas, tendncias e uso dos resultados. Universidade de So Paulo, Faculdade de
Educao, Centro de Estudos e Pesquisas em Polticas Pblicas de Educao - CEPPPE2007.
2007
SPRINGER, M. O., Ed. Performance Incentives: Their Growing Impact on American K-12
Education. Wadhington, D.C.: Brooking Institution Press, p.336ed. 2009.
SUNDERMAN, G. L. Holding NCLB accountable : achieving accountability, equity, & school

reform. Thousand Oaks, CA: Corwin Press, 2008. xvi, 262 p. ISBN 9781412957878 (cloth)
Disponvel em: < http://www.loc.gov/catdir/enhancements/fy0828/2007040309-b.html
SUPOVITZ, J. Can high stakes testing leverage educational improvement? Prospects from the
last decade of testing and accountability reform. Journal of Educational Change Published
online: 28 March 2009: 211-227 p. 2009.
TAYLOR, J.; NGUYEN, A. N. An Analysis of the Value Added by Secondary Schools in England: Is
the Value Added Indicator of Any Value?*. Oxford Bulletin of Economics and Statistics, v. 68,
n. 2, p. 203-224, 2006. ISSN 1468-0084.
THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION. A Nation at Risk.The

Imperative for Educational Reform. Washington, D.C.: U.S. Government Printing Office 1983.
VALENZUELA, A. Leaving children behind : how "Texas-style" accountability fails Latino

youth. Albany: State University of New York Press, 2005. viii, 313 p. ISBN 0791462390
(hardcover alk. paper) 0791462404 (pbk. alk. paper). Disponvel em: <
http://www.loc.gov/catdir/toc/ecip0418/2004012237.html >.
VEGAS, E.; UMANSKY, I. Improving Teaching and Learning through Effective Incentives: What
Can We Learn from Education Reforms in Latin America? The World Bank. Washington, DC:
2005.
VIDAL, E. M.; VIEIRA, S. L. GESTO EDUCACIONAL E RESULTADOS NO IDEB: UM ESTUDO DE

CASO EM 10 MUNICPIOS CEARENSES. VI REUNIO DA ABAVE Fortaleza, Cear, 31 de agosto a
02 de setembro, 2011 2011.
VOLANTE, L. Teaching to the test: What every educator and policy-maker should know.
Canadian Journal of Educational Administration and Policy, v. 35, p. 1-19, 2004.
197
WINTERS, M. A. R., GARY W.; MARSH, RYAN H.; GREENE, JAY P.; HOLLEY, MARC J. . The
Impact of Performance Pay for Public School Teachers: Theory and Evidence. Harvard
University. 2008. (PEPG 08-15)
198
ANEXO 1 Organizao dos arquivos da pesquisa em Google Docs
Exemplos: a) Nvel 2; b) Nvel 5; c) Nvel 2.
a) Nvel 2
b) Nvel 5
c) Nvel 2
199
ANEXO 2 Entrevistados
ENTREVISTADO DATA FILIAO INSTITUCIONAL

Adriana Bauer 28/02/11 Fundao Carlos Chagas
Alssio Costa Lima 23/02/11 SEE CE
Aline Elisa Cotta D' vila 16/02/11 SEE ES
Andressa Rocha 17/02/11 SEE ES
Fernanda Scaciota Simes da Silva 31/03/11 SEE PR
Francisco Soares 21/03/11 GAME/UFMG
Iaci Cavalcanti Pequeno 23/02/11 SEE CE
Ilda Hochman 08/02/11 SEE MG
Janine Mattar Pereira de Castro 16/02/11 SEE ES
Joo Filocre 08/02/11 EX-SEE MG
Leonara Margotto Tartaglia 16/02/11 SEE ES
Lina Ktia Mesquita de Oliveira 31/01/11 CAEd
Lcia Matos 04/05/11 SEE MG
Margareth Zaponi 21/02/11 SEE PE
Maria Conceio Conholato 28/02/11 FDE SP
Maria Inz Barroso Simes 09/05/11 SEE MG
Maurcio Holanda Maia 23/02/11 SEE CE
Nilma Fontanive 05/04/11 Fundao Cesgranrio
Olivier Bezerra 22/03/11 SEE DF
Patrcia Dantas 22/02/11 SEE PE
Rafael Morais 08/02/11 SEE MG
Ruben Klein 05/04/11 Fundao Cesgranrio
Valdelina Solomo Lima 16/02/11 SEE ES
William Massei 28/02/11 SEE SP
200
ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado
201

Ufmg - A Avaliação Externa Como Instrumento Da Gestão Educacional PDF

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Ufmg - A Avaliação Externa Como Instrumento Da Gestão Educacional PDF

Diunggah oleh

Hak Cipta:

Format Tersedia

A AVALIAO

VALIAO EXTERNA COMO INSTRUMENTO DA GESTO

Com apoio da Fundao Vitor Civita

Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.

EQUIPE DA FUNDAO VICTOR CIVITA ESPECIALISTAS CONVIDADOS PARA

Tufi Machado Soares (Universidade Federal de

Wanda Engel (Superintendente Instituto

Cllio Campolina Diniz

GRUPO DE AVALIAO E MEDIDAS EDUCACIONAIS

ngela Imaculada Loureiro de Freitas Dalben

3. A Expanso da Avaliao Educacional 14

3.1. A Expanso dos Sistemas Estaduais de Avaliao 25

4. Accountability e as Avaliaes High-Stakes 39

4.1 Sistemas de Incentivos 45

4.2. Sistemas de Responsabilizao na Amrica Latina 50

5. Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional 55

6. O Uso da Avaliao na Gesto da Educao nos Estados 70

6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa 70

6.1.1 Avaliao de Programas 70

6.2.1 Polticas de Formao Continuada Baseadas nos Resultados 101

6.2.2 O Currculo Bsico 105

6.3 Para Informar ao Pblico 112

6.4 Para a Alocao de Recursos 123

6.5 Para Polticas de Incentivos Salariais 133

6.5.1 Investigaes em Loco 142

6.5.2 Discusso 164

6.7 Para a Certificao de Alunos e Escolas 177

7. Consideraes Finais 182

8. Referencias Bibliogrficas 189

ANEXO 1 Organizao dos arquivos da pesquisa em Google Docs 199

ANEXO 2 Entrevistados 200

ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado 201

Cada vez mais presente nos jornais e em outros meios de comunicao, a

Refletindo o crescente interesse na avaliao, nos indicadores derivados dela e na

A falta de clareza em relao s obrigaes dos estados e municpios e se essas

A falta de ateno do PNE para a funo avaliadora dos governos estaduais e

Entretanto, o objetivo do estudo no exclusivamente descritivo. preciso

Para poder contribuir para essa discusso, necessrio, primeiro, entender os

Precisamos tambm estudar em alguma profundidade o elemento mais crtico do

Aps a explicao do sistema classificatrio, ser possvel entrar no assunto

De forma sinttica, os objetivos deste estudo so:

i. Descrever, por meio do emprego de sistema classificatrio prprio, as

ii. Mediante a coleta de informaes secundrias, fornecer uma sinopse mais

iii. Com base em pesquisas nacionais e internacionais, e os subsdios oferecidos

iv. Como objetivo ltimo, oferecer subsdios para a formulao e reformulao de

O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de

A segunda fase se concentrou no aprofundamento das ideias que surgiram na

Pela natureza do estudo, que mais um levantamento para fins classificatrios do

Entre os elementos que contriburam para a expanso da avaliao externa como

a) Reforma educacional. A torrente de mudanas educacionais mltiplas e

Usando a regio da Amrica Latina como um exemplo, Gajardo (2000) mostra a

Devemos procurar a explicao das semelhanas e simultaneidade das reformas

Num segundo nvel, a explicao do consenso a favor da reforma educacional

Nas entrelinhas dessa reforma educacional, aparece a conexo entre a

A quantificao dos resultados da escola ocupa a posio central no novo modelo

Trata-se do uso da avaliao externa como um instrumento da reforma

A reforma da Inglaterra se inspirou e reforou essa mesma tendncia. Ao criar um

b) Reforma da gesto pblica. A reforma educacional da Gr-Bretanha, que tanto

Segundo Segatto (2011), os instrumentos desse modelo de estado so a

A reforma do estado mediante a assimilao das novas prticas de gesto pde

A gradual adoo desse modelo de gesto em nvel subnacional no Brasil comeou

Ao mesmo tempo, o planejamento estratgico ganhou impulso com base em duas

A avaliao de programas orientada para resultados insere-se nesse