Democracia, Avaliao e Accountability: a avaliao de polticas pblicas como

instrumento de controle democrtico

Autoria: Ricardo Ceneviva, Marta Ferreira Santos Farah

Resumo: O presente trabalho procura discutir o papel que os sistemas de avaliao de

programas e polticas pblicas podem desempenhar na ampliao ou no aperfeioamento de
mecanismos de controle da gesto pblica. Mais especificamente, procura-se examinar se e
descrever como a implantao de sistemas de avaliao contribui para reduzir a assimetria
de informaes entre cidados e polticos e entre polticos e burocratas. So discutidos os
casos do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (SARESP) e
do Sistema de Monitoramento e Avaliao (SMA) do Programa Estadual de DST/AIDS, deste
mesmo estado. A anlise desses casos sugere que os sistemas de avaliao podem contribuir
para uma maior transparncia da gesto pblica e para a responsabilizao dos agentes
pblicos pelos resultados das polticas e programas governamentais, mas que o grau com que
avanos nesta direo ocorrem relaciona-se no apenas com caractersticas prprias da
avaliao particularmente com as formas de apresentao e de divulgao dos dados da
avaliao , mas tambm com a dinmica dos atores envolvidos na gesto da avaliao e na
prpria prestao dos servios pblicos avaliados.
I Introduo
A redemocratizao do Brasil em meados dos anos 80 impulsionou a agenda de pesquisa que
se ocupava de explicar a transio do regime autoritrio democracia e a institucionalizao
democrtica no pas. Mais de duas dcadas se passaram e, ultimamente, pesquisadores e
acadmicos tm voltado sua ateno para a elusiva questo da qualidade da democracia.
Sob essa tica, floresceu uma extensa e bastante heterognea literatura que pe em
evidncia a relao entre a qualidade das aes do governo e os controles e incentivos a que
esto submetidos os governantes e a burocracia. Guillermo ODonnell (1998) foi certamente
um dos pioneiros a relacionar as vicissitudes da consolidao democrtica ou, mais
especificamente, o desenvolvimento de uma modalidade delegativa de democracia na
Amrica Latina ao que denominou dficit de accountability dos sistemas polticos que se
erigiam na regio. Seu juzo tinha como base a observao de que o restabelecimento da
competio eleitoral no foi suficiente para assegurar um controle satisfatrio da atuao de
governantes e demais decisores polticos.
Embora a accountability tenha se tornado um tpico relevante na agenda de pesquisa das
cincias sociais nos ltimos anos, os trabalhos produzidos, como foi observado por Fernando
Abrucio e Maria Rita Loureiro (2005: 75), tm se ocupado, tradicionalmente, da matria sob a
perspectiva do controle: o controle das aes dos governantes em relao ao programa de
governo, ou em relao corrupo, ou ainda em relao preservao dos direitos dos
cidados (veja p.ex. FEREJOHN, 1999; MARAVALL, 1999 e SOTKES, 1999). Mais
recentemente, porm, tm vicejado estudos que enfocam a questo da responsabilizao dos
agentes pblicos a partir de suas interseces com a reforma do Estado. Essas anlises
procuram examinar como o aprimoramento das instituies estatais pode contemplar, ao
mesmo tempo, a melhoria do desempenho das polticas e dos programas governamentais e a
maior transparncia e responsabilizao dos burocratas e governantes (veja p.ex.
PRZEWORSKI, 1996; CLAD, 2000 e ABRUCIO e LOUREIRO, 2005).
A literatura que trata dos processos de reforma do Estado, sob forte influncia da chamada
nova economia institucional (cf. SCHNEIDER e DONER, 2000), salienta, para alm do

1
aprimoramento das instituies democrticas, a importncia da criao de novos mecanismos
de controle das aes do Poder Pblico sob dois argumentos bsicos: a deficincia do
processo eleitoral como mecanismo de responsabilizao dos governantes e o papel
fundamental que estes instrumentos de fiscalizao e controle democrtico podem
desempenhar na qualidade da gesto pblica. Sob essa tica, duas formas de controle
democrtico no-eleitoral, em especial, tm sido destacadas: os mecanismos de controle social
e os mecanismos de controle da administrao pblica pelos resultados das polticas e dos
programas governamentais. A responsabilizao por resultados em particular, segundo essa
literatura, estrutura-se basicamente por meio da avaliao ex post das polticas pblicas, ou
seja, avalia-se para determinar a relevncia e a realizao dos objetivos programados e sua
eficincia, sua eficcia e seus impactos. Nesse sentido, a avaliao de polticas e programas
governamentais vista no apenas como um instrumento de gesto, mas sobretudo como um
meio para auferir o desempenho e estabelecer os parmetros para a prestao de contas da
burocracia e dos governantes. Como foi assinalado com preciso por Caiden e Caiden, o
monitoramento e a avaliao no foram apenas ornamentais nem tiveram uma significao
incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais das mudanas
(2001: 80). A literatura referente s tendncias recentes na avaliao de programas e polticas
pblicas, por sua vez, tambm inclui entre as razes para se realizarem estudos de avaliao o
problema do desempenho e da accountability. Assim, segundo Weiss (1997), no governo
esses estudos esto diretamente ligados questo da efetividade, da eficincia, da
accountability e, mais amplamente, do desempenho da gesto pblica.
Se, por um lado, nota-se uma ntida convergncia entre esses dois ramos da literatura no que
se refere s motivaes e aos objetivos da avaliao e seu papel como mecanismo de
accountability, por outro, percebe-se uma lacuna de estudos empricos acerca da relao entre
avaliao de polticas pblicas, promoo de maior transparncia administrativa e
responsabilizao dos agentes pblicos. Enfim, embora a literatura procure aproximar os
conceitos de avaliao e accountability, esto longe de ser claras as condies (polticas,
institucionais e administrativas) que sustentam essa relao. No presente trabalho, procura-se
discutir o papel que estudos e pesquisas de avaliao de programas e polticas pblicas pode
desempenhar na criao ou no aperfeioamento de mecanismos de accountability na gesto
pblica. Mais especificamente, tenciona-se analisar as relaes entre o fortalecimento da
funo e da capacidade avaliadora do governo e a promoo de nveis crescentes de difuso
de informao e criao de mecanismos de accountability.
A preocupao desse trabalho investigar se e descrever como a implantao e a
institucionalizao do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo
(SARESP) e do Sistema de Monitoramento e Avaliao do programa de Doenas
Sexualmente Transmissveis e AIDS (doravante DST/AIDS) da Secretaria de Sade do
Estado de So Paulo tm contribudo para a criao ou para a ampliao de mecanismos de
responsabilizao dos agentes pblicos sejam estes governantes ou burocratas pelos seus
atos ou omisses na conduo das polticas e programas governamentais. O objetivo do
trabalho , portanto, analisar empiricamente, a partir de uma perspectiva comparada, se (e sob
quais condies) a implantao do Sistema de Avaliao de Rendimento Escolar (SARESP)
pela Secretaria Estadual de Educao e do Sistema de Monitoramento e Avaliao do
Programa Estadual de DST/AIDS tm concorrido para a promoo de nveis crescentes de
transparncia e responsabilizao dos burocratas ou representantes polticos incumbidos de
tais programas. Isto , o exame emprico dos sistemas de avaliao orienta-se pela pergunta: a
introduo desses instrumentos de avaliao tem gerado maior difuso de informaes e
contribudo para a adoo de procedimentos de prestao de contas e responsabilizao? Ou
ainda, tais instrumentos so utilizados para o estabelecimento de meios de controle externo na

2
gesto dessas polticas e programas no Estado de So Paulo? Procura-se examinar no apenas
a abrangncia da difuso da informao gerada por tais pesquisas, ou seja, busca-se no s
identificar quais os atores e grupos de interesse que tm tido acesso a essas avaliaes, mas
tambm a qualidade da informao gerada, em termos de sua clareza, inteligibilidade e
possibilidade de uso no que se refere ao maior controle social sobre as agncias pblicas
responsveis por estas polticas e programas. Secundariamente, procura-se tambm analisar o
papel e o uso dos sistemas de avaliao no planejamento e na gesto das referidas polticas.
Ou seja, tambm se busca verificar se tais sistemas de avaliao esto de fato fornecendo
elementos e informaes para o desenho de novas intervenes ou para o aprimoramento das
polticas e programas em curso. Enfim, busca-se discutir a dupla promessa que a utilizao de
pesquisas de avaliao de polticas pblicas vem assumindo no debate poltico e acadmico:
por um lado, a avaliao apoiaria a tomada de decises para se alcanarem as metas
estabelecidas e melhorar o desempenho da administrao pblica; por outro, avaliar-se-iam os
resultados obtidos (esperados e no esperados) com a finalidade de mensurar o desempenho e
promover a prestao de contas da burocracia e dos representantes polticos responsveis pela
conduo das polticas governamentais.
Preliminarmente, e de maneira bastante sucinta, cabe mencionar que, diferentemente da
literatura que associa de modo automtico a transparncia das informaes governamentais
prestao de contas e accountability, no mbito deste trabalho relaciona-se transparncia
apenas prestao de contas e no necessariamente responsabilizao dos agentes pblicos
(governantes ou burocratas). Ou seja, entende-se que a transparncia seja uma condio
necessria, porm no suficiente, para a responsabilizao das autoridades e de organizaes
pblicas. Neste trabalho, advoga-se que a institucionalizao de sistemas permanentes de
avaliao de polticas pblicas e programas governamentais pode ser um instrumento valioso
na ampliao da transparncia, de prestao de contas do desempenho das organizaes
pblicas e de responsabilizao dos seus agentes, embora a anlise dos casos aponte que ainda
no o sejam satisfatoriamente. Nesse sentido, busca-se examinar as implicaes do uso da
avaliao de polticas e programas pblicos em termos de induo e efetivao de
mecanismos de responsabilizao por resultados ou do aperfeioamento de mecanismos de
controle social.
II Metodologia
Inicialmente, vale recapitular que se pretende aqui analisar de maneira comparada as
contribuies que a implementao e posterior institucionalizao do SARESP e do
Sistema de Monitoramento de Avaliao (doravante SMA) do programa de DST/AIDS tem
trazido para o incremento da transparncia administrativa e para o estabelecimento ou
ampliao de mecanismos de responsabilizao dos agentes pblicos (sejam eles burocratas
ou representantes polticos) incumbidos da poltica de educao fundamental e do programa
de DST/AIDS no Estado de So Paulo. Como se argumentou anteriormente, a literatura que
sugere uma relao direta entre a implantao de sistemas de avaliao de polticas pblicas e
o aumento da transparncia e da responsabilizao dos agentes pblicos (BANCO
MUNDIAL, 1997; OECD, 1998; BRESSER PEREIRA, 1998; entre outros), de cunho
normativo e no se vale de estudos empricos ou pesquisas sistemticas que demonstrem, ou
mesmo que descrevam, quais so, com efeito, as condies e as variveis sobre as quais se
apia essa (suposta) relao entre avaliao e accountability.
Assim, diante a escassez de outros trabalhos que tratem do tema a partir de uma abordagem
emprica, o presente trabalho tem um carter eminentemente exploratrio e descritivo, tendo
como objetivo o desenvolvimento de hipteses e proposies a respeito da relao entre
avaliao e accountability. Esse foi o principal motivo que fundamentou a seleo do estudo
de caso com estratgia de pesquisa. Certamente, pode haver estudos de caso explanatrios,
3
como tambm estudos experimentais exploratrios ou descritivos; contudo, quando se trata de
uma anlise exploratria preliminar e descritiva de determinado fenmeno social e de seu
contexto, os estudos de casos afiguram-se a estratgia mais apropriada (cf. ROBERT YIN,
2005; SHAVELSON E TOWNES, 2002). Ademais cabe mencionar que, tanto o SARESP
como o SMA do programa de DST/AIDS so analisados no mbito desse trabalho como
polticas pblicas em si e no como apenas uma etapa de um policy cycle. Tal tratamento
difere daquela viso mais cannica do processo de avaliao de polticas pblicas, que se
costuma encontrar nos manuais e livros-texto, nos quais, comumente, a avaliao tratada
to-somente como a ltima etapa do chamado police cycle, definindo-a como a atividade
destinada a aquilatar os resultados de curso da ao cujo ciclo de vida se encerra. Aqui a
implantao dos sistemas de avaliao de polticas examinada como uma poltica pblica
per se, cuja anlise, portanto, deve incorporar todos os elementos de investigao das demais
polticas e programas governamentais. Optou-se por essa abordagem, pois se entende que
tanto a poltica de educao fundamental do Estado de So Paulo como o programa de
DST/AIDS so polticas pblicas estabelecidas e cristalizadas h bastante tempo e que a
implementao do SARESP e a do SMA seguiu cada uma das etapas de qualquer poltica ou
programa governamental a introduo da questo na agenda poltica, a formulao da
poltica ou programa, sua implementao e concluso e, portanto, o esforo fundamental
que guiou a coleta e posterior anlise dos dados foi justamente a tentativa de reconstruo
dessa trajetria das polticas de avaliao, bem como das estratgias dos vrios atores
interessados durante esse percurso e, finalmente, do resultado desse processo, isto , dos
sistemas de avaliao de fato implementados. Desde logo se faz necessrio declarar que neste
trabalho optou-se deliberadamente pela seleo de dois casos extremos. Assim, a escolha do
SARESP e do SMA do programa de DST/AIDS no se deu em bases aleatrias ou de
tipicidade, mas, ao contrrio, fez-se com base em interesses tericos nos casos, que, por se
tratarem de casos limites, parecem ser decisivos para o desenvolvimento da hiptese do
trabalho. A hiptese aqui defendida de que a ampliao da transparncia administrativa e a
responsabilizao dos agentes pblicos governantes e burocratas no apenas relacionam-
se com as caractersticas prprias da avaliao, sobretudo com as formas de apresentao e
divulgao dos dados e dos resultados das avaliaes, mas tambm dependem da atuao dos
atores interessados na sua gesto e nas polticas pblicas a que se referem os sistemas de
avaliao. Com base nesta hiptese foram selecionados casos que atendessem as seguintes
condies:
1. Sistemas de avaliao de polticas ou programas pblicos permanentes e
institucionalizados. Assim, excluram-se estudos e pesquisas de avaliao conduzidos
pouco freqentemente ou sem periodicidade regular, os chamados espasmos avaliatrios.
2. Sistemas de avaliao que fossem, metodologicamente, semelhantes um ao outro,
principalmente no que concerne ao objeto da avaliao (avaliao de resultados), ao
agente avaliador (avaliao externa) e ao uso da avaliao (avaliao formativa). Contudo,
cabe salientar que, tais distines conceituais na maioria das vezes se confundem na
prtica, pois muitos sistemas de avaliao sobretudo aqueles de carter permanente
combinam a avaliao de processos e resultados, utilizam tanto avaliadores externos como
internos e desempenham usos formativos e somativos na gesto pblica. Mas importante
ressaltar que, de modo geral, os dois casos avaliados adequam-se s condies enunciadas.
Trata-se de avaliaes de resultados, conduzidas ou supervisionadas, parcialmente pelo
menos, por agentes externos e que se prestam explcita, mas no exclusivamente, ao uso
formativo.
3. A poltica ou programa avaliado deveria, imperiosamente, gozar de um carter
suprapartidrio, no sentido de no se constituir como uma bandeira eleitoral de nenhum

4
 partido ou grupo poltico, mas dispor de status de poltica de Estado, isto , ser estvel e
consolidada. Por essa razo, privilegiaram-se polticas sociais no focalizadas, isto ,
universais, pois assim minoram-se os conflitos advindos do uso e da manipulao das
avaliaes para fins eleitorais.
4. Finalmente, deu-se preferncia a polticas ou programas governamentais que partilhassem
arranjos institucionais no muito dessemelhantes. Assim, ambos os casos so de
responsabilidade do governo estadual de So Paulo e nos dois casos temos os conselhos
estaduais de sade e educao, respectivamente como rgos consultivos e de
controle.
Contudo, necessrio notar que os modelos de financiamento, as relaes entre as diferentes
esferas de governo e, principalmente, a atuao dos atores interessados na gesto das polticas
so bastante contrastantes, como se comentar adiante, e parecem exercer um papel decisivo
nos efeitos das avaliaes em termos de visibilidade das informaes e na responsabilizao
dos agentes governamentais. O SARESP e o SMA do programa de DST/AIDS foram
selecionados por atenderem aos critrios apresentados acima e, sobretudo, por caracterizarem-
se como casos extremos no que se refere a suas conseqncias no que tange ao aumento da
transparncia administrativa e responsabilizao dos agentes pblicos ligados gesto das
polticas avaliadas. Ou seja, embora os sistemas de avaliao apresentem uma srie de
semelhanas metodolgicas, administrativas e institucionais, quando se analisa o seu papel no
aumento da transparncia e no fortalecimento de mecanismos de accountability, percebe-se
que seus efeitos so bastante diversos1. Por fim, antes de dar incio ao exame da
operacionalizao das variveis dependente e independente, vale comentar que, embora as
polticas avaliadas sejam muito distintas quanto natureza de seus objetos a educao
bsica e a AIDS e demais doenas sexualmente transmissveis , essa diferena no parece
ser o fator decisivo para se explicar as diferenas quanto transparncia na gesto e a
accountability dos burocratas e governantes em cada uma das polticas. Essas diferenas entre
sade (ou mais especificamente, AIDS/DST) e educao dizem respeito no apenas
tangibilidade da Sndrome e das demais DST, mas tambm sua urgncia, sobretudo quando
comparadas ao carter eminentemente intangvel da educao e, especialmente, do
aprendizado. Evidentemente, tais diferenas tm muitas implicaes para o tipo de
participao e controle social que se verifica nas polticas de educao e AIDS/DST, como se
discutir adiante. No entanto, longe de se pretender negar a importncia dessas diferenas e
suas conseqncias, defende-se aqui que a ampliao da transparncia dos atos do poder
pblico e da accountability dos governantes e burocratas, via implantao dos sistemas de
avaliao, depende, sobretudo, da atuao dos atores interessados nas polticas, mas tambm,
e de forma importante, de caractersticas prprias dos sistemas de avaliao, principalmente
das formas de apresentao e divulgao dos resultados das aferies dos referidos sistemas.
Varivel independente: os sistemas de avaliao e o arranjo institucional no qual se
inserem as polticas avaliadas
Seguindo a tradio da anlise de polticas pblicas, tomou-se em primeiro lugar o exame das
propostas os objetivos explicitamente assinalados dos sistemas de avaliao , para, em
seguida, tratar-se das medidas efetivamente implementadas os resultados alcanados pela
avaliao. Para tanto, optou-se por trabalhar com basicamente dois conjuntos de elementos
que se figuram capitais para a compreenso do processo de construo dos sistemas de
avaliao analisados, a saber: atores e instituies. O aspecto central que diz respeito anlise
da atuao dos atores interessados nas polticas de educao bsica e DST/AIDS aquele
relacionado apropriao e ao uso das informaes geradas com base nas avaliaes e o uso
dado a essas informaes pelos diferentes atores envolvidos. Como bastante destacado pela
literatura2, informaes referentes ao desempenho das agncias e rgos governamentais
5
podem constituir-se em recursos poderosos para o estabelecimento de procedimentos de
cobrana, prestao de contas e responsabilizao de governantes e burocratas. Quanto s
instituies, tanto formais quanto informais, deu-se relevo ao exame da utilizao das
informaes oriundas das avaliaes nas arenas decisrias de cada uma das polticas
analisadas e, principalmente, buscou-se verificar se a utilizao dessas informaes por
grupos especficos, tais como usurios, representantes polticos ou burocratas, alterou a
correlao de foras que existia nessas arenas antes da implantao dos sistemas de avaliao.
Enfim, o exame emprico dos sistemas de avaliao selecionados pautou-se pelo exame de
como e pela verificao de se a instituio desses sistemas contribuiu para a ampliao da
transparncia administrativa e para a ativao de mecanismos de responsabilizao dos
governantes e burocratas incumbidos da gesto das polticas ou programas avaliados.
Finalmente, cabe um comentrio sobre o objetivo secundrio do trabalho examinar se os
sistemas de avaliao tm sido, com efeito, utilizados como ferramenta de gesto e
planejamento. Para tanto, buscou-se no exame emprico do SARESP e do SMA verificar se
esses sistemas de avaliao esto, efetivamente, produzindo elementos e informaes para o
desenho de novas intervenes ou para o aprimoramento das polticas e programas em curso.
Ou seja, procurou-se verificar se as informaes geradas pelos sistemas de avaliao esto
realimentando o processo de tomada de decises acerca da gesto das polticas de educao
bsica e do programa de DST/AIDS no Estado de So Paulo; numa palavra, se os resultados
da avaliao esto integrados s prticas de gesto e ao processo de tomada de deciso.
Varivel dependente: a accountability
Uma rpida reviso dos trabalhos a respeito do tema revela que, a accountability um
conceito cujos contornos so bastante imprecisos; no entanto, h certo consenso de que se
refere, basicamente, ao controle e responsabilizao dos agentes pblicos (cf.
MAINWARING, 2003). De acordo com o enunciado na seo inicial desse trabalho, adota-se
aqui uma noo de accountability bastante abrangente, que compreende os mecanismos de
controle e fiscalizao do poder pblico sejam eles institucionais ou no-institucionais.
Porm, tambm se salientou que, diferentemente da literatura que associa de modo automtico
transparncia das informaes governamentais prestao de contas e accountability; no
mbito desse trabalho, relaciona-se transparncia apenas prestao de contas ou
answerability, nos termos de Elster (1999) , e no necessariamente responsabilizao dos
agentes pblicos. Ou seja, entende-se que a transparncia seja necessria, porm no
suficiente, para a responsabilizao das autoridades e organizaes pblicas. Para tanto, faz-se
necessria incorporao de normas, regras e mecanismos capazes de imputar sanes aos
ocupantes de cargos pblicos, mesmo que indiretamente, pelo Poder Judicirio.
A transparncia governamental uma condio sine qua non para o funcionamento dos
mecanismos de responsabilizao, j que, de fato, estes mecanismos de controle e fiscalizao
so fortemente condicionados pela transparncia e pela visibilidade das aes do poder
pblico. Noberto Bobbio, no por acaso, define o regime democrtico como o governo do
visvel, no qual nada deve permanecer escondido, pois no se pode controlar aquilo que no
se conhece ou se mantm escondido. Nas suas palavras, Como o governo poderia ser
controlado se se mantivesse escondido? (BOBBIO, 1992: 87; apud ABRUCIO e
LOUREIRO, 2005: 84). Com base na discusso precedente, percebe-se que se optou no
presente trabalho por uma operacionalizao da accountability em duas dimenses distintas e
complementares, a saber: (i) transparncia dos atos governamentais ou a difuso da
informao gerada com base nas avaliaes e (ii) a ativao de mecanismos de
responsabilizao poltica dos agentes pblicos. Essa operacionalizao bidimensional da
accountability visa verificar a divulgao e a visibilidade que as informaes procedentes dos
sistemas de avaliao tm alcanado, bem como observar os grupos ou atores que tm se

6
apropriado de tais informaes e investigar como isso tem impactado o curso de ao desses
grupos ou atores. Por outro lado, possibilita o exame da efetivao ou do aprimoramento dos
mecanismos de prestao de contas e responsabilizao dos agentes pblicos que respondem
pela poltica de educao bsica de So Paulo e pelo programa de DST/AIDS do estado.
Emprega-se aqui uma perspectiva orientada pela teoria do agente - principal para anlise das
relaes entre polticos, burocratas e cidados ou usurios3. Com base na investigao de
Przeworski (1998) e Przeworski e colaboradores (1999), entre outros, argumenta-se que a
difuso de informaes decorrentes da avaliao de polticas e programas pblicos pode se
constituir num importante mecanismo para minorar o problema da assimetria de informaes
que permeia a relao de polticos e burocratas ou a de cidados e polticos. Contudo, a
literatura analisada4 aparentemente no dedicou muita ateno a dois outros tipos de relaes
que se percebem na gesto pblica, especialmente na gesto das polticas sociais, e que se
mostraram de grande relevncia nos casos da poltica de educao bsica e do programa de
DST/AIDS do estado de So Paulo. Trata-se das relaes entre os cidados ou usurios desses
servios e os burocratas responsveis por sua gesto e das relaes entre diferentes nveis da
burocracia ou entre burocratas de diferentes esferas de governo. Enfim, neste trabalho
procura-se examinar no apenas como as relaes entre cidados e polticos ou burocratas e
polticos foram modificadas pela introduo dos sistemas de avaliao, mas tambm como o
estabelecimento desses sistemas alterou as relaes entre os cidados e a burocracia
responsvel pelas polticas avaliadas e a relao entre os diferentes nveis da burocracia ou
entre burocratas de diferentes esferas governamentais envolvidos na poltica de educao
bsica e no programa de DST/AIDS no estado de So Paulo.
III Resultados
O quadro 1.1 abaixo sintetiza as principais caractersticas dos sistemas de avaliao
analisados:
Quadro 1.1: quadro comparativo dos casos SARESP x SMA (DST/AIDS)
SARESP SMA DST/AIDS
fortativo: determinar qualidade e formativo: determinar alinhamento
informar autoridades (SEE), com as metas nacionais; execuo de
Objetivo
educadores, pais de alunos e a recursos e cumprimento de aes e
sociedade em geral metas programadas

nico, de acesso restrito e difcil amplamente divulgado, didtico de

Relatrio de divulgao
compreenso fcil leitura e compreenso
realimentar o planejamento de metas
avaliao de diagnstico: mapear
Uso e tomar decises sobre a
pontos fortes e fracos
descentralizao
autoridades (SEE) e educadores programas municipais, estaduais e
Pblico
(escolas) nacional
Quem faz/Quem avalia externa / interna interna / autoavaliao
gera informaoes a respeito da gera informaes a respeito do
qualidade da educao no estado cumprimento de metas e aes
Principais caractersticas
para que a equipe da SEE possa programadas e execuo financeira
melhor-la p/ monitoramento do MS
Foco contexto e resultados recursos e resultados
Objetivo da coleta de
Diagnstico e tomada de deciso tomada de deciso
dados
Medidas Formais e vlidas formais e vlidas
Freqencia da coleta de
anual semestral/anual
dados
Tamanho da Amostra censitria censitria
O que funciona? O que precisa
Quais as metas alcanadas e os
Perguntas feitas ser melhorado? Como pode ser
resulatdos atingidos? Quanto custou?
melhorado?

7
Tanto o SARESP como o SMA foram concebidos expressamente com a finalidade de
subsidiar o aprimoramento das polticas governamentais em curso, ou seja, so avaliaes
essencialmente formativas, embora, como j assinalado, muitas vezes possam ser dados usos
somativos s informaes obtidas por essas avaliaes O ponto a se destacar, no entanto,
que, como as avaliaes foram concebidas e postas em prtica com o propsito bsico de
auxiliar a equipe do programa em sua tarefa de aprimor-lo e fortalec-lo, o pblico dessas
avaliaes so as prprias equipes da Secretaria de Educao e da Secretaria de Sade
responsveis pela gesto das polticas de educao bsica e do Programa de AIDS e outras
DST do estado de So Paulo. Uma diferena relevante entre os sistemas de avaliao diz
respeito forma de divulgao dos resultados. Enquanto os relatrios de apresentao de
resultados e dados do Programa de DST/AIDS destacam-se pela ampla e quase irrestrita
divulgao podem, em sua maioria, ser acessados pela internet e, mais importante, so
bastante didticos, de leitura fcil, e compreensveis a todos aqueles familiarizados com o
vocabulrio da rea, o que facilita a apropriao das informaes ali contidas e seu uso por
outros pblicos, especialmente pelas OSC (Organizaes da Sociedade Civil) interessadas na
gesto do programa , o relatrio geral do SARESP o nico a que os pais de alunos e a
sociedade em geral tm acesso limita-se a descrever os dados includos nos quadros,
grficos ou tabelas com escassas ou nenhuma anlise e interpretao, supondo que eles sejam
auto-explicativos, o que dificulta a apropriao desses dados pelas famlias dos alunos ou pelo
cidado comum e seu uso para a cobrana das equipes escolares.
Um segundo ponto a ser considerado diz respeito ao agente avaliador, isto , quem avalia? No
caso do Programa de DST/AIDS a avaliao predominantemente interna, pois conduzida
pela prpria equipe do Programa. O SMA hoje coordenado pela Assessoria Tcnica de
Monitoramento e Avaliao, rgo da coordenao do Programa Nacional (do Ministrio da
Sade), responsvel por sua formulao, implementao, treinamento da rede de avaliadores
(dos programas subnacionais) e, finalmente, pela consolidao dos dados dos programas
subnacionais e pela publicao dos relatrios. No SARESP a avaliao externa.
Anualmente, realizada uma licitao e contratada uma consultoria externa responsvel pela
formulao das provas, pela correo dos testes de contedo (a redao e as perguntas
dissertativas so corrigidas pelos prprios professores) e pela elaborao dos relatrios finais.
Quanto ao foco dos sistemas de avaliao, ambos procuram aferir resultados. Contudo,
enquanto o SARESP avalia o rendimento dos alunos e o contexto das escolas, isto , as
caractersticas socioeconmicas do corpo discente e de suas famlias e os aspectos de
gesto escolar que influenciam este rendimento, o SMA do Programa de DST/AIDS avalia
resultados e recursos (disponibilizados e executados) dos programas. No que se refere ao uso
das informaes obtidas pelas avaliaes, cabe comentar que, ainda que tanto o SARESP
como o SMA do Programa de DST/AIDS adotem um enfoque centrado no uso da informao
para o aprimoramento do programa, o SARESP reveste-se de um aspecto de avaliao de
diagnstico que procura mapear os pontos fortes e fracos da educao no estado e, dessa
forma, subsidiar a tomada de decises da Secretaria de Educao e de seus rgos centrais. J
o SMA orientado para a identificao do cumprimento de metas e aes por parte dos
programas locais e est inextricavelmente ligado descentralizao do Programa de
DST/AIDS no Brasil e necessidade de aprimorar a capacidade de gesto e planejamento dos
programas subnacionais, como ser discutido adiante. A seguir examinado um pouco mais
detidamente como a adoo dos sistemas de avaliao afetou a transparncia e o controle da
gesto da poltica de educao bsica do estado de So Paulo e do Programa Estadual de
DST/AIDS.
O Sistema de Monitoramento e Avaliao do Programa DST / AIDS do Estado de So
Paulo

8
A portaria 2313 de dezembro de 2002 publicada pelo Ministrio da Sade traz o marco legal e
administrativo que guiou o processo de descentralizao e desconcentrao do Programa
Nacional de DST/AIDS, a chamada Poltica de Incentivo para estados e municpios. As duas
principais alteraes trazidas pela Portaria so: (i) a adequao do financiamento dos
programas municipais e estaduais ao procedimento padro do SUS, o financiamento fundo-a-
fundo; e (ii) a normatizao dos instrumentos de planejamento e programao de metas dos
programas subnacionais por meio dos Planos de Aes e Metas (PAM). O financiamento
fundo-a-fundo estabelece repasses do Fundo Nacional de Sade para uma conta especfica do
Programa Estadual (ou municipal) de DST/AIDS dentro do Fundo Estadual (ou municipal) de
Sade. Essa medida fortaleceu poltica e administrativamente os coordenadores do
programa estadual, conferindo-lhes maior autonomia de gesto operacional dos programas
dentro da estrutura da Secretaria de Sade (do estado ou municpio). A padronizao dos
instrumentos de planejamento e programao de aes e metas visava aperfeioar os
processos de gesto das polticas pblicas para HIV/AIDS e outras DST e permitir o
monitoramento e o acompanhamento sistematizados das aes de enfrentamento da epidemia
nas trs instncias de governo. Essa nova metodologia de planejamento para as aes locais
de combate AIDS e s DST no apenas procurou aprimorar a gesto dos programas
subnacionais e capacitar os gestores locais em planejamento focalizado em metas e aes,
mas tambm contribuiu para uma maior aproximao das OSC com as burocracias das
Secretarias de Sade. A Portaria 2313 que institui os Planos de Aes e Metas traz uma
diretriz que instrui os coordenadores dos programas locais a promoverem a participao das
OSC no processo de planejamento anual e no estabelecimento de metas e aes para o
programa, principalmente, no que diz respeito aplicao de recursos para os projetos
desenvolvidos em parceria com as OSC. Outra mudana institucional que afetou
sobremaneira a relao entre as OSC e a burocracia do Programa Estadual foi transferncia
para a esfera estadual da responsabilidade pela seleo, pelo acompanhamento e pela
avaliao dos projetos das OSC5. De acordo com o modelo de financiamento anterior, essa
atribuio cabia ao Programa Nacional, o que muitas vezes gerava conflitos entre os
coordenadores locais e as OSC, pois, embora a atuao dessas organizaes fosse, via de
regra, local, seus projetos eram financiados e avaliados pela Coordenao Nacional sendo esta
tambm, por conseguinte, a esfera de governo qual elas prestavam contas do andamento de
seus projetos e qual respondiam. Nesse sentido, a Portaria 2313 contribuiu para a
aproximao das OSC com os programas subnacionais, sobretudo com os programas
estaduais. Assim, a descentralizao dos processos de seleo, do financiamento e da
avaliao dos projetos de parceria gerou um maior envolvimento das OSC na gesto que se
traduziu tambm em maior fiscalizao dos programas locais. A descentralizao do
programa de HIV/AIDS e outras DST d-se, ento, por meio da transferncia de poder de
deciso aos gestores municipais e estaduais sobre trs reas bsicas de gesto dos programas,
a saber: seleo e avaliao dos projetos das OSC; planejamento, programao e
monitoramento das metas e prioridades dos programas; e, por fim, gerenciamento dos
recursos e controle dos gastos. A criao do Sistema de Monitoramento e Avaliao (SMA)
precisa ser entendida, portanto, nesse contexto, de descentralizao das responsabilidades e
aes de enfrentamento da epidemia e da adequao do Programa ao modelo institucional do
SUS.
Conforme explicitamente assinalado em seu documento de implantao, o SMA do Programa
de DST/AIDS atende a trs objetivos bsicos: (i) gerar subsdios retroalimentao do
processo de programao dos Planos de Aes e Metas (PAM) e tomada de decises pelos
gestores de sade federal, estadual e municipal; (ii) Acompanhar o cumprimento das
pactuaes realizadas nas Comisses Intergetores Bipartites (CIB) como requisito para a
qualificao de estados e municpios Poltica de Incentivo; e (iii) garantir a transparncia no

9
uso dos recursos financeiros e de verificao da capacidade de gasto dos gestores de sade,
sempre associada qualidade da resposta local para o enfrentamento da epidemia.
(MINISTRIO DA SADE, 2004). Para tanto, o SMA acompanha a evoluo de cinco eixos
principais dos programas (nacional e locais): (1) metas programadas (PAM); (2) indicadores e
ndice composto de DST; (3) cumprimento dos acordos para tornar disponveis insumos
estratgicos (medicamentos para outras DST e Infeces Oportunistas e preservativos); (4)
execuo dos recursos financeiros (o que inclui o monitoramento dos recursos da Poltica de
Incentivo repassados s organizaes da sociedade civil); e, finalmente, (5) acompanhamento
dos projetos de parcerias com organizaes da sociedade civil.
A instituio do SMA do Programa de DST/AIDS possibilitou s autoridades polticas da
Secretaria de Sade um controle mais efetivo da burocracia responsvel pela gesto do
Programa de DST/AIDS. Como observado, a implantao da Poltica de Incentivo e,
particularmente, a introduo do financiamento fundo-a-fundo fortaleceu os coordenadores do
programa estadual, conferindo-lhes maior autonomia de gesto; por outro lado, a
obrigatoriedade de apresentao dos resultados alcanados no ano ao Conselho Estadual de
Sade, onde so comparados com as aes e metas programadas no PAM, criou um
mecanismo de controle dos resultados do Programa. Notam aqui, portanto, duas das principais
diretrizes que orientaram a reforma do Estado: a ampliao da flexibilidade gerencial da
burocracia e a criao de mecanismos de controle do desempenho da burocracia. Se se
analisar essa questo a partir de uma perspectiva da teoria do agente - principal em que o
representante poltico o secretrio da Sade, sobretudo assume o papel de principal e a
burocracia do Programa Estadual, o de seus agentes, nota-se que a implantao do SMA
reduziu significativamente a assimetria de informaes que limitava um controle mais efetivo
da burocracia. Nesse sentido, a instituio do SMA estabeleceu um mecanismo de
responsabilizao da burocracia pelos resultados do Programa de DST/AIDS. No apenas por
que as informaes obtidas por meio das avaliaes possibilitam ao secretrio da Sade o
principal cobrar a burocracia seus agentes por seu desempenho frente ao programa, mas,
sobretudo porque o arranjo institucional no qual se insere o Programa de AIDS/DST o SUS
por meio de seus conselhos gestores e comisses intergovernamentais e a atuao das OSC
e demais associaes de usurios do Programa constrangem a burocracia a prestar contas de
seus resultados periodicamente ao rgo de controle e participao social, o Conselho
Estadual de Sade. Adicionalmente, o SMA tambm se mostrou ser uma ferramenta de
controle bastante valiosa coordenao do Programa Nacional a burocracia do Ministrio
da Sade , permitindo-lhe fiscalizar e monitorar o desempenho das burocracias dos
programas subnacionais, sobretudo aps a descentralizao e a desconcentrao do Programa
de DST/AIDS promovidas pela Poltica de Incentivo.
Outro ponto que merece considerao refere-se s relaes entre cidados e polticos e entre
cidados e burocratas. Ou, mais especificamente, refere-se relao entre as OSC e
associaes de pessoas vivendo com HIV/AIDS e os agentes pblicos responsveis pela
gesto do Programa, sejam eles autoridades polticas ou burocratas. Grande parte dos
relatrios e dos dados do sistema de avaliao (SMA) est disponvel pela internet a qualquer
cidado que quiser consult-los. No stio do Programa Nacional, por exemplo, podem ser
encontrados balanos do Plano de Aes e Metas para os anos de 2003, 2004 e 2005, com
informaes sobre os resultados (programados e atingidos) nos cinco eixos principais do
programa. Cabe apontar que, alm de integrar as informaes globais do Programa Nacional,
o SMA permite tambm o acompanhamento em nvel local (dos municpios e estados) e
possibilita s OSC ou s associaes de pessoas vivendo com HIV/AIDS cadastradas no
programa a emisso de relatrios com o resumo das estimativas dos indicadores para o Brasil
e para os demais programas subnacionais. Percebe-se assim que a instituio do SMA do

10
Programa Estadual de AIDS/DST possibilitou s OSC e s associaes de usurios fazer um
acompanhamento sistemtico do desempenho das burocracias encarregadas da conduo da
poltica de AIDS e outras DST no estado. Finalmente, cabe destacar que a implantao do
SMA, aliada introduo da Poltica de Incentivo, trouxe uma mudana qualitativa no tipo de
controle social posto em prtica pelas OSC e pelas associaes de pessoas vivendo com
HIV/AIDS. Antes da adoo dessas duas medidas verificava-se um controle social ad hoc,
isto , o controle social caracterizava-se pelo ativismo poltico de grupos organizados em
funo de questes especficas e pontuais da poltica de AIDS em So Paulo e no Brasil e,
mais importante, a fiscalizao dava-se ao largo das instituies de representao e controle
social, os Conselhos Estaduais de Sade. A vocalizao das demandas das OSC era exercida
diretamente sobre as autoridades polticas e as burocracias das secretarias estaduais de Sade
e do Ministrio da Sade. Aps a implantao da Poltica de Incentivo e do SMA, o percurso
para a elaborao e aprovao dos Planos de Aes e Metas exige que, depois de elaborados,
estes sejam apresentados e submetidos aos conselhos (estaduais ou municipais) de sade,
onde tambm devem ser discutidos e aprovados, para, ento, serem submetidos coordenao
nacional do programa que, finalmente, o sanciona. Esse fluxo de aprovao trouxe a atuao
das OSC para dentro das arenas institucionalizadas de controle e participao, os conselhos de
sade dos estados e municpios. A partir da instituio dessas duas medidas, as OSC e demais
associaes de usurios do Programa passaram a participar ativamente das reunies do
Conselho Estadual de Sade, pois perceberam que esse havia se tornado uma instncia
decisiva na gesto e, principalmente, na fiscalizao do Programa. Ademais, a obrigatoriedade
de apresentao das informaes do SMA referentes aos resultados alcanados no ano aos
conselhos (nacional, estaduais e municipais) de sade, onde so cotejados com as aes e
metas programadas, criou um mecanismo de controle dos resultados do programa. Ou seja, o
arranjo institucional no qual se insere o Sistema de Monitoramento e Avaliao, assim como a
atuao dos atores interessados na poltica de combate AIDS no Brasil, tm contribudo para
constranger a burocracia da Secretaria Estadual de Sade e, mais especificamente, a
coordenao do Programa Estadual de DST/AIDS a manterem-se responsivas s demandas e
s cobranas da sociedade civil organizada. Com relao responsabilizao das autoridades
polticas importante salientar que esta institucionalizao do controle social passou a
assegurar um controle mais efetivo de suas aes com relao poltica de combate AIDS e
a outras DST no estado de So Paulo. No modelo anterior, o controle e a participao social,
embora muito presentes, no pareciam garantir a responsabilizao das autoridades polticas
pelas suas aes ou omisses, j que o ativismo poltico e o controle ad hoc tm uma
capacidade de sano (legal ou simblica) bastante limitada. O Conselho Estadual de Sade,
por outro lado, uma instncia explicitamente concebida para controlar a atuao das
autoridades polticas (e burocratas) e, mesmo no dispondo do poder de punir diretamente os
agentes pblicos, o decreto federal 1615/95 que trata do Sistema Nacional de Auditoria
faculta-lhe o acionamento de rgos federais ou estaduais de auditoria (p.ex., Tribunais de
Contas) e, mais importante, possibilita-lhe tambm o recurso ao Ministrio Pblico. Ambos
os Tribunais de Contas ou o Ministrio Pblico podem atuar, nesse caso, como agentes de
sano dos Conselhos de Sade. Enfim, as mudanas institucionais trazidas pela Poltica de
Incentivo e pela implantao do SMA promoveram uma ruptura na forma em que se dava o
controle social. Se antes se verificava um controle social ad hoc marcado pelo ativismo
poltico das OSC pautado por questes pontuais e especficas da poltica de combate AIDS e
s DST, a partir da introduo das medidas acima destacadas testemunhou-se uma
institucionalizao do controle social. As OSC passaram a atuar ativamente dentro do
Conselho Estadual de Sade fiscalizando no apenas matrias e assuntos mais especficos e
urgentes, como por exemplo a distribuio de medicamentos e preservativos, mas tambm
todo o processo de programao e execuo dos planos anuais6. Ou seja, a implantao do

11
SMA aliada descentralizao promovida pela Poltica de Incentivo parece ter
contribudo para proporcionar uma ampliao da responsabilizao dos agentes pblicos
representantes polticos ou burocratas pelas suas aes ou omisses relativas conduo da
poltica de combate AIDS no estado de So Paulo. J com relao ao objetivo secundrio do
trabalho verificar se os sistemas de avaliao esto fornecendo elementos e informaes
para o desenho de novas intervenes ou para o aprimoramento das polticas e dos programas
em curso, isto , se tm sido utilizados como uma ferramenta de gesto e planejamento das
polticas , cabe apontar que, para a coordenao nacional do Programa de DST/AIDS
rgo do Ministrio de Sade o sistema de avaliao tem se mostrado um importante
instrumento para monitorar o alinhamento das metas e aes dos programas subnacionais a
seu plano estratgico. Como j assinalado, a implantao do SMA do Programa de AIDS e
outras DST est vinculada descentralizao e desconcentrao do Programa Nacional.
Nesse sentido, o SMA afigura-se uma ferramenta de gesto valiosa para a coordenao
nacional do Programa, sobretudo na medida em que lhe permite acompanhar a execuo das
aes desenvolvidas localmente, seja com relao aos resultados alcanados, seja em funo
da conformidade desses resultados com as prioridades estabelecidas no plano nacional. Para
os programas subnacionais, por outro lado, o SMA tem sido instrumento pouco til na gesto
dos programas, mas muito importante para capacitar os gestores locais em planejamento
focalizado em metas e aes. Segundo se verificou, o SMA no percebido como um
instrumento de gesto proveitoso pelos gestores locais. Na viso destes, o sistema de
avaliao ainda no est apto a captar corretamente os processos e produtos intermedirios,
crticos para o sucesso das aes e metas planejadas localmente, embora fique evidente na
anlise ainda que no seja admitido pelos prprios gestores locais que o SMA tem
funcionado como uma ferramenta muito til para capacitar esses gestores em planejamento
focalizado em metas e aes, na razo que lhes permite cotejar sistematicamente as aes e
metas planejadas com os resultados alcanados (ou no) ao longo do perodo avaliado, o que,
por sua vez, no apenas explicita os pontos fortes e fracos do desempenho dos programas,
mas tambm funciona como um guia para o planejamento do ano subseqente.
O Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (SARESP)
A Secretaria Estadual de Educao (SEE) criou e implantou o SARESP em 1996. A
implantao do sistema de avaliao da rede estadual insere-se num quadro mais amplo de
iniciativas que visavam reestruturar o papel do Estado, principalmente em relao a suas
funes e atuao. Este movimento de reformas, no campo educativo, possui dois grandes
eixos: a descentralizao da gesto da rede de ensino e a implantao de sistemas de avaliao
das redes escolares (cf. CASTRO e CARNOY, 1997). Com base na anlise do Documento de
Implantao do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (SEE,
s/d) possvel identificar dois objetivos bsicos do SARESP. Em primeiro lugar, a
implantao do sistema de avaliao visa ampliar o conhecimento do perfil dos alunos da rede
pblica de educao e fornecer aos professores da rede descries dos padres de desempenho
alcanados pelo conjunto de alunos no com o objetivo de avaliar o aluno, mas com o
objetivo de identificar o que o aluno capaz de fazer nos distintos momentos de sua trajetria
escolar (proficincia); com a finalidade de ponderar a qualidade e a equidade do ensino
ministrado e, assim, subsidiar o trabalho a ser desenvolvido em sala de aula. Em segundo
lugar, o levantamento de dados realizado pelo SARESP que no se limita ao desempenho
escolar busca verificar os fatores contextuais e escolares que incidem na qualidade do
ensino bsico. Nesse sentido, instrumento central para o aprimoramento da gesto do
sistema educacional, na medida em que identifica os pontos crticos do ensino e possibilita
SEE, por meio de seus rgos centrais e das Diretorias de Ensino, apoiar as escolas e
educadores com recursos, servios de orientao e capacitao. Por fim, o documento

12
ordenador da implantao do sistema de avaliao sugere tambm que a Secretaria de
Educao embora em nenhum momento o explicite considera que a tomada de
conhecimento por parte da populao a respeito do desempenho das escolas influencia
(positivamente) a qualidade do ensino. A implantao do SARESP marca, seguramente, uma
ruptura na forma de controle dos estabelecimentos de ensino pela Secretaria Estadual de
Educao (SEE). O SARESP modificou sobremaneira o controle das escolas e,
particularmente, o monitoramento da atuao de seus professores e diretores , que antes era
mantido por pessoas com funes especficas para essas tarefas e, a partir de ento, d-se por
mecanismos de aferio do desempenho escolar. A partir da implantao do SARESP, a
capacidade dos educadores de atuar de maneira pouco responsiva com relao Secretaria foi
condicionada pelos limites estipulados, previamente, mediante a adoo dos Parmetros
Curriculares e, posteriormente, por meio das avaliaes de rendimento escolar. Embora a SEE
no reconhea essa funo de controle do SARESP, o advento do sistema de avaliao escolar
estabelece um fluxo de informaes entre a SEE, as diretorias de ensino e as unidades
escolares que permite Secretaria e a seus rgos centrais identificar os pontos fortes e os
pontos fracos no desempenho dos estabelecimentos de ensino do estado, o que atribui ao
sistema de avaliao carter de um mecanismo de controle e monitoramento das unidades
escolares, de seus professores e de suas prticas pedaggicas. Se, antes, os estabelecimentos
de ensino eram monitorados mediante a observncia a priori e passo a passo de normas e
procedimentos, aps a instituio do SARESP, criado um controle a posteriori do
rendimento das escolas. Ou seja, enquanto no modelo prvio as escolas seus professores e
diretores eram julgadas to-somente por seu respeito s regras e pelo que faziam constar nos
relatrios, aps a introduo do SARESP, embora se continue procedendo, por boas razes,
mediante os controles administrativos, estabelecida uma nova lgica de monitoramento das
escolas baseada no rendimento das unidades escolares nos testes de avaliao. Quando se
examina essa questo sob a perspectiva da teoria agente - principal, nota-se que a implantao
do SARESP reduziu consideravelmente a assimetria de informaes entre o principal
(autoridade poltica) e seus agentes (professores e diretores), pois dotou o principal o
secretrio de Educao e seu gabinete de informaes detalhadas sobre as aes de seus
agentes os educadores e suas conseqncias, o que contribuiu para a adoo de uma
fiscalizao mais efetiva do desempenho dos estabelecimentos de ensino da rede pblica
estadual. No obstante no se tenha estabelecido um sistema de controle por resultados stricto
sensu da burocracia j que as avaliaes no tm conseqncias diretas para os indivduos
ou instituies , as informaes dos testes de avaliao tm subsidiado a Secretaria e seus
rgos centrais na tomada de deciso a respeito das polticas e programas para a educao
bsica no estado de So Paulo.
As relaes entre os cidados e as autoridades polticas e entre os cidados e a burocracia
escolar, no entanto, parecem ter sido alteradas muito marginalmente. Como j observado,
embora a partir da adoo do SARESP se estabelea um importante fluxo de informaes
entre as vrias instncias de ensino escolas, diretorias de ensino e a prpria SEE que
possibilita a identificao dos pontos crticos da educao e a reorientao das propostas
pedaggicas no estado, no se logram os mesmos sucessos com relao participao da
comunidade alunos e, sobretudo, seus pais na gesto escolar. Mais especificamente, no se
percebe sequer uma maior preocupao de dirigentes e profissionais das escolas com sua
responsabilidade na prestao de contas aos seus usurios mais prximos (os alunos e seus
pais). As formas de divulgao dos resultados dos testes do SARESP desenvolvidas at o
presente tm se mostrado claramente insuficientes para informar as famlias dos alunos (e o
pblico em geral) acerca do desempenho das escolas de seus filhos. Os familiares, bem como
o conjunto da sociedade, no tm sido capazes de atribuir significado aos dados apresentados
pelos relatrios. Conseqentemente, alunos, seus familiares ou mesmo a sociedade como um

13
todo no tm utilizado os resultados e as informaes das avaliaes para cobrar de
professores, diretores ou demais agentes do Poder Pblico a melhoria na qualidade do ensino
no estado de So Paulo. O Relatrio Geral do SARESP, publicado pela SEE, no permite
comparaes entre o rendimento de diferentes unidades escolares, entre as Diretorias de
Ensino, ou mesmo entre as regies do estado de So Paulo. Segundo a metodologia de
divulgao dos dados do SARESP adotada pela SEE, as escolas sejam elas da rede estadual,
municipal ou privada tm acesso aos dados de seus alunos, aos dados da rede a qual est
integrada e aos dados do universo das escolas avaliadas no estado. Mediante tal processo de
divulgao os estabelecimentos de ensino podem se posicionar com relao rede a qual est
integrado e com relao ao universo das escolas do Estado de So Paulo. De acordo com uma
funcionria da FDE, rgo responsvel pela divulgao dos resultados, essa estratgia de
divulgao foi uma escolha pedaggica que visava coibir a competio dentro do sistema
pblico de educao. Contudo, segundo Bitar (1998: 19), esse procedimento objetiva
tambm evitar que as escolas se sintam ameaadas pela avaliao. As famlias e a
populao em geral so informadas acerca dos resultados das avaliaes escolares por meio
desse mesmo Relatrio Geral distribudo a todas as escolas da rede que se limita a
descrever os dados includos nos quadros, grficos ou tabelas, com escassas ou nenhuma
anlise e interpretao, supondo que eles sejam auto-explicativos. Nesse sentido, potencial do
SARESP enquanto um instrumento de ampliao do controle social sobre as escolas tem sido
bastante limitado em decorrncia das formas de divulgao dos resultados das aferies. Ou
seja, o dficit de responsabilizao de representantes polticos e da burocracia educacional
pelos resultados das avaliaes parece, neste caso, estar relacionado com o escasso acesso
informao por parte de pais e familiares de alunos acerca dos resultados das escolas do
estado. Novamente, quando se observa este ponto sob a perspectiva da teoria da agncia, onde
os cidados desempenham o papel de principal e as autoridades polticas (e os educadores), o
de seus agentes, percebe-se que a implantao do SARESP pouco contribuiu para a reduo
da assimetria de informaes que d margem atuao no representativa desses agentes.
Vale repetir a esse respeito o raciocnio desenvolvido nas sees iniciais desse trabalho: para
fiscalizar e controlar as aes governamentais os cidados precisam, necessariamente, ter
acesso informao. O controle dos polticos e burocratas, para alm dos perodos de eleio,
encontra-se, nesse sentido, fortemente vinculado visibilidade e divulgao dos atos do
Poder Pblico. Enfim, a implantao do SARESP, se observada sob a tica do controle
democrtico, tem se mostrado, por um lado, um importante mecanismo das autoridades
educacionais do estado no monitoramento do rendimento dos estabelecimentos de ensino, de
seus diretores, professores e suas prticas pedaggicas; por outro lado, entretanto, no que se
refere ao controle dos agentes pblicos governantes ou burocratas as mudanas trazidas
tm sido insatisfatrias. O escasso acesso dos cidados (pais e familiares de alunos, em
especial) s informaes dos testes de avaliao tem reduzido significativamente o
envolvimento da sociedade na busca da melhoria da qualidade do ensino pblico.
Diferentemente do que se verifica no caso do Programa de DST/AIDS, aqui os atores da
sociedade civil alunos e seus familiares no tm sido capazes de se apropriar dos
resultados das avaliaes para cobrar os agentes pblicos responsveis pela conduo das
polticas e dos programas educacionais no estado. J com relao ao objetivo secundrio do
trabalho, pode-se afirmar que a implantao do SARESP, diferentemente do que foi
observado para o SMA do programa de DST/AIDS, coloca em prtica um importante fluxo de
informaes entre a SEE, as Diretorias de Ensino e as unidades escolares que passa a orientar
a gesto de toda a poltica educacional do estado. Torna vivel, por exemplo, o apoio
individualizado s escolas com recursos, servios e capacitao direcionados s carncias
detectadas nas avaliaes. Outro ponto relevante que esse intercmbio de informaes entre
escolas, Diretorias de Ensino e a Secretaria subsidia uma tomada de decises mais informada

14
por parte dos rgos da administrao central e, assim, agrega mais legitimidade s medidas
propostas e implementadas pela Secretaria, conforme relatado pelos supervisores de ensino
entrevistados.Retomando a questo bsica deste trabalho, ento, cabe notar que se o SARESP,
por um lado, vem-se mostrando um instrumento efetivo de orientao das prticas
pedaggicas das instncias de ensino do estado nominalmente das escolas e das Diretorias
de Ensino , por outro lado, quando observado sob a perspectiva do controle democrtico,
seus resultados podem ser considerados bastante insatisfatrios. No obstante tenha
aumentado o controle que as autoridades do estado exercem sobre a burocracia dos
estabelecimentos educacionais professores e diretores particularmente , no que concerne s
relaes entre cidados e autoridades educacionais ou mesmo entre os cidados (pais de
alunos especialmente) e professores ou diretores, as mudanas trazidas com a implantao
deste sistema de avaliao so de pouca importncia.
IV Consideraes Finais
A hiptese de trabalho aqui proposta que a responsabilizao dos agentes pblicos est
diretamente relacionada no apenas a caractersticas prprias da avaliao, sobretudo as
formas de apresentao e de divulgao dos dados das avaliaes, mas tambm atuao dos
atores interessados (stakeholders) mostrou-se vlida. Os resultados indicam, porm, que a
atuao dos atores interessados , em grande parte, mas no exclusivamente, uma funo da
incorporao de regras e procedimentos de fiscalizao via participao social. Esses, enfim,
parecem ser os fatores preponderantes a constranger os agentes pblicos tanto a prestar contas
de suas aes como tambm e, sobretudo, a responsabilizar-se por essas aes (ou omisses)
na conduo das polticas e dos programas avaliados. No Programa Estadual de DST/AIDS, a
institucionalizao do controle social e a pluralidade de atores interessados envolvidos na
gesto do programa e na formulao e implantao do SMA tm assegurado no somente
a publicizao dos relatrios e dos dados gerados a partir do Sistema de Monitoramento e
Avaliao do Programa, mas tambm a responsabilizao dos gestores do Programa pelos
seus resultados. J no caso do SARESP, que foi concebido e implantado de maneira bastante
insulada pela burocracia da SEE, no se verifica o mesmo grau de visibilidade das aes
governamentais e dos resultados dos testes de avaliao, o que tem impossibilitado o uso
dessas informaes para a prestao de contas e para cobrana das equipes escolares da rede
pblica de ensino bsico. A obrigatoriedade de apresentao das informaes do SMA ao
Conselho Estadual de Sade, onde so cotejadas s aes e metas programadas, assegurou o
estabelecimento de um controle dos resultados do Programa de DST/AIDS, e serviu tambm
e, sobretudo, para aumentar o controle dos agentes pblicos pelos cidados e usurios do
programa. Numa palavra, a instituio do SMA e o desenho institucional no qual se insere
garantiu e aperfeioou a fiscalizao via participao social. No caso do SARESP, por outro
lado, embora a implantao do sistema de avaliao represente indubitavelmente um
aprimoramento no controle das equipes escolares por parte da SEE, a restrio do acesso s
informaes dos testes de avaliao limita o papel do SARESP mera ferramenta gerencial
muito importante, com certeza da poltica educacional paulista, sem qualquer conseqncia,
porm, para o difcil desafio de mobilizar a sociedade para o problema da qualidade da
educao bsica no estado. Numa palavra, o SARESP restringe-se a instrumento de controle
administrativo. Finalmente, vale assinalar, j a ttulo de concluso, que o xito da avaliao de
polticas pblicas como um mecanismo de controle democrtico passa, necessariamente, por
duas condies: a primeira a transparncia dos atos do Poder Pbico. Como j enfatizado, a
transparncia e a visibilidade das aes governamentais so peas-chave para a accountability
de maneira geral, porm, nesse caso, sem transparncia, fidedignidade e clareza das
informaes no h como cidados apropriarem-se dos dados das avaliaes para cobrarem os
agentes pblicos. A segunda refere-se incorporao de regras e procedimentos de

15
fiscalizao via participao social. Vale salientar a esse respeito que a formulao e a
implementao desse tipo de controle no podem se dar de maneira insulada pela burocracia;
ao contrrio devem ser informadas e fiscalizadas pelas demandas da populao e pela
sinalizao de prioridades e comprometimento dos governantes, poder-se-ia acrescentar ,
pois seno a avaliao ser quando muito uma ferramenta muito importante, verdade de
gesto da poltica ou programa avaliado.

V Notas: 1 Evidentemente, estes resultados s puderam se confirmar com o seguimento da pesquisa. Contudo,
ainda na fase de elaborao do projeto de pesquisa, uma anlise preliminar dos casos j parecia apontar indcios
fortes de que os casos em questo SARESP e SMA do programa de DST/AIDS apresentariam resultados
bastantes distintos.
2
A esse respeito ver, entre outros, Przeworski (1998) e Przeworski et al. (1999).
3
Sobre este tpico consultar Manin et al. (1999) ou Przeworski at al. (1999).
4
Apesar de a presente anlise focalizar-se em autores que se baseiam na perspectiva principal - agente,
tampouco outros autores que adotam diferentes abordagens tericas parecem dar destaque s formas de controle
e fiscalizao que permeiam as relaes entre cidados e burocratas ou entre os diferentes nveis e esferas
burocrticas. Talvez uma exceo digna de nota seja Michael Barzelay (2001).
5
Vale relembrar que a Portaria 2313 que institui a Poltica de Incentivos estabelece que 10% do total de
recursos repassados unidade federada devem ser destinados para o desenvolvimento de projetos em parceria
das SES (Secretarias Estaduais de Sade) com as OSC (Organizaes da Sociedade Civil).
6
Vale observar que a institucionalizao do controle social, que traz a atuao das OSC para dentro dos
Conselhos de Sade, no significou, em absoluto, um abandono do ativismo poltico das ONGs e de sua
estratgia de mobilizao e presso junto as burocracias das Secretarias de Sade ou do Ministrio da Sade,
mas, ao contrrio, visto pelas prprias OSC e associaes de usurios apenas como mais um mecanismo
muito importante, com certeza de fiscalizao da burocracia e dos decisores polticos.
VI Referncias Bibliogrficas:
ABRUCIO, Luiz Fernando e LOUREIRO, Maria Rita. Finanas pblicas, democracia e
accountability. In: BIDERMAN, Ciro e ARVATE, Paulo (orgs.). Economia do Setor Pblico
no Brasil. Rio de Janeiro: Elsevier, 2005.
BANCO MUNDIAL. O Estado num mundo em transformao. Relatrio sobre o
desenvolvimento mundial. World Bank. Whashinton D.C., 1997.
BITTAR, Hlia A de Freitas; FARES, Jacira; CONHOLATO, Maria Conceio; CUNHA,
Maria Cristina A Alves da; FERREIRA, Maria Jos A. O sistema de avaliao de rendimento
escolar de So Paulo: implantao e continuidade. In: CONHALATO, Maria C. (et al.)
Sistemas de avaliao educacional. In: Idias 30, So Paulo: FDE ,1998.
BOBBIO, Noberto. O futuro da democracia: uma defesa das regras do jogo. Rio de Janeiro:
Editora Paz e Terra, 1992.
CAIDEN, Gerald E. & CAIDEN, Naomi. Enfoques y lineamiento, la medicin e la evaluacin
del desempeo en el sector pblico. Revista do Servio Pblico, Ano 52, no.1, pp.25 55,
2001.
ELSTER, Jon. Accountability in athenian politics. In: PRZEWORSKI, Adam; SOTOKES,
Susan C.; MANIN, Bernard (eds). Democracy, Accountability and Representation.
Cambridge: Cambridge University Press. (Cambridge Studies in the Theory of Democracy),
1999.
ODONNELL, Guillermo. Accountability horizontal e as novas poliarquias. Lua Nova, So
Paulo, n. 44. p. 27 54. 1998.
PRZEWORKI, Adam. Sobre o desenho do Estado: uma perspectiva agent x principal. In:
BRESSER PEREIRA, Luiz Carlos e SPINK, Peter (orgs.). Reforma do Estado e administrao
pblica gerencial. Editora Fundao Getlio Vargas, Rio de Janeiro, 1998.
PRZEWORSKI, Adam; SOTOKES, Susan C.; MANIN, Bernard (eds). Democracy,
Accountability and Representation. Cambridge: Cambridge University Press. (Cambridge
Studies in the Theory of Democracy), 1999.

16
SCHNEIDER, Ben Ross; DONER, Richard. The new institutional economics, business
associations, and development. Brazilian Journal of Political Economy, 20 (3), jul-sep, 2000.
SHAVELSON, R. & TOWNES, L. (eds.). Scientific research in education. Washington, DC:
National Academy Press. 2002.
YIN, Robert K. Estudo de caso: planejamento e mtodos. Porto Alegre: Bookman. 2005.

17