Avaliao de impacto no

Brasil: possvel mensurar

impactos de programas de
formao docente?
ADRIANA BAUER*

RESUMO
O presente artigo visa a compartilhar as vicissitudes de uma proposta de avaliao de
impacto de um programa educacional, objeto atual de anlise da autora. Tal estudo,
provisoriamente intitulado Avaliao de possveis impactos de programas de formao
docente: a experincia do Programa Letra e Vida, originou-se da preocupao com a
escassez de trabalhos que buscassem mensurar impactos de programas educacionais no
Brasil. O texto discute o conceito de avaliao de impacto e analisa as dificuldades
metodolgicas inerentes a esse tipo de avaliao. Traz exemplos dos desafios subjacentes
mensurao de impacto em educao que frustraram o projeto inicial de doutoramento da
autora e as tentativas realizadas no sentido de superar tais obstculos. A motivao para a
produo do artigo no , portanto, compartilhar resultados de pesquisa, mas sim propor
a discusso das dificuldades encontradas e dos caminhos metodolgicos que podem ser
utilizados para o estudo de efeitos de programas, visando ao aprofundamento das reflexes
sobre a temtica.
Palavras-chave: Avaliao do programa, Formao de professores, Saresp, Programa
Letra e Vida.

* Doutoranda em Educao, Programa de Ps-Graduao da Faculdade de Educao da Universidade de So Paulo e Pesquisadora da Fundao Carlos Chagas (dri_bauer@yahoo.com.br).
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 229

RESUMEN
El presente artculo tiene como objetivo compartir las vicisitudes de una propuesta de evaluacin
de los impactos de un programa educacional. Este es el objeto actual de anlisis de la autora.
Tal estudio, con el ttulo provisorio de Evaluacin de los posibles impactos de programas de
formacin docente: la experiencia del Programa Letra e Vida, surgi de la preocupacin por
la escasez de trabajos que midiesen los impactos de programas educacionales en Brasil. El
texto discute el concepto de evaluacin de impacto y analiza las dificultades metodolgicas
inherentes a este tipo de evaluacin. Aporta ejemplos de los desafos subyacentes a la medicin
del impacto en educacin, que frustraron el proyecto inicial de doctorado de la autora, y
los intentos realizados con el fin de superar tales obstculos. La motivacin para producir
el artculo no es, por lo tanto, compartir los resultados de una investigacin, sino proponer
la discusin de las dificultades encontradas y de los caminos metodolgicos que se pueden
utilizar para el estudio de efectos de programas, con el objetivo de profundizar las reflexiones
sobre este tema.
Palabras clave: Evaluacin del programa, Formacin de profesores, Saresp, Programa Letra e Vida.

ABSTRACT
Th is article aims at sharing the hardships of an evaluation proposal of the impact of an
educational program, the present object of the authors analysis. Th is study, provisionally
named Evaluation of possible impacts of teacher education programs: the experience of
the Letra e Vida Program, arose from a concern with the lack of studies that attempted
to measure impacts of educational programs in Brazil. The text discusses the concept of
impact evaluation and analyzes the methodological difficulties inherent to this type of
evaluation. It also provides examples of challenges underlying the measurement of impact
in education which frustrated the authors initial doctoral project, and the attempts made
to try to overcome such obstacles. The motivation for this article, then, is not to share
research results, but to propose the discussion of the difficulties encountered and of the
methodological approaches that can be used to study the effects of the programs, so as to
widen the reflections on this topic.
Keywords: Program evaluation, Teacher education, Saresp, Letra e Vida Program.

230 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

INTRODUO
Algumas polticas educacionais implementadas no Brasil, desde meados da
dcada de 1990, destinaram parte dos recursos disponveis formao e ao
desenvolvimento dos professores, visando, entre outros objetivos, melhoria da
qualidade do ensino.

Como exemplo, pode-se citar o Fundo de Manuteno e Desenvolvimento do

Ensino Fundamental e de Valorizao do Magistrio (Fundef) e o Fundo de Manuteno e Desenvolvimento da Educao Bsica e de Valorizao dos Profissionais
da Educao (Fundeb). Primeira iniciativa de poltica de fundos, estabelecida aps
o perodo da redemocratizao no Brasil, o Fundef subvinculou 60% dos recursos
destinados ao ensino fundamental formao e ao desenvolvimento dos professores, enquanto o Fundeb manteve a mesma subvinculao de recursos para a formao, ampliando-a a todos os professores de educao bsica.
Quer seja para o ensino fundamental, quer contemple toda a educao bsica,
ambas as iniciativas expandiram consideravelmente a possibilidade dos sistemas educacionais designarem recursos para o desenvolvimento profissional dos professores.
Alm disso, diversas secretarias estaduais de educao vm sistematicamente investindo na formao dos professores, visando a mudanas na qualidade do ensino ofertado.
No caso especfico do Estado de So Paulo, diferentes aes de formao contnua vm sendo planejadas e ofertadas, sendo a formao docente apresentada como
um dos eixos da segunda gesto do governo Alckmin (2003-2006), inserida em um
projeto poltico mais amplo, focado na incluso social e melhoria do ensino (So
Paulo, 2003, p. 13).1
Nesse sentido, a qualificao docente e a melhor atuao do professor tm sido
considerados fatores preponderantes para o desenvolvimento da qualidade de ensino e do desempenho dos estudantes, por meio do aprimoramento das prticas
escolares (So Paulo, 2003, p. 15).
Inclusive ao referenciar os sistemas de avaliao como importantes formas de
acompanhamento desse aprimoramento, o documento que lanou as diretrizes para a poltica educacional do governo Alckmin fez alguns anncios sobre
a necessidade de avaliao das aes implementadas. No foram especificados,
1

A existncia de programas de educao continuada foi mantida no governo Jos Serra

(2007-2010) embora aparentemente com menor nfase. O apoio a essas atividades faz parte
das dez metas para a educao, lanadas pela Secretria de Educao Maria Helena Guimares de Castro, a serem atingidas at 2010.
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 231

no entanto, critrios que pudessem balizar essa avaliao e o monitoramento dos

programas implementados.
Apesar de as intenes de acompanhamento e avaliao dos programas estarem
divulgadas nos documentos oficiais da Secretaria da Educao do Estado de So
Paulo daquela gesto, no foram encontradas referncias a essa avaliao em outros
documentos pesquisados. Mesmo nos documentos especficos do programa de formao continuada Teia do Saber, que deu origem aos programas de formao da
Secretaria da Educao (entre os quais o Letra e Vida), no foram encontradas
informaes que permitissem vislumbrar como se daria sua avaliao.
O fato de tal avaliao no estar especificada nos documentos chamou a ateno
da pesquisadora, dada a nfase que vem sendo colocada pelas polticas de diversas
reas na avaliao dos resultados dos programas como fator essencial para seu redimensionamento.
Para alm da anlise documental, durante a pesquisa emprica, realizada pela
autora no processo de elaborao da sua dissertao (Bauer, 2006), foi possvel verificar que so raros os momentos em que programas da Secretaria da Educao do
Estado de So Paulo so avaliados formalmente. Alm disso, as avaliaes, quando
realizadas, tendem a focar a implementao do programa ou seus resultados imediatos, deixando de lado o estudo sobre o impacto dos mesmos, entendido aqui como
efeitos que se mantm a longo prazo.
No seria de esperar que no momento em que o discurso da qualidade, da eficincia e eficcia de programas fosse utilizado como justificativa das aes desencadeadas
e a avaliao dos impactos dessas aes fosse incorporada aos desenhos das polticas?
Tal questionamento deu origem a outros: seria possvel saber em que medida
os esforos realizados, no sentido de melhorar a qualidade da formao docente,
surtem efeito sobre a qualidade do trabalho docente ou sobre a atuao dos professores? Como avaliar a influncia que programas de formao tm acerca da atuao
docente e do desempenho dos alunos? Ou, de forma geral, quais seriam os possveis
impactos das aes formativas na prtica docente e nos resultados dos alunos?
Observa-se que nos documentos do Letra e Vida, assim como nos outros pesquisados, foram feitas afirmaes a respeito da necessidade de seu acompanhamento
e avaliao, mas no so encontradas especificaes acerca de mecanismos de avaliao dos resultados e impactos do programa.
Foi a partir dessas questes e da lacuna de propostas de avaliaes oficiais do
programa que o objeto e problema do estudo proposto pela autora, em nvel de
232 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

doutoramento, foram definidos: anlise de eventuais impactos do Programa Letra

e Vida, implantado em 2003 pela Secretaria da Educao do Estado de So Paulo.
Para esse estudo a anlise focaliza os professores da 1 srie do ciclo de alfabetizao
(ensino fundamental 1).
Este um programa de formao para professores alfabetizadores, destinado
aos docentes do primeiro segmento do ensino fundamental, mais especificamente
aos professores de 1 e 2 sries.
O objetivo geral da pesquisa analisar eventuais impactos do Programa Letra e Vida na atuao dos professores e no desempenho dos alunos. Os objetivos
especficos so:
Identificar evidncias, na organizao do trabalho em sala de aula, da utilizao de princpios metodolgicos do Letra e Vida.
Analisar eventuais diferenas, no desempenho de alunos de escolas estaduais
no Saresp, que possam ser atribudas ao Letra e Vida.
Procurar indcios, nos discursos dos professores, que evidenciem a influncia
(ou no) da formao recebida em sua prtica cotidiana.
Elencar dificuldades e desafios que se impem aos professores para fazer uso dos
conhecimentos tericos adquiridos durante o curso em sua prtica cotidiana.
Feitos os primeiros delineamentos, a autora passou anlise documental e ao
levantamento de dados para realizao da pesquisa. Foi quando as primeiras dificuldades e desafios se impuseram, levando-a a refletir sobre a metodologia inerente
a esse tipo de avaliao e, ainda mais, sobre o significado conceitual de avaliao de
impacto, como ser visto a seguir.
O QUE AVALIAO DE IMPACTO?
A avaliao de um programa social pode envolver diversas etapas: anlise
da proposta (examina se o programa importante e relevante para o objetivo
pr-definido e se o desenho est adequado, projeta possveis resultados, etc.), da
implementao (avalia se o projeto est sendo conduzido conforme o planejado),
dos resultados (analisa se o programa implementado atingiu os objetivos previamente definidos) e dos impactos, entendidos aqui como resultados e efeitos da interveno a longo termo e que se mantm mesmo aps o trmino da interveno.

Contudo, na vasta literatura existente sobre avaliao de programas, nem sempre

essas so as etapas mencionadas e, tampouco, os conceitos utilizados por diversos
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 233

autores se equivalem sendo que, muitas vezes, a ideia de impacto est incorporada
na avaliao de resultados, e os termos utilizados como sinnimos.
Mesmo dentre os autores que fazem distino entre resultados e impactos,
observa-se que as definies de avaliao de impacto so diversas, havendo pouco
consenso, nas referncias pesquisadas, sobre o significado do termo.
Michael Scriven, por exemplo, no clssico Evaluation Thesaurus, defi ne2
avaliao de impacto como uma avaliao focada nos resultados ou retornos do investimento, em vez de no processo, na entrega, ou na avaliao da
implementao3 (1991, p. 190).
Nesse exemplo, nota-se que a definio de impacto relaciona-se ao foco da avaliao, e pode-se inferir que impactos e resultados (outcomes) so indistintamente entendidos pelo autor como efeitos, ou seja, possuem uma natureza relacional com a interveno, podendo ocorrer durante, ao final da interveno ou posteriormente
(Scriven, 1991, p. 250). O exemplo do autor ilustra a tendncia do uso intercambivel
entre esses termos, encontrados em parte da literatura destinada avaliao de programas (Weiss, 1998; Stufflebeam; Webster, 1980), como ser exemplificado a seguir.
Mohr (1992), por exemplo, utiliza anlise de impacto e aponta que impactos
ocorrem quando uma interveno afeta o estado de um objeto ou fenmeno mais
de uma vez:
Vamos tomar o termo anlise de impacto para significar a determinao da extenso em que um conjunto de atividades humanas dirigidas (X) afeta o estado
de alguns objetos ou fenmenos (Y1, , o Y k) pelo menos algumas vezes
determinando por que razo os efeitos foram to pequenos, ou grandes, como
acabaram por ser. (p. 1)4

Como a maioria das citaes utilizadas neste artigo provm da literatura estrangeira, optou-se
por colocar as citaes originais, a fim de preservar a fidedignidade do texto, que poderia ser
prejudicada por tradues equivocadas. Contudo, para garantir o acesso informao a todos
os leitores, uma traduo livre foi elaborada pela autora, sempre que recorreu a passagens para
reforar ou exemplificar os argumentos.
3
An evaluation focused on outcomes or payoff rather than process, delivery, or implementation evaluation (Scriven, 1991, p. 190).
4
Let us take the term impact analysis to mean determining the extent to which one set of
directed human activities (X) affected the state of some objects or phenomena (Y1, , Y k) at
least sometimes determining why the effects were as small or large as they turned out to be.
(Mohr, 1992, p. 1)
234 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

Para esse autor, isso significa que para poder atribuir um efeito (o estado de
algum objeto ou fenmeno) a uma determinada causa (atividade humana dirigida)
necessrio que, independentemente do contexto, a relao se mantenha. Ou seja,
deve ser possvel repetir o experimento ou a interveno algumas vezes, obtendo os
mesmos tipos de resultados, para poder lhe atribuir a condio de impacto. Essa
caracterstica da relao de causalidade tambm apontada por Baker (2000) em
sua definio de avaliao de impacto. Contudo, a autora no toca na necessidade
de replicabilidade:
A inteno da avaliao de impacto determinar mais amplamente se o programa teve os efeitos desejados nos indivduos, domiclios e instituies e se aqueles
efeitos podem ser atribudos interveo do programa. Avaliaes de impacto
tambm podem explorar consequncias no previstas, positivas ou negativas,
nos beneficirios. (p. 1)5 [grifos meus]

Para Baker a avaliao de impacto no somente se preocupa em mensurar/

interpretar os resultados do programa, mas analisa em que medida eles podem ser
atribudos ao programa e somente a ele. Nesse sentido, a avaliao de impacto
entendida, tal qual em Scriven, como a mensurao do efeito de determinada
interveno (um programa educacional, por exemplo) sobre determinado alvo, a
fim de saber em que medida houve alterao na situao inicial. A diferena entre
Baker e Scriven que a primeira busca diferenciar a avaliao de impacto da avaliao de resultados.
Outro aspecto que gera diferenas na teoria que trata de avaliao de impacto
refere-se ao momento em que ela realizada, pois a terminologia tambm aparece
relacionada ao uso prvio da avaliao, com o objetivo de prever impactos possveis
de um programa antes de sua implementao:
Ex-ante ou avaliao de impacto: uma avaliao que visa prever a
probabilidade de alcanar os resultados esperados de um programa ou
interveno, ou a previso de seus efeitos inesperados. Esta realizada
antes que o programa ou a interveno sejam formalmente aprovados ou
iniciados. Exemplos comuns de avaliao ex-ante so avaliaes de impac5

Impact evaluation is intended to determine more broadly whether the program had
the desired effects on individuals, households, and institutions and whether those
effects are attributable to the program intervention. Impact evaluations can also explore
unintended consequences, whether positive or negative, on beneficiaries. (Baker, 2000,
p. 1)
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 235

to ambiental e/ou avaliaes de impacto social e estudos de viabilidade.

( Independent..., 2006) 6

Na citao, avaliao ex-ante e impact assessment so utilizadas como sinnimos,

enquanto o uso mais comum do conceito de avaliao de impacto, relativa medida dos efeitos de determinada iniciativa, usualmente a identifica como avaliao
ex-post. Ressalta-se, aqui, o uso de assessment (normalmente relacionado avaliao
de habilidades ou cognio, ou seja, avaliao de caractersticas de pessoas) e
evaluation (mais comumente relacionado avaliao de programas, produtos, fenmenos, etc.), indistintamente, tambm como sinnimos.
Impact assessment outra expresso usada para designar a avaliao focada em
resultados ligados diretamente a determinada interveno. Bickman (2005), por
exemplo, no verbete que produziu para a Encyclopedia of Evaluation prefere o uso
do termo assessment:
Avaliao de impacto uma avaliao focada nos resultados ou impactos de
um programa, poltica, organizao ou tecnologia. Avaliaes de impacto tipicamente tentam fazer inferncia causal que conecta o avaliado com o resultado.
[...] Avaliao de impacto tambm referenciada como resultado, impacto ou
avaliao somativa. (Bickman, 2005, p. 194)7

A Organizao para a Cooperao Econmica e o Desenvolvimento (OCDE)

tambm refora que impacto o efeito causado, direta ou indiretamente, por uma
interveno, claramente atribuindo esse tipo de avaliao ao final do processo de
implementao do programa:
O ponto de partida a definio de impacto do Comit de Assistncia ao Desenvolvimento (CAD), que : efeitos de longo-prazo, positivos e negativos, primrios ou secundrios, produzidos por uma interveno para o desenvolvimento,
6

Ex-ante evaluation or impact assessment: an assessment which seeks to predict the likelihood
of achieving the intended results of a programme or intervention or to forecast its unintended
effects. This is conducted before the programme or intervention is formally adopted or started.
Common examples of ex-ante evaluation are environmental and/or social impact assessments
and feasibility studies. (Independent..., 2006)
7
Impact assessment is an evaluation focused on the outcomes or impact of a program, policy,
organization, or technology. Impact assessments typically try to make a causal inference that
connects the evaluand with an outcome. [] Impact assessment is also referred to as outcome,
impact, or summative evaluation. (Bickman, 2005, p. 194)
236 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

direta ou indiretamente, intencional ou involuntariamente. Esta definio amplia avaliao de impacto para alm de efeitos diretos para incluir a gama completa de impactos em todos os nveis da cadeia de resultados. (OECD, 2008)8

Observa-se nessa definio o uso do termo impacto relacionado ao momento

em que se d a avaliao, sendo comum na literatura o uso da palavra resultados
(outcomes) associada a efeitos de curto e mdio prazos, enquanto avaliao de impacto associada aos resultados de longo termo, e, portanto, vai alm de avaliar apenas
o que aconteceu aps uma interveno (Cohen; Franco, 2008).
Nessa altura, o leitor pode estar se questionando se h realmente diferenciao
entre avaliaes de impactos e avaliaes de resultados, ou se a questo apenas
semntica, pois a ambas atribudo um efeito de uma determinada interveno.
Parece inegvel que h uma questo poltica no uso terminolgico e que o que
est em jogo vai alm da semntica, pois o termo impacto pode implicar, a depender do contexto, uma conotao muito mais forte do que apenas a utilizao do
termo resultado ou resultado de longo prazo.
Contudo, o Banco Mundial traz uma definio que permite estabelecer uma
diferenciao clara entre avaliaes de resultados e de impactos:
Embora haja debate dentro da profisso sobre a definio precisa de avaliao
de impacto, o uso do termo pela NONIE9 provm da adoo da definio de
impacto do Comit de Assistncia ao Desenvolvimento (CAD) da Organizao para a Cooperao Econmica e o Desenvolvimento (OCDE), como
efeitos de longo-termo positivos ou negativos, primrios ou secundrios, produzidos por uma interveno em desenvolvimento, direta ou indiretamente,
intencional ou no-intencional. Adotar a definio do CAD leva a um foco
de duas premissas subjacentes s avaliaes de impacto: (a) atribuio: as palavras efeitos produzidos por [] implicam uma abordagem para avaliao de
impacto que atribuir impactos a intervenes, em vez de apenas avaliar o que
8

The starting point is the Development Assistance Committee (DAC) definition of impact,
which is: positive and negative, primary and secondary long-term effects produced by a
development intervention, directly or indirectly, intended or unintended. This definition
broadens impact evaluation beyond direct effects to include the full range of impacts at all
levels of the results chain. (OECD, 2008)
9
NONIE (Network of Networks on Impact Evaluation) uma rede composta pela Rede de
Avaliao da OCDE, pelo Grupo de Avaliao das Naes Unidas, pelo Grupo de Cooperao
para Avaliao e pela Organizao Internacional para Cooperao em Avaliao.
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 237

aconteceu. (b) contrafactual: [] o conhecimento sobre os impactos produzidos por uma interveno requer uma tentativa de aferir o que teria acontecido
na ausncia da interveno e a comparao com o que tem ocorrido com a
implementao da interveno. (Leeuw; Vaessen, 2009, p. 9)10

Nesse sentido, haveria uma diferenciao metodolgica relacionada ao uso de

avaliao de resultados (entendida como medida do que aconteceu) e avaliao
de impactos: a atribuio de causalidade e a definio de um contrafactual. Principalmente o ltimo elemento (contrafactual) parece ser a chave, na opinio da autora,
para a diferenciao entre resultados e impactos, pois possvel avaliar resultados
(o que aconteceu aps a interveno) sem estabelecer um grupo de comparao, mas
este ltimo parece essencial para se falar em impactos. Esse ser o entendimento de
impacto assumido neste trabalho.
A avaliao dos efeitos que so dependentes de uma interveno , por sua natureza, extremamente complexa, visto que questes relativas inferncia causal esto
implcitas nesse tipo de avaliao (Sulbrandt, 1993).
Ora, nas cincias biolgicas e exatas, isolar o efeito de uma varivel pode ser
mais simples do que nas cincias sociais. Como isolar, por exemplo, o efeito de um
curso na prtica de um profissional, sem a possibilidade de controlar os conhecimentos que ele tinha anteriormente?
Quando se trata de avaliar efeitos de um programa sobre o ser humano, cujas
aes e reaes envolvem uma complexidade de fatores, possvel eliminar outras
explicaes que possam justificar parcialmente o resultado da avaliao? possvel desenvolver indicadores ou instrumentos de medida de resultados que isolem
os aspectos que podem ter interferido no processo e reflitam diferenas no objeto
que sofreu a interveno, antes e depois de ela ter ocorrido?
Although there is debate within the profession about the precise definition of impact evaluation,
NONIEs use of the term proceeds from its adoption of the Development Assistance Committee
(DAC) of the Organization for Economic Co-operation and Development (OECD) definition
of impact, as the positive and negative, primary and secondary long-term effects produced
by a development intervention, directly or indirectly, intended or unintended. Adopting the
DAC definition of impact leads to a focus on two underlying premises for impact evaluations:
(a) attribution: the words effects produced by [] imply an approach to impact evaluation
that is about attributing impacts to interventions, rather than just assessing what happened.
(b) counterfactual: [] knowledge about the impacts produced by an intervention requires an
attempt to gauge what would have occurred in the absence of the intervention and a comparison
with what has occurred with the intervention implemented. (Leeuw; Vaessen, 2009, p. 9)

10

238 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

Soma-se a essas questes uma outra, anterior prpria medida de resultados: h informaes disponveis sobre a implementao do programa,
para que se possa controlar outros fatores que possam intervir nos resultados
alcanados?
Alm disso, observa-se que objetivos e metas de avaliao, muitas vezes, no
so bem definidos, ou mudam constantemente, dificultando a aferio dos resultados esperados e inesperados por falta de parmetros bem definidos para balizar
essa avaliao. Assim, as alteraes constantes na agenda poltica que, frequentemente, imprimem modificaes no desenho e na implementao dos programas,
dificultam a realizao de avaliaes de impacto, que requerem metodologias
mais complexas e com mais controle sobre as variveis, a fim de que os resultados
obtidos sejam confiveis.
Na viso de Sulbrandt (1993), os aspectos mais importantes dos programas
sociais que dificultam aferies de impacto so:
a) Os problemas estruturais que se pretende enfrentar mediante as polticas e
programas que so debilmente estruturados e no podem ser definidos de
maneira rigorosa.
b) As polticas e programas, desenhados e aprovados pelo governo, no perseguem um objetivo nico, mas sim objetivos mltiplos, s vezes inconsistentes,
e suas metas, da qual emanam no somente problemas tcnicos, mas tambm
necessidades tticas para assegurar sua aprovao, so definidas de maneira
ambgua.
c) As metas tendem a ser redefinidas no transcurso da implementao. Uma das
razes que explicam estas modificaes e mudanas de metas o processo de
aprendizagem social que uma organizao experimenta ao desenvolver um
programa.
d) O carter fraco das tecnologias utilizadas na quase totalidade dos programas
sociais significa que as supostas relaes causais, que vinculam os insumos e
as atividades com os produtos, resultados e impactos, no respondem a um
conhecimento certo e vlido, mas sim que, no melhor dos casos, constituem
somente hipteses a verificar. (p. 325-326)

Segundo Sulbrandt (1993) e Rossi e Freeman (1989) esses dificultadores para

a realizao de uma avaliao de impacto ocorrem com bastante frequncia, principalmente se o programa no prev esse tipo de avaliao e, portanto, no h a
preocupao direta com fatores essenciais para sua realizao.
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 239

Dentre os autores e instituies que tratam da metodologia de avaliao pertinente anlise de impactos consultados para a elaborao deste artigo, observa-se
que algumas caractersticas comuns so apresentadas:
Definio das questes essenciais da avaliao relativas aos impactos como resultados esperados e levantamento de explicaes alternativas para os resultados obtidos (relativas seleo, atrito, efeitos externos, maturao, instrumentao)11.
Estabelecimento de um contrafactual (o que teria acontecido com a populao alvo na ausncia do programa).
Seleo aleatria dos participantes do estudo, tanto para o grupo de tratamento (o que receber a interveno) quanto para o grupo de controle
(que propiciar a observao do contrafactual), garantindo, ao mesmo tempo, equivalncia em caractersticas que podem afetar o estudo (p. ex.: mesma
classe social, faixa etria, nvel de escolaridade, etc.)
Comparao dos participantes do programa antes e depois de terem recebido a interveno, a fim de verificar se houve ganhos de acordo com os
resultados esperados.
Comparao entre os resultados do grupo de controle e do grupo dos participantes do programa, para verificar se os resultados dos participantes excedem os resultados dos que no receberam a interveno.
Contextualizao da avaliao (Leeuw; Vaessen, 2009; Cohen; Franco,
2008; OECD, 2008; Shadish; Cook; Campbell, 2002; Weiss, 1998).
A bibliografia de referncia tambm destaca que os desenhos de pesquisa mais
adequados aferio de impactos seriam os experimentais e quase-experimentais,
principalmente os que utilizam grupo de controle e o modelo pr-teste/ps-teste
(Shadish; Cook; Campbell, 2002).
Contudo, na impossibilidade de utilizao desses desenhos de pesquisa, Donald
Campbell alerta que a habilidade do pesquisador para excluir qualquer explicao
importante definir o que pode ter influenciado nos resultados do programa, alm da
interveno propriamente dita para, por meio do desenho da avaliao, tentar superar tais
fatores intervenientes nos resultados. Muitos desses fatores podem ser desvelados pelo estudo
das ameaas validade (threats to validity), que muitos metodologistas que se dedicam ao
desenho de pesquisa e avaliao sumarizam. Apresentar e discutir essas questes foge aos
objetivos deste artigo. Entretanto, o leitor interessado em aprofundar seus conhecimentos
nessa temtica pode consultar Shadish, Cook e Campbell (2002).

11

240 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

alternativa para os resultados obtidos pela interveno essencial para a aferio de

efeitos e impactos, mais do que o desenho de pesquisa (Weiss, 1998, p. 183).
Nesse sentido, a ideia comum de que efeitos e impactos s podem ser mensurados em desenhos experimentais e quase-experimentais, nos quais o pesquisador tem mais controle sobre as variveis, e que dificilmente so aplicados em
cincias sociais, pode ser questionada, e o debate desloca-se para o desafio que o
estudioso tem que enfrentar nessa rea: buscar aferir impactos, usando modelos
no-experimentais de pesquisa.
Observa-se, ento, a necessidade de desenvolver modelos alternativos de anlise
de impactos de uma interveno que considerem as informaes j existentes, que
sejam factveis e possam iluminar o entendimento sobre os resultados das aes
realizadas, contribuindo com a gesto pblica de servios educacionais.
Isso implica a necessidade de retomar a discusso, em educao, sobre as tecnologias de anlise disponveis para que se isolem explicaes alternativas sobre os
resultados dos programas implementados como, por exemplos, aes de formao
docente. Mas, para isso, preciso tambm debater, com os formuladores de polticas, quais os cuidados necessrios, j na implementao do programa, para que informaes essenciais s avaliaes de impacto possam ser produzidas ou coletadas.
Alm disso, ante as dificuldades de mensurar impactos desse tipo de programa,
cabe a discusso sobre como potencializar o uso das informaes obtidas pelos sistemas de avaliao j existentes, visando a analisar e compreender a realidade educacional em sua complexidade e possibilitando a proposio de polticas baseadas
em dados confiveis.
Discutir as experincias de avaliao de impactos que tm sido geradas no mbito das universidades e das instituies de pesquisa especializadas em avaliao pode
servir para iluminar os meandros metodolgicos da medida de impactos de programas de formao e a discusso sobre possibilidades e limites de estudar impactos sem utilizar mtodos experimentais ou quase-experimentais. Tais preocupaes
motivam o compartilhar dos percalos gerados pela pesquisa at o presente momento, pois a busca de solues para essa questo deveria, antes de tudo, ser coletiva.
(DES)CAMINHOS DA PESQUISA: H LUZ NO FIM DO TNEL?
No que se refere formao docente, um estudo bibliogrfico inicial mostrou
que apesar da dcada de 1990 ser marcada pela proliferao de estudos sobre a formao dos professores e seu carter de desenvolvimento profissional, observa-se que
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 241

o investimento em programas de formao continuada no parece estar contribuindo, como esperado pelos elaboradores de polticas e programas educacionais, para a
melhoria da qualidade de ensino (Navarro, 2003).
importante destacar que a existncia da relao direta entre formao docente
e desempenho dos alunos gera muitas controvrsias entre os pesquisadores e estudiosos, e nem sempre aceita pela comunidade cientfica. Enquanto alguns autores
acreditam que a relao entre a formao dos professores e o desempenho dos alunos frgil (Torres, 1998), outros defendem que esses elementos esto intimamente
relacionados (Brunner, 2003; Castro, s/d).
A anlise de Marta Sisson de Castro (s/d), por exemplo, aponta a relao direta entre a formao dos professores, em nvel superior, e os resultados dos alunos no PISA:
Os resultados do PISA tambm constataram: o conjunto de fatores escolares explica 31% da varincia na leitura (PISA, 2002). Ao identificar os fatores escolares que
influenciam positivamente o rendimento acadmico dos alunos, enfatizam que professores qualificados so os recursos escolares mais valiosos. Foi constatada uma
associao entre a percentagem de professores que possuam curso superior em sua
rea de atuao e resultado acadmico dos alunos; por exemplo, uma elevao de 25%
no percentual de professores com curso superior em sua rea de atuao est associado
com um aumento de nove pontos no teste de leitura, em mdia, nos pases da Organization for Economic Co-operation and Development (OECD), indicando que a preparao dos professores afeta diretamente o rendimento dos alunos. [grifos meus]

Tal relao precisa ser tematizada por estudos que se dediquem compreenso
da poltica educacional, pois enquanto no so traadas concluses mais precisas ela
no pode ser descartada como um dos elementos explicativos do sucesso ou fracasso
de determinado programa, nem, tampouco, ser tomada como verdade absoluta. No
caso especfico da anlise sobre a influncia do Programa Letra e Vida nos desempenhos de alunos e professores, a inteno da pesquisadora buscar informaes que
possam contribuir para o avano da discusso dessa polmica.
Heraldo Vianna ensina que por meio da avaliao de um programa, aliado
pesquisa, que ser possvel desvendar a rede de fatores confluentes e que se interpenetram, gerando uma rede de causas, fatos e efeitos que interferem na realidade
educacional e, portanto, na qualidade em educao (Vianna, 2005, p. 23).
Feitas tais ressalvas, e com base nas anlises iniciais da autora, que tomou os
resultados obtidos pelos alunos no Sistema de Avaliao de Rendimento Escolar de
So Paulo (Saresp) em 2007 como indcio do desempenho discente, no possvel
242 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

afirmar que tais resultados se alteraram em razo do Programa Letra e Vida oferecido aos professores de 1 srie, desde que foi implantado.
Vale destacar que a relao entre a prova do Saresp e os pressupostos tericometodolgicos divulgados no curso existe e colocada com clareza em documento
retirado do site da Secretaria da Educao, poca da inscrio das escolas no Saresp, no qual so explicitadas as matrizes de referncia que embasam a elaborao
da prova de 1 e 2 sries:
A avaliao das primeiras sries do Ensino Fundamental est vinculada existncia de
professores nas redes municipal e particular que participaram do Programa de Formao de Alfabetizadores (PROFA)12, ministrado pelo Ministrio da Educao, ou do
Projeto Letra e Vida, em desenvolvimento pela Secretaria da Educao do Estado de
So Paulo. Essa deciso se justifica em razo da especificidade da avaliao das 1 e 2
sries na rede da SEE que, vinculada aos pressupostos desse Projeto, requer procedimentos especficos para a aplicao e correo de provas. (So Paulo, s/d)

Isso porque no possvel identificar, nos resultados do Saresp, uma continuidade metodolgica e temporal que permita fazer afirmaes fidedignas a esse respeito.
Implantado a partir de 1996, com periodicidade irregular, o Saresp j realizou dez
avaliaes nas escolas da rede estadual de So Paulo (Quadro 1), inclusive, em alguns
anos, houve a participao de algumas redes municipais e escolas particulares.
Quadro 1 Edies do Saresp e sries avaliadas, por edio
Sries
Ano
1996
1997
1998
2000
2001
2002
2003
2004
2005
2007
2008

Ensino fundamental
3
4
5
6

Ensino mdio
1
2
3

Fonte: So Paulo, 2005.

12

O Programa Letra e Vida o mesmo Programa de Formao de Alfabetizadores (PROFA)

que havia sido implantado em 2001 pelo Ministrio da Educao. Contudo, na experincia do
PROFA a adeso dos municpios era voluntria. Os pressupostos tericos e metodolgicos, no
entanto, so os mesmos, e observam-se poucas diferenas no material utilizado nos dois cursos.
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 243

Para o interesse especfico da pesquisadora, observa-se que os alunos da 1 srie

do ensino fundamental foram avaliados em 2003, 2004, 2005 e 2007. O Programa
Letra e Vida foi implantado em 2003, o que permitiria supor que os resultados de
2004, 2005 e 2007 pudessem sofrer alteraes em comparao aos de 2003 devido
ao de formao docente.
Contudo, no possvel realizar uma anlise longitudinal dos resultados da
1 srie. Em 2003, por exemplo, ela foi qualitativa, no sendo atribudas porcentagens mdias para os acertos dos alunos, como mostra o trecho do Relatrio do
Saresp 2003:
Cabe ressaltar que as provas das 1 e 2 sries do Ensino Fundamental foram
corrigidas de forma qualitativa, sendo criadas categorias de desempenho; portanto, nessas sries no sero discutidas as porcentagens mdias de acertos em
cada habilidade, mas a porcentagem de alunos em cada categoria, por tpico
de anlise. As categorias de classificao das respostas dessas duas sries foram
determinadas por especialistas da SEE/SP. (So Paulo, 2003)

Em 2003, os alunos foram distribudos em nveis, segundo uma escala de desempenho como mostra o quadro 2.
Observa-se que a anlise dos resultados manteve-se qualitativa, mas, diferentemente do ano anterior, associou-se um total de pontos a cada nvel de
desempenho.
Houve, assim, uma alterao no tratamento dos resultados que dificultou
o estudo mais direto dos desempenhos das duas avaliaes. Tais anlises poderiam ser feitas sobre os resultados qualitativos, presentes nas duas amostras,
mas as mudanas ocorridas nos descritores qualitativos poderiam levar a concluses errneas a respeito dos resultados e de sua relao com o programa
de formao avaliado. Alm disso, como no ocorreu um controle especfico
da questo da formao do professor, no foi possvel distinguir, entre os
avaliados, os que eram e os que no eram alunos de professores que haviam
participado do programa.
Finalmente, a pesquisadora tambm perdeu a possibilidade de anlise e utilizao
dos resultados da 1 srie, obtidos em 2005 e 2007, visto que houve alterao significativa no esquema de pontuao da avaliao, e tambm mudanas na disposio
das categorias qualitativas.

244 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

Quadro 2 Nveis da escala de desempenho do Saresp 2003

para a 1 srie do ensino fundamental
Nveis da escala de desempenho em leitura e escrita

Ensino fundamental ciclo I 1 srie

NVEL DE DESEMPENHO: INSUFICIENTE (de 0 a 9 pontos)

Neste nvel, os alunos ainda no

escrevem com correspondncia sonora
alfabtica.
Neste nvel, os alunos escrevem com
correspondncia sonora alfabtica.
Neste nvel, os alunos escrevem com
correspondncia sonora alfabtica e
leem com autonomia, localizando
parcialmente informaes no texto.
Neste nvel, os alunos escrevem
alfabeticamente com ortografia regular
e leem com autonomia, localizando
integralmente informaes no texto e
sendo capazes de inferir uma
informao a partir da leitura.
Neste nvel, os alunos escrevem
alfabeticamente com ortografia regular
e leem com autonomia, sendo capazes
de inferir uma informao a partir da
leitura. Produzem texto com algumas
caractersticas de linguagem escrita e do
gnero proposto (carta).
Neste nvel, os alunos escrevem
alfabeticamente com ortografia regular
e leem com autonomia, sendo capazes
de inferir uma informao a partir da
leitura. Produzem texto com
caractersticas de linguagem escrita e do
gnero proposto (carta).

NVEL DE DESEMPENHO: REGULAR (de 10 a 12 pontos)

NVEL DE DESEMPENHO: BOM (de 13 a 18 pontos)

NVEL DE DESEMPENHO: MUITO BOM (de 19 a 20 pontos)

NVEL DE DESEMPENHO: TIMO (de 21 a 24 pontos)

NVEL DE DESEMPENHO: EXCELENTE (25 pontos)

Fonte: So Paulo, 2004.

Inicialmente, pensou-se que ao usar os dados do Saresp 2005 e 2007 propiciaria um estudo com pr-teste e ps-teste, a partir do qual se buscaria
observar tendncias de desempenho dos alunos e escolas cujos professores
participaram do programa analisado. Contudo, enquanto o Saresp 2005 foi
analisado de acordo com um escore mximo de 44 pontos, distribudos em
8 nveis de escala de desempenho, no Saresp 2007 foram adotados 6 nveis
de escala de desempenho, com uma pontuao mxima de 49 pontos, como
mostram os quadros 3 e 4.

Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 245

Quadro 3 Nveis da escala de desempenho em leitura e escrita

na 1 srie do ensino fundamental. Saresp 2005
Nvel
Abaixo
do nvel 1
1
2

Pontuao

13-18

19-25

26-38

39-40

41-44

0-4
5-9
10-12

Descrio dos Nveis

Alunos que no demonstram domnio das habilidades avaliadas
pelos itens da prova.
Escrevem com correspondncia sonora ainda no alfabtica.
Escrevem com correspondncia sonora alfabtica.
Escrevem com correspondncia sonora alfabtica e leem com
autonomia (texto informativo).
Escrevem com ortografia regular.
Produzem texto com algumas caractersticas de linguagem
escrita e do gnero proposto (conto).
Produzem texto com caractersticas de linguagem escrita e do
gnero proposto (conto).
Produzem texto com caractersticas de linguagem escrita e do
gnero proposto (texto informativo), a partir de situao de
leitura autnoma e de texto de outro gnero.

Fonte: FDE, 2008.

Quadro 4 Nveis da escala de desempenho em leitura e escrita

na 1 srie do ensino fundamental. Saresp 2007
Nvel

Pontuao

Descrio dos Nveis

0-3

4-8

9-16

17-25

26-37

38-49

Os alunos escrevem sem correspondncia sonora.

Os alunos escrevem com correspondncia sonora ainda no
alfabtica.
Os alunos escrevem com correspondncia sonora alfabtica.
Os alunos escrevem com correspondncia sonora alfabtica e
produzem texto com algumas caractersticas da linguagem
escrita e do gnero proposto (carta).
Os alunos escrevem com ortografia regular; produzem texto com
caractersticas da linguagem escrita e do gnero proposto (carta);
e, localizam, na leitura, informaes explcitas contidas no texto
informativo.
Os alunos escrevem com ortografia regular; produzem texto com
caractersticas da linguagem escrita e do gnero proposto (carta);
localizam informaes explcitas; e fazem inferncia de
informaes a partir de um texto lido (texto informativo).

Fonte: FDE, 2008.

246 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

Observa-se que a prpria distribuio dos alunos nos nveis, feita pela Secretaria da Educao e seus assessores, parece deficitria, pois os nveis so distintos e
definidos com base no nmero de pontos varivel. Independentemente da preciso
desses nveis, observa-se que a diferenciao entre os instrumentos e as formas de
anlise trazem, em seu bojo, questes de instrumentao que, como explicado por
Shadish, Cook e Campbell, consistem em uma ameaa validade dos resultados da
pesquisa caso o estudioso no consiga encontrar outras formas de anlise, que no
uma comparao direta entre os resultados das diversas avaliaes.
A fim de tentar sobrepujar esses desafios impostos pela instrumentao, a pesquisadora optou por fazer uma anlise exploratria, convertendo os resultados dos
alunos em propores. Em um exerccio de reflexo, visando a encontrar pontos em
comum entre os grupos que foram avaliados em 2005 e 2007, tentou-se considerar
os alunos com pontuao igual ou maior que 75% nas duas provas e, para complemento do estudo, aqueles que atingiram menos de 25% da pontuao possvel.
No caso de 2005, esses alunos eram aqueles que tiveram escores menores que
11 pontos e maiores que 33. J no caso dos alunos avaliados em 2007, foram considerados os que obtiveram pontos acima de 36,75 e abaixo de 12,25. Partindo
dessa anlise inicial, no foi possvel observar alteraes nos desempenhos de alunos
cujos professores participaram do curso de formao em alfabetizao, que objeto
de estudo, e novas possibilidades de anlise ainda esto sendo estudadas. Pode-se
afirmar, contudo, que os resultados da anlise exploratria no permitiram chegar a
concluses que evidenciassem impactos do curso sobre o desempenho discente, ao
contrrio do que se propagou poca.
Isso no significa, contudo, que o Programa Letra e Vida no alcanou resultados positivos, visto que ele pode ter atingido seus objetivos com relao formao
de professores. Entretanto, do ponto de vista quantitativo, a formao no pareceu
repercutir em diferenas significativas no aprendizado dos alunos. Tal descoberta
reforou a necessidade de investigar a prtica docente dos que fizeram o curso, a
fim de analisar em que medida ela seria influenciada pelos pressupostos aprendidos
durante a atividade de formao continuada.
Outro fator que influenciou o delineamento da anlise proposta foi a dificuldade
de obteno de informaes sobre o nvel socioeconmico da escola, uma vez que esse
tipo de informao nem sempre incorporado aos questionrios que acompanham as
avaliaes sistmicas. Ora, procurar comparar resultados entre amostras equivalentes
um princpio necessrio para que o pesquisador evite que os resultados sejam invlidos por questes de seleo das amostras. Assim, para poder afirmar que os resultados
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 247

no estariam sofrendo mudanas, em razo de questes de nvel socioeconmico, mas

sim sendo influenciados pela melhoria no desempenho do professor, por via da formao continuada, tornou-se um desafio pesquisadora a atribuio de uma medida de
caracterstica socioeconmica a cada escola ou aluno avaliado.
Nesse sentido, apresentou-se um dificultador: os alunos do ciclo 1 do ensino
fundamental no esto aptos a responder questes de nvel socioeconmico, o que
justifica que os organizadores do Saresp s comecem a colher esses dados a partir
da 4 srie.
Para tentar ultrapassar essa limitao no estabelecimento do nvel socioeconmico da escola, optou-se, ento, por obter dados parciais sobre a populao
atendida pelas escolas e, ento, generaliz-los para toda a instituio. Como alternativa, utilizou-se os dados fornecidos pela Fundao para o Desenvolvimento da Educao (FDE), que se baseou em uma adaptao do Critrio Brasil13
para, com base nas respostas dos alunos de 4 srie, traar o perfi l socioeconmico da escola. O pressuposto assumido pela pesquisadora foi que a populao
atendida no entorno escolar a mesma, estando os alunos no 1 ou no 4 ano
do ensino fundamental.
Alm disso, desde o incio do projeto, a pesquisadora intentava verificar se haveria diferenas substanciais entre o desempenho de alunos de professores que cursaram o Programa Letra e Vida e o desempenho de alunos cujos professores no
participaram do curso que, como visto anteriormente, condio essencial a uma
avaliao de impacto.
Para estabelecer essa relao, seriam utilizadas as respostas dos professores ao
questionrio que acompanhou o Saresp de 2007 em que foram includas, a pedido
da equipe do Letra e Vida, questes que permitissem identificar os docentes que
participaram do programa. A ideia inicial, segundo a supervisora do programa, professora Telma Weisz14, era identificar os professores formados pelo Letra e Vida e
cruzar essa informao com os resultados obtidos por seus alunos.
Contudo, durante a aplicao do Saresp, houve uma troca de professores aplicadores entre escolas, com exceo dos professores das duas sries iniciais do ensino
fundamental. Nesse caso, os professores de 1 e 2 sries que aplicaram a avaliao
foram os professores da prpria escola, trocando, porm, as turmas.
13

O Critrio Brasil incorpora a escolaridade da me e a posse de bens de conforto, mas no

questes especficas sobre renda.
14
Informao obtida em entrevista concedida pesquisadora em 2007.

248 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

Isso fez com que os questionrios dos professores de 1 e 2 sries no fossem

respondidos pelos responsveis de cada turma, perdendo-se a possibilidade de cruzar
os dados obtidos pelos respondentes que fizeram o Letra e Vida com os percentuais
de rendimento dos alunos, que seria uma fonte importante de informao para a
anlise do impacto do programa. Novamente, para tentar superar esse problema, a
pesquisadora optou por trabalhar com a escola como um todo enquanto unidade
de pesquisa, e no mais com os professores individualmente. Na atual fase da pesquisa, busca-se encontrar informaes sobre a quantidade de professores que tinham
participado do programa em 2007 e sua composio em cada escola, em termos de
proporo. Procurar-se-, nesse sentido, estabelecer comparaes entre escolas com
grande porcentagem de professores que participaram da formao, e escolas com poucos professores que fizeram o Letra e Vida, a fim de observar se h diferenas entre
os resultados obtidos pelas instituies que pertencem mesma faixa socioeconmica.
Finalmente, cabe destacar que a proposta inicial de anlise de possveis impactos
do Programa Letra e Vida contemplava o acompanhamento de um grupo de professores que foram cursistas do programa, comparando os resultados dos seus alunos com os de alunos de professores que no se submeteram a ele. Tal abordagem,
contudo, foi dificultada porque ocorreram inmeras remoes de docentes durante
o ano, o que no garante que, ao chegar escola, a pesquisadora tenha acesso ao
mesmo grupo que l estava em 2007, ano em que se baseiam as informaes obtidas
por ela por meio da FDE.
As dificuldades encontradas no decorrer da pesquisa permitem, desde j, chegar
a duas concluses principais. Primeiramente, percebe-se que a prpria natureza do
sistema educacional de So Paulo dificulta a anlise de resultados baseada em uma
metodologia que exige o controle de variveis e, portanto, a manuteno de algumas
estruturas propostas inicialmente.
Programas que mudam constantemente, informaes que no so controladas
pelos aplicadores do Saresp (e que poderiam ser teis gesto do sistema), desafios
tcnicos e metodolgicos para manuteno da unicidade nas propostas e equivalncia de resultados constituem parte dos aspectos que devem ser considerados, se
o objetivo o desenvolvimento de anlises mais aprofundadas e sustentveis, com
validade interna e externa.
Em segundo lugar, chama a ateno a postura da Secretaria da Educao que
poderia imprimir mudanas no sentido de propiciar condies mais favorveis para
o desenvolvimento das pesquisas em educao e para o aprimoramento da reflexo
terica sobre as anlises de resultados referentes ao sistema educacional.
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 249

Paralelamente, observa-se que as mesmas dificuldades enfrentadas pela pesquisadora devem se impor, de alguma maneira, ao pessoal tcnico da Secretaria, dificultando-lhes o trabalho de anlise dos resultados obtidos.
De qualquer forma, um maior cuidado na organizao das avaliaes e no tratamento de dados sobre professores poderia ser decisivo para ajudar no desenvolvimento de uma proposta de avaliao de impacto.
Contudo, so essas mesmas dificuldades que fazem com que seja necessria a
realizao de estudos como o que est sendo proposto neste projeto, a fim de contribuir para o acmulo de conhecimentos na rea de avaliao de impacto de programas sociais que deve ser focalizada nos prximos anos, tendo em vista as caractersticas que a gesto de programas sociais e educacionais vm assumindo ultimamente.

REFERNCIAS BIBLIOGRFICAS
BAKER, J. Evaluating the impact of development
projects on poverty: a handbook for
practitioners. Washington: World Bank, 2000.
(Direction in development).
BAUER, A. Usos dos resultados do Saresp: o papel
da avaliao nas polticas de formao docente.
2006. Dissertao (Mestrado em Educao) Faculdade de Educao, USP, So Paulo.
BICKMAN, L. Impact assessment. In: MADISON,
S. Encyclopedia of evaluation. California: SAGE,
2005, p. 194.
BRUNNER, J. J. Lmites de la lectura periodstica
de resultados educacionales. In: UNESCO. Evaluar
las evaluaciones: una mirada poltica acerca de las
evaluaciones de la calidad educativa. Buenos
Aires: UNESCO/IIPE, 2003, p. 67-84.
CASTRO, M. L. S. Avaliao do rendimento
educacional e a formao de professores. Porto
Alegre, [2008]. Disponvel em: <http://www.
sbec.org.br/evt2008/trab28.pdf>. Acesso em:
28 nov. 2008.
COHEN, E.; FRANCO, R. Avaliao de projetos
sociais. Petrpolis: Vozes, 2008.
INDEPENDENT
EVALUATORS
WEBRING.
Definitions of evaluation types, approaches and

fields. Disponvel em: <http://www.evaluatorswebring.net /Independent _evaluators _

webring_definitions_May06.pdf>. Acesso em:
20 nov. 2008. Version as at May 2006.
LAVILLE, C.; DIONNE, J. A Construo do saber:
manual de metodologia de pesquisa em
cincias humanas. Porto Alegre: Artmed; Belo
Horizonte: UFMG, 1999.
LEEUW, F.; VAESSEN, J. Impact evaluations and
development: NONIES guidance on impact
evaluation. Washington: World Bank, 2009.
MADISON, S. Encyclopedia of evaluation.
California: SAGE, 2005.
MOHR, L. Impact analysis for program
evaluation. California: SAGE, 1992.
NAVARRO, J. C. La Evaluacin y las actitudes
de los docentes frente a ella: dificultades y
alternativas de poltica. In: UNESCO. Evaluar las
evaluaciones: una mirada poltica acerca de las
evaluaciones de la calidad educativa. Buenos
Aires: Unesco/IIPE, 2003. p. 147-164.
NATIONAL SCIENCE FOUNDATION. An Overview
of quantitative and qualitative data collection
methods. Disponvel em: <http://www.nsf.
gov>. Acesso em: 15 nov. 2007.

250 Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010

OECD. Draft NONIE statement on impact

evaluation. In: MEETING OF THE DAC NETWORK
ON DEVELOPMENT EVALUATION, 7., 20-21 Feb.
2008. [S.l.]. Disponvel em: <http://www.oecd.
org/dataoecd/19/29/40104352.pdf>. Acesso em:
17 nov. 2008.
__________. Outline of principles of impact
evaluation. Disponvel em: <http://www.oecd.
org/dataoecd/46/16/37671602.pdf.> Acesso
em: 19 mar. 2010.
ROSSI, P.; FREEMAN, H. Monitoreo del
programa para su evaluacin. Evaluacin: un
enfoque sistemtico para programas sociales.
Mxico: Trillas, 1989.
SO PAULO (Estado). Secretaria da Educao.
Condies de adeso da rede municipal e
particular. So Paulo, [S.d.]. Disponvel em:
<ht tp: //s aresp.e dunet . sp.gov. br/20 0 4/
subpages/condi_ad_mu.htm>. Acesso em:
21 abr. 2009.
__________. Conhecendo os resultados do
Saresp 2003. So Paulo: FDE, 2005.
__________. Nveis da escala de desempenho em
leitura e escrita: ensino fundamental ciclo I 1
e 2 sries. 2004. Disponvel em: <http://www.
educacao.sp.gov.br/noticias_2005/01_02_
EF.pdf>. Acesso em: 21 abr. 2009.
_________ . Poltica educacional da Secretaria
da Educao do Estado de So Paulo, 2003.

Disponvel em: <http://www.crmariocovas.

sp.gov.br/pdf/ors/PoliticaSEE.pdf.> Acesso em:
20 abr. 2009.
_________ . Sumrio executivo do Saresp 2005
e 2007. So Paulo: FDE, 2008. Disponvel em:
<http://www.educacao.sp.gov.br/saresp>.
Acesso em: 20 abr. 2009.
SCRIVEN, M. Evaluation thesaurus. California:
SAGE, 1991.
SHADISH, W.; COOK, T.; CAMPBELL, D.
Experimental and quasi-experimental designs
for generalized causal inference. Boston: Brooks/
Cole, 2002.
STUFFLEBEAM, D.; WEBSTER, W. An analysis
of alternative approaches to evaluation.
Educational Evaluation and Policy Analysis,
California, v. 2, n. 3, May/Jun. 1980.
SULBRANDT, J. La Evaluacin de los programas
sociales: una perspectiva crtica de los modelos
usuales. Caracas: CLAD, 1993, p. 309-350.
TORRES, R. M. Tendncias da formao docente
nos anos 90. In: WARDE, M. (Org.). Novas
polticas educacionais: crticas e perspectivas.
So Paulo: PUC-SP, 1998. p. 173-191.
VIANNA, H. M. Fundamentos de um programa de
avaliao educacional. Braslia: Lber Livro, 2005.
WEISS, C. Evaluation: methods for studying
program and policies. 2th ed. New Jersey:
Prentice Hall, 1998.

Recebido em: outubro 2009

Aprovado para publicao em: abril 2010
Est. Aval. Educ., So Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010 251