Coloquio Mauro Rabelo

ANLISE COMPARATIVA DOS PROCESSOS DE AVALIAO
EDUCACIONAL EM LARGA ESCALA
Mauro Luiz Rabelo1
1
Departamento de Matemtica, Universidade de Braslia, Brasil, e-mail: rabelo@unb.br
II Colquio de Matemtica da Regio Centro-Oeste, 7 a 10 de novembro de 2011
Universidade Federal do Mato Grosso
ndice
Introduo 1
1. Os Exames Nacionais de Avaliao Educacional 3
1.1. Contextualizao: do SAEB Prova Nacional de Concurso para o Ingresso na Carreira
Docente 3
1.2. O Sistema de Avaliao da Educao Bsica (SAEB) e a Prova Brasil 4
1.2.1. O que avaliado nas provas 8
1.2.2. Matrizes de Referncia de Matemtica 10
1.2.3. Anlise do desempenho dos estudantes aplicao da TRI 14
1.2.4. Interpretao dos nveis da escala 19
1.2.5. Construo da srie histrica de desempenho 23
1.2.6. O ndice de Desenvolvimento da Educao Bsica (IDEB) 24
1.3. O Exame Nacional do Ensino Mdio (ENEM) 26
1.3.1. Caractersticas do Exame 29
1.3.2. Matriz de Referncia para o ENEM 2009 Matemtica e suas Tecnologias 31
1.3.3. Objetos de conhecimento de Matemtica e suas Tecnologias 33
1.4. O Exame Nacional para Certificao de Competncias de Jovens e Adultos (ENCCEJA) 34
1.5. O Sistema Nacional de Avaliao da Educao Superior (SINAES) 35
1.5.1. O Exame Nacional de Desempenho dos Estudantes (ENADE) 37
1.6. A Provinha Brasil 39
1.7. A Prova Nacional do Concurso para o Ingresso na Carreira Docente 41
2. O que a Teoria de Resposta ao Item? 43
2.1. Contextualizao 43
2.2. O modelo logstico de trs parmetros 44
2.3. A construo da escala de proficincia 49
3. Estimao dos parmetros dos itens e das proficincias 52
3.1. Mtodo de estimao dos parmetros dos itens 52
3.2. Aplicao do mtodo de Newton-Raphson 55
3.3. Estimao das habilidades 57
4. Consideraes finais 60
Referncias bibliogrficas 62
Prefcio
A experincia brasileira em avaliao em larga escala adquirida ao longo dos

anos com a aplicao do Sistema de Avaliao da Educao Bsica (SAEB) possibilitou
o aprofundamento e a ampliao das tcnicas utilizadas no processo para outras
avaliaes sistmicas como a Prova Brasil, o Exame Nacional do Ensino Mdio, o
Exame Nacional para Certificao de Competncias de Jovens e Adultos e o Exame
Nacional de Desempenho de Estudantes.
No I Colquio de Matemtica da Regio Centro-Oeste realizado em novembro
de 2009, na Universidade Federal do Mato Grosso do Sul, ministrei o minicurso
intitulado Os Sistemas Nacionais de Avaliao e a Teoria de Resposta ao Item (TRI).
Naquela oportunidade, as mudanas implementadas pelo Ministrio da Educao no
Exame Nacional do Ensino Mdio provocaram vrios debates no meio acadmico
acerca dos benefcios de utilizao da TRI nesse exame, que incluem, principalmente, a
possibilidade de se comparar desempenhos de grupos de alunos que fizeram provas
distintas, em momentos diferentes. Na ocasio, abordei aspectos gerais relativos aos
exames nacionais de avaliao educacional e os conceitos e fundamentos bsicos da
TRI que do suporte s anlises dos resultados dos participantes que se submetem a
esses exames.
Recentemente, foi instituda a Prova do Exame Nacional de Ingresso na Carreira
Docente, que tem o objetivo principal de subsidiar os Estados, o Distrito Federal e os
Municpios na realizao de concursos pblicos para a contratao de docentes para a
educao bsica. recorrente nesses exames a elaborao prvia de uma matriz de
referncia, que o cerne orientador da concepo dos itens que vo compor as provas.
Em geral, as matrizes articulam, em duas ou trs dimenses, a investigao
concomitante das possibilidades de interao das competncias esperadas para o
desempenho das funes (ou dos perfis profissionais desejados) com as habilidades
imprescindveis para o desenvolvimento dessas competncias e com os objetos de
conhecimento por meio dos quais as habilidades so desenvolvidas. As matrizes
constituem tambm referncia para as anlises de desempenho, pois permitem mensurar
o grau de desenvolvimento das competncias ou das habilidades pelos examinandos,
alm de dar uma viso ampla do profissional que se deseja avaliar/selecionar. A
implantao desse novo exame nacional levanta a necessidade de se fazer um estudo
comparativo dos processos de avaliao em larga escala.
Pretende-se, neste texto, estudar esses processos do ponto de vista dos mltiplos
fatores envolvidos, que incluem as dimenses das matrizes de referncia, os
mecanismos adotados para a construo dos bancos de itens, as vantagens da aplicao
da TRI, a qualidade dos instrumentos utilizados, as estratgias e situaes pelas quais se
obtm informaes acerca do aprendizado do avaliando e os indicadores que sero
utilizados como referncias para anlise dos resultados e a interpretao do desempenho
dos participantes.
Mauro Luiz Rabelo
Universidade de Braslia
Departamento de Matemtica
Introduo
O Brasil j acumula grande experincia em avaliaes educacionais de larga

escala, motivada pela necessidade de se produzir indicadores que orientem polticas
governamentais de melhoria da qualidade de ensino oferecido por suas instituies
educacionais, distribudas pelos mais de 5,5 mil municpios, que englobam a quinta
maior populao mundial, ultrapassando os 190 milhes de habitantes. Com uma rea
territorial superior a 8,5 milhes de km2, a diversidade de realidades regionais, formas e
contextos de atuao das comunidades escolares leva a um grande desafio quando se
deseja introduzir metodologias de avaliao que considerem referenciais comuns para
anlise e estabelecimento de critrios de comparao. Alguns instrumentos balizadores
da educao no Brasil foram introduzidos ao longo dos anos, referidos como Parmetros
Curriculares Nacionais (PCN) ou Diretrizes Curriculares Nacionais (DCN).
Os PCN, instrumentos de qualidade elaborados pelo Governo Federal a partir da
dcada de 1990, estabelecem referenciais fundamentais para guiar a educao bsica
formal e a prpria relao escola-sociedade no cotidiano. Esses instrumentos so
divididos em disciplinas e abrangem prticas de organizao do contedo, formas de
abordagem e orientaes de conduta a ser adotada pelos educadores em situaes
diversas.
Alguns marcos histricos precisam ser mencionados para contextualizar o
perodo em que o Pas comeou a discutir os PCN e a introduzir as avaliaes de larga
escala. Um deles a prpria Constituio Federal de 1988, que salvaguarda a educao
como um direito fundamental, em seu Captulo II (Dos direitos sociais) do Ttulo II
(Dos Direitos e Garantias Fundamentais), alm de estabelecer em seu artigo 206 que
Art. 206 O ensino ser ministrado com base nos seguintes princpios
(...)
VII - garantia de padro de qualidade.
Oportunamente, a Lei de Diretrizes e Bases da Educao Nacional (Lei n.o
9394/1996) complementou, no Ttulo IV (Da Organizao da Educao Nacional), que
Art. 9. A Unio incumbir-se- de:
(...)
1
VI - assegurar processo nacional de avaliao do rendimento escolar no ensino

fundamental, mdio e superior, em colaborao com os sistemas de ensino,
objetivando a definio de prioridades e a melhoria da qualidade do ensino;
Desse modo, a Unio passou a ter a competncia legal de assegurar processo de

avaliao educacional nacional que monitorasse o requerido padro de qualidade
estabelecido na Carta Magna.
Nessa mesma poca, de 5 a 9 de maro de 1990, ocorria em Jomtien, na
Tailndia, a Conferncia Mundial sobre Educao para Todos, da qual se reproduz o
inciso 1 do artigo 1 da Declarao proclamada na Conferncia:
Cada pessoa criana, jovem ou adulto deve estar em condies de
aproveitar as oportunidades educativas voltadas para satisfazer suas
necessidades bsicas de aprendizagem. Essas necessidades compreendem
tanto os instrumentos essenciais para a aprendizagem (como a leitura e a
escrita, a expresso oral, o clculo, a soluo de problemas), quanto os
contedos bsicos da aprendizagem (como conhecimentos, habilidades,
valores e atitudes), necessrios para que os seres humanos possam sobreviver,
desenvolver plenamente suas potencialidades, viver e trabalhar com
dignidade, participar plenamente do desenvolvimento, melhorar a qualidade
de vida, tomar decises fundamentadas e continuar aprendendo.
Para contemplar as diretrizes e metas do Plano de Ao da Conferncia, o Brasil

estabeleceu o Plano Decenal de Educao para Todos para o perodo 1993-2003, que
consistia basicamente de um um conjunto de diretrizes polticas voltado para a
recuperao da escola fundamental no pas. nesse contexto que surge a primeira
iniciativa brasileira, em escala nacional, que objetivava conhecer o sistema educacional
brasileiro em profundidade, denominada de Sistema Nacional de Avaliao da
Educao Bsica (SAEB). Aplicado pela primeira vez em 1990, o SAEB passou, em
1995, por uma reestruturao metodolgica e incorporou as tcnicas oriundas da Teoria
de Resposta ao Item (TRI), exatamente pela possibilidade que essa teoria trazia de
comparao dos desempenhos dos estudantes ao longo dos anos. O processo fornece
dados sobre a qualidade dos sistemas educacionais do Brasil como um todo, das regies
geogrficas e das unidades federadas (estados e Distrito Federal). O SAEB feito a
cada dois anos e avalia uma amostra representativa dos alunos regularmente
matriculados nos 5 e 9 anos do ensino fundamental e 3 ano do ensino mdio, de
escolas pblicas e privadas, localizadas em reas urbana ou rural. A experincia
adquirida com o uso da TRI no SAEB fez com que a metodologia a ela associada fosse
difundida para outros processos de avaliao no pas, abrindo perspectivas que sero
objeto de anlise nos captulos a seguir.
2
Captulo 1
Os Exames Nacionais de Avaliao Educacional
1.1 Contextualizao: do SAEB Prova Nacional de Concurso para o Ingresso na

Carreira Docente
Desconsiderando as experincias com a realizao dos tradicionais exames de

ingresso nos cursos superiores das universidades pblicas, denominados Vestibulares,
ser feita aqui uma comparao, do ponto de vista metodolgico, dos grandes exames
brasileiros que hoje esto sob a responsabilidade do Ministrio da Educao, executados
pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).
Aps a criao do SAEB, exclusivamente voltado para o ensino bsico, o governo
instituiu, em 1996, o Exame Nacional de Cursos (ENC), conhecido como Provo. Esse
exame foi substitudo, em 2004, pelo Exame de Desempenho de Estudantes (ENADE),
que integra o Sistema Nacional de Avaliao da Educao Superior (SINAES).
Em 1998, ocorreu a primeira aplicao do Exame Nacional do Ensino Mdio
(ENEM), com uma perspectiva de avaliao de competncias e com provas
contextualizadas e interdisciplinares, que abrangiam as diversas reas de conhecimento
objeto de estudo do ensino mdio. Em 2009, esse exame passou por uma reformulao
metodolgica e continua sendo referenciado como ENEM ou novo ENEM. Aqui ser
comentado apenas o exame que est hoje em vigor.
Em 2005, com o intuito de atribuir avaliao da educao bsica um carter
mais universal, criou-se a Avaliao Nacional do Rendimento Escolar, que passou a ser
conhecida como Prova Brasil, que oferece feedback para as escolas avaliadas e cujo
resultado de desempenho dos estudantes compe um indicador de qualidade da
educao denominado ndice de Desenvolvimento da Educao Bsica (IDEB). Na
mesma poca em que a Prova Brasil foi criada, o Exame Nacional para Certificao de
Competncias de Jovens e Adultos (ENCCEJA), institudo em 2002, passou por uma
reformulao metodolgica, que culminou com a construo de uma escala de
proficincia para o exame. Em seguida, aplicou-se pela primeira vez, em 2008, a
Provinha Brasil, especialmente voltada para alunos do 2. ano da educao bsica, em
fase de alfabetizao.
3
Encontra-se atualmente em discusso a implantao da Prova do Exame

Nacional de Ingresso na Carreira Docente, que tem o objetivo principal de subsidiar os
Estados, o Distrito Federal e os Municpios na realizao de concursos pblicos para a
contratao de docentes para a educao bsica. Este o exame mais recente, com
carter de seleo, mas que poder servir como processo de avaliao do perfil esperado
dos profissionais que iro ingressar na carreira docente. Esse exame ainda no ganhou
uma sigla, mas ser aqui referenciado por suas iniciais PNCICD. Ordenando em uma
escala temporal, temos a figura abaixo.
Brasil: Escala temporal dos processos nacionais de avaliao de larga escala.
1.2 O Sistema de Avaliao da Educao Bsica (SAEB) e a Prova Brasil
O SAEB o pioneiro dos sistemas nacionais de avaliao da educao hoje

existentes no Brasil e contempla a aplicao de provas de lngua portuguesa e
matemtica e questionrios a uma amostra de alunos, professores e diretores. O SAEB
abrange trs momentos especficos do processo educacional: o fim dos anos iniciais do
ensino fundamental (quinto ano), o fim do ensino fundamental (nono ano) e o fim da
educao bsica (terceira srie do ensino mdio). As anlises dos resultados permitem
acompanhar a evoluo do desempenho e dos diversos fatores associados qualidade e
efetividade do ensino ministrado nas escolas, inferindo-se o que os alunos sabem ou
so capazes de fazer. As informaes obtidas nesse processo tm o objetivo de fornecer
parmetros para a implantao de aes governamentais tanto em nvel federal quanto
estadual voltadas correo das distores e debilidades identificadas.
O SAEB uma avaliao por amostra, o que significa que nem todas as turmas e
estudantes das sries avaliadas participam da prova. A amostra de turmas e escolas
sorteadas para participarem da avaliao representativa das redes estadual, municipal e
particular no mbito do pas, das regies e dos estados. Dessa forma, no h resultado
do SAEB por escola e por municpio.
4
Os procedimentos de amostragem de alunos utilizados baseiam-se em

metodologia cientfica, que garante preciso nas estimativas dos parmetros
populacionais. So amostras aleatrias, probabilsticas e representativas da populao
de referncia. De maneira geral, a populao de referncia do SAEB composta pelos
alunos brasileiros do ensino regular que frequentam o 5. e 9. ano do ensino
fundamental e o 3.o ano do ensino mdio, de todas as unidades da federao. Entretanto,
faz-se necessrio observar que a populao de referncia do SAEB dinmica, ou seja,
os alunos que a constituem em cada ciclo apresentam uma estrutura variada em relao
ao nvel socioeconmico e cultural, fatores no controlados pelo sistema. Alm disso, o
prprio sistema educacional apresenta um dinamismo prprio, cujas mudanas so
captadas pelo SAEB, apesar de no serem controladas por ele. Nessa linha, em cada
levantamento do SAEB houve pequenas variaes que deram a forma final para as
populaes de referncia. O mesmo ocorreu na definio das amostras. Todavia,
manteve-se similaridade na sua estrutura, permitindo, dessa maneira, comparaes entre
anos. A tabela a seguir apresenta alguns quantitativos relativos histria do SAEB.
Alunos
Ciclo Escolas
4 srie EF 8 srie EF 3o ano EM Total
1995 2.839 30.749 39.482 26.432 96.663
1997 1.933 70.445 56.490 40.261 167.196
1999 6.798 107.657 89.671 82.436 279.764
2001 6.935 114.512 100.792 72.415 287.719
2003 5.598 92.198 73.917 52.406 218.521
2005 5.940 83.929 66.353 44.540 194.822
Fonte: www.inep.gov.br
A Prova Brasil foi criada a partir do SAEB, utilizando-se a mesma matriz de

referncia, mas concentrando-se apenas no ensino fundamental, quinto e nono anos. A
diferena fundamental entre os dois processos reside no fato de a Prova Brasil ser
censitria no universo das escolas pblicas urbanas, mas no alcana o ensino particular
e nem o ensino mdio. O quadro seguinte traz uma anlise comparativa dos dois
sistemas.
Quadro 1. Anlise comparativa do SAEB e da Prova Brasil

Prova Brasil SAEB
A prova foi criada e aplicada em 2005. A primeira aplicao ocorreu em 1990.
Em 2007 e 2009, houve nova aplicao. Em Aplica-se de dois em dois anos. A ltima edio
2011 est planejada sua quarta edio. foi em 2009 e a prxima ser em 2011.
5
A Prova Brasil avalia as habilidades em Lngua Alunos fazem prova de Lngua Portuguesa (foco
Portuguesa (foco em leitura) e Matemtica em leitura) e Matemtica (foco na resoluo de
(foco na resoluo de problemas) problemas)
Avalia apenas estudantes de ensino Avalia estudantes de 4 e 8 sries do ensino

fundamental, de 4 e 8 sries. fundamental e tambm estudantes da 3 srie do
ensino mdio.
A Prova Brasil avalia as escolas pblicas Avalia alunos de escolas da rede pblica e de
localizadas em rea urbana. escolas privadas, localizadas nas reas urbana e
rural.
A avaliao quase universal: todos os A avaliao amostral, ou seja, apenas parte dos
estudantes das sries avaliadas de todas as estudantes brasileiros das sries avaliadas
escolas pblicas urbanas do Brasil com mais de participam do processo.
20 alunos na srie devem fazer a prova.
Por ser universal, expande o alcance dos Por ser amostral, oferece resultados de
resultados oferecidos pelo SAEB. Como desempenho apenas para o Brasil, regies e
resultado, fornece as mdias de desempenho unidades da Federao.
para o Brasil, regies e unidades da Federao,
para cada um dos municpios e escolas
participantes.
Algumas das escolas que participam da Prova Todos os alunos do SAEB e da Prova Brasil
Brasil ajudam a construir tambm os resultados submetem-se a uma nica avaliao.
do SAEB, por meio de recorte amostral.
Fonte: www.inep.gov.br (com adaptaes)
Conforme se depreende da tabela acima, a partir de 2007, os dois processos

passaram a ser aplicados conjuntamente, o que promoveu alteraes significativas na
forma de composio dos cadernos de prova do SAEB. O quadro 2 a seguir mostra a
composio dos cadernos de prova do SAEB at 2005 e o quadro 3 apresenta a estrutura
atual.
Quadro 2. Montagem dos cadernos SAEB: 1995-2005
6
Quadro 3. Montagem dos cadernos do SAEB e Prova Brasil a

partir de 2007
Cadernos Blocos de L. Portuguesa Blocos de Matemtica
Posio 1 Posio 2 Posio 1 Posio 2
1 1 2 1 2
2 2 3 2 3
3 3 4 3 4
4 4 5 4 5
5 5 6 5 6
6 6 7 6 7
7 7 1 7 1
8 1 3 1 3
9 2 4 2 4
10 3 5 3 5
11 4 6 4 6
12 5 7 5 7
13 6 1 6 1
14 7 2 7 2
15 1 4 1 4
16 2 5 2 5
17 3 6 3 6
18 4 7 4 7
19 5 1 5 1
20 6 2 6 2
21 7 3 7 3
Na primeira composio, cada caderno contemplava apenas uma disciplina e a

distribuio na sala era feita alternadamente: Lngua Portuguesa e Matemtica. Na
segunda, cada caderno contempla as duas reas, alternando-se a ordem de aparecimento
de cada uma nos cadernos: o caderno 1 comea com Lngua Portuguesa, o caderno 2
comea com Matemtica, e prossegue-se alternando as ordens, de modo que Lngua
Portuguesa aparece onze vezes na primeira posio e a Matemtica, dez vezes.
Essa forma de composio dos cadernos denominada de blocos incompletos
balanceados (BIB). Pode-se observar a regularidade de frequncia de ocorrncia de cada
bloco nos cadernos, assim como a sua posio. Por exemplo, no quadro 2, o bloco 1
aparece seis vezes, sendo duas vezes em cada uma das trs posies possveis. Isso
garante que as questes no sejam apresentadas aos alunos sempre na mesma posio
no caderno, reduzindo a influncia que a posio no caderno poderia dar no resultado de
desempenho.
7
1.2.1 O que avaliado nas provas
Do ponto de vista da elaborao de itens, as provas utilizadas no SAEB e na

Prova Brasil so orientadas por matrizes de referncia. As matrizes constituem suporte
para a elaborao de itens de mltipla escolha que alimentam o banco nacional de itens
(BNI), utilizado para a construo das provas, e so referncias para as anlises de
desempenho, possibilitando a interpretao qualitativa das escalas de proficincia
construdas aps a aplicao dos testes.
As matrizes de referncia do SAEB e da Prova Brasil contemplam as habilidades
consideradas essenciais em cada etapa do ensino bsico avaliadas. Elas so compostas
por um conjunto de descritores que incorporam o objeto de conhecimento e a operao
mental necessria para a habilidade avaliada. Esses descritores so selecionados para
compor a matriz considerando-se tambm aquilo que possvel ser avaliado por meio
de itens de mltipla escolha.
O foco em matemtica a resoluo de problemas, que inclui a proposio de
tarefas simples com o objetivo de avaliar se o aluno tem o domnio de padres e
tcnicas escolares e se consegue associ-los a problemas rotineiros do cotidiano. A
opo pelo foco na resoluo de problemas est relacionada com o fato de essa
metodologia possibilitar o estabelecimento de relaes, o desenvolvimento de
capacidades de argumentao, a validao de mtodos e processos, alm de estimular
formas de raciocnio que incluem deduo, induo, inferncia e julgamento.
As matrizes de matemtica apresentam os tpicos de contedos matemticos
desenvolvidos no ensino fundamental e mdio e especialmente selecionados para a
avaliao em questo. Para cada nvel avaliado, apresenta-se uma lista de descritores,
agrupados nos grandes temas que constituem a formao em matemtica no ensino
bsico: espao e forma; grandezas e medidas; nmeros e operaes/lgebra e funes;
tratamento da informao. Existe uma preocupao com o que o aluno ser ou no
capaz de atingir de acordo com o desempenho esperado na etapa avaliada (Rabelo,
2010).
Em um esforo de sntese, poderamos assim resumir o que se espera que os
estudantes desenvolvam em cada um desses temas medida que se avana no percurso
escolar:
8
Espao e forma: inicia-se com a identificao das formas geomtricas presentes

em representaes de objetos conhecidos, seguida da identificao de algumas
caractersticas de formas geomtricas planas e espaciais e das semelhanas e
diferenas entre figuras geomtricas planas, seus elementos e algumas relaes
em diferentes representaes. O processo evolui para a soluo de tarefas
utilizando relaes de congruncia e semelhana de tringulos, relaes mtricas
do tringulo retngulo e algumas propriedades de polgonos e crculos,
culminando com a identificao de semelhanas e diferenas entre figuras
geomtricas espaciais e a soluo de tarefas utilizando relaes mtricas e
trigonomtricas do tringulo retngulo em figuras planas e espaciais, incluindo
noes de geometria analtica.
Grandezas e medidas: inicialmente, espera-se que o indivduo solucione tarefas
rotineiras do contexto escolar ou trazidas do cotidiano, utilizando unidades de
medidas, padronizadas ou no, de comprimento, massa, capacidade, tempo e de
valor. Em seguida, ele deve aprender a utilizar algumas relaes entre unidades
de medidas e noes de permetro e rea, para ento calcular o permetro e a rea
de figuras planas, estabelecendo relaes entre diferentes unidades de medida.
Ao final da educao bsica, espera-se que ele solucione problemas que
envolvam clculo do volume e da rea da superfcie de alguns slidos
geomtricos.
Nmeros e operaes / lgebra e funes: inicia-se com a proposta de tarefas
rotineiras do contexto escolar que envolvem as operaes com nmeros naturais,
seguidas da manipulao de nmeros racionais expressos em forma de frao,
decimal e percentual, para ento ampliar para operaes com nmeros inteiros e
racionais, incluindo procedimentos algbricos, relaes de interdependncia
entre grandezas, linguagem algbrica na soluo de equaes e clculo
aproximado com radicais. O processo amplia-se, ento, para situaes que
podem ser externas ao contexto escolar e exigem anlise, avaliao e
julgamento, utilizando operaes com nmeros reais, observando regularidades
e relaes de interdependncia entre grandezas, utilizando o princpio da
contagem, noes de probabilidade, frmulas e procedimentos algbricos gerais.
9
Tratamento da informao: inicialmente, o indivduo deve localizar

informaes explcitas apresentadas em tabelas simples e grficos de colunas ou
barras; em seguida, solucionar tarefas utilizando informaes explcitas
apresentadas em tabelas simples e de dupla entrada e em grficos de colunas ou
barras; prossegue, ento, na comparao de informaes apresentadas em tabelas
e(ou) grficos e somente depois dessa etapa espera-se que ele associe
informaes apresentadas em tabelas aos grficos que as representam. No nvel
de conhecimento esperado no fim da educao bsica, o indivduo deve ser
capaz de inferir informaes implcitas a partir de dados apresentados em tabelas
e grficos.
As matrizes de lngua portuguesa, com foco em leitura, tm como objetivo

avaliar a capacidade de apreender o texto como construo de conhecimento em
diferentes nveis de compreenso, anlise e interpretao. Essas matrizes tambm esto
organizadas sob a forma de uma lista de descritores, agrupados em seis tpicos
relacionados s habilidades desenvolvidas pelos estudantes: procedimento de leitura;
implicaes do suporte, do gnero e(ou) enunciador na compreenso do texto; relao
entre textos; coerncia e coeso no processamento do texto; relaes entre recursos
expressivos e efeitos de sentido; variao lingustica.
Essa estrutura das matrizes de lngua portuguesa aliada com a forma de
interpretao e anlise dos resultados da avaliao permitem refletir se a) os currculos
contemplam os fenmenos de variao e mudana lingustica; b) a escola utiliza a
educao em lngua portuguesa como propulsora para o incio do processo de formao
plena do aluno; c) a escola est engajada na luta contra qualquer forma de excluso
social pela linguagem (Rabelo, 2011).
1.2.2 Matrizes de Referncia de Matemtica
Conforme foi dito anteriormente, os itens aplicados no SAEB e na Prova Brasil

so elaborados a partir de matrizes especialmente criadas para esses processos. A ttulo
de completar a informao e para que o leitor compreenda melhor a descrio do que
esperado que os alunos desenvolvam em cada um dos quatro temas da rea de
10
Matemtica, apresenta-se, a seguir, as matrizes de matemtica para cada uma das sries
avaliadas.
Matriz de Referncia Matemtica 4 srie (5. ano) do ensino fundamental
Descritores do Tema I. Espao e Forma

D1 - Identificar a localizao /movimentao de objeto em mapas, croquis e outras
representaes grficas.
D2 - Identificar propriedades comuns e diferenas entre poliedros e corpos redondos,
relacionando figuras tridimensionais com suas planificaes.
D3 - Identificar propriedades comuns e diferenas entre figuras bidimensionais pelo nmero
de lados, pelos tipos de ngulos.
D4 - Identificar quadrilteros observando as posies relativas entre seus lados (paralelos,
concorrentes, perpendiculares).
D5 - Reconhecer a conservao ou modificao de medidas dos lados, do permetro, da rea
em ampliao e /ou reduo de figuras poligonais usando malhas quadriculadas.
Descritores do Tema II. Grandezas e Medidas

D6 - Estimar a medida de grandezas utilizando unidades de medida convencionais ou no.
D7 - Resolver problemas significativos utilizando unidades de medida padronizadas como
km/m/cm/mm, kg/g/mg, l/ml.
D8 - Estabelecer relaes entre unidades de medida de tempo.
D9 - Estabelecer relaes entre o horrio de incio e trmino e /ou o intervalo da durao de
um evento ou acontecimento.
D10 - Num problema, estabelecer trocas entre cdulas e moedas do sistema monetrio
brasileiro, em funo de seus valores.
D11 - Resolver problema envolvendo o clculo do permetro de figuras planas, desenhadas em
malhas quadriculadas.
D12 - Resolver problema envolvendo o clculo ou estimativa de reas de figuras planas,
desenhadas em malhas quadriculadas.
Descritores do Tema III. Nmeros e Operaes /lgebra e Funes

D13 - Reconhecer e utilizar caractersticas do sistema de numerao decimal, tais como
agrupamentos e trocas na base 10 e princpio do valor posicional.
D14 - Identificar a localizao de nmeros naturais na reta numrica.
D15 - Reconhecer a decomposio de nmeros naturais nas suas diversas ordens.
D16 - Reconhecer a composio e a decomposio de nmeros naturais em sua forma
polinomial.
D17 - Calcular o resultado de uma adio ou subtrao de nmeros naturais.
D18 - Calcular o resultado de uma multiplicao ou diviso de nmeros naturais.
D19 - Resolver problema com nmeros naturais, envolvendo diferentes significados da
adio ou subtrao: juntar, alterao de um estado inicial (positiva ou negativa),
comparao e mais de uma transformao (positiva ou negativa).
D20 - Resolver problema com nmeros naturais, envolvendo diferentes significados da
multiplicao ou diviso: multiplicao comparativa, idia de proporcionalidade,
configurao retangular e combinatria.
D21 - Identificar diferentes representaes de um mesmo nmero racional.
11
D22 - Identificar a localizao de nmeros racionais representados na forma decimal na reta

numrica.
D23 - Resolver problema utilizando a escrita decimal de cdulas e moedas do sistema
monetrio brasileiro.
D24 - Identificar frao como representao que pode estar associada a diferentes
significados.
D25 - Resolver problema com nmeros racionais expressos na forma decimal envolvendo
diferentes significados da adio ou subtrao.
D26 - Resolver problema envolvendo noes de porcentagem (25%, 50%, 100%).
Descritores do Tema IV. Tratamento da Informao

D27 - Ler informaes e dados apresentados em tabelas.
D28 - Ler informaes e dados apresentados em grficos (particularmente em grficos de
colunas).
Matriz de Referncia Matemtica 8 srie (9. ano) do ensino fundamental

D1 - Identificar a localizao/movimentao de objeto, em mapas, croquis e outras
representaes grficas.
D2 - Identificar propriedades comuns e diferenas entre figuras bidimensionais e
tridimensionais, relacionando-as com suas planificaes.
D3 - Identificar propriedades de tringulos pela comparao de medidas de lados e ngulos.
D4 - Identificar relao entre quadrilteros, por meio de suas propriedades.
D5 - Reconhecer a conservao ou modificao de medidas dos lados, do permetro, da rea
em ampliao e/ou reduo de figuras poligonais usando malhas quadriculadas.
D6 - Reconhecer ngulos como mudana de direo ou giros, identificando ngulos retos e
no retos.
D7 - Reconhecer que as imagens de uma figura construda por uma transformao
homottica so semelhantes, identificando propriedades e/ou medidas que se modificam
ou no se alteram.
D8 - Resolver problema utilizando a propriedade dos polgonos (soma de seus ngulos
internos, nmero de diagonais, clculo da medida de cada ngulo interno nos polgonos
regulares).
D9 - Interpretar informaes apresentadas por meio de coordenadas cartesianas.
D10 - Utilizar relaes mtricas do tringulo retngulo para resolver problemas significativos.
D11 - Reconhecer crculo/circunferncia, seus elementos e algumas de suas relaes.

D12 - Resolver problema envolvendo o clculo de permetro de figuras planas.
D13 - Resolver problema envolvendo o clculo de rea de figuras planas.
D14 - Resolver problema envolvendo noes de volume.
D15 - Resolver problema envolvendo relaes entre diferentes unidades de medida.

D16 - Identificar a localizao de nmeros inteiros na reta numrica.
D17 - Identificar a localizao de nmeros racionais na reta numrica.
D18 - Efetuar clculos com nmeros inteiros envolvendo as operaes (adio, subtrao,
multiplicao, diviso e potenciao).
12
D19 - Resolver problema com nmeros naturais envolvendo diferentes significados das
operaes (adio, subtrao, multiplicao, diviso e potenciao).
D20 - Resolver problema com nmeros inteiros envolvendo as operaes (adio, subtrao,
D21 - Reconhecer as diferentes representaes de um nmero racional.
D22 - Identificar frao como representao que pode estar associada a diferentes
significados.
D23 - Identificar fraes equivalentes.
D24 - Reconhecer as representaes decimais dos nmeros racionais como uma extenso do
sistema de numerao decimal identificando a existncia de ordens como dcimos,
centsimos e milsimos.
D25 - Efetuar clculos que envolvam operaes com nmeros racionais (adio, subtrao,
D26 - Resolver problema com nmeros racionais que envolvam as operaes (adio,
subtrao, multiplicao, diviso e potenciao).
D27 - Efetuar clculos simples com valores aproximados de radicais.
D28 - Resolver problema que envolva porcentagem.
D29 - Resolver problema que envolva variaes proporcionais, diretas ou inversas entre
grandezas.
D30 - Calcular o valor numrico de uma expresso algbrica.
D31 - Resolver problema que envolva equao de segundo grau.
D32 - Identificar a expresso algbrica que expressa uma regularidade observada em
seqncias de nmeros ou figuras (padres).
D33 - Identificar uma equao ou uma inequao de primeiro grau que expressa um problema.
D34 - Identificar um sistema de equaes do primeiro grau que expressa um problema.
D35 - Identificar a relao entre as representaes algbrica e geomtrica de um sistema de
equaes de primeiro grau.

D36 - Resolver problema envolvendo informaes apresentadas em tabelas e/ou grficos.
D37 - Associar informaes apresentadas em listas e/ou tabelas simples aos grficos que as
representam e vice-versa.
Matriz de Referncia Matemtica 3.o ano do ensino mdio

D1 - Identificar figuras semelhantes mediante o reconhecimento de relaes de
proporcionalidade.
D2 - Reconhecer aplicaes das relaes mtricas do tringulo retngulo em um problema
que envolva figuras planas ou espaciais.
D3 - Relacionar diferentes poliedros ou corpos redondos com suas planificaes ou vistas.
D4 - Identificar a relao entre o nmero de vrtices, faces e/ou arestas de poliedros expressa
em um problema.
D5 - Resolver problema que envolva razes trigonomtricas no tringulo retngulo (seno, co-
seno, tangente).
D6 - Identificar a localizao de pontos no plano cartesiano.
D7 - Interpretar geometricamente os coeficientes da equao de uma reta.
D8 - Identificar a equao de uma reta apresentada a partir de dois pontos dados ou de um
ponto e sua inclinao.
D9 - Relacionar a determinao do ponto de interseo de duas ou mais retas com a
resoluo de um sistema de equaes com duas incgnitas.
D10 - Reconhecer entre as equaes de 2 grau com duas incgnitas, as que representam
circunferncias.
13

D11 - Resolver problema envolvendo o clculo de permetro de figuras planas.
D12 - Resolver problema envolvendo o clculo de rea de figuras planas.
D13 - Resolver problema envolvendo a rea total e/ou volume de um slido (prisma, pirmide,
cilindro, cone, esfera).

D14 - Identificar a localizao de nmeros reais na reta numrica.
D15 - Resolver problema que envolva variaes proporcionais, diretas ou inversas entre
grandezas.
D16 - Resolver problema que envolva porcentagem.
D17 - Resolver problema que envolva equao de segundo grau.
D18 - Reconhecer expresso algbrica que representa uma funo a partir de uma tabela.
D19 - Resolver problema envolvendo uma funo de primeiro grau.
D20 - Analisar crescimento/decrescimento, zeros de funes reais apresentadas em grficos.
D21 - Identificar o grfico que representa uma situao descrita em um texto.
D22 - Resolver problema envolvendo PA/PG dada a frmula do termo geral.
D23 - Reconhecer o grfico de uma funo polinomial de primeiro grau por meio de seus
coeficientes.
D24 - Reconhecer a representao algbrica de uma funo do primeiro grau, dado o seu
grfico.
D25 - Resolver problemas que envolvam os pontos de mximo ou de mnimo no grfico de
uma funo polinomial do segundo grau.
D26 - Relacionar as razes de um polinmio com sua decomposio em fatores do primeiro
grau.
D27 - Identificar a representao algbrica e/ou grfica de uma funo exponencial.
D28 - Identificar a representao algbrica e/ou grfica de uma funo logartmica
reconhecendo-a como inversa da funo exponencial.
D29 - Resolver problema que envolva funo exponencial.
D30 - Identificar grficos de funes trigonomtricas (seno, co-seno, tangente) reconhecendo
suas propriedades.
D31 - Determinar a soluo de um sistema linear associando-o a uma matriz.
D32 - Resolver o problema de contagem utilizando o princpio multiplicativo ou noes de
permutao simples e/ou combinao simples.
D33 - Calcular a probabilidade de um evento.

D34 - Resolver problema envolvendo informaes apresentadas em tabelas e/ou grficos.
D35 - Associar informaes apresentadas em listas e/ou tabelas simples aos grficos que as
representam e vice-versa.
1.2.3 Anlise do desempenho dos estudantes aplicao da TRI
Do ponto de vista do desempenho, o SAEB tem proporcionado reflexes

importantes acerca do aprendizado dos estudantes. Vamos ilustrar isso analisando o
14
desempenho dos estudantes em dois itens de matemtica j aplicados, observando o que

se esperava avaliar e o que de fato foi revelado a partir dos resultados.
Exemplo 1. O item a seguir foi aplicado aos estudantes do 9. ano (8. srie) para avaliar
se eles seriam capazes de reconhecer as diferentes representaes de um nmero
racional. A partir das anlises de desempenho, verificou-se que o item estaria inserido
no nvel 300 da escala de proficincia (escala com mdia 250 e desvio-padro igual a 50
pontos), ou seja, somente 12,5% dos alunos 9.o ano dominam o contedo avaliado no
item.
Fonte: INEP/MEC
A anlise dos dados acima mostra que o item revelou-se difcil para os
respondentes, pois somente 27% deles acertaram. O item teve alta discriminao e alto
coeficiente bisserial. A opo errada (C) atraiu 56% dos alunos, evidenciando que esses
alunos no dominam os conceitos de nmeros decimais e fraes. Provavelmente, essa
opo foi escolhida por conter os nmeros 2 e 5, que aparecem no enunciado (0,25).
Exemplo 2. O item a seguir foi aplicado aos estudantes do 3.o ano do ensino
mdio para avaliar se eles seriam capazes de identificar a localizao de nmeros
racionais na reta numrica. A partir das anlises de desempenho, verificou-se que o item
estaria inserido no nvel 375 da escala de proficincia, de onde se conclui que apenas
6,85% dos estudantes brasileiros do fim da escolaridade bsica dominam esse contedo.
15
Fonte: INEP/MEC
Este item exige a converso de frao em decimal. Foi um item muito difcil
para os estudantes, com apenas 26% de acerto, sendo que o percentual de acerto do
grupo superior foi de 50% e o do grupo inferior 15%. A opo (A), que corresponde ao
ponto -2.5, atraiu 61% dos alunos e foi a alternativa modal at o nvel 350 de
proficincia. incrvel que no 3. ano do EM uma quantidade enorme de alunos ainda
identifique a frao 2/5 com o nmero 2,5.
Outros itens que avaliam o desenvolvimento dessa mesma habilidade foram

aplicados para os estudantes concluintes do ensino fundamental e do ensino mdio e o
resultado foi praticamente o mesmo, o que nos leva a concluir que, infelizmente, a
grande maioria dos estudantes brasileiros conclui o ensino mdio sem saber o
significado de frao.
Ainda com relao aos resultados das aplicaes das provas, cabe ressaltar que
as anlises estatsticas clssicas, que permitem atribuir nota aos respondentes de um
teste, apresentam algumas limitaes, pois ficam restritas a um determinado momento, a
um determinado teste e ao grupo que respondeu prova, dificultando o
acompanhamento pedaggico ao longo dos anos. Para acompanhar a evoluo dos
16
alunos e estabelecer comparaes entre sries diferentes ou mesmo entre grupos que
responderam a provas diferentes, foi necessrio desenvolver uma outra metodologia de
construo do processo e de anlise dos dados gerados aps aplicao dos instrumentos.
O modelo utilizado vem da psicometria moderna a Teoria de Resposta ao Item (TRI).
Pela TRI, o grau de conhecimento dos alunos obtido por meio das caractersticas dos
itens, de modo que alunos que acertam um mesmo nmero de itens de uma prova
podem receber notas diferentes em razo de caractersticas especficas dos itens
acertados. Essas caractersticas incluem a discriminao, a dificuldade e a probabilidade
de acerto ao acaso, que sero explicadas em mais detalhes posteriormente.
Por meio dessas caractersticas, a TRI permite medir o nvel de proficincia de
cada aluno e, a partir dessa unidade de medida, construir uma escala. Essa uma das
grandes vantagens da TRI em relao teoria clssica dos testes (TCT). Com a criao
dessa escala, alunos submetidos a diferentes provas podem ser comparados entre si.
Contudo, para que essa comparao seja legtima, necessrio realizar uma
equalizao, ou seja, necessrio transformar as medidas (parmetros dos itens e
desempenho dos alunos) para que elas fiquem em uma mesma escala. Por meio dessas
anlises, pode-se aferir o nvel em que uma escola se encontra na escala de proficincia
das disciplinas e dos nveis de ensino avaliados, no que concerne s habilidades
desenvolvidas pelos alunos. Isso nos permite fazer comparaes e acompanhar
progressos de um sistema educacional ao longo dos anos. importante enfatizar que as
escalas de proficincia tm carter cumulativo, ou seja, os alunos que possuem domnio
em um conjunto de habilidades de um nvel tm alta probabilidade de serem
proficientes nas habilidades anteriores a esse nvel da escala.
Com isso, compara-se o desempenho dos alunos nas sries e disciplinas
avaliadas no percurso de seu desenvolvimento escolar. Com o uso dessa tcnica, os
resultados do SAEB e da Prova Brasil so apresentados em escalas de proficincia por
disciplina, que descrevem habilidades que os alunos so capazes de demonstrar nos
diversos nveis que compem as escalas. As habilidades so cumulativas e vo se
tornando mais complexas medida que se avana na escala.
Para permitir a comparabilidade ao longo dos anos, as provas de um ano incluem
alguns itens da aplicao anterior, chamados de itens de ligao. A partir desses itens
comuns que se faz a equalizao de resultados de um ciclo para o outro, processo
chamado de equalizao de grupos no equivalentes com itens comuns. Na montagem
17
dos cadernos a partir da estrutura explicitada nos quadros 2 e 3, alguns blocos so

constitudos exatamente dos itens de ligao.
Nesses dois exames, a escala de cada disciplina numrica e varia, em tese, de 0
a 500. Escolheu-se como referncia em matemtica o desempenho dos alunos da 8 srie
(9.o ano) do SAEB 1997, com mdia 250 e desvio-padro de 50. Como os nmeros
indicam apenas uma posio, feita uma interpretao pedaggica dos resultados por
meio da descrio, em cada nvel, do grupo de habilidades que os alunos demonstraram
ter desenvolvido, ao responderem as questes das provas. possvel saber, pela
localizao numrica do desempenho na escala, quais habilidades os alunos j
construram, quais eles esto desenvolvendo e quais ainda faltam ser alcanadas. Como
a escala nica para todas as sries, no esperado, por exemplo, que alunos da 4.
srie alcancem os nveis finais da escala, pois esses representam as habilidades
desenvolvidas ao longo de todo o percurso da educao bsica.
Por exemplo, a mdia 239,5 (mdia nacional em matemtica para o 9. ano da
rede urbana) em 2007 indica que os estudantes que esto nesse nvel conseguem, entre
outras aes, localizar dados em tabelas, identificar grfico de colunas correspondentes
a nmeros positivos e negativos, converter medidas de peso e calcular o permetro e
rea de figuras. Alunos com essa mdia tambm tm desenvolvidas as capacidades
descritas em nveis mais baixos da escala do SAEB, como a de calcular resultados de
subtraes complexas, ler horas em relgios de ponteiros e digital, estimar medida de
comprimento usando unidades no convencionais e reconhecer a decomposio em
dezenas e unidades de nmeros naturais.
Nem todos os nveis das escalas so passveis de interpretao, pois pode ocorrer
de nenhum item do teste localizar-se naquele nvel. O quadro 4 a seguir ilustra os nveis
que so descritos de acordo com o ano.
Quadro 4. Nveis interpretados da escala de proficincia - SAEB e Prova Brasil

Nvel de escolaridade 125 150 175 200 225 250 275 300 325 350 375 400 425
5 ano EF
9 ano EF
3 ano EM
18
1.2.4 Interpretao dos nveis da escala
A partir da anlise do desempenho de todos os participantes e de um novo olhar

sobre todos os itens aplicados nas provas, feita, por especialistas das duas reas
avaliadas, uma interpretao dos nveis da escala de proficincia, descrevendo-se o que
significa, em termos de habilidades e conhecimentos, um indivduo estar posicionado
em uma determinada faixa da escala. A tabela seguinte, extrada do stio
www.inep.gov.br, corresponde interpretao dos nveis da escala de matemtica da
Prova Brasil de 2007, para os alunos da 4. e 8. sries do ensino fundamental.
Nveis Descries das habilidades de acordo com o nvel
125 Neste nvel, os alunos da 4 e da 8 srie resolvem problemas de clculo de rea com base na
contagem das unidades de uma malha quadriculada.
150 Neste nvel, os alunos da 4 e da 8 srie so capazes de:
resolver problemas envolvendo adio ou subtrao estabelecendo relao entre

diferentes unidades monetrias (representando um mesmo valor ou numa situao de
troca, incluindo a representao dos valores por numerais decimais);
calcular adio com nmeros naturais de trs algarismos, com reserva;
reconhecer o valor posicional dos algarismos em nmeros naturais;
localizar nmeros naturais (informados) na reta numrica;
ler informaes em tabela de coluna nica;
identificar quadrilteros.
175 Os alunos das duas sries, neste nvel:
identificam a localizao (lateralidade) ou movimentao de objeto tomando como

referncia a prpria posio;
identificam figuras planas pelos lados e pelo ngulo reto;
reconhecem a representao decimal de medida de comprimento (cm) e identificam
sua localizao na reta numrica;
reconhecem a escrita por extenso, a composio e decomposio em dezenas e
unidades, de nmeros naturais, considerando o seu valor posicional na base decimal;
efetuam multiplicao com reserva tendo por multiplicador um nmero com 1
algarismo;
lem informaes em tabelas de dupla entrada;
resolvem problemas:
relacionando diferentes unidades de uma mesma medida para clculo
de intervalos (dias e semanas, horas e minutos) e de comprimento (m
e cm);
envolvendo soma de nmeros naturais ou racionais na forma
decimal, constitudos pelo mesmo nmero de casas decimais e por
at trs algarismos.
19
200 Os alunos da 4 e da 8 sries:
estimam medida de comprimento usando unidades convencionais e no

convencionais;
ler informaes em grfico de colunas;
reconhecer a modificao da rea de uma figura pela utilizao de malha quadriculada;
reconhecer a composio e decomposio de nmeros naturais em sua forma
polinomial e
localizar objeto em representao grfica, utilizando referencial diferente da prpria
posio;
solucionam problemas:
de subtrao com nmeros naturais de quatro algarismos, reserva e
zero no minuendo;
de diviso de nmeros naturais (dividendo: duas ordens e divisor:
uma ordem).
Na 8 srie, os alunos so ainda capazes de resolver problemas interpretando e relacionando

informaes apresentadas em grfico de colunas simples e tabela de quatro colunas.
225 Os alunos da 4 e da 8 sries apresentam as seguintes habilidades:
calculam diviso (divisor: duas ordens);

identificam propriedades comuns e diferenas em slidos geomtricos (nmero de
faces);
resolvem problemas:
de soma, a partir de dados informados em tabelas de dupla entrada;
de multiplicao de quantidades fracionadas utilizando medida de
capacidade (L);
relacionando diferentes unidades de medida de tempo
(ms/trimestre/ano);
utilizando noes de porcentagem (25% = 1/4 e 50% = 1/2).
localizam informaes em grficos de colunas duplas;
calculam permetro de figura pela soma dos lados de unidades de medida dadas em
uma malha quadriculada;
identificam a representao numrica de uma frao dada em uma figura.
Na 8 srie:
identificam quadrilteros pelas caractersticas de seu lados e ngulos;
calculam o permetro de figuras sem o apoio de malhas quadriculadas.
20
250 Nas duas sries, os alunos:
calculam expresso numrica (soma e subtrao) envolvendo o uso de parnteses e

colchetes;
identificam a localizao de nmeros racionais (forma decimal) na reta numrica;
calculam e comparam as modificaes do permetro de uma figura plana desenhada
em uma malha quadriculada;
resolvem problemas:
de soma envolvendo combinaes (trs variveis por duas);

lendo informaes de dados apresentadas em grficos de colunas
simples, requerendo a relao inversa entre o que se pede e a altura
das colunas,
de multiplicao (envolvendo noes de configurao retangular:
fileiras x colunas)
realizando clculo de converso de medidas: de tempo (dias/anos),
de temperatura (identificando sua representao numrica na forma
decimal), de comprimento (m/Km) e de capacidade (ml/L).
identificam figuras planas relacionando-as s suas nomenclaturas convencionais
(tringulo, losango, pentgono e hexgono);
identificam a representao decimal (dada em milsimos) de uma frao.
Alm dessas habilidades, os alunos da 8 srie:
identificam a movimentao de objeto em croquis utilizando conceitos de lateralidade;

identificam entre diversas planificaes aquela que permite a construo de um cubo;
localizam nmeros inteiros e racionais (decimais) negativos, na reta numrica;
reconhecem e calculam ngulos retos e no-retos associando-os s suas respectivas
figuras.
5 Neste nvel, os alunos das duas sries:
identificam as posies dos lados de quadrilteros (paralelismo);

identificam a escrita numrica decimal de um inteiro fracionado (frao prpria e
imprpria) na reta numrica;
identificam poliedros e corpos redondos, relacionando-os s suas planificaes;
resolvem problemas:
utilizando multiplicao e diviso, em situao combinatria;
de soma e subtrao de nmeros racionais (decimais) na forma do
sistema monetrio brasileiro, em situaes complexas;
estimando medidas de grandezas utilizando unidades convencionais (L).
Na 8 srie:
efetuam clculos de nmeros inteiros positivos que requerem o reconhecimento do

algortimo da diviso inexata;
calculam o valor numrico de uma expresso algbrica incluindo potenciao;
identificam a localizao aproximada de nmeros inteiros no ordenados, em uma reta
onde a escala no unitria;
resolvem situaes-problema por meio da leitura e interpretao de informaes
dadas em percentuais em tabelas;
solucionam problemas de clculo de rea com base em informaes sobre os ngulos
de uma figura e
resolvem problemas que envolvem variao proporcional.
21
300 Os alunos da 4 e da 8 sries:
resolvem problemas:
identificando a lateralidade de um objeto, tendo por referncia
pontos com posio oposta sua e envolvendo combinaes;
realizando converso e soma de medidas de comprimento e
massa (m/km e g/kg).
identificam mais de uma forma de representar numericamente uma mesma frao e
reconhecem fraes equivalentes;
identificam um nmero natural (no informado) relacionando-o a uma demarcao na
reta numrica.
Na 8 srie:
calculam o volume de slidos a partir da medida de suas arestas;

identificam um nmero inteiro (no informado) relacionando-o a uma demarcaes do
incio e do trmno de uma reta numrica;
identificam a equao o inequao do 1 grau adequada para a soluo de um
problema;
solucionam problemas:
envolvendo a propriedade dos polnos regulares inscritos, (hexgono)
para calcular o seu permetro;
envolvendo noes de volume de figuras tridimensionais compostas
por cubos, representadas num plano;
envolvendo porcentagens diversas e suas representaes na forma
decimal;
envolvendo o clculo de grandezas diretamente proporcionais;
envolvendo soma de nmeros inteiros.
325 Neste nvel, os alunos da 8 srie:
resolvem problemas:
calculando a ampliao, reduo ou conservao da medida
(informada inicialmente) de ngulos, lados e rea de figuras planas;
para clculo numrico de uma expresso algbrica em sua forma
fracionria;
envolvendo porcentagens diversas e suas representaes na forma
fracionria;
de adio e multiplicao, envolvendo identificao de um sistema de
equaes do primero grau com duas variveis.
reconhecem propriedades referentes s medidas de lados e ngulos dos tringulos;

reconhecem as diferentes representaes decimais de um nmero fracionrio,
identificando suas ordens (dcimos, centsimos, milsimos);
efetuam clculos de razes quadradas;
realizam operaes e estabelecem relaes utilizando os elementos de um crculo ou
circunferncia (raio, dimetro, corda).
22
350 Alm das demais habilidades demonstradas no nvel anterior, neste nvel, os alunos da 8 srie:
reconhecem os diferentes tipos de tringulos pelas caractersticas de lados e ngulos;

identificam propriedades comuns e diferenas entre figuras bidimensionais e
tridimensionais, relacionando as ltimas s suas planificaes;
efetuam clculos de diviso com nmeros racionais (forma fracionria e decimal
simultaneamente);
resolvem problemas utilizando propriedades dos polgonos (nmero de diagonais,
soma de ngulos internos, valor de cada ngulo interno ou externo), inclusive por meio
de equao do 1 grau.
375 Neste nvel, os alunos da 8 srie:
interpretam informaes dadas em coordenadas cartesianas;

efetuam uma adio de fraes com denominadores diferentes;
resolvem problemas envolvendo crculos concntricos;
solucionam problemas envolvendo a determinao das medidas da base e da altura de
um tringulo traado em malha quadriculada por contagem;
resolvem problemas calculando a rea de tringulos por meio da aplicao do Teorema
de Pitgoras;
calculam a rea de figuras simples (tringulo, paralelogramo, retngulo, trapzio),
inclusive utilizando composio e decomposio;
efetuam clculos da raiz quadrada expressa ma forma de expresses numricas,
envolvendo multiplicao e
solucionam problemas a partir da leitura e clculo de dados oferecidos em uma tabela.
1.2.5 Construo da srie histrica de desempenho
Do ponto de vista da srie histrica de desempenho, em 2006, o Instituto

Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP) divulgou o
relatrio Mdias de desempenho do SAEB/2005 em perspectiva comparada, que
contempla os resultados de desempenho dos alunos de 4. e 8. sries do ensino
fundamental (5. e 9. anos) e do 3.o ano do ensino mdio, em lngua portuguesa e
matemtica, na srie histrica de 1995 a 2005. Os grficos abaixo foram extrados desse
relatrio, acrescentando-se as informaes relativas avaliao de 2007, j divulgadas.
Os grficos referem-se s mdias de desempenho em matemtica e em lngua
portuguesa no Brasil: urbano, rural, pblico (estadual e municipal) e privado.
23
Fonte: INEP/MEC
Fonte: INEP/MEC
A simples anlise das sries longitudinais apresentadas nos grficos acima j

fornece algumas pistas acerca da evoluo do desempenho dos estudantes brasileiros em
lngua portuguesa (leitura) e matemtica.
1.2.6 O ndice de Desenvolvimento da Educao Bsica (IDEB)
Atualmente, as mdias de desempenho nas avaliaes so utilizadas para o

clculo do ndice de Desenvolvimento da Educao Bsica (IDEB), que o eixo do
Programa de Metas Compromisso Todos pela Educao, do Plano de Desenvolvimento
da Educao (PDE). Assim, a avaliao uma das aes concretas para se aderir s
metas do Compromisso e receber o apoio tcnico/financeiro do MEC. O IDEB foi
criado em 2007 e rene, em um s indicador, dois conceitos igualmente importantes
para a qualidade da educao: o fluxo escolar e as mdias de desempenho nas
24
avaliaes. So calculados os ndices para cada unidade escolar pblica, municpio,

unidade da federao e para o pas. Esse ndice tem o objetivo de subsidiar a formulao
e monitoramento de polticas educacionais, com vistas melhoria da qualidade da
educao. O indicador calculado a partir dos dados relativos aprovao escolar,
obtidos no Censo Escolar, e das mdias de desempenho nas avaliaes, o SAEB para
as unidades da federao e para o pas, e a Prova Brasil para os municpios.
De acordo com Fernandes, o IDEB tem como objetivo detectar escolas ou redes
de ensino cujos alunos apresentem baixo desempenho, bem como acompanhar, ao longo
dos anos, a evoluo do desempenho desses alunos.
O clculo do IDEB se d pelo produto do desempenho e do rendimento escolar
(taxa de aprovao dos alunos por srie). A combinao entre fluxo e aprendizagem do
IDEB expressa, em valores de 0 a 10, o andamento dos sistemas de ensino, em mbito
nacional, nas unidades da federao e municpios, calculada por meio da frmula:
e
em que
i = ano do exame (SAEB e Prova Brasil) e do Censo Escolar;
= mdia da proficincia em Lngua Portuguesa e Matemtica, padronizada
para um indicador entre 0 e 10, dos alunos da unidade j, obtida em determinada
edio do exame realizado ao final da etapa de ensino;
= indicador de rendimento com base na taxa de aprovao da etapa de ensino
dos alunos da unidade j.
Por exemplo, se uma escola, em uma srie, obteve uma mdia padronizada de
7,0 na Prova Brasil, e o tempo mdio de concluso de cada srie de um ano, ento seu
IDEB ser igual a 7,0 = 7,0 1/1. J uma escola cuja mdia foi 7,0 e cujo tempo mdio
de concluso de cada srie de dois anos ter um IDEB de 3,5 = 7,0 1/2.
Ainda de acordo com Fernandes,
O IDEB o indicador objetivo para a verificao do cumprimento das metas

fixadas no Termo de Adeso ao Compromisso Todos pela Educao, eixo do
Plano de Desenvolvimento da Educao, do Ministrio da Educao, que trata
da educao bsica. nesse mbito que se enquadra a ideia das metas
intermedirias para o Ideb. A lgica a de que para que o Brasil chegue mdia
6,0 em 2021, cada sistema deve evoluir segundo pontos de partida distintos, e
25
com esforo maior daqueles que partem em pior situao, com um objetivo
implcito de reduo da desigualdade educacional.
A definio de uma meta nacional para o IDEB em 6,0 significa dizer
que o pas deve atingir em 2021, considerando os anos iniciais do ensino
fundamental, o nvel de qualidade educacional, em termos de proficincia e
rendimento (taxa de aprovao), da mdia dos pases desenvolvidos (mdia dos
pases membros da OCDE) observada atualmente. Essa comparao
internacional foi possvel devido a uma tcnica de compatibilizao entre a
distribuio das proficincias observadas no PISA (Programme for
Internacional Student Assessment) e no SAEB.
A meta nacional norteia todo o clculo das trajetrias intermedirias
individuais do IDEB para o Brasil, unidades da Federao, municpios e
escolas, a partir do compartilhamento do esforo necessrio em cada esfera para
que o Pas atinja a mdia almejada no perodo definido. Dessa forma, as metas
intermedirias do IDEB, com incio em 2007, foram calculadas nos mbitos
nacional, estadual, municipal e para cada escola, a cada dois anos.
O grfico ao lado ilustra o

comportamento esperado para a
trajetria do IDEB ao longo dos anos.
Nele esto destacados a meta
estabelecida e o esforo necessrio para
que isso ocorra.
A compreenso sobre as questes
contextuais da escola auxiliar a
perceber quais os pontos que necessitam de mudanas e redirecionamento das aes
institucionais para atingir a meta estabelecida. Por isso, a aplicao de questionrios a
alunos, professores, e diretores e a anlise dos dados coletados tambm constituem
instrumento fundamental nos sistemas de avaliao educacional.
1.3 O Exame Nacional do Ensino Mdio (ENEM)
Implantado em 1998, o ENEM centra-se na avaliao individual de

desempenho por competncias ao final da educao bsica. Tem como eixos
estruturadores a interdisciplinaridade e a contextualizao dos conhecimentos expressos
na forma de situaes-problema.
Alm de ser um instrumento de aferio das competncias e habilidades do

indivduo, ele tambm confere a cada participante parmetro para a auto-avaliao e
orientao de seu processo de formao continuada. O exame permite que o indivduo
faa anlise daquilo que considera ter aprendido durante sua escolarizao bsica, das
26
suas expectativas em relao continuidade de seus estudos e sua insero no

mercado de trabalho, alm de outras inmeras informaes extremamente valiosas para
a formulao de polticas pblicas no setor educacional.
A partir de 2009, agregou-se novas funcionalidades ao exame, ampliando-se o

carter de processo seletivo para acesso s instituies de educao superior, alm de
incorporar funes anteriormente atribudas ao Exame Nacional para Certificao de
Competncias de Jovens e Adultos (ENCCEJA) do ensino mdio. Para se implantar
essas mudanas, foi necessrio recorrer s tcnicas oriundas da TRI. A utilizao dessa
teoria no ENEM abriu a possibilidade de se construir uma srie histrica do
desempenho dos estudantes e dos egressos do ensino mdio brasileiro, como feito com
os resultados do SAEB e da Prova Brasil.
Para subsidiar a reestruturao metodolgica do ENEM, foi elaborada uma nova
Matriz de Referncia, a partir das matrizes de competncias e habilidades que compem
o ENCCEJA do ensino mdio. A Matriz dividida nas quatro reas de conhecimento
que compem o exame:
(i) Linguagens, Cdigos e suas Tecnologias (incluindo redao);
(ii) Cincias Humanas e suas Tecnologias;
(iii) Cincias da Natureza e suas Tecnologias; e
(iv) Matemtica e suas Tecnologias.
As cinco competncias do antigo ENEM foram ampliadas para inclurem, no
domnio de linguagens, o uso das lnguas espanhola e inglesa, que no eram objeto de
avaliao at 2009. Assume-se o pressuposto de que os conhecimentos adquiridos ao
longo da escolarizao deveriam possibilitar ao jovem o domnio de linguagens, a
compreenso de fenmenos, o enfrentamento de situaes-problema, a construo de
argumentaes e a elaborao de propostas. Na matriz do novo exame, essas
competncias correspondem aos eixos cognitivos bsicos, a aes e operaes mentais
que todos os jovens e adultos devem desenvolver como recursos mnimos que os
habilitam a enfrentar melhor o mundo que os cercam, com todas as suas
responsabilidades e desafios.
Para cada uma das quatro reas, organizou-se um conjunto de competncias
amplas a serem avaliadas, que, por sua vez, foram desdobradas em habilidades mais
especficas, resultantes da associao dos contedos gerais aos cinco eixos cognitivos,
totalizando 30 habilidades para cada uma das reas. As competncias de rea foram
27
submetidas ao tratamento cognitivo das competncias do sujeito do conhecimento e

permitiram a definio de habilidades especficas, que estabelecem as aes ou
operaes que descrevem desempenhos a serem avaliados na prova. Nessa concepo,
as referncias de cada rea descrevem as interaes mais abrangentes ou complexas (nas
competncias) e as mais especficas (nas habilidades) entre as aes dos participantes,
que so os sujeitos do conhecimento, com os objetos de conhecimento, selecionados e
organizados a partir das Orientaes Curriculares Nacionais para o Ensino Mdio
(OCNEM). Essa estrutura aproxima o novo ENEM dessas Orientaes, sem abandonar
o modelo de avaliao centrado no desenvolvimento de habilidades.
O foco da avaliao proposta a anlise de situao-problema, para a qual o
participante deve mobilizar saberes cognitivos e conceituais (competncias). A
aprendizagem destacada como referncia autonomia intelectual do sujeito ao final da
educao bsica, mediada pelos princpios da cidadania e do trabalho. As competncias
para a participao social incluem a criatividade, a capacidade de solucionar problemas,
o senso crtico, o domnio de conhecimentos. Segundo Le Boterf (2003) e Zarifian
(2003), competncia a capacidade do sujeito de agir diante de situaes-problema
inusitadas, a partir da mobilizao dos recursos (cognitivos, sociais e afetivos)
necessrios sua resoluo. Desse modo, a competncia no reside apenas nos recursos
a serem acionados, mas na sua mobilizao e articulao para que seja possvel tomar
decises e fazer encaminhamentos adequados e teis ao enfrentamento de situaes,
como a resoluo de um problema ou a tomada de uma deciso. Assim, o
desenvolvimento de competncias pressupe que o indivduo no somente adquira
recursos como conhecimentos, habilidades, atitudes e valores , mas construa, a
partir deles, combinaes apropriadas ao.
De acordo com Marinho-Arajo et all (2010), a abordagem por competncia
torna-se uma ferramenta que estabelece uma relao mais flexibilizada entre a
construo do conhecimento e a transposio desse conhecimento para aes
cotidianas.
Com o novo modelo do ENEM, iniciou-se, em 2009, a construo de um banco
de itens para o exame, que submetido a um pr-teste para calibrao. No h
montagem de blocos incompletos balanceados (BIB) para a aplicao, pois todos os
participantes so submetidos mesma prova, que tornada pblica imediatamente aps
sua aplicao. De fato, so aplicadas quatro provas, mas que diferem umas das outras
28
apenas pela ordenao dos itens. A linha de base da equalizao dos resultados so os
parmetros originados no pr-teste. A interpretao da escala de proficincia tem sido
elaborada, mas ainda no foi divulgada porque nem todas as faixas da escala possuam
itens que possibilitassem sua interpretao.
O impacto do exame na sociedade grande, pois o nmero de inscritos supera os
4,5 milhes de indivduos. A adeso ao exame como forma de substituio do
tradicional vestibular tem crescido ao longo dos anos, e isso um dos grandes atrativos,
j que a escolha do curso e da instituio podem ser feitas a posteriori da divulgao
dos resultados de desempenho, por meio de um sistema informatizado que armazena at
5 escolhas de cada candidato, para, posteriormente, alocar os pretendentes nas
instituies e cursos selecionados. Recentemente, o Conselho Universitrio da
Universidade Federal do Rio de Janeiro, uma das maiores do pas, decidiu adotar o
ENEM como forma exclusiva de acesso a seus cursos de graduao a partir de 2012.
Isso dever estimular outras grandes instituies a fazer o mesmo.
1.3.1 Caractersticas do exame
A Portaria Inep/MEC n. 109, de 27 de maio de 2009, estabeleceu a sistemtica

para a realizao do Exame Nacional do Ensino Mdio no exerccio de 2009
(ENEM/2009) como procedimento de avaliao do desempenho escolar e acadmico
dos participantes, para aferir o desenvolvimento das competncias e habilidades
fundamentais ao exerccio da cidadania. So objetivos do exame:
I - oferecer uma referncia para que cada cidado possa proceder sua auto-
avaliao com vistas s suas escolhas futuras, tanto em relao ao mundo do
trabalho quanto em relao continuidade de estudos;
II - estruturar uma avaliao ao final da educao bsica que sirva como

modalidade alternativa ou complementar aos processos de seleo nos diferentes
setores do mundo do trabalho;
III - estruturar uma avaliao ao final da educao bsica que sirva como
modalidade alternativa ou complementar aos exames de acesso aos cursos
profissionalizantes, ps-mdios e Educao Superior;
29
IV - possibilitar a participao e criar condies de acesso a programas

governamentais;
V - promover a certificao de jovens e adultos no nvel de concluso do ensino

mdio nos termos do artigo 38, 1 e 2 da LDB;
VI - promover avaliao do desempenho acadmico das escolas de ensino

mdio, de forma que cada unidade escolar receba o resultado global;
VII - promover avaliao do desempenho acadmico dos estudantes ingressantes

nas Instituies de Educao Superior.
Assim, o novo exame incorpora a possibilidade de certificao de jovens e

adultos no nvel de ensino mdio e promove a avaliao do desempenho dos
ingressantes nas Instituies de Educao Superior, cumprindo uma das funes que at
ento estava reservada para o Exame Nacional de Desempenho dos Estudantes
(ENADE), no mbito dos SINAES.
O exame compreende 4 (quatro) provas, contendo 45 (quarenta e cinco) questes

objetivas de mltipla escolha, versando sobre as vrias reas de conhecimento em que
se organizam as atividades pedaggicas da Educao Bsica no Brasil, e uma proposta
para redao. As questes so extradas de um banco de itens calibrados, utilizando a
teoria de resposta ao item. As 4 (quatro) provas so estruturadas nas reas do
conhecimento listadas anteriormente.
A proposta de reestruturao veio para evidenciar o papel que o exame j

cumpria: ao longo de onze edies (1998 a 2008), a procura pelo ENEM subiu de 150
mil para mais de 4,5 milhes de inscritos, sendo que mais de 70% dos participantes
afirmam que fazem a prova com o objetivo maior de chegar faculdade. De acordo com
o documento intitulado Proposta: unificao dos processos seletivos das Instituies
Federais de Ensino Superior a partir da reestruturao do Exame Nacional do Ensino
Mdio (ENEM), encaminhado pelo presidente do Inep/MEC Associao Nacional
dos Dirigentes das Instituies Federais de Ensino Superior (Andifes) em 30 de maro
de 2009, o que se deseja democratizar as oportunidades de concorrncia s vagas
federais de ensino superior por meio da unificao da seleo s vagas das IFES,
utilizando uma nica prova, e racionalizar a disputa por essas vagas, de forma a
democratizar a participao nos processos de seleo para vagas em diferentes regies
do pas.
30
Isso se justifica porque, de acordo com dados da Pnad/IBGE/2007, de todos os

estudantes matriculados no primeiro ano do ensino superior, apenas 0,04% residem h
menos de um ano no estado onde estudam. Alm do mais, o motivo principal alegado
pela grande maioria de estudantes para fazer o ENEM, qual seja, entrar na faculdade /
conseguir pontos para o vestibular, comprova o carter de processo seletivo adquirido
pelo exame ao longo dos anos, de acordo com a tabela abaixo.
Motivos alegados para fazer o ENEM Brasil 2008
Fonte: Questionrio socioeconmico do ENEM 2008
Como o nosso foco neste texto a Matemtica, listaremos a seguir somente a

parte da matriz de referncia correspondente a essa rea e os eixos cognitivos, que so
comuns as todas as reas avaliadas. A matriz inclui as competncias de rea, as
habilidades e os objetos de conhecimentos que so utilizados para a elaborao dos
itens.
1.3.2 Matriz de Referncia para o ENEM 2009 Matemtica e suas Tecnologias
EIXOS COGNITIVOS (comuns a todas as reas de conhecimento)

I Dominar linguagens (DL): dominar a norma culta da Lngua Portuguesa e fazer
uso das linguagens matemtica, artstica e cientfica e das lnguas espanhola e
inglesa.
II Compreender fenmenos (CF): construir e aplicar conceitos das vrias reas do

conhecimento para a compreenso de fenmenos naturais, de processos histrico-
geogrficos, da produo tecnolgica e das manifestaes artsticas.
31
III Enfrentar situaes-problema (SP): selecionar, organizar, relacionar, interpretar

dados e informaes representados de diferentes formas, para tomar decises e
enfrentar situaes-problema.
IV Construir argumentao (CA): relacionar informaes, representadas em

diferentes formas, e conhecimentos disponveis em situaes concretas, para
construir argumentao consistente.
V Elaborar propostas (EP): recorrer aos conhecimentos desenvolvidos na escola

para elaborao de propostas de interveno solidria na realidade, respeitando os
valores humanos e considerando a diversidade sociocultural.
Competncia de rea 1 - Construir significados para os nmeros naturais, inteiros, racionais e

reais.
H1 - Reconhecer, no contexto social, diferentes significados e representaes dos nmeros
e operaes - naturais, inteiros, racionais ou reais.
H2 - Identificar padres numricos ou princpios de contagem.
H3 - Resolver situao-problema envolvendo conhecimentos numricos.
H4 - Avaliar a razoabilidade de um resultado numrico na construo de argumentos sobre
afirmaes quantitativas.
H5 - Avaliar propostas de interveno na realidade utilizando conhecimentos numricos.
Competncia de rea 2 - Utilizar o conhecimento geomtrico para realizar a leitura e a

representao da realidade e agir sobre ela.
H6 - Interpretar a localizao e a movimentao de pessoas/objetos no espao
tridimensional e sua representao no espao bidimensional.
H7 - Identificar caractersticas de figuras planas ou espaciais.
H8 - Resolver situao-problema que envolva conhecimentos geomtricos de espao e
forma.
H9 - Utilizar conhecimentos geomtricos de espao e forma na seleo de argumentos
propostos como soluo de problemas do cotidiano.
Competncia de rea 3 - Construir noes de grandezas e medidas para a compreenso da

realidade e a soluo de problemas do cotidiano.
H10 - Identificar relaes entre grandezas e unidades de medida.
H11 - Utilizar a noo de escalas na leitura de representao de situao do cotidiano.
H12 - Resolver situao-problema que envolva medidas de grandezas.
H13 - Avaliar o resultado de uma medio na construo de um argumento consistente.
H14 - Avaliar proposta de interveno na realidade utilizando conhecimentos geomtricos
relacionados a grandezas e medidas.
Competncia de rea 4 - Construir noes de variao de grandezas para a compreenso da

realidade e a soluo de problemas do cotidiano.
H15 - Identificar a relao de dependncia entre grandezas.
H16 - Resolver situao-problema envolvendo a variao de grandezas, direta ou
inversamente proporcionais.
H17 - Analisar informaes envolvendo a variao de grandezas como recurso para a
construo de argumentao.
H18 - Avaliar propostas de interveno na realidade envolvendo variao de grandezas.
Competncia de rea 5 - Modelar e resolver problemas que envolvem variveis

socioeconmicas ou tcnico-cientficas, usando representaes algbricas.
H19 - Identificar representaes algbricas que expressem a relao entre grandezas.
32
H20 - Interpretar grfico cartesiano que represente relaes entre grandezas.

H21 - Resolver situao-problema cuja modelagem envolva conhecimentos algbricos.
H22 - Utilizar conhecimentos algbricos/geomtricos como recurso para a construo de
argumentao.
H23 - Avaliar propostas de interveno na realidade utilizando conhecimentos algbricos.
Competncia de rea 6 - Interpretar informaes de natureza cientfica e social obtidas da

leitura de grficos e tabelas, realizando previso de tendncia, extrapolao, interpolao e
interpretao.
H24 - Utilizar informaes expressas em grficos ou tabelas para fazer inferncias.
H25 - Resolver problema com dados apresentados em tabelas ou grficos.
H26 - Analisar informaes expressas em grficos ou tabelas como recurso para a construo
de argumentos.
Competncia de rea 7 - Compreender o carter aleatrio e no-determinstico dos fenmenos

naturais e sociais e utilizar instrumentos adequados para medidas, determinao de amostras e
clculos de probabilidade para interpretar informaes de variveis apresentadas em uma
distribuio estatstica.
H27 - Calcular medidas de tendncia central ou de disperso de um conjunto de dados
expressos em uma tabela de frequncias de dados agrupados (no em classes) ou em
grficos.
H28 - Resolver situao-problema que envolva conhecimentos de estatstica e
probabilidade.
H29 - Utilizar conhecimentos de estatstica e probabilidade como recurso para a construo
de argumentao.
H30 - Avaliar propostas de interveno na realidade utilizando conhecimentos de estatstica
e probabilidade.
1.3.3 Objetos de conhecimento para Matemtica e suas Tecnologias
Conhecimentos numricos: operaes em conjuntos numricos (naturais, inteiros,

racionais e reais), desigualdades, divisibilidade, fatorao, razes e propores,
porcentagem e juros, relaes de dependncia entre grandezas, sequncias e
progresses, princpios de contagem.
Conhecimentos geomtricos: caractersticas das figuras geomtricas planas e
espaciais; grandezas, unidades de medida e escalas; comprimentos, reas e volumes;
ngulos; posies de retas; simetrias de figuras planas ou espaciais; congruncia e
semelhana de tringulos; teorema de Tales; relaes mtricas nos tringulos;
circunferncias; trigonometria do ngulo agudo.
Conhecimentos de estatstica e probabilidade: representao e anlise de dados;
medidas de tendncia central (mdias, moda e mediana); desvios e varincia; noes de
probabilidade.
Conhecimentos algbricos: grficos e funes; funes algbricas do 1. e do 2.
graus, polinomiais, racionais, exponenciais e logartmicas; equaes e inequaes;
relaes no ciclo trigonomtrico e funes trigonomtricas.
Conhecimentos algbricos/geomtricos: plano cartesiano; retas; circunferncias;
paralelismo e perpendicularidade, sistemas de equaes.
33
Finalmente, cabe salientar que, para cumprir as mltiplas funes do novo

ENEM, o Inep/MEC precisou recorrer s tcnicas oriundas da TRI. Para tentarmos
entender como isso funciona na prtica, vamos, no prximo captulo, resgatar um pouco
dos fundamentos dessa teoria.
1.4 O Exame Nacional para Certificao de Competncias de Jovens e Adultos

(ENCCEJA)
Institudo pela Portaria MEC/INEP n.o 2.270, de 14 de agosto de 2002, como

instrumento de avaliao para aferio de competncias e habilidades de jovens e
adultos em nvel de concluso do Ensino Fundamental e do Ensino Mdio, o ENCCEJA
tem por objetivos:
I construir uma referncia nacional de auto-avaliao para jovens e adultos
por meio de avaliao de competncias e habilidades, adquiridas no processo
escolar ou nos processos formativos que se desenvolvem na vida familiar, na
convivncia humana, no trabalho, nos movimentos sociais e organizaes da
sociedade civil e nas manifestaes culturais;
II estruturar uma avaliao direcionada a jovens e adultos que sirva s
Secretarias da Educao para que procedam aferio de conhecimentos e
habilidades dos participantes no nvel de concluso do Ensino Fundamental e do
Ensino Mdio nos termos do artigo 38, 1 e 2 da Lei 9.394/1996 Lei das
Diretrizes e Bases da Educao Nacional (LDB);
III oferecer uma avaliao para fins de classificao na correo do fluxo
escolar, nos termos do art. 24, inciso I, alnea c, da Lei 9.394/1996;
IV consolidar e divulgar um banco de dados com informaes tcnico-
pedaggicas, metodolgicas, operacionais, socioeconmicas e culturais que
possa ser utilizado para a melhoria da qualidade na oferta da educao de jovens
e adultos e dos procedimentos relativos ao ENCCEJA.
V construir um indicador qualitativo que possa ser incorporado avaliao de
polticas pblicas da Educao de Jovens e Adultos.
De acordo com o art. 3 da referida Portaria, o ENCCEJA avaliar

competncias e habilidades desenvolvidas por jovens e adultos no processo escolar ou
nos processos formativos que se desenvolvem na vida familiar, na convivncia humana,
no trabalho, nos movimentos sociais e organizaes da sociedade civil e nas
manifestaes culturais, tendo por base a Matriz de Competncias e Habilidades
especialmente construda para o exame.
Essas matrizes consideram, simultaneamente, as competncias relativas s reas
do conhecimento e cinco eixos cognitivos, que expressam as competncias cognitivas
de jovens e adultos para a compreenso e realizao de tarefas relacionadas s reas
34
avaliadas. As cinco competncias dos sujeitos referem-se a: domnio de linguagens,

compreenso de fenmenos, enfrentamento e resoluo de situaes-problema,
capacidade de argumentao e elaborao de propostas. A associao de cada uma das
competncias estabelecidas em cada rea do conhecimento com os cinco eixos
cognitivos resulta em trinta habilidades que so avaliadas em cada prova por meio de
questes objetivas e pela produo de um texto (redao).
A adeso ao ENCCEJA de carter opcional e est disponvel s Secretarias da
Educao (estaduais ou municipais) que podem efetiv-la, formalmente, mediante
assinatura de um Termo de Compromisso.
Em 2006, foi construdo um banco de itens para o Exame e a TRI foi utilizada
para construir uma escala de proficincia para o Exame, constituindo-se marco inicial
de comparao para os anos subsequentes. A partir das mudanas implantadas no
ENEM em 2009, os estudantes que desejam obter a certificao do ensino mdio por
conta de defasagem idade-srie podem obt-la por intermdio do ENEM. Desse modo, o
ENCCEJA no Brasil agora se restringe ao nvel fundamental.
O exame aplicado tambm para os brasileiros residentes no exterior em nvel
de concluso tanto do ensino fundamental (15 anos completos) quanto do ensino mdio
(18 anos completos). A oferta do ENCCEJA no exterior tem por objetivo proporcionar
aos brasileiros que residem fora do pas, temporariamente, a certificao equivalente ao
ensino fundamental ou mdio. As avaliaes so elaboradas e aplicadas em lngua
portuguesa. Em 2011, o exame foi aplicado no Japo, nas cidades de Nagoia,
Hamamatsu e Oizumi.
1.5 O Sistema Nacional de Avaliao da Educao Superior (SINAES)
O SINAES, institudo pela Lei n. 10.861/2004, de 14 de abril de 2004, e

regulamentado pela Portaria MEC/INEP 2.051/2004, surgiu da necessidade de reviso
do modelo de avaliao da educao superior vigente no pas at 2003. Em 2004, uma
Comisso Especial de Avaliao, instituda pelo Governo Federal, apresentou proposta
de mudanas para o modelo vigente no que se refere sua metodologia, aos seus
instrumentos e procedimentos e legislao. A proposta foi amplamente discutida pelo
Ministrio da Educao (MEC) com as diversas entidades e representaes da educao
superior no pas.
35
De acordo com o artigo 1 da Lei n. 10.861/2004:
1o O SINAES tem por finalidades a melhoria da qualidade da educao

superior, a orientao da expanso da sua oferta, o aumento permanente da sua
eficcia institucional e efetividade acadmica e social e, especialmente, a
promoo do aprofundamento dos compromissos e responsabilidades sociais
das instituies de educao superior, por meio da valorizao de sua misso
pblica, da promoo dos valores democrticos, do respeito diferena e
diversidade, da afirmao da autonomia e da identidade institucional.
Desse modo, o objetivo do SINAES assegurar um processo nacional de
avaliao das instituies de educao superior, dos cursos de graduao e do
desempenho acadmico de seus estudantes. Nesse sentido, institucionalizou-se enquanto
sistema de avaliao para a educao superior que integra, sob o princpio da
globalidade, diversos instrumentos, tanto de informao quanto de avaliao. O
SINAES tambm subsidia polticas pblicas de regulao da educao superior no pas,
por meio de um processo avaliativo que permite acompanhamento e orientao dessa
formao, especialmente no que concerne a credenciamento e renovao de
credenciamento de instituies de educao superior (IES). Nessa esteira, segundo
Marinho-Arajo (2004),
Como pano de fundo, o SINAES apresenta vrios princpios, critrios,

pressupostos e premissas que garantem sua fundamentao conceitual e poltica,
alm de justificar a operacionalizao adotada no processo. Tais princpios so:
educao como um direito social e dever do Estado; valores sociais
historicamente determinados; regulao e superviso; prtica social com
objetivos educativos; respeito identidade e diversidade institucionais em um
sistema diversificado; globalidade; legitimidade e continuidade.
A concepo de avaliao do SINAES abrange trs dimenses, que se
constituem nos pilares do sistema: avaliao institucional, avaliao de cursos e
avaliao do desempenho dos estudantes. A avaliao institucional no SINAES realiza-
se a partir de uma auto-avaliao institucional e de uma avaliao externa promovida
por uma equipe de especialistas capacitados para isso, com periodicidade trienal. Como
meta dessa dimenso, pretende-se compreender e aprofundar os compromissos da IES,
planejar aes destinadas superao das dificuldades e ao aprimoramento das
potencialidades, compartilhar compromissos e aes que visem ao desenvolvimento
institucional. As outras duas dimenses, a avaliao de cursos e a de desempenho dos
estudantes, incluem a aplicao de alguns instrumentos, contemplando a Avaliao das
Condies de Ensino (ACE), o Exame Nacional de Desempenho dos Estudantes
(ENADE) e o Censo da Educao Superior.
36
1.5.1 Exame Nacional de Desempenho dos Estudantes (ENADE)
No contexto do SINAES, o ENADE constitui um dos instrumentos que

apresenta maiores possibilidades na concretizao das articulaes entre os processos
avaliativos e os processos de desenvolvimento das potencialidades dos sujeitos
envolvidos, em especial, os estudantes. De acordo com a legislao do SINAES, o
ENADE
aferir o desempenho dos estudantes em relao aos contedos programticos

previstos nas diretrizes curriculares do respectivo curso de graduao, suas
habilidades para ajustamento s exigncias decorrentes da evoluo do
conhecimento e suas competncias para compreender temas exteriores ao
mbito especfico de sua profisso, ligados realidade brasileira e mundial e a
outras reas do conhecimento. (Lei n 10.861/2004, art. 5).
Ainda, de acordo com a Portaria 2051/2004, a avaliao do desenvolvimento de
conhecimentos e competncias no ENADE est concebida para investigar, no curso do
processo pedaggico, as habilidades, os conhecimentos e os saberes fundamentais que
compem o perfil profissional; tal processo dever considerar as Diretrizes Curriculares,
a articulao teoria e prtica e o modo como as competncias foram se construindo,
articuladas s subjetividades individuais e sociais prprias s relaes e aos contextos
vivenciados. Desse modo, considera-se que o foco do ENADE o perfil profissional
que se deseja formar e a trajetria acadmica da formao dos estudantes. A nfase da
avaliao inclui o desenvolvimento de competncias necessrias ao aprofundamento da
formao profissional e compreenso, integrada, crtica e contextualizada, de temas
diversos queles especficos da formao.
No existe matriz de referncia estabelecida para as provas do ENADE. As

provas so construdas a partir das Diretrizes Curriculares estabelecidas para cada curso
e contemplam 10 questes de formao geral 8 objetivas e 2 discursivas , comuns a
todos os cursos avaliados, e 30 de conhecimentos especficos 8 objetivas e 2
discursivas. A aplicao para cada curso em ciclos de trs anos. Iniciou-se o processo
em 2004 com grupos amostrais, representativos de cada instituio/curso, que se
encontram em momentos distintos de sua graduao (grupos que correspondem ao final
do primeiro, denominados ingressantes, e do ltimo ano do curso, denominados
concluintes), permitindo, assim, um acompanhamento longitudinal do processo de
ensino e aprendizagem. Recentemente, ampliou-se a participao para o universo de
37
estudantes concluintes. Para os estudantes selecionados, a participao obrigatria,

pois, o no comparecimento impede a emisso do diploma do curso superior.
A metodologia contempla a elaborao de prova nica para cada curso, com

itens no calibrados e que no so pr-testados. Utiliza-se apenas a Teoria Clssica dos
Testes para as anlises e no se constri interpretao de escala de proficincia. A
metodologia adotada tambm no permite a construo de srie histrica para anlise de
evoluo dos processos de aprendizagem, j que os resultados no so comparveis. Os
participantes respondem a um questionrio socioeconmico, que tem por objetivos
traar o perfil dos estudantes, ingressantes e concluintes, dos cursos de graduao do
pas; conhecer a opinio dos estudantes a respeito do ambiente acadmico em que
realizam a sua formao; e consolidar informaes para promover a melhoria das
condies de ensino e dos procedimentos didtico-pedaggicos.
Vrios indicadores foram associados aos instrumentos que so utilizados no

SINAES. O Indicador de Diferena Entre os Desempenhos Observado e Esperado
(IDD) tem o propsito de trazer s instituies informaes comparativas dos
desempenhos de seus estudantes concluintes em relao aos resultados obtidos, em
mdia, pelas demais instituies cujos perfis de seus estudantes ingressantes so
semelhantes. Considera-se que essas informaes so boas aproximaes do que seria
considerado o efeito do curso. O IDD a diferena entre o desempenho mdio do
concluinte de um curso e o desempenho mdio estimado para os concluintes desse
mesmo curso e representa, portanto, quanto cada curso se destaca da mdia, podendo
ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus
estudantes. Em 2007, o INEP criou um indicador de qualidade das instituies de
educao superior, o ndice Geral de Cursos da Instituio (IGC), que considera, em sua
composio, a qualidade dos cursos de graduao e de ps-graduao (mestrado e
doutorado). No que se refere graduao, utilizado o CPC (conceito preliminar de
curso) e, no que se refere ps-graduao, utilizada a Nota CAPES (INEP/MEC,
2008).
O CPC uma mdia de diferentes medidas da qualidade de um curso. As

medidas utilizadas so: o Conceito ENADE (que mede o desempenho dos concluintes),
o desempenho dos ingressantes no ENADE, o Conceito IDD e as variveis de insumo.
O dado referente s variveis de insumo que considera corpo docente, infraestrutura e
38
programa pedaggico formado com informaes do Censo da Educao Superior e

das respostas dos estudantes ao questionrio socioeconmico.
A forma do clculo do CPC tem implicaes sobre a representatividade do IGC.

Para um curso ter CPC necessrio que ele tenha participado do ENADE com alunos
ingressantes e alunos concluintes.
A Avaliao dos Programas de Ps-graduao, realizada pela CAPES,

compreende a realizao do acompanhamento anual e da avaliao trienal do
desempenho de todos os programas e cursos que integram o Sistema Nacional de Ps-
graduao, SNPG. Os resultados desse processo, expressos pela atribuio de uma nota
na escala de 1 a 7, fundamentam a deliberao CNE/MEC sobre quais cursos obtero a
renovao de reconhecimento, a vigorar no trinio subsequente. A medida de qualidade
da ps-graduao que compe o IGC uma converso das notas fixadas pela CAPES.
(INEP/MEC, 2008)
1.6 A Provinha Brasil
A Provinha Brasil uma avaliao diagnstica do nvel de alfabetizao das

crianas matriculadas no segundo ano de escolarizao das escolas pblicas brasileiras.
Essa avaliao ocorre em duas etapas, uma no incio e outra ao trmino do ano letivo. A
aplicao em perodos distintos possibilita aos professores e gestores educacionais a
realizao de um diagnstico mais preciso que permite conhecer o que foi agregado na
aprendizagem das crianas, em termos de habilidades de leitura e matemtica no
perodo avaliado.
Em abril de 2008, foi aplicada a 1 edio dessa avaliao. Cerca de 3.133
municpios e 22 unidades federativas receberam o material impresso e as demais
secretarias de educao puderam fazer o download do material na pgina do INEP. A
partir do 2 semestre de 2008, alm da disponibilizao do material na Internet, todas as
secretarias de educao do pas passaram a receber o material impresso. (INEP/MEC,
2011)
A Provinha Brasil instrumento pedaggico, sem finalidades classificatrias,
que tem como objetivos principais avaliar o nvel de alfabetizao dos alunos/turma nos
anos iniciais do ensino fundamental e diagnosticar possveis insuficincias das
habilidades de leitura, matemtica e escrita. Segundo o INEP, esses objetivos
39
possibilitam, entre outras aes, o estabelecimento de metas pedaggicas para a rede de

ensino; o planejamento de cursos de formao continuada para os professores; o
investimento em medidas que garantam melhor aprendizado; o desenvolvimento de
aes imediatas para a correo de possveis distores verificadas; a melhoria da
qualidade e reduo da desigualdade de ensino. O delineamento e a construo dessa
avaliao prev, sobretudo, a utilizao dos resultados obtidos nas intervenes
pedaggicas e gerenciais com vistas melhoria da qualidade da alfabetizao.
At 2010, cada teste da Provinha Brasil era composto por 24 questes de
mltipla escolha, com quatro opes de resposta cada uma. A partir de 2011, os testes
sero compostos de 20 questes. Algumas dessas questes so lidas pelo aplicador da
prova na ntegra ou em parte e outras so lidas apenas pelos alunos.
Em cada ano, ocorre um novo ciclo de avaliao da Provinha Brasil. Cada ciclo
composto por duas etapas. A Provinha Brasil realizada em dois momentos durante o
ano letivo: no incio do 2 ano de escolarizao e no final desse mesmo ano letivo.
Sugere-se que o Teste 1 seja aplicado, preferencialmente, at o ms de abril, e o Teste 2,
at o final de novembro.
As habilidades avaliadas por meio da Provinha Brasil esto organizadas
na Matriz de Referncia para Avaliao da Alfabetizao e do Letramento Inicial e na
Matriz de Referncia para Avaliao da Alfabetizao Matemtica Inicial.
Como nem todas as habilidades a serem desenvolvidas durante o processo de
alfabetizao e letramento, como a oralidade, so passveis de verificao em uma prova
objetiva, foram selecionadas as habilidades consideradas essenciais para a alfabetizao
e letramento. A Matriz de Letramento dividida em dois eixos. O primeiro a
apropriao do sistema de escrita: habilidades relacionadas identificao e ao
reconhecimento de princpios do sistema de escrita e o segundo a leitura.
A Matriz de Matemtica traz as competncias e habilidades esperadas nesse
nvel de escolaridade, agrupadas em quatro eixos: nmeros e operaes; geometria;
grandezas e medidas; e tratamento da informao.
Cada questo do teste avalia, de forma preponderante, uma das habilidades
descritas em cada matriz. Assim com nas demais avaliaes operacionalizadas pelo
INEP, a matriz apenas uma referncia para a construo dos testes, no se
aproximando de uma proposta curricular ou programa de ensino, que so bem mais
amplos e complexos.
40
1.7 A Prova Nacional do Concurso para o Ingresso na Carreira Docente
A Portaria n. 14, de 21 de maio de 2010, instituiu o Exame Nacional de

Ingresso na Carreira Docente, que passou a ser denominado de Prova Nacional de
Concurso para o Ingresso na Carreira Docente, a partir da Portaria Normativa n. 3, de 2
de maro de 2011. Essa prova tem o objetivo principal de subsidiar os Estados, o
Distrito Federal e os Municpios na realizao de concursos pblicos para a contratao
de docentes para a educao bsica. A Prova tem, ainda, os objetivos de proporcionar
parmetros para a auto-avaliao dos candidatos docncia e oferecer informaes para
subsidiar a formulao e a avaliao das polticas pblicas de formao inicial e
continuada de docentes.
No mbito da educao, a realizao peridica de concursos pblicos pode ser
uma iniciativa de grande valia para valorizao do magistrio, pois oferece
oportunidades iguais a todos os candidatos, permite a seleo dos profissionais com
maior potencial para o exerccio da carreira e promove a efetivao de professores nos
quadros estaduais e municipais, assegurando-lhes um contrato de trabalho permanente.
Esses fatores, por sua vez, permitem dotar as escolas de um corpo docente devidamente
preparado e com as condies necessrias para desenvolver um trabalho com
continuidade aspectos to caros qualidade dos processos de ensino e aprendizagem.
(INEP, 2011)
Como a elaborao e a aplicao do exame estaro a cargo do INEP, as
secretarias que fizerem adeso ao exame podero contratar, com maior regularidade,
professores para cargos permanentes, resolvendo o problema crnico de professores
temporrios, denominados precarizados, hoje existentes na maioria das escolas
pblicas. Para os candidatos, a existncia de uma nica prova aplicada em todo o pas e
utilizada por diversos estados e municpios facilitar sua escolha do local de trabalho
para se efetivar com professor em uma rede de ensino pblica.
A Prova ser aplicada anualmente, de forma descentralizada em todo o pas.
Cada ente federativo poder decidir pela adeso e pela forma de utilizao dos
resultados: se como nica prova, seguida da anlise de ttulos, ou como primeira prova,
seguida de uma prova adicional do prprio municpio, por exemplo.
A iniciativa tambm permitir que as provas para a seleo de professores para a
educao bsica tenham melhor qualidade. Isso porque a elaborao dos itens que vo
compor os testes ser feita com base em uma matriz de referncia construda aps
41
amplo processo de discusso. A matriz teve como ponto de partida a pesquisa e a

reflexo sobre o perfil desejado para um ingressante na carreira docente no Brasil. O
processo uma iniciativa do INEP no mbito das polticas do Ministrio da Educao
no sentido da valorizao dos profissionais do magistrio no pas.
42
Captulo 2
O que a Teoria de Resposta ao Item?
2.1 Contextualizao
A TRI surgiu entre os anos 50 e 60 do sculo passado para responder a
indagaes relativas aos testes de inteligncia, cujos resultados variavam em funo dos
instrumentos de medida utilizados. Qual seria ento o resultado correto? O problema era
mais profundo j que o objeto medido, a inteligncia no caso, afeta diretamente o
instrumento utilizado; alis, ela definida pelo prprio instrumento utilizado (Pasquali,
2007). J pensou se o metro medisse de forma diferente se estivssemos calculando a
largura de um livro ou o comprimento de uma mesa? A soluo dada pela TRI a esse
problema independncia do instrumento de medida em relao ao objeto que se deseja
medir utilizava modelos e algoritmos matemticos difceis de serem operacionalizados
poca. Por isso, somente aps o avano tecnolgico dos anos 80, com o
desenvolvimento de softwares para uso prtico dos algoritmos complexos que o modelo
contm, essa teoria comeou a ser difundida.
A utilizao da TRI para anlise de testes de conhecimento veio para sanar
algumas limitaes da Teoria Clssica dos Testes (TCT), principalmente no que diz
respeito a discriminao dos itens, fidedignidade dos testes e comparabilidade de
desempenho de indivduos que se submetem a testes diferentes. Tomando as edies do
ENEM j ocorridas desde 1998, comum ouvirmos inferncias comparativas dos
resultados de um ano com o seguinte, simplesmente observando-se a mdia dos alunos
na prova. Essas comparaes so completamente desprovidas de fundamento e no
podem ser feitas. Os resultados de um ano para o outro no so comparveis. Com a
utilizao da TRI no ENEM, podero ser tiradas concluses interessantes e
cientificamente bem fundamentadas sobre o desempenho dos estudantes e dos egressos
do ensino mdio brasileiro ao longo do tempo.
Uma escala de proficincia para cada uma das quatro reas avaliadas ser
construda, e essa ser a rgua que vai ser utilizada para se comparar os resultados ao
longo dos anos. Ser possvel fazer concluses anlogas ao que hoje j inferido a
partir dos dados obtidos com o SAEB e a Prova Brasil. Conforme comentamos no
captulo anterior, at 1993, o SAEB utilizou a TCT para a construo dos instrumentos,
43
atribuio dos escores e anlise dos resultados, no havendo planejamento para uma
comparao dos resultados. A partir de 1995, foi introduzido o uso da TRI para a
construo de instrumentos, a atribuio de escores e a anlise, de forma a viabilizar a
comparao dos resultados, com a construo das escalas de proficincia. A experincia
de utilizao dessa metodologia no Brasil j tem, portanto, cerca de 15 anos.
2.2 O modelo logstico de trs parmetros
A TRI um conjunto de modelos matemticos que procuram representar a

probabilidade de um indivduo dar uma resposta a um item como funo dos parmetros
do item e da(s) habilidade(s) do respondente. Os modelos relacionam variveis
observveis respostas aos itens de um teste, por exemplo com aptides2 no
observveis e que so responsveis pelas respostas dadas pelo indivduo. De acordo
com essa relao, quanto maior a habilidade, maior a probabilidade de acerto no item.
O que se deseja estimar o nvel de aptido, o trao latente, do indivduo a partir
da anlise das respostas dadas por ele a um conjunto de questes ou itens. Para isso,
recorre-se a modelos matemticos que relacionam as variveis envolvidas nessa
situao. O modelo utilizado para anlise no ENEM o modelo logstico de 3
parmetros, que permite que seja estimado o nvel de aptido (ou trao latente) do
respondente a partir de uma relao que fornece a probabilidade de um indivduo acertar
um item em funo de sua habilidade (), da dificuldade, da discriminao e da
probabilidade de acerto ao acaso, popularmente conhecida como parmetro de chute.
Essa teoria apresenta pressupostos que devem ser observados pelos especialistas
que elaboram os itens a unidimensionalidade e a independncia local e sobre os
quais vamos fazer apenas um breve comentrio. A unidimensionalidade a hiptese
segundo a qual h apenas uma aptido dominante responsvel pelo desempenho em
um conjunto de itens de um teste (Pasquali, 2003). J a hiptese de independncia
local assume que para uma dada habilidade, as respostas aos diferentes itens da prova
so independentes (Andrade & cols, 2000), ou seja, mantidas constantes as aptides
que afetam o teste, o desempenho de um indivduo em um item no interfere no seu
desempenho em outro item (Pasquali, 2003). Isso no quer dizer que os itens no
2
Neste texto, vamos usar indistintamente as palavras aptido, habilidade e proficincia.
44
possam estar correlacionados, mas que cada indivduo d respostas independentes para
cada item do teste.
Quando um indivduo responde a uma sequncia de itens, produz um padro de
respostas, composto de acertos (valor = 1) e erros (valor = 0). Isso pode ser
esquematizado em uma tabela cujas linhas so os padres de respostas dos indivduos
submetidos ao teste e cujas colunas so os itens do teste, numerados, por exemplo, de 1
a 45 (o novo ENEM composto de quatro provas de 45 itens cada uma). Essa tabela de
uns e zeros coleciona as respostas dadas por todos os indivduos a todos os itens de
cada prova. Se forem 4,5 milhes de participantes, ser, para cada rea avaliada, uma
tabela de 4,5 milhes de linhas por 45 colunas, chamada de matriz de padro de
respostas dos indivduos. Somente com os recursos atuais de informtica podemos
manusear tabelas to grandes.
Na TCT, a aptido de um indivduo que respondeu ao teste simplesmente
expressa pelo nmero de itens que ele acertou. Compara-se seu padro de respostas com
o gabarito e calcula-se o escore bruto fazendo-se a soma dos acertos. No caso da TRI,
deseja-se descobrir qual o valor do trao latente (da habilidade) do indivduo que
explica o acerto ou o erro em cada item individualmente.
Para descobrir isso, a pergunta inicial que a TRI faz sobre o item : qual a
probabilidade de um dado indivduo acertar um item especfico? A resposta a essa
pergunta depende do nvel de aptido do indivduo () e das caractersticas do item
dificuldade (b), discriminao (a) e acerto ao acaso (c).
Entre os modelos propostos pela TRI, o modelo logstico unidimensional de 3
parmetros mais utilizado e representa a probabilidade de um indivduo j responder
corretamente um item i, sendo definido por:
(1 ci )
PX ij 1 | j ci ,
1 exp[ Dai ( j bi )]
em que
X ij a resposta ao item i (igual a 1, se o indivduo responde
corretamente, e igual a 0, caso contrrio);
ai > 0 o parmetro de discriminao do item i,
bi o parmetro de posio (ou de dificuldade) do item, medido na
mesma escala da habilidade;
45
0 < ci < 1 o parmetro da assntota inferior do item i, refletindo as

chances de um estudante de proficincia muito baixa selecionar a
opo de resposta correta;
j representa a habilidade ou trao latente do j-simo indivduo;
D um fator de escala, que igual a 1 na mtrica logstica e igual a 1,7
na mtrica normal.

O nmero P X ij 1 | j pode ser identificado com a proporo de respostas
corretas ao item i no grupo de indivduos com habilidade j . A relao expressa pela
equao acima est descrita pela curva da figura abaixo, chamada de Curva
Caracterstica do Item (CCI).
Logo, na TRI, estuda-se o comportamento do indivduo frente a cada item que
ele responde. Por isso, a base
desse modelo matemtico a
CCI, grfico da funo P(), que
fornece a probabilidade de um
aluno com habilidade
responder corretamente o item do
teste que est sendo analisado. A
funo P() assume valores que
vo de 0 a 1 (correspondentes a
0% a 100%) e se configura em
uma curva na forma de S. Na
curva, esto indicados os
parmetros a, b, c do item, que sero explicados a seguir. Os valores da habilidade (),
no eixo horizontal, esto na escala de mdia igual a zero e desvio-padro 1.
O acerto ao acaso representa as respostas dadas por chute. Isso ocorre
principalmente com os itens que so mais difceis, para os quais indivduos de baixa
aptido no conhecem a resposta correta, mas arriscam qualquer uma. A TRI estima o
acerto ao acaso por meio do parmetro c, que representa a probabilidade de um aluno
com baixa habilidade responder corretamente o item. Assim, se no fosse permitido
chutar, c seria igual a zero. Em geral, so recomendados valores iguais ou inferiores a
0,20 para itens com 5 opes de resposta, como o caso do ENEM.
46
A dificuldade o valor da aptido () que necessrio para se obter uma

probabilidade de acerto igual a (1+c)/2. Quando no permitido o chute, a
dificuldade o valor da habilidade necessrio para se obter uma probabilidade de 50%
de acertar o item. Quanto maior for o nvel de aptido necessrio para o indivduo
acertar o item, maior ser a dificuldade desse item. A dificuldade representada em
uma escala padronizada, que, teoricamente, varia de - a +. Na prtica, seus valores
situam-se tipicamente entre -3 e 3, pois, entre esses extremos, esto mais de 99,7% dos
casos. Os itens cujo parmetro b est prximo de -3 so considerados fceis e os de
parmetro prximo de +3, difceis. Itens cujo valor de b cai fora do intervalo (-3, 3)
sugerem problemas de concepo e so, normalmente, excludos das anlises.
O nvel de dificuldade ideal para os itens de um teste depende da sua finalidade.
Em avaliao educacional, recomenda-se uma distribuio de nveis de dificuldade de
itens no teste dentro de uma curva normal: 10% dos itens em cada uma das duas faixas
extremas, 20% em cada uma das faixas seguintes e 40% na faixa mdia (Pasquali,
2003).
A discriminao concebida como a capacidade do item de diferenciar
indivduos com diferentes habilidades. Na TRI, definida como o poder do item para
diferenciar indivduos com magnitudes prximas da habilidade que est sendo aferida.
Na CCI, a discriminao identificada como um valor proporcional inclinao da
curva no ponto onde ela muda de concavidade (ponto de inflexo). Valores negativos da
discriminao indicam que o item se comporta de uma maneira estranha, pois estariam
indicando que a probabilidade de acerto do item diminui com o aumento da aptido do
sujeito. Obviamente, tais itens devem ser descartados.
A CCI evidencia o poder de discriminao do item em termos da inclinao da
curva, isto , quanto mais elevados forem os valores do parmetro a, mais ngreme ser
a curva no ponto de inflexo e mais discriminativo ser o item. Valores do parmetro a
prximos a zero indicam que o item tem pouco poder de discriminao, ou seja,
indivduos com habilidades muito diferentes tm, aproximadamente, a mesma
probabilidade de responder corretamente ao item. Nesse caso, a CCI no seria em forma
de S, mas prxima a um segmento horizontal. Um item com essa caracterstica no
cumpriria os propsitos de uma avaliao educacional, j que no discriminaria os
respondentes que sabem daqueles que no sabem o que est sendo nele avalidado.
47
Vamos ilustrar a situao terica descrita acima em um caso real, para um item
aplicado no ENEM de 2007.
Exemplo.
Representar objetos tridimensionais em uma folha de papel nem
sempre tarefa fcil. O artista holands Escher (1898-1972)
explorou essa dificuldade criando vrias figuras planas
impossveis de serem construdas como objetos tridimensionais,
a exemplo da litografia Belvedere, reproduzida ao lado.
Considere que um marceneiro tenha encontrado algumas figuras
supostamente desenhadas por Escher e deseje construir uma
delas com ripas rgidas de madeira que tenham o mesmo
tamanho.
Qual dos desenhos a seguir ele poderia reproduzir em um

modelo tridimensional real?
A B C
D E
A curva caracterstica desse item est ilustrada abaixo. Os parmetros do item, obtidos
utilizando-se a TRI, so a = 1,31, b = 0,96 e c = 0,15.
A forma da curva j diz bastante sobre
o comportamento desse item, que
apresentou bons parmetros:
discriminou muito bem (a = 1,31), est
na faixa de mdia para alta dificuldade
(b = 0,96) e o parmetro de acerto ao
acaso ficou abaixo do mximo
permitido (c = 0,15).
Para responder ao item, o candidato
deveria, por meio de uma habilidade
de percepo espacial adequada,
analisar as figuras tridimensionais
dadas e verificar em qual delas as
Fonte: Inep/MEC relaes de visibilidade e
sombreamento entre as peas de
madeira correspondiam a um objeto
real.
48
2.3 A construo da escala de proficincia

Na TRI, a habilidade pode, teoricamente, assumir qualquer valor entre - a +.
Assim, precisa-se estabelecer uma origem e uma unidade de medida para a definio da
escala. Esses valores so escolhidos de modo a representar, respectivamente, o valor
mdio e o desvio-padro das habilidades dos indivduos que responderam o teste. Para
os grficos mostrados anteriormente, utilizou-se a escala com mdia igual a 0 e desvio-
padro igual a 1, comumente representada por escala (0,1). Essa escala bastante
utilizada e, nesse caso, os valores do parmetro b variam tipicamente entre -3 e 3. Com
relao ao parmetro a, espera-se valores entre 0 e 2, sendo que os valores mais
apropriados seriam aqueles maiores que 1. (Andrade & cols, 2000).
Apesar da frequente utilizao da escala (0,1), o importante, em termos prticos,
a relao de ordem existente entre os pontos da escala. Por exemplo, um indivduo
com habilidade 1,5 est a 1,5 desvio-padro acima da habilidade mdia. Se a escala for
com mdia 500 e desvio-padro 100, como atualmente se usa no ENEM, esse indivduo
teria habilidade igual a 650 nessa escala, estando a exatamente 1,5 desvio-padro acima
da mdia. Veja essa situao ilustrada na figura abaixo.
Os valores dos parmetros dos itens e das habilidades dos indivduos so obtidos
utilizando-se tcnicas estatsticas e matemticas de estimao, com o auxlio de
softwares especficos, que manipulam tabelas (matrizes) gigantescas como a matriz de
padro de respostas anteriormente mencionada. De qualquer modo, em uma populao
to grande quanto a que se submete ao ENEM ou Prova Brasil, a distribuio dos
indivduos por nvel de habilidade praticamente normal, conforme ilustra
hipoteticamente a figura a seguir.
49
Ao receber o boletim de desempenho, o participante do ENEM se localiza nessa

distribuio, de acordo com o seu desempenho no teste e seu nvel de aptido em cada
uma das quatro reas avaliadas no exame: Linguagens, Cdigos e suas Tecnologias
(incluindo redao); Cincias Humanas e suas Tecnologias; Cincias da Natureza e suas
Tecnologias; e Matemtica e suas Tecnologias. De posse das informaes fornecidas, o
participante pode fazer uma anlise do seu nvel de aptido em cada uma dessas quatro
reas, comparativamente aos demais candidatos.
No entanto, saber que em uma escala de 0 a 1.000, o estudante obteve 550
pontos ou que, no 3.o ano do ensino mdio, os alunos tm habilidade mdia de 400
pontos em matemtica, j nos fornece alguma informao quantitativa do desempenho,
mas no nos diz nada em termos qualitativos. Afinal, o que eles sabem de contedo? E
o que eles demonstraram saber a mais em relao ao que sabiam ao conclurem o 9.
ano do ensino fundamental?
Para atribuir significado prtico aos valores obtidos na escala, utiliza-se tambm
a TRI, em um processo denominado de interpretao pedaggica das escalas de
proficincia. A metodologia para essa interpretao inclui dois procedimentos bsicos:
identificao de itens ncoras de cada nvel da escala e a apresentao desses itens a
um painel de especialistas.
No SAEB, utilizou-se a metodologia descrita em Beaton & Allen (1992). Nessa
metodologia, itens ncora so itens que caracterizam os pontos ou nveis das escalas no
sentido de que a grande maioria dos avaliados situados em determinado nvel acerta o
item, enquanto menos da metade dos alunos situados no nvel imediatamente inferior
tambm acerta. Por exemplo, para o item ser considerado ncora no nvel 400, ele deve
satisfazer ao seguinte critrio:
50
65% ou mais dos respondentes em torno do nvel 400 acertam o item;

menos de 50% dos alunos posicionados no nvel anterior acertam o item; e
a diferena entre os percentuais dos que acertaram seja maior que 30%.
Este critrio bastante rgido, e, por isso, uma modificao tem sido empregada:
65% ou mais dos respondentes em torno do nvel 400 acertam o item;
menos de 65% dos alunos posicionados no nvel anterior acertam o item; e
o ajuste da curva CCI bom.
Em geral, os itens so agrupados por intervalos de um ou de meio desvio-padro.

Essa escolha vai depender da quantidade de itens disponveis para anlise. O ponto 500,
por exemplo, representar o intervalo (450; 550), se considerarmos 1 desvio-padro de
100 pontos. Assim, poderemos ter os nveis 1 (abaixo de 250], 2 (250;350], 3 (350;450],
4 (450;550], 5 (550;650], 6 (650; 750], 7 (750, 850], 8 (acima de 850).
Os especialistas das reas avaliadas que faro a interpretao da escala recebem
os itens separados por nveis, cada item com seu enunciado completo, suas estatsticas
clssicas e um grfico com sua curva caracterstica proveniente da calibrao da TRI e o
grfico da distribuio por alternativas da proporo de acertos por faixa da escala. De
posse dessas informaes, so feitas as descries dos nveis de acordo com os
exemplos apresentados no captulo 1 destas notas. Fica, ento, estabelecido o que os
indivduos demonstraram ter desenvolvido em termos das habilidades avaliadas de
acordo com o nvel em que eles se encontram.
Alguns problemas podem ocorrer nesse processo como quantidade insuficiente
de itens para caracterizar/interpretar cada ponto da escala. Alm disso, os nveis
extremos da escala, referentes s habilidades mais baixas e s mais altas, so, de modo
geral, mal caracterizados, por serem definidos, respectivamente, por itens muito fceis
ou muito difceis, que, em geral, so poucos. Convm observar que, nos nveis extremos
superiores da escala, h poucos estudantes, isto , possvel interpretar
pedagogicamente um nvel superior da escala, mas uma porcentagem muito baixa dos
alunos avaliados domina os conhecimentos descritos nesse nvel.
Apesar disso, a interpretao da escala pode ser considerada uma pitada da
avaliao formativa que se introduz em um processo de avaliao de larga escala, de
extrema relevncia para todos os participantes, sejam eles estudantes ou gestores.
51
Captulo 3
Estima
c
ao dos par
ametros dos itens e das profici
encias
As escalas de proficiencias discutidas nas secoes anteriores sao obtidas a partir

da calibracao dos itens das provas por intermedio do modelo da TRI. Calibrar um
item de um teste significa identificar seus parametros (discriminacao, dificuldade
e acerto ao acaso), o que e feito por meio de tecnicas estatsticas de estimacao.
Os dados que temos apos a aplicacao de um teste a um grupo de indivduos sao
as respostas que esses indivduos dao aos itens do teste. Disso resulta uma matriz
cujo numero de linhas corresponde a` quantidade de respondentes e o n umero de
colunas e igual ao n umero de itens do teste. Se for um teste de aptidao, entao
as respostas serao todas iguais a 0 ou 1, significando erro ou acerto a cada item.
Como conhecemos apenas as respostas dos indivduos, podemos pensar em estimar
conjuntamente os parametros dos itens e as habilidades dos respondentes, ou supor
conhecidas as habilidades usando, por exemplo, o escore total no teste, para, em
seguida, estimar os parametros dos itens.
3.1 M
etodo de estima
c
ao dos par
ametros dos itens
Para fins de ilustrar o procedimento basico da TRI para resolver esse pro-
blema, trataremos nesta secao da estimacao dos parametros dos itens quando as
habilidades sao conhecidas, utilizando o metodo da maxima verossimilhanca (ma-
ximum likelihood ), ja que as probabilidades serao calculadas a partir dos dados ja
coletados, empricos, ou seja, a posteriori. Em seguida, estimaremos as habilida-
des supondo conhecidos os parametros dos itens. Os resultados aqui apresentados
foram adaptados de Andrade et al (2000).
O metodo da maxima verossimilhanca e um processo que busca descobrir
o valor de que maximiza a verossimilhanca de ocorrer um padrao de respostas
aos itens, obtido por parte de determinado indivduo. Isto e, dado um padrao de
respostas, por exemplo, 111100001100111, determinar a poscao mais verossmil
que o sujeito ocupa no contnuo dos s, isto e, qual o nvel de aptidao mais provavel
do sujeito que obteve tal padrao de respostas.
Para desenvolver todo o procedimento, sao feitas duas hipoteses fundamen-
tais:
a) independencia das respostas oriundas de indivduos diferentes;
b) independencia local, isto e, os itens sao respondidos de forma independente

por cada indivduo, fixada sua habilidade.
A segunda suposicao significa que, para cada valor da habilidade , se to-
marmos um conjunto de indivduos com essa habilidade, as covariancias entre as
respostas para cada par de itens serao nulas.(ver Lord, 1980 e Lord & Novick,1968).
52
Dito de outro modo, para examinandos com uma dada aptidao, a probabilidade
de obter um padrao de respostas a um conjunto de itens e igual ao produto das
probabilidades das respostas de cada item. Embora pareca improvavel que as
respostas de um mesmo indivduo nao estejam correlacionadas, a independencia
local afirma que, se houver correlacao, esta sera devida a` influencia de fatores
diferentes da aptidao () que esta sendo medida. Se esses outros fatores forem
controlados, isso significa que o indivduo responde exclusivamente em funcao do
tamanho de seu , ja que a u nica causa de resposta do sujeito e esse suposto
dominante. Como a unidimensionalidade do teste - homogeneidade do conjunto de
itens que, supostamente, devem estar medindo um u nico traco latente - implica a
independencia local (ver Hambleton & Swaminathan, 1991), se os itens forem ela-
borados de modo a satisfazer a suposicao de unidimensionalidade, entao a segunda
hipotese anteriormente estabelecida e automaticamente satisfeita.
Logo, assumindo as hipoteses acima como verdadeiras, a probabilidade de um
conjunto de n indivduos j dar uma resposta Xj = (xj1 , xj2 , ...xjl ) a um conjunto l
de itens, levando-se em consideracao a aptidao j de cada um e os parametros dos
itens i =ai , bi ou ci , e dada por:
n Y
Y I
L() = P (Xji = xji |j , i )
j=1 i=1
n Y
Y I
= P (Xji = 1|j , i )xji P (Xji = 0|j , i )1xji
j=1 i=1
n Y
I
x 1xji
Y
= Pjiji Qji , (1)
j=1 i=1
em que Pji = P (Xji = 1|j , i ) e Qji = 1 Pji e a probabilidade de o indivduo j

errar o item i.
Como precisaremos calcular os valores i que maximizam a funcao de veros-
similhanca (1), para facilitar os calculos, trabalharemos com a log-verossimilhanca,
que pode ser escrita como
n X
X I
log L() = {xji log Pji + (1 xji ) log Qji }. (2)
j=1 i=1
Os estimadores de maxima verossimilhanca de i , i = 1, . . . , I, com I =

3l, sao os valores que maximizam a verossimilhanca, ou equivalentemente, sao as
solucoes da equacao
log L
() = 0, i = 1, . . . , I.
i
Notemos que
53
n
log L X (log Pji ) (log Qji )
= xji + (1 xji )
i j=1
i i
n
X 1 Pji 1 Pji
= xji (1 xji )
j=1
Pji i Qji i
n
X 1 1 Pji
= xji (1 xji )
j=1
Pji Qji i
n
X xji Pji Pji
= .
j=1
Pji Qji i
Usando a notacao
Pji Qji
Wji = ,
Pji Qji
em que
Pji = {1 + eDai (j bi ) }1 e Qji = 1 Pji ,
obtemos, para cada um dos parametros do item i, as derivadas parciais de primeira
ordem da funcao log-verossimilhanca dadas por:
n
log L X Pji Wji
= (xji P ji)
ai j=1
ai Pji Qji
n
Wji
X
= (xji Pji )D(1 ci )(j bi )Pji Qji
j=1
Pji Qji
n
X
= D(1 ci ) (xji Pji )(j bi )Wji .
j=1
n
log L X Pji Wji
= (xji P ji)
ai j=1
ai Pji Qji
n
Wji
X
= (xji Pji )(1)Dai (1 ci )Pji Qji
j=1
Pji Qji
n
X
= Dai (1 ci ) (xji Pji )Wji .
j=1
n
log L X Pji Wji
= (xji Pji )
ci j=1
ai Pji Qji
n
Wji
X
= (xji Pji )Qji
j=1
Pji Qji
n
X Wji
= (xji Pji ) .
j=1
Pji
54
Assim, as equacoes de estimacao para os parametros ai , bi , ci sao, respecti-
vamente,
n
X
(xji Pji )(j bi )Wji = 0, (3)
j=1
n
X
(xji Pji )Wji = 0, (4)
j=1
n
X Wji
(xji Pji ) = 0. (5)
j=1
Pji
Na maioria das vezes, as condicoes obtidas das derivadas de primeira ordem
para o problema de maximizacao da funcao de verossimilhanca nao permitem a
obtencao de uma solucao explcita para os estimadores em questao. O sistema
de equacoes gerado e quase sempre nao linear, obrigando que a maximizacao seja
feita por algum processo numerico. Os procedimentos de otimizacao numericos
funcionam de forma recursiva, sendo os valores dos parametros na etapa k + 1
uma funcao de seus valores na etapa k. O algoritmo numerico consiste em tentar
um valor para cada parametro e, depois, corrigi-lo sucessivamente ate que algum
criterio de convergencia seja atendido, quando, entao, chega-se a um maximo para
a funcao de verossimilhanca. Em alguns casos, quando nao ocorre convergencia,
o processo de iteracao tem de ser interrompido depois de um n umero de iteracoes
preestabelecido. Isso e exatamente o que ocorre com as equacoes (3), (4) e (5),
que nao possuem solucao explcita. Podemos, por exemplo, utilizar o metodo de
Newton-Raphson para fazer as estimacoes desejadas. Este e o tema da secao seguir.
3.2 Aplica
cao do m
etodo de Newton-Raphson
O metodo de Newton-Raphson foi introduzido para resolver equacoes do tipo
f (x) = 0, encontrando, por meio de sucessivas iteracoes, valores que se aproximam
cada vez mais da solucao. De modo geral,
f (xk+1 )
xk+1 = xk ,
f 0 (xk )
considerando-se a etapa k e a aproximacao seguinte. Esse processo iterativo e
continuado ate que o valor absoluto da diferenca xk+1 xk seja pequeno o suficiente
ou ate que seja feito um n
umero maximo de iteracoes preestabelecido.
No nosso caso, a funcao l() = log L() possui varias variaveis, i , com
i = 1...3l, e precisaremos encontrar os valores dos parametros que anulam as
primeiras derivadas de l(), o que corresponde a obter as solucoes das equacoes de
0
estimacao dos parametros. Tomando valores iniciais i = (a0i , b0i , c0i )0 , a primeira
1 0 0
estimativa pode ser escrita como i = i + i , isto e,
ai 1 = ai 0 + ai 0 ,
1 0 0
bi = bi + bi , (6)
ci 1 = ci 0 + ci 0 ,
55
0
em que ai 0 , bi , e ci 0 sao erros de aproximacao. Fazendo a expansao em serie
0
de Taylor de l()/i em uma vizinhanca de i , obtemos
l l 0 2l 0
2
0 l 0 2l 0
() = (i ) + ai 0 2 (i ) + bi (i ) + ci 0 (i ) + Rai
ai ai ai ai bi ai ci
l l 0 2 2 2
0 l
() = (i ) + bi (i 0 ) + bi 0 l (i 0 ) + ci 0 l (i 0 ) + Rb
bi bi b2i bi ai bi ci i
l l 0 2l 0 2
0 l 0 2l 0
() = (i ) + ai 0 2 (i ) + bi (i ) + ci 0 (i ) + Rci ,
ci ci ci ci ai ci bi
Nessas expressoes, estamos usando que l/i e uma funcao apenas de i , nao
dependendo de l para l 6= i.
Vamos agora introduzir a seguinte notacao
l 2l 2l 2l
L1 = L11 = L12 = L13 = ,
ai a2i ai bi ai ci
l 2l 2l 2l
L2 = L21 = L22 = 2 L23 = ,
bi bi ai bi bi ci
l 2l 2l 2l
L3 = L31 = L32 = L33 = 2 ,
ci ci ai ci bi ci
0
em que todas as funcoes sao avaliadas no pontos (i ). Desprezando os restos no
desenvolvimento de Taylor, obtemos
0
0 = L1 + L11 ai 0 + L12 bi + L13 ci 0 ,
0
0 = L2 + L12 ai 0 + L22 bi + L23 ci 0 ,
0
0 = L3 + L13 ai 0 + L23 bi + L33 ci 0 .
O sistema acima pode ser escrito, em notacao matricial, do seguinte modo:
ai 0

L1 L11 L12 L13
0
L2 = L21 L22 L23 bi .
L3 L31 L32 L33 ci 0
Assim, a primeira estimacao para os parametros pode ser obtida pela seguinte
equacao 1 0 1
ai ai

L11 L12 L13 L1
bi 1 = bi 0 L21 L22 L23 L2 .
ci 1 ci 0 L31 L32 L33 L3
1
Como o processo e iterativo, apos obtido i , considera-se este o novo valor
2
inicial para a obtencao de i , repetindo-se o processo ate que algum criterio de
parada seja alcancado.
Para explicitar os valores de Lkl , com k, l = 1, 2, 3, precisamos calcular as
derivadas de segunda ordem de l = log L em relacao a i . Fazendo isso, obtemos
n 0 2
log L X xji Pji Pji xji Pji Pji
0 = + 0 .
i i j=1
i Pji Qji i Pji Qji i i
56
Calculando a derivada do quociente explicitado no primeiro termo do somatorio
acima, encontramos

xji Pji
=
i Pji Qji

1 Pji Pji Qji
= Pji Qji (xji Pji )
(Pji Qji )2 i i

1 Pji Pji Pji
= Pji Qji + (xji Pji ) 2Pji
(Pji Qji )2 i i i

1 Pji
= 2
{Pji Qji + (xji Pji )(1 2Pji )}
(Pji Qji ) i

1 2 Pji
= (x ji P ji ) .
(Pji Qji )2 i
A ultima igualdade segue do fato que xji = x2ji , ja que xji assume somente os
valores 0 e 1. Substituindo esse resultado na equacao anterior, obtemos o resultado
desejado. Fazendo iteracoes sucessivas, chegamos aos valores de estimacao com a
aproximacao que for pre-fixada.
3.3 Estima
c
ao das habilidades
Nesta secao, vamos tratar da estimacao das habilidades quando os parametros
dos itens sao conhecidos. Os itens ja podem ter vindo de algum processo de pre-
testagem ou optou-se mesmo pela estimacao em separado.
Usando novamente as hipoteses da independencia entre as respostas de dife-
rentes indivduos e da independencia local, podemos escrever a log-verossimilhanca
como em (2), agora como funcao de e nao de , ou seja,
n X
X I
log L() = {xji log Pji + (1 xji ) log Qji }. (7)
j=1 i=1
O estimador de maxima verossimilhanca de j , para j = 1, , n, e o valor

que anula a derivada primeira de log L em relacao a j , calculada a seguir.
57
I
log L X (logPji ) (logPji )
= xji + (1 xji )
j i=1
j j
I
X 1 Pji 1 Pji
= xji (1 xji )
i=1
Pji j Qji j
I
X 1 1 Pji
= xji (1 xji )
i=1
Pji Qji j
I
X xji Pji Pji
=
i=1
Pji Qji j
I
X Wji Pji
= (xji Pji ) ,
i=1
P ji Qji j
Como
Pji
= Dai (1 ci )Pji Qji ,
j
obtemos
I
log L X
Wji
= (xji Pji )Dai (1 ci )Pji Qji
j i=1
Pji Qji
I
X
= D ai (1 ci )(xji Pji )Wji .
i=1
Segue, entao, que a equacao de estimacao para j , j = 1, , n, e igual a

I
X
D ai (1 ci )(xji Pji )Wji = 0. (8)
i=1
Assim como nas equacoes (3), (4) e (5), a equacao (8) tambem nao apresenta
solucao explcita para j e, por isso, precisamos de algum metodo iterativo para
obter as estimativas desejadas. Com raciocnio analogo ao feito com os parametros
k
dos itens e considerando j a estimativa de j na iteracao k do metodo de Newton-
Raphson, obtemos
k+1 k 2 log L k 1 log L k

j = j [ (j )] (j ).
j2 j
k+1
Para calcular os valores de j , usamos as seguintes expressoes das derivadas de
primeira e segunda ordem da funcao log L:
I
log L X Wji
= (xji Pji ) (Pji Qji )hji
j i=1
Pji Qji
XI
= (xji Pji )Wji hji
i=1
58
e
I
( 2 )
2 log L

X xji Pji x ji P ji
= (Pji Qji )Hji (Pji Qji )2 h2ji
i2 i=1
P Q
ji ji P Q
ji ji
XI
= (xji Pji )Wji {Hji (xji Pji )Wji h2ji }
i=1
com
Pji
hji = (Pji Qji )1 = Dai (1 ci )
j
e 2
1 Pji
Hji = (Pji Qji ) = D2 a2i (1 ci )(1 2Pji ).
j2
Esses calculos ilustram a metodologia subjacente a` teoria de resposta ao item.
Ha muitas situacoes a serem consideradas, nao somente a respeito da estimacao
de parametros e habilidades mas tambem sobre erro padrao das medidas, proble-
mas de convergencia dos metodos, aplicacoes de testes a mais de um grupo de
indivduos, aplicacoes de testes a grupos diferentes mas com itens-ancora, equa-
lizacao dos resultados, vies de itens, multidimensionalidade dos testes, fidedigni-
dade, validade,vies, modelos para itens nao dicotomicos etc. O leitor que desejar
explorar mais detalhes matematicos relativos `a teoria encontrara em Andrade et
al (2000) uma excelente fonte de leitura.
59
Captulo 4
Consideraes Finais
A realidade brasileira mostra milhes de crianas e jovens que, ano aps ano,
experimentam o desnimo, a frustrao e o abandono escolar. Isso sugere que,
subjacente avaliao, h uma teia de significados que merecem ser considerados em
dimenses amplas e diversificadas e que refletem a complexidade da prpria
subjetividade dos atores envolvidos: quem avalia e quem avaliado. O processo no
neutro e sofre influncia das relaes sociais estabelecidas dentro e fora do contexto
escolar.
A anlise feita nestas notas mostra que o Brasil j acumula uma experincia
considervel com relao aos processos de avaliao de larga escala e revela a
complexidade das diversas etapas dos processos, que engloba a qualidade dos
instrumentos utilizados, as estratgias e situaes pelas quais se obtm informaes
acerca do aprendizado dos estudantes e os mtodos utilizados para interpretar o
desempenho. O INEP, desde a criao do SAEB, em 1990, vem produzindo indicadores
sobre o sistema educacional brasileiro. Alguns deles apontam para problemas graves na
eficincia do ensino oferecido pelas redes de escolas brasileiras, como os baixos
desempenhos em leitura e na apreenso de conceitos bsicos de matemtica, por
exemplo. Em face de tal realidade, o governo federal e muitos governos estaduais e
municipais tm empreendido esforos para reverter esse quadro. Nesse sentido, a opo
pelo uso da TRI para a construo de bancos de itens calibrados e de escalas de
proficincia comparveis ao longo do tempo proporciona inferncias relevantes com
relao s aprendizagens dos estudantes e anlise da eficcia das aes de melhoria da
qualidade de ensino implantadas.
A solidez com que o SAEB foi construdo influenciou a escolha de metodologias

similares para os demais processos ENCCEJA, ENEM, Prova Brasil, Provinha Brasil
e PNCICD , abrindo tambm para estes as possibilidades futuras de acompanhamento
longitudinal dos desempenhos e interpretao das escalas de proficincia. J na
educao superior, a diversidade de cursos e instituies, aliada exploso da oferta do
ensino a distncia, trazem para o SINAES desafios diferenciados daqueles encontrados
60
na avaliao da educao bsica e impem a necessidade de aprofundamento nos
modelos de instrumentos utilizados e nas estratgias de coleta de dados.
Apesar dos avanos alcanados ao longo desses anos, muitos obstculos ainda
precisam ser transpostos, principalmente em um pas de dimenses continentais e que
possui a quinta maior populao mundial, com desigualdades profundas no que se
referem formao e acesso a cultura, educao e uso de novas tecnologias. Isso coloca
a necessidade de cada vez mais se fazer uma avaliao consistente com os desafios
curriculares da educao contempornea e de se criarem metodologias de ensino que
efetivamente contemplem alguma possibilidade de mudana qualitativa.
Desse modo, torna-se necessrio: aprofundar o carter de diagnstico das

avaliaes de larga escala; incluir itens abertos, de resposta construda pelos estudantes,
que avaliam competncias distintas das associadas a itens objetivos; aprimorar critrios
de correo/codificao de itens abertos; criar testes adaptativos, com possibilidade de
insero de udio, vdeo e itens abertos de resposta curta, o que reduzir, tambm, os
custos com logstica de aplicao; usar a TRI para uniformizar melhor as correes de
itens discursivos; otimizar o processo de construo dos bancos de itens, mantendo-se o
sigilo inerente ao processo; expandir o uso de itens abertos para outros processos de
avaliao, com o uso de metodologia de correo online descentralizada e
acompanhamento em tempo real (Andrade e Rabelo, 2006); simplificar a logstica de
aplicao com o uso de tecnologias adequadas; reduzir o tempo gasto com anlise do
desempenho para agilizar o processo de implantao de polticas pblicas de melhoria
da qualidade do ensino; atualizar as matrizes de referncia (SAEB, por exemplo), sem
perder a comparabilidade nem a interpretao das escalas de proficincia; aperfeioar os
mecanismos de adaptao dos testes para deficientes visuais e auditivos, em uma
poltica inclusiva; repensar as devolutivas para estudantes, professores e gestores, com
maior clareza e simplicidade de informao, de modo a contriburem para regular o
processo ensino-aprendizagem.
Enfim, fazer com que o processo se aproxime cada vez mais daquilo que os
educadores esperam da avaliao, mesmo que seja de larga escala: que ela esteja a
servio da aprendizagem.
61
Referncias Bibliogrficas
ANDRADE, D.F., TAVARES, H.R. & VALLE, R.C. Teoria da resposta ao item:
conceitos e aplicaes. So Paulo: ABE Associao Brasileira de Estatstica, 2000.
ANDRADE, G.G. & RABELO, M.L. Os desafios da avaliao de textos em larga

escala. In: III Congresso Internacional de Avaliao Educacional. Eixo Temtico 3
Avaliao de Ensino-Aprendizagem no Ensino Mdio. Fortaleza, 76-92, 2006.
_______. O ENEM e os desafios da correo das redaes. In: ANDRADE, G.G. &
RABELO, M.L. (org.) A Produo de Textos no ENEM: desafios e conquistas. Braslia:
EdUnB. (Desafios e Conquistas, vol. 1), 2007.
BAKER, F.B. Item Response Theory: Parameter Estimation Techniques. Marcel

Dekker, 1992.
BEATON, A.E., ALLEN, N.L. Interpreting scales through scale anchoring. Journal of
Educational Statistics, v.17, p.191-204, 1992.
BRASIL. Constituio da Repblica Federativa do Brasil de 1988 (Atualizada).

Disponvel em: http://www.planalto.gov.br/ccivil_03/Leis/L8069.htm. Acesso em: 01
mar. 2010.
________. Encceja - Exame Nacional para Certificao de Competncias de Jovens e

Adultos. Coleo de Livros do Professor e do Estudante: reas de Linguagens e
Cdigos, Matemtica, Cincias Humanas e Cincias da Natureza. Braslia: Inep/MEC,
2003. 12 v.
_______. Encceja - Exame Nacional para Certificao de Competncias de Jovens e

Adultos. Coleo de Livros do Estudante: reas de Linguagens e Cdigos, Matemtica,
Cincias Humanas e Cincias da Natureza. Braslia: Inep/MEC. 2. ed. Braslia:
Inep/MEC, 2006, 8 v.
_______. FERNANDES, R. ndice de Desenvolvimento da Educao Bsica (IDEB):

metas intermedirias para a sua trajetria no Brasil, estados, municpios e escolas. Nota
Tcnica. Disponvel em: <http://www.inep.gov.br>. Acesso em: 15 set. 2009.
_______. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira.

Matriz de Referncia para a Prova Nacional de Concurso para o Ingresso na Carreira
Docente. Disponvel em: http://download.inep.gov.br/download/basica/concurso_
docente/proposta_ matriz_discussao _ versao_atualizada_13042011.pdf. Acesso em: 05
jul. 2011.
_______. Lei n 9.394, de 20 de dezembro de 1996. Lei de Diretrizes e Bases da

Educao Nacional (Atualizada). Disponvel em:
http://www.planalto.gov.br/ccivil_03/Leis/L9394.htm. Acesso em: 01 mar. 2010.
_______. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de

Avaliao da Educao Superior SINAES. Disponvel em:
http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm. Acesso em:
05 jun. 2011.
62
_______. Ministrio da Educao. ENEM - Exame Nacional do Ensino Mdio.
Documento Bsico, 2000. Braslia: Inep/MEC, 1999.
_______. Ministrio da Educao. Eixos Cognitivos do Enem. Braslia: Inep/MEC,

2007(reimpresso).
_______. Ministrio da Educao. Mdias de desempenho do SAEB/2005 em

perspectiva comparada. Braslia: Inep/MEC, 2006.
_______. Ministrio da Educao. Plano Decenal de Educao para Todos, Braslia:

MEC, 1993.
_______. Portaria Inep/MEC n.o 109, de 27 de maio de 2009, publicada no D.O.U. de 8

de junho de 2009, Seo 1, 14-20.
_______. Portaria Inep/MEC n.o 174, de 31 de julho de 2009, publicada no D.O.U. de 5

de agosto de 2009, Seo 1, 10-13.
_______. Portaria n. 2.270, de 14 de agosto de 2002. Institui o Exame Nacional de

Certificao de Competncias de Jovens e Adultos (Encceja). Disponvel em:
http://portal.inep.gov.br/web/encceja/legislacao. Acesso em: 05 jun. 2011.
_______. Portaria n 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de

avaliao do Sistema Nacional de Avaliao da Educao Superior (SINAES),
Disponvel em: www.inep.gov.br/superior/enade/. Acesso em: 05 jun. 2011.
_______. Mdias de desempenho do SAEB/2005 em perspectiva comparada. Braslia:

Inep/MEC, 2006.
_______. Provinha Brasil. Disponvel em: http://portal.inep.gov.br/web/provinha-

brasil/ caracteristicas. Acesso em: 05 jul. 2011.
HAMBLETON, R.K., SWAMINATHAN, H. & ROGERS, H.J. Fundamentals of Item

Response Theory. Sage Publications, 1991.
LE BOTERF, G Desenvolvendo a competncia dos profissionais. Porto Alegre:

Artmed, 2003.
MARINHO-ARAJO, C.M. O Desenvolvimento de Competncias no ENADE: a

mediao da avaliao nos processos de desenvolvimento psicolgico e profissional.
Avaliao. Revista da Rede de Avaliao Institucional da Educao Superior - RAIES.
Campinas: Unicamp, v.9, n.4, 77-97, 2004.
MARINHO-ARAJO, C.M., POLIDORI, M.M., FONSECA, D.G., OLIVEIRA, C.B.,

OLIVEIRA, G., SOARES, P.G., CURO, S., RODRIGUES, C. & REIS, J. Processos
avaliativos e o desenvolvimento de competncias. Actas do VII Simpsio Nacional de
Investigao em Psicologia da Universidade do Minho, Portugal, 2947-2964, 2010.
PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educao. Petrpolis:

Vozes, 2003.
63
RABELO, M.L. A matriz de matemtica do SAEB e o contexto escolar. Pesquisa &
Avaliao: Revista da Escola SAERJ 2009, 1, 20-27, 2010.
RABELO, M. L. A Teoria de Resposta ao Item no Novo Enem. Explicando o Enem -

Educar para as Competncias. So Paulo: Abril Educao, 65-67, 2009.
RABELO, M.L. Matriz de referncia como centro dos processos de avaliao em larga
escala. Pesquisa & Avaliao: Revista do Professor: SADEAM 2010: Matemtica e
suas tecnologias, 2, 2011.
RABELO, M.L. Os Exames Nacionais de Avaliao e a Teoria de Resposta ao Item.

Minicurso apresentado no I Colquio de Matemtica da Regio do Centro-Oeste.
Campo Grande - MS, 2009.
RABELO, M.L. Avaliao de larga escala em perspectiva comparada: a experincia

brasileira. VIII Congresso Iberoamericano de Avaliao. Portugal, 2011.
ZARIFIAN, P. O modelo da competncia: trajetria histrica, desafios atuais e

propostas. So Paulo: Editora Senac, 2003.
64
65

Coloquio Mauro Rabelo

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Coloquio Mauro Rabelo

Diunggah oleh

Hak Cipta:

Format Tersedia

ANLISE COMPARATIVA DOS PROCESSOS DE AVALIAO

EDUCACIONAL EM LARGA ESCALA

Mauro Luiz Rabelo1

A experincia brasileira em avaliao em larga escala adquirida ao longo dos

O Brasil j acumula grande experincia em avaliaes educacionais de larga

VI - assegurar processo nacional de avaliao do rendimento escolar no ensino

Desse modo, a Unio passou a ter a competncia legal de assegurar processo de

Para contemplar as diretrizes e metas do Plano de Ao da Conferncia, o Brasil

Os Exames Nacionais de Avaliao Educacional

1.1 Contextualizao: do SAEB Prova Nacional de Concurso para o Ingresso na

Desconsiderando as experincias com a realizao dos tradicionais exames de

Encontra-se atualmente em discusso a implantao da Prova do Exame

Brasil: Escala temporal dos processos nacionais de avaliao de larga escala.

1.2 O Sistema de Avaliao da Educao Bsica (SAEB) e a Prova Brasil

O SAEB o pioneiro dos sistemas nacionais de avaliao da educao hoje

Os procedimentos de amostragem de alunos utilizados baseiam-se em

A Prova Brasil foi criada a partir do SAEB, utilizando-se a mesma matriz de

Quadro 1. Anlise comparativa do SAEB e da Prova Brasil

A prova foi criada e aplicada em 2005. A primeira aplicao ocorreu em 1990.

Avalia apenas estudantes de ensino Avalia estudantes de 4 e 8 sries do ensino

Fonte: www.inep.gov.br (com adaptaes)

Conforme se depreende da tabela acima, a partir de 2007, os dois processos

Quadro 3. Montagem dos cadernos do SAEB e Prova Brasil a

Na primeira composio, cada caderno contemplava apenas uma disciplina e a

1.2.1 O que avaliado nas provas

Do ponto de vista da elaborao de itens, as provas utilizadas no SAEB e na

Espao e forma: inicia-se com a identificao das formas geomtricas presentes

Tratamento da informao: inicialmente, o indivduo deve localizar

As matrizes de lngua portuguesa, com foco em leitura, tm como objetivo

1.2.2 Matrizes de Referncia de Matemtica

Conforme foi dito anteriormente, os itens aplicados no SAEB e na Prova Brasil

Matriz de Referncia Matemtica 4 srie (5. ano) do ensino fundamental

Descritores do Tema I. Espao e Forma

Descritores do Tema II. Grandezas e Medidas

Descritores do Tema III. Nmeros e Operaes /lgebra e Funes

D22 - Identificar a localizao de nmeros racionais representados na forma decimal na reta

Descritores do Tema IV. Tratamento da Informao

Matriz de Referncia Matemtica 8 srie (9. ano) do ensino fundamental

Descritores do Tema I. Espao e Forma

Descritores do Tema II. Grandezas e Medidas

Descritores do Tema III. Nmeros e Operaes /lgebra e Funes

Descritores do Tema IV. Tratamento da Informao

Matriz de Referncia Matemtica 3.o ano do ensino mdio

Descritores do Tema II. Grandezas e Medidas

Descritores do Tema III. Nmeros e Operaes /lgebra e Funes

Descritores do Tema IV. Tratamento da Informao

1.2.3 Anlise do desempenho dos estudantes aplicao da TRI

Do ponto de vista do desempenho, o SAEB tem proporcionado reflexes

desempenho dos estudantes em dois itens de matemtica j aplicados, observando o que

Outros itens que avaliam o desenvolvimento dessa mesma habilidade foram

dos cadernos a partir da estrutura explicitada nos quadros 2 e 3, alguns blocos so

Quadro 4. Nveis interpretados da escala de proficincia - SAEB e Prova Brasil

1.2.4 Interpretao dos nveis da escala

A partir da anlise do desempenho de todos os participantes e de um novo olhar

Nveis Descries das habilidades de acordo com o nvel

150 Neste nvel, os alunos da 4 e da 8 srie so capazes de:

resolver problemas envolvendo adio ou subtrao estabelecendo relao entre

175 Os alunos das duas sries, neste nvel:

identificam a localizao (lateralidade) ou movimentao de objeto tomando como

200 Os alunos da 4 e da 8 sries:

estimam medida de comprimento usando unidades convencionais e no

Na 8 srie, os alunos so ainda capazes de resolver problemas interpretando e relacionando

225 Os alunos da 4 e da 8 sries apresentam as seguintes habilidades:

calculam diviso (divisor: duas ordens);