Polticas de incluso no ensino superior: avaliao do

desempenho dos alunos baseado no Enade de 2012 a 2014I

Jacques WainerII
Tatiana MelguizoIII

Resumo

Este artigo compara as notas obtidas nos Enades de 2012 a 2014 por
alunos que entraram no ensino superior via cotas, receberam bolsa
ProUni ou emprstimo via Fies com a nota de seus colegas de classe
que no receberam o benefcio correspondente. A comparao
feita usando a diferena entre as mdias das notas padronizadas
dos exames gerais e especficos do Enade. O artigo define um limite
de equivalncia como sendo a diferena da mdia das notas dos 5%
dos alunos com resultados logo acima da mdia e dos 5% dos alunos
logo abaixo da mdia de todos os alunos. Diferenas abaixo desse
valor foram consideradas sem importncia prtica. Tendo em vista
essa definio, alunos cotistas tiveram desempenho equivalente ao
de seus colegas de classe no cotistas, assim como os alunos que
recebem emprstimo do Fies. Alunos que recebem bolsa do ProUni
tiveram desempenho superior ao dos seus colegas de classe.

Palavras-chave

Educao superior Cotas ProUni Fies Enade Desempenho.

I- Agradecimentos: a pesquisa reportada

neste artigo foi financiada pelo projeto
Fapesp 15/19288-0.
II- Instituto de Computao. Universidade
de Campinas (Unicamp), Campinas, SP,
Brasil.
Contato: wainer@ic.unicamp.br
III- Rossier School of Education. University
of Southern California. Los Angeles, CA, EUA.
Contato: melguizo@usc.edu

Educ. Pesqui., So Paulo, Ahead of print, 2017. DOI: http://dx.doi.org/10.1590/S1517-9702201612162807 1

Inclusion policies in higher education: evaluation of student
performance based on the Enade from 2012 to 2014

Jacques WainerII
Tatiana MelguizoIII

Abstract

This paper compares the grades on the Enade exams from 2012 to
2014 of students who were accepted into higher education through
affirmative action, who received the ProUni scholarship, or who
received the government sponsored student loans (FIES) with
the grades of students in the same class who did not receive the
corresponding benefit. The mean of the standardized exam grades
(both general and specific exams) are used for the comparison.
The paper defines a limit of equivalence between grades as the
difference of the mean grade of the 5% students with grades just
above the mean and of the 5% students with grades just below the
mean of all students. Differences below this limit of equivalence
are considered of no practical relevance. Under this definition, the
performance of students who were accepted through affirmative
action is equivalent to that of their classmates who did not receive
such benefit, as is the performance of students who received the
FIES student loan. Students who received the ProUni scholarship
performed better than their classmates.

Keywords

Higher education Affirmative action ProUni FIES Enade

Performance

I- Acknowledgment: this research was

funded by FAPESP grant 15/19288.
II- Instituto de Computao. Universidade
de Campinas (Unicamp), Campinas, SP,
Brasil.
Contato: wainer@ic.unicamp.br
III- Rossier School of Education. University
of Southern California. Los Angeles, CA, EUA.
Contato: melguizo@usc.edu

2 DOI: http://dx.doi.org/10.1590/S1517-9702201612162807 Educ. Pesqui., So Paulo, Ahead of print, 2017.

Introduo
H trs famlias de aes de incluso no Universidade para Todos (ProUni) que d bolsas
ensino superior (ES). A primeira a poltica de
cotas, ou poltica de ao afirmativa, que reserva
vagas de Instituies de Ensino Superior (IES) para
alunos de grupos desprivilegiados (seja por critrio
de raa ou social). A segunda uma poltica de
bolsas para alunos de grupos desprivilegiados,
e a terceira, uma poltica de emprstimo para o
pagamento das mensalidades em IES pagas.
As polticas de cotas atingem
principalmente IES federais e estaduais, que
na sua maioria, reservam vagas para alunos
de grupos desprivilegiados. Em poucos casos,
alunos dos grupos desprivilegiados recebem um
bnus na pontuao do vestibular. As polticas
de cotas surgiram em 2000 nas universidades
estaduais, em particular UERJ e UENF
(Universidade Estadual do Norte Fluminense).
A partir de ento, IES estaduais e federais
passaram a crescentemente incluir polticas de
cotas, com critrios diferentes, baseados em leis
estaduais ou decises dos respectivos conselhos
universitrios (FERES JUNIOR; DAFLON, 2014;
EURISTENES; CAMPOS; FERES JUNIOR, 2015).
Um marco fundamental para as polticas
de cotas foi a aprovao da Lei 12.711/2012. A lei
impe um programa crescente de cotas em todas
as universidades e institutos federais at atingir,
em 2016, o patamar de 50% das vagas de todos os
cursos dedicadas a cotas, e uniformiza os critrios
para sua distribuio. A lei impe que:
no mnimo 25% das vagas sejam
preenchidas por estudantes de escolas pblicas
e com renda bruta de at 1,5 salrios mnimos;
um percentual apropriado dessas
vagas seja alocado para alunos pretos, pardos
e indgenas, que deve corresponder proporo
de pessoas dessas etnias/raas no estado;
at 25% das vagas sejam ocupadas
por estudantes de escolas pblicas com renda
superior a 1,5 salrios mnimos;
um porcentual apropriado dessas
vagas seja preenchido por alunos pretos, pardos
e indgenas.
Educ. Pesqui., So Paulo, Ahead of print, 2017.
H alguns programas federias de bolsas
e auxlios, mas o mais famoso o Programa
para o pagamento das mensalidades de alunos
em IES pagas (as bolsas cobrem 100% ou 50%
da mensalidade). Existem tambm alguns
programas federais de bolsas e auxlio para
ajuda de custo: associado ao ProUni existe o
Programa Bolsa Permanncia, que d um auxlio
no valor de uma bolsa de iniciao cientfica
para alunos com bolsa integral do ProUni. H
tambm o Programa de Bolsa Permanncia
(PBP), que d bolsas para alunos indgenas ou
em vulnerabilidade socioeconmica que esto
cursando IES federais. Bolsas de manuteno
e permanncia, auxlios e ajudas de custo no
sero objetos deste estudo.
Finalmente, o mais conhecido programa
dentro da terceira famlia o Fundo de
Financiamento Estudantil (Fies). Alunos recebem
um emprstimo para pagar as mensalidades da
instituio e comeam a pagar o emprstimo um
ano aps a concluso do curso. At 2015, a taxa
de juros do Fies era de 3,4%, e a partir de 2015, de
6,5%. Como as taxas de juros so efetivamente
menores que a inflao, pode-se considerar
que o Fies um programa de transferncia de
recursos para as famlias de alunos com maior
vulnerabilidade econmica.
O objetivo deste artigo analisar se, ao
final do curso, o rendimento dos alunos que
se beneficiaram de qualquer uma dessas trs
variaes de programas de incluso (cotas,
ProUni ou emprstimo) equivalente ou no ao
de seus colegas que no se beneficiaram dessas
polticas. Para tanto, usaremos dados do Enade
de 2012, 2013 e 2014. O Enade um exame para
alunos que esto concluindo um curso superior
e contm duas partes: uma geral, comum para
todos os alunos de um determinado ano, que
mede habilidades cognitivas gerias, tais como
interpretao de textos e grficos, raciocnio
lgico etc.; e a parte especfica, que mede
conhecimentos particulares de cada curso.
De forma geral, a ideia desta pesquisa
sempre comparar dois grupos: os alunos
3
que se beneficiaram de alguma das polticas
de incluso discutidas acima e seus colegas de
classe que no se beneficiaram delas. Classe,
neste artigo, uma combinao nica de IES,
curso, perodo das aulas e municpio todos os
alunos do curso A, no perodo noturno, da IES B,
na cidade C so considerados colegas de classe.
Assim, por exemplo, se estamos comparando
o rendimento de alunos que se beneficiaram
de polticas de cotas (sejam sociais ou raciais),
ento faremos a comparao de todos os alunos
cotistas nos trs anos analisados, com os
demais alunos das classes em que os cotistas
cursaram seu ensino superior. E compararemos
os dois grupos usando tanto as notas dos
exames especficos como as notas dos exames
gerais. Discutiremos, na seometodologia, que
possvel combinar os resultados dos exames
de diferentes cursos/carreiras num s resultado.
Dessa forma, os objetivos deste trabalho
so determinar se:
estudantes cotistas (tanto por razes
sociais quanto raciais) tm um desempenho nos
exames do Enade equivalente ou no ao dos
seus colegas de classe no cotistas;
estudantes que recebem bolsas do
ProUni tm desempenho equivalente ou no ao
dos seus colegas que no receberam a bolsa;
estudantes que receberam emprstimo
do Fies tm um desempenho equivalente ou
no ao dos seus colegas que no receberam o
emprstimo.
Acreditamos que as respostas a essas
questes so importantes na avaliao das
polticas de incluso no ensino superior. Dessa
forma, achamos importante no discutir, por
exemplo, diferenas de desempenho entre
diferentes cursos, como tem sido feito na grande
maioria das publicaes sobre o assunto.
Avaliao de programas de
incluso
H quatro dimenses a partir das quais
um programa de incluso em ES pode ser
avaliado. A primeira delas o acesso educao
4 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...
superior. Espera-se que uma maior diversidade
de alunos passe a frequentar o ES em relao ao
que se esperaria sem essas polticas de incluso.
A segunda e terceira dimenses so evaso
e tempo para a graduao. Alunos cotistas e
potencialmente alunos bolsistas provavelmente
tm piores condies socioeconmicas e
educacionais para cursar o ES. Dificuldades
financeiras para pagar as mensalidades e para se
sustentar durante o ES e uma pior formao no
ensino secundrio podem forar alunos cotistas
e bolsistas a abandonar o ensino superior
(aumentando a evaso), ou, no mnimo, atrasar
a concluso dos cursos (aumentando o tempo
para graduao) em comparao a seus colegas
no cotistas e no bolsistas. Embora essas
dimenses sejam importantes, este artigo no
tratar delas. Finalmente, a quarta dimenso
o rendimento dos alunos: alunos bolsistas
e cotistas se formam com o mesmo nvel de
conhecimento que seus colegas? Esse o foco
deste artigo.
H alguns artigos cientficos sobre o
ProUni, mas a maioria so pesquisas qualitativas
sobre as opinies e experincias dos bolsistas
(AMARAL; OLIVEIRA, 2011; SARAIVA; NUNES,
2011; CARVALHO, 2008). Almeida et al. (2010)
inclui um levantamento de testes e dissertaes
sobre o ProUni at 2009. O nico artigo sobre
polticas de financiamento e rendimento dos
alunos o de Barbosa e Santos (2011). As
autoras usam dados do Enade e comparam as
notas no exame de alunos com e sem bolsa
ProUni, e com e sem emprstimo do Fies, em
oito cursos diferentes. Com poucas excees,
alunos com bolsa do ProUni tm melhores
notas nos exames e, em trs dos cursos, alunos
com emprstimos do Fies tm notas maiores
que os alunos sem nenhuma bolsa ou auxlio.
As autoras no fazem a anlise de significncia
estatstica para as diferenas encontradas.
A poltica de cotas recebeu muito mais
ateno no debate pblico, seja em artigos
cientficos, seja em debates. A grande maioria
de artigos cientficos sobre a poltica de cotas
inclui dados sobre acesso, evaso e rendimento
de cotistas em relao a no cotistas. A grande
maioria dessas pesquisas usa dados privilegiados
de uma IES em particular. Nesses casos, os
pesquisadores tm acesso s notas das vrias
disciplinas de alunos cotistas e no cotistas e
comparam uma mdia ponderada das notas
(que algumas IES chamam de coeficiente de
rendimento - CR - nome que usaremos neste
artigo) dos dois grupos. A maior parte dos artigos
sobre rendimento tem algumas caractersticas
e limitaes metodolgicas em comum (as
excees sero destacadas mais adiante):
Os dados so separados por cursos/
carreiras. Normalmente os autores separam os
cursos num grupo de maior prestgio, ou maior
concorrncia no vestibular, e o grupo de menor
prestgio. A anlise feita separadamente para
cada curso e no h uma forma de agregar os
dados, a no ser contando o nmero de cursos
nos quais h ou no diferena nos CR de cotistas
e no cotistas.
O CR utilizado na anlise no o CR
dos alunos ao final do curso, mas em algum
momento durante curso. Dessa forma, a anlise
no reflete a diferena (ou no diferena) do
rendimento dos alunos quando se formam, mas
um ou dois anos aps iniciarem o ES.
No so feitos testes estatsticos, assim
no possvel dizer se a diferena ou no Santos e Queiroz (2013) estenderam a anlise
estatisticamente significativa, ou seja, se a
diferena na mdia dos CRs pode ser atribuda
apenas sorte (ou, mais formalmente, a erros
amostrais).
Os artigos trazem afirmaes de que
as diferenas no so importantes ou que
as mdias dos CR so equivalentes sem uma
definio explcita do que sejam diferenas
importantes ou limites de equivalncia.
Abaixo descrevemos brevemente
as principais publicaes nacionais sobre
rendimento de cotistas.
Universidade de Braslia (UnB)
Velloso (2009) analisa alunos ingressantes de
2004 a 2006 em todos os cursos. Diferente da
maioria dos artigos, esse estudo define que
uma diferena de 5% na mdia dos CR dos
Educ. Pesqui., So Paulo, Ahead of print, 2017.
dois grupos no expressiva. O autor conclui
que para dois teros das turmas (combinao
de curso e ano) no h diferenas expressivas
entre as mdias dos dois grupos ou estas foram
favorveis aos cotistas (VELLOSO, 2009, p.
621). Garcia e Jesus (2015) analisam os CR de
alunos ingressantes de 2004 a 2012, semestre a
semestre, em nove cursos. Diferente da grande
maioria dos outros artigos, esse estudo usa
testes estatsticos para verificar se as diferenas
entre o CR de cotistas e o de no cotistas em
um semestre so estatisticamente significativas.
Os autores definem que cotistas e no cotistas
tm CR equivalentes ao longo de um curso se,
em pelo menos 50% dos semestres do curso,
as diferenas entre cotistas e no cotistas no
sejam estatisticamente significativas. Dada essa
definio, em cinco dos nove cursos, cotistas e
no cotistas tiveram CR equivalentes.
Universidade Federal da Bahia (UFBA)
Queiroz e Santos (2006) analisaram os alunos
ingressantes em 2005 aps dois semestres. Os
autores computaram a proporo dos alunos
(cotistas e no cotistas) que tiveram um CR
acima de 5,1 nos dezoito cursos de maior
concorrncia. Em 61% dos cursos, a proporo
dos cotistas com CR acima de 5,1 foi maior ou
igual proporo equivalente dos no cotistas.
para alunos ingressantes em 2006, cursando
o stimo semestre nos dezoito cursos. Os
resultados foram similares aos reportados no
artigo anterior.
Universidade Estadual do Rio de Janeiro
(UERJ) Pinto (2006) comenta que existem
duas pesquisas divulgadas pela UERJ com
resultados contraditrios, uma mostrando que
alunos cotistas tinham resultados equivalentes
ao de no cotistas, e outra mostrando que o
resultado era pior. Bezerra e Gurgel (2011, p. 12)
comparam o CR de ingressantes em 2005 e 2006
para seis cursos e concluem que a diferena
se reduz a quase nada. Mendes Junior (2014)
analisa os CRs em 2006 e 2009 e o CR final de
alunos ingressantes em 2005. Nos trs perodos,
o CR mdio de alunos no cotistas maior que
5
o de alunos cotistas em 6,57%, 6,72% e 8,5%,
na mdia para todos os cursos.
Tessler (2006) mostra que, no terceiro
semestre, alunos beneficiados por aes
afirmativas da Unicamp tinham notas maiores
que seus colegas em 56% dos cursos, e que essa
diferena era estatisticamente significativa (a
Unicamp d uma bonificao nos pontos do
vestibular em vez de reservar vagas para alunos
que se beneficiam das polticas de incluso).
Silva e Pacheco (2013) apresentam dados de
distribuio de alunos cotistas, rendimento dos
mesmos em cursos de alta e baixa concorrncia
e suas taxas de evaso e de reprovao na
Universidade Estadual de Londrina. Beraldo e
Magrone (2013) apresentam dados sobre evaso
e rendimento de cotistas da Universidade Federal
de Juiz de Fora, e Neves (2013) apresenta dados
sobre evaso, repetncia e rendimento de alunos
cotistas e no cotistas da Universidade Federal
de Sergipe. No fcil sumarizar os resultados
desses trabalhos, pois as anlises so geralmente
separadas por curso e ano (e tambm por tipo
de ao afirmativa). Portanto, no h uma
concluso nica que resuma os resultados.
Artigos sobre cotas que usam dados do
Enade, como o caso da presente pesquisa, so
poucos. Waltenberg e Carvalho (2012) usaram
dados da prova especfica do Enade 2008 e
encontram uma diminuio de quatro pontos
(sobre um mximo de cem) nas notas dos alunos
cotistas de universidades federais e estaduais. A
diferena estatisticamente significativa. Nas
IES privadas a diferena no significativa. Os
autores tambm criaram modelos de regresso
que levam em considerao a situao
socioeconmica do aluno, mas, mesmo assim,
encontram um desempenho mais baixo para
alunos cotistas em IES pblicas de todas
as reas, enquanto que em IES privadas a
diferena de rendimento se faz presente apenas
em cursos de maior prestgio social. Pereira,
Bittencourt e Braga (2015) usam um modelo
de diferenas-em-diferenas e propensity score
matching para calcular o efeito de alunos
cotistas no Enade de 2008. Os autores concluem
6 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...
que os alunos cotistas tiveram um impacto
negativo (e estatisticamente significativo)
nos cursos de pedagogia, histria e fsica, e
tiveram um impacto positivo (e estatisticamente
significativo) no curso de agronomia. Gutterres
(2015) usa os dados da prova geral do Enade
de 2012 e compara cotistas por razo de terem
feito segundo grau em escola pblica, por raa e
por renda familiar. O autor encontra diferenas
a favor de cotistas que entraram por razo de
terem feito escola pblica.
Dados e Metodologia
Dados
Esta pesquisa usa dados do Enade de 2012, 2013
e 2014. O exame de 2012 cobre dezessete cursos
na rea de Cincias Sociais Aplicadas e seis
cursos superiores de tecnologia. O de 2013 cobre
dezessete cursos da rea de Cincias da Sade
e quatro cursos de tecnologia. E, finalmente, o
Enade de 2014 cobre 43 cursos, a maioria da
rea de Engenharias e Cincias Exatas, mas
tambm reas como Filosofia, Histria, Letras
etc. e quatro cursos de tecnologia.
Foram eliminados os dados de alunos
que no participaram efetivamente do exame
(varivel tp_pres nos dados do Enade) e
daqueles que no preencheram os campos de
resposta relativo entrada no ES por meio ou
no de cotas, ou se receberam bolsa. A medida
de desempenho especfico a nota total na
parte especfica do Enade (nt_ce), e a medida de
desempenho geral a nota total na parte geral
do exame (nt_fg).
A questo se o aluno entrou no ES por
meio de cotas possui uma ambiguidade. As
respostas nos trs questionrios so: a) No
entrou via o sistema de cotas; b) Sim, por critrio
tnico-racial; c) Sim, por critrio de renda; d) Sim,
por ter estudado em escola pblica ou particular
com bolsa de estudos; e) Sim, por sistema que
combina dois ou mais critrios anteriores; f) Sim,
por sistema diferente dos anteriores.
Consideramos que a resposta b) indica
que o aluno entrou no ES pelo sistema de cotas
raciais, e as respostas c) e d) indicam cotas por
critrios sociais. Mas a resposta e) pode indicar
tanto que o aluno combinou os dois critrios
sociais (baixa renda e ter estudado em escola
pblica) ou um critrio social com um racial
(aluno pardo que estudou em escola pblica).
Como no foi possvel distinguir entre essas
alternativas, fizemos duas anlises separadas:
uma em que o critrio racial no inclui os
alunos que responderam a alternativa e), e
outra em que o critrio racial inclui todos os
alunos que escolheram as alternativas b) ou
e). Similar procedimento foi adotado para o
critrio social: inclui apenas as alternativas c)
e d) ou c), d) e e).
Consideramos que os alunos que
receberam bolsa integral ou parcial pelo ProUni,
ou bolsa parcial mais o Fies.

Tabela 1 Quantidade de alunos em cada grupo

2012 2013 2014 Total

Dados originais 469.460 167.787 396.880 1.034.127

Alunos analisados 461.241 160.321 395.477 1.017.039

Cota racial 4.630 (1%) 2.070 (1,3%) 6.447 (1,6%) 13.147 (1,3%)

Cota social 4.2194 (9,1%) 1.4753 (9,2%) 4.3524 (11%) 10.0471 (9,9%)

Cota (outro) 30.401 (6,6%) 8.113 (5,1%) 24.749 (6,3%) 63.263 (6,2%)

Total cotas 77.225 (16,7%) 24.936 (15,6%) 74.720 (18,9%) 176.881 (17,4%)

ProUni 45.354 (9,8%) 11.781 (7,3%) 25.442 (6,4%) 82.577 (8,1%)

Fies 17.724 (3,8%) 18.945 (11,8%) 34.721 (8,8%) 71.390 (7,0%)

Classes 6.193 3.422 8.735 18.350

Cursos 17 17 43 77

As colunas se referem aos anos do Enade. A linha Dados originais indica a quantidade de alunos nos respectivos Enades. Alunos analisados informa a
quantidade de alunos aps a remoo dos registros com dados faltantes (cf. texto). Cota racial indica o nmero de alunos que declararam ter sido admitidos
por critrio racial - o nmero entre parnteses indica a proporo em relao ao nmero de alunos analisados. Cota social se referee ao nmero de alunos
que foram admitidos por critrio social (respostas c) e d) cf. texto). Cota (outro) informa o nmero de alunos que foram admitidos por uma combinao de
critrios. ProUni, alunos que receberam bolsa do ProUni. Fies, alunos que receberam financiamento pelo Fies. Classes indica o nmero de diferentes classes
no banco de dados, e Cursos, o nmero de cursos diferentes.
Fonte: Dados do Enade 2012 a 2014 processados pelos autores.

A Tabela 1 apresenta as propores de

alunos com algum benefcio, em relao ao
nmero total de alunos analisados. A linha
Classes indica o nmero de classes (segundo
a nossa definio cf. abaixo) includas nos
exames. Curso o numero de cursos/carreiras
que fizeram o exame naquele ano.
Um outro nmero interessante a
proporo de alunos com benefcios entre
seus colegas de classe. Essa proporo uma
aproximao da proporo de alunos com
benefcios em relao a todos os outros alunos
que poderiam t-lo recebido; por exemplo,
alunos de IES no pagas no so elegveis
para ter emprstimos via Fies, portanto, no
poderiam receber o benefcio. A Tabela 2
reporta essas propores

Educ. Pesqui., So Paulo, Ahead of print, 2017. 7

Tabela 2 Proporo de alunos com algum benefcio apenas
em relao ao total de seus colegas de classe
2012 2013
Cota racial 1,9% 3,0%
Cota social 10,0% 10,7%
Cota (outro) 6,6% 5,1%
Total cotas 15,9% 14,4%
ProUni 13,8% 11,1%
Fies 3,9% 12,2%
Fonte: Dados do Enade processados pelos autores.
Metodologia
O primeiro ponto importante da
metodologia que quisemos uma anlise que
fosse independente do curso. Obtivemos isso
padronizando as notas dos exames especficos
por curso, isto , subtraindo de cada nota a
mdia das notas para aquele curso, e dividindo
o resultado pelo desvio padro das notas do
curso. Ou seja, zic = (yic mdia(yjc))/desvio
padro(yjc), sendo que yic a nota no exame
especfico do aluno i, que est no curso c; zic
a nota transformada do aluno, mdia(yjc) a
mdia das notas para todos os alunos do curso
c, e desvio padro (yjc) o desvio padro das
notas dos alunos do curso c.
A nota transformada deve ser entendida
como a nota acima da mdia do curso medida
em desvios padro. Se zi = 1,3, ento o aluno
i tirou uma nota 1,3 desvios padro acima da
nota mdia no seu curso; se zi = -0,7, ento o
aluno tirou uma nota 0,7 desvios padro abaixo
da nota mdia do curso.
Como o exame geral o mesmo a cada
ano, a padronizao da nota calculada pela
mdia e desvio padro dos alunos que fizeram
o Enade naquele ano.
Nas anlises, faremos sempre a
comparao entre o conjunto de notas
transformadas dos alunos que se beneficiaram
de alguma poltica de incluso e o conjunto
8 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...
de notas transformadas dos alunos que no se
beneficiaram de polticas e que estavam nas
2014 Total
mesmas classes que os primeiros. Vamos indicar
como zig a nota transformada do aluno i que
3,4% 2,6% pertence a classe g, de modo que o conjunto das
notas transformadas dos alunos beneficiados
11,9% 10,8%
por uma poltica de incluso p definido como:
6,2% 6,2% B(p) = {zig tal que i foi beneficiado pela poltica
p}, e o conjunto de notas transformadas dos
17,4% 16,3%
no beneficiados definido como: NB(p) = {zig
9,1% 11,9% tal que i no foi beneficiado por p e existe um
aluno j tal que zjg B(p)}.
9,9% 7,5% Note que, para que um aluno i entre no
conjunto NB(p), requer-se que haja algum aluno
naquela classe que tenha sido beneficiado pela
poltica de incluso (o aluno j na frmula).
A necessidade de se comparar os alunos
beneficiados com seus colegas de classe
importante, pois isso remove o vis relativo
aos tipos diferentes de IES. Por exemplo, vamos
assumir para efeito de argumentao que alunos
de IES pagas tm, em mdia, resultados piores
no Enade do que alunos de IES pblicas e que
polticas de cotas s existem em IES pblicas.
Como alunos cotistas esto em IES pblicas,
se formos compar-los como todos os alunos
no cotistas, que incluiria tambm alunos de
IES pagas, a nota mdia do segundo grupo
seria provavelmente menor que a do primeiro.
Selecionando no cotistas apenas de IES e
cursos nos quais existem cotistas, eliminamos
esse vis. Por outro lado, alunos que receberam
o Fies, e que esto em IES pagas, teriam uma
desvantagem injusta quando comparados com
todos os alunos de IES pblicas, j que estes
com certeza no receberam o Fies.
A comparao entre o conjunto de
notas transformadas de beneficirios e de no
beneficirios que estavam nas mesmas classes
feita por meio de duas medidas. A primeira
apenas a diferena da mdia dos dois conjuntos,
que chamaremos de ganho padronizado dos
alunos beneficiados pela poltica: ganho(p) =
media(B(p)) media(NB(p)).
Um ganho de 1,3 para alunos cotistas,
por exemplo, indica que a mdia das notas do
cotistas est 1,3 desvios padro acima da mdia
dos no cotistas; um ganho de -0,7 para alunos
do Fies indica que a mdia das notas dos alunos
com emprstimo pelo Fies 0,7 desvios padro
abaixo da nota dos alunos sem emprstimos.
A segunda medida de comparao o d
de Cohen, que a mais comum em educao.
O d de Cohen a diferena entre as mdias das
notas transformadas, mas divididas pelo desvio
padro dos dois grupos (mais precisamente, o
desvio padro dos dois grupos a raiz quadrada
da mdia ponderada da varincia dos dois
grupos).
Note que, a no ser que um grupo tenha
um desvio padro muito diferente do outro, o
d de Cohen no deve ser numericamente muito
diferente do ganho padronizado, j que o desvio
padro para todas as notas transformadas (para
todos os alunos) 1.
A definio de uma classe
Neste artigo, uma classe a combinao
de valores para curso, municpio, perodo de
aula e IES de um aluno. Assim, assume-se que
todos os alunos do perodo noturno do curso A,
da IES B na cidade C so colegas de classe, e
sero pareados com seus colegas que receberam
algum benefcio de uma poltica de incluso.
Nos dados do Enade 2012-2014, essa
definio de classe resulta em 22.689 classes
diferentes, com em mdia 44,83 alunos por
classe (mediana = 27 alunos). H 213 classes
com mais de trezentos alunos (at o mximo de
9.689 alunos numa mesma classe). Acreditamos
que h duas explicaes para essas classes
numerosas: elas podem representar cursos de
grandes IES privadas que so oferecidos em
vrios campi da mesma cidade, ou representam
cursos a distncia. Infelizmente os dados do
Enade no nos permitem distinguir entre essas
duas alternativas. Consideraremos que as classes
mais numerosas no so um problema para a
anlise, pois, no caso dos cursos a distncia, os
alunos so efetivamente da mesma classe e, nos
casos de cursos distribudos em uma metrpole,
Educ. Pesqui., So Paulo, Ahead of print, 2017.
as tcnicas pedaggicas, os planos de aula e
possivelmente os professores so os mesmos
nos diferentes campi.
Anlise estatstica e limite de
equivalncia prtica
Como mencionamos, a grande maioria
dos estudos publicados sobre rendimento no
faz a nenhuma anlise estatstica dos resultados.
Verificar se as diferenas encontradas so
estatisticamente significativas um passo
fundamental para entender se elas so grandes o
suficiente para que no tenham surgido apenas
por acaso ou, mais formalmente, devido a um
erro amostral. Neste artigo, faremos tal anlise,
mas em vez de usar o mais tradicional p-valor
para mostrar que as diferenas so (ou no)
significativas, usaremos intervalos de confiana
na medida de ganho padronizado. Os intervalos
de confiana sero calculados usando t de
Student, com 95% de confiana. Se o intervalo de
confiana para a diferena inclui o zero, ento as
diferenas no so estatisticamente significativas.
Contudo, entendimentos mais modernos
sobre inferncia estatstica indicam que apenas
a anlise de significncia estatstica no
suficiente. preciso definir um limite para o qual
as diferenas, mesmo que sejam estatisticamente
significativas, no tenham consequncia
prtica. Em particular, devido quantidade de
dados (veja Tabela1), quase todas as diferenas
sero estatisticamente significativas, mas,
mesmo assim, algumas diferenas sero muito
pequenas para serem relevantes do ponto de
vista educacional. Lembramos que dois dos
artigos analisados (VELLOSO, 2009; GARCIA;
JESUS, 2015) propem algo similar, isto , um
limite abaixo do qual as diferenas entre os dois
grupos sejam consideradas irrelevantes, ou seja,
os grupos so considerados equivalentes.
Neste artigo, definiremos tal limite de
irrelevncia ou equivalncia usando a medida
de ganho padronizado. Definimos como o limite
de equivalncia o ganho padronizado dos alunos
que esto no grupo com nota at 5% abaixo da
9
mdia e daqueles que esto no grupo com nota menor dos valores (0,132) como o limite de
at 5% acima da mdia. Ou seja, se dividirmos equivalncia no restante deste artigo.
os alunos em vinte grupos de mesmo tamanho,
baseado na nota transformada, a menor Ganhos padronizados e d de Cohen para todos os
diferena que consideraremos como importante benefcios
ou relevante a diferena na mdia dos alunos
que esto no grupo imediatamente acima e A Tabela3 reporta os valores do ganho
imediatamente abaixo da mdia. A ideia que padronizado, o intervalo de confiana para o
a diferena entre esses dois grupos a menor ganho padronizado e o valor do d de Cohen
diferena entre quaisquer dos 20 grupos (j que para todas as comparaes dos beneficiados
as notas esto distribudas normalmente e esses por diferentes polticas de incluso com seus
dois grupos esto imediatamente em volta da colegas de classe que no foram beneficiados.
mdia), e essa a menor diferena relevante.
Infelizmente, essa construo no nos Tabela 3 Resultados do ganho padronizado, intervalo de
permite definir um limite de equivalncia para o d 95% de confiana e d de Cohen para alunos com benefcios e
de Cohen, o qual mede a separao na distribuio seus colegas sem o benefcios.
entre as medidas de dois grupos. Na nossa Benefcio Exame Ganho IC 95% d
construo, os grupos logo abaixo e logo acima
da mdia esto separados, embora a distncia das Cota Especfico 0,04 0,04 0,05 0,04
duas mdias entre eles seja pequena (e essa a
Cota Geral 0,01 0,01 0,02 0,01
nossa definio de uma diferena pequena), os
grupos esto separados j que no h interseco ProUni Especfico 0,47 0,46 0,47 0,49
entre eles. Dessa forma, no faremos a anlise de
ProUni Geral 0,41 0,41 0,42 0,43
equivalncia para o d de Cohen.
Fies Especfico -0,05 -0,06 -0,04 -0,05
Reprodutibilidade dos resultados
Fies Geral 0,01 0,00 0,02 0,01
Os dados do Enade de 2012 a 2014
A primeira coluna indica o benefcio; a segunda, o exame do Enade; a
esto disponveis no site do Inep (http:// terceira, o ganho padronizado e o intervalo de 95% de confiana; e a ltima,
portal.inep.gov.br/basica-levantamentos- o d de Cohen. Em negrito os ganhos padronizados superiores ao limite de
equivalncia adotado neste artigo.
acessar). O programa (em R) para ler os Fonte: Dados do Enade processados pelos autores.
dados e computar as anlises estatsticas
realizadas neste artigo est disponvel em Para cotas, a primeira linha se refere ao
https://figshare.com/articles/Pol_ticas_de_ exame especfico, a segunda ao exame geral.
inclus_o_no_ensino_superior_avalia_o_ Note que os ganhos padronizados para os dois
do_desempenho_dos_alunos_baseado_no_ exames esto muito abaixo do que consideramos
ENADE_de_2012_a_2014/3180112. como o limite de equivalncia. Portanto, no h
diferena prtica entre as notas de alunos que
Resultados se beneficiaram da poltica de cotas e as de seus
Limites de equivalncia colegas de classe que no se beneficiaram dela.
Note tambm que o intervalo de confiana
De acordo com procedimento para o ganho padronizado em nenhum caso
discutido na seode metodologia, o limite inclui o zero, o que significa que a diferena
de equivalncia para o exame especfico entre cotistas e no cotistas estatisticamente
0,132, e para o geral, 0,139. Tendo em vista significativa, o que era esperado, j que h um
a proximidade dos dois limites, usaremos o nmero muito grande de dados.

10 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...

 Para alunos bolsistas do ProUni, nos dois Tabela 4 Anlise dos diferentes tipos de cotas: raciais, ou
exames, o um ganho padronizado bem maior sociais
do que o limite de equivalncia, a favor dos Benefcio Exame Ganho IC 95% d
bolsistas. Ou seja, os alunos do ProUni tiveram
em mdia notas maiores que seus colegas, tanto Raa Especfico 0,03 0,01 0,05 0,03
no exame geral quanto no especfico. Essas
Raa Geral 0,02 0,00 0,04 0,02
diferenas so estatisticamente significativas
(no so devidas sorte) e so de importncia Raa + combinao Especfico 0,08 0,07 0,09 0,08
prtica na definio deste artigo. Finalmente,
Raa + combinao Geral 0,04 0,04 0,05 0,04
para alunos com emprstimo do Fies, tambm
no h diferena prtica entre eles e seus Social Especfico 0,03 0,02 0,04 0,03
colegas sem emprstimo.
Social Geral 0,01 0,00 0,01 0,01

Estudo aprofundado dos resultados de cotas Social + combinao Especfico 0,05 0,04 0,05 0,05

Muito da literatura sobre o desempenho
de alunos cotistas no Brasil faz distino entre
diferentes tipos de cursos e diferentes tipos de
alunos cotistas. Gutterres (2015) separa alunos
cotistas por razo racial, por razo de renda
familiar e por razo de ter feito o segundo
grau em escola pblica. Vrios autores, entre
eles Queiroz e Santos (2006), Waltenberg e
Carvalho (2012) e Silva e Pacheco (2013),
separam os cursos entre os de maior e os de
menor prestgio e de forma geral encontram
que o desempenho dos cotistas nos cursos de
maior prestgio pior que o de no cotistas.
Nesta seo vamos fazer esse tipo de anlise
mais aprofundada sobre o desempenho de
alunos cotistas.
A Tabela4 apresenta os resultados
dos alunos separados pelo tipo de cota
(racial e/ou social). Nesse caso, comparamos
alunos que declaram ter ingressado por
cota racial com alunos que no ingressaram
por benefcio de cotas, e da mesma forma
para cotas sociais. Como mencionamos,
uma das respostas pergunta de cotas nos
questionrios ambgua e pode indicar que
o aluno recebeu uma cota por razes raciais
ou por razes sociais. Portanto, fizemos duas
anlises para as cotas raciais e sociais, nas
quais a resposta ambgua (combinao) est
uniformemente includa ou no em cada uma
das duas categorias.
Social + combinao Geral 0,02 0,01 0,02 0,02
Veja texto para a explicao do termo combinao.
Fonte: Dados do Enade processados pelos autores.
Os resultados mostram que, para todas
as diferentes formas de anlise, no existe
diferena prtica entre os alunos cotistas e seus
colegas no cotistas.
A Tabela5 apresenta o ganho padronizado
de alunos cotistas para as melhores classes. As
melhores classes so os 10% das classes com as
maiores mdias na nota especfica. Entendemos
que as classes com mdia alta representam
combinaes de cursos e IES de maior prestgio.
Por exemplo, se o curso A da IES B considerado
muito bom e prestigioso, ento esperamos que
essa classe esteja entre os 10% melhores no
exame especfico. Da mesma forma, se o curso C
da IES D tambm considerado muito bom, ento
ele tambm deve estar entre as 10% melhores
classes. Assim no fazemos distino entre cursos
de maior prestgio, mas sim entre combinaes
de curso e IES de maior prestgio. Entendemos
que a separao de classes melhores captura em
parte o fato de que devem haver combinaes
entre curso e IES que so mais competitivas e
para as quais alunos cotistas talvez tenham um
ganho padronizado pior. Mas no isso que
encontramos nos dados: o desempenho de alunos
cotistas e no cotistas equivalente para todos os
efeitos prticos nas classes melhores.

Educ. Pesqui., So Paulo, Ahead of print, 2017. 11

Tabela 5 Anlise da diferena entre cotistas e no cotistas
nos 10% das classes com maiores mdias no exame especfico
Exame Ganho IC 95%
Especfico -0,02 -0,04 0,00
Geral -0,07 -0,08 -0,05
Fonte: Dados do Enade processados pelos autores.
Discusso
Acreditamos que esta pesquisa tem alguns
pontos positivos importantes em relao s
outras j publicadas. Em primeiro lugar, ela mede
o rendimento de alunos ao final da graduao
e, portanto, uma melhor aproximao aos
conhecimentos totais adquiridos pelo aluno
durante o ensino superior e sua preparao para
a futura carreira profissional. A grande maioria
dos artigos publicados sobre rendimento de
alunos cotistas mede o desempenho mais cedo
durante o curso.
Outra caracterstica importante que os
nossos resultados so agregados para todos os
cursos, isto , no calculamos as diferenas no
rendimento de bolsistas e cotistas por curso.
Acreditamos que uma anlise por curso no
avana o debate pblico sobre polticas de
incluso. Por exemplo, digamos que para o
curso A, descobrimos que o ganho de cotistas
negativo e maior que o nosso limite de
equivalncia, ou seja, que, para todos os efeitos
prticos, os cotistas tm um desempenho pior
que os no cotistas. Por um lado, as polticas
pblicas no devem criar excees para um
curso e, nesse caso, propor que no haja
cotas para o curso A. Por outro lado, uma
IES no pode usar essa informao para criar
mecanismos para um melhor acompanhamento
a cotistas do curso A, pois os dados so globais,
isto , se referem a todos os cursos A de todas
IES. A diferena no desempenho pode no ser
verdadeira para uma IES em particular. Assim,
as IES devem fazer suas prprias anlises
dos dados do Enade para verificar se um
acompanhamento mais cuidadoso de cotistas
12
ou bolsistas se faz necessrio em algum dos
seus cursos. A divulgao de que cotistas tm
um desempenho menor que no cotistas para o
d
curso A s criaria um constrangimento para os
-0,02 primeiros, sem fornecer nenhuma informao
til aos outros agentes envolvidos.
-0,07
Nossos resultados, diferentemente de
grande parte das anlises j publicadas, se referem
a estudantes amostrados de todo do Brasil e no
apenas de uma ou outra IES e, portanto, devem
ser mais generalizveis (ver discusso sobre os
limites da pesquisa mais abaixo).
Um outro importante aspecto desta
pesquisa que no estamos controlando os
resultados por nvel socioeconmico. Pesquisas
baseadas no Enade, como as de Waltenberg e
Carvalho (2012) e Pereira, Bittencourt e Braga
(2015), modelam as notas dos alunos por meio
de uma regresso que envolve muitas variveis
que descrevem o nvel socioeconmico do aluno.
Diz-se que essas pesquisas controlam pelo nvel
socioeconmico. Pela regresso, essas pesquisas
criam um modelo de qual deveria ser a nota de
um aluno tendo de vista as muitas variveis e
descobrem se o fato de o aluno ser cotista entra
na equao com um coeficiente positivo, que
indica que cotistas tm uma nota acima do que
deveriam, ou se o coeficiente negativo, que
indica que ser cotista tem um efeito negativo
na nota esperada. Nesta pesquisa no usamos
ferramentas de regresso que permitem modelar
uma nota esperada. Comparamos o conjunto das
notas obtidas pelos cotistas, bolsistas e alunos que
receberam emprstimos do Fies com o conjunto
das notas de seus colegas de classe e, comparando
as mdias desses conjuntos, determinamos se
cotistas de fato sabem tanto quanto seus colegas
de classes. Do ponto de vista da avaliao de
uma poltica pblica, acreditamos que esta a
medida mais correta para o resto da sociedade:
os alunos que se beneficiaram de uma poltica de
incluso no terminam do ensino superior como
profissionais de menor qualidade.
O mais importante limite na generalizao
desta pesquisa quanto validade do
instrumento exame em si. O primeiro problema
Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...
que o Enade um exame sem riscos ou benefcios
para os alunos (low stake). A nota do Enade
no tem impacto sobre a graduao do aluno
ou sobre oportunidades futuras de emprego e,
portanto, o aluno pode ir mal no exame, sem
custo pessoal. Por outro lado, espera-se que em
grandes nmeros, o Enade corresponda em parte
ao conhecimento adquirido pelos alunos, j que
ele uma parte importante da avaliao das
instituies de ensino superior. Tambm pode-
se argumentar que outros exames nacionais,
por exemplo Pisa, Saeb e Prova Brasil (nas no
o Enem) so exames sem risco ou benefcios e,
no entanto, polticas de pblicas e avaliaes
de escolas so feitas baseado nesses exames.
Finalmente, embora a avaliao de rendimento
baseada em CR parea ser mais precisa, pode-se
argumentar que o CR possui riscos e benefcios
no lineares para os alunos e, portanto, no
um instrumento to preciso. Para a grande
maioria dos alunos uma nota menor que cinco
traz o risco enorme de repetir na disciplina, mas
notas maiores que cinco no trazem nenhum
benefcio (a no ser nos poucos casos em que
o aluno compete com os colegas por uma bolsa
de iniciao cientfica ou monitoria). Uma outra
questo se o Enade um instrumento capaz
de medir o conhecimento profissional de um
formando nos diversos cursos. Essa questo, at
onde sabemos, no foi verificada empiricamente,
a no ser por uns poucos trabalhos que avaliam
as caractersticas psicomtricas de alguns exames
especficos (PRIMI; HUTZ; SILVA, 2011; LOPES;
VENDRAMINI, 2014; CAMARGO; CAMARGO;
ANDRADE; BORNIA, 2016).
Quo surpreendentes so os resultados
reportados neste artigo? A equivalncia prtica
entre os resultados de cotistas e no cotistas
parece concordante com parte da literatura mais
antiga, que normalmente afirma uma equivalncia
entre os dois grupos, mas so menos rigorosas
em mostrar essa equivalncia (VELLOSO, 2009;
QUEIROZ; SANTOS, 2006; TESSLER, 2006). Por
outro lado, esta pesquisa parcialmente conflitante
com resultados mais recentes, que usam o Enade
para computar resultados que no so limitados
Educ. Pesqui., So Paulo, Ahead of print, 2017.
a uma s IES (WALTENBERG; CARVALHO, 2012;
PEREIRA; BITTENCOURT; BRAGA, 2015). Mas a
literatura mais recente faz uma anlise separada
por tipo de IES ou por curso, procedimento que
no adotamos, pois no acreditamos que esses
nveis de anlise respondam a questes teis
sobre a poltica de cotas.
Quanto ao ProUni, nossos resultados
concordam com os de Barbosa e Santos (2011).
Mas no difcil explicar o melhor desempenho
de alunos do ProUni. Os critrios de concesso da
bolsa no so claros no que tange ordenao
dos candidatos, mas razovel assumir que a
nota do Enem seja um componente importante
e, portanto, provvel que alunos com bolsa
ProUni so alunos com uma melhor formao
ao final do segundo grau que seus colegas de
classe. O ProUni ainda exige uma aprovao
em pelo menos 75% das disciplinas cursadas
no semestre anterior, e isto talvez tenha um
impacto positivo no desempenho do bolsista.
Finalmente, nossos resultados sobre o
Fies so parcialmente conflitantes com os de
Barbosa e Santos (2011). Elas apresentam dados
de que alunos que receberam emprstimos via
Fies tm um desempenho melhor do que alunos
sem bolsas ou emprstimos, mas a anlise das
autoras inclui apenas alguns cursos.
Concluso
No h diferena prtica entre o
conhecimento de alunos cotistas e o de seus
colegas de classes no cotistas ao final do
curso, se assumirmos que o exame do Enade
mede o tanto habilidades gerais de raciocnio
como conhecimentos especficos do curso. No
h diferena prtica entre o conhecimento de
alunos cotistas por razes raciais ou sociais e o
de seus colegas de classes que no so cotistas.
No h diferena prtica de conhecimentos
entre cotistas e no cotistas em classes com
mdia alta nos exames de conhecimento
especfico. Tambm no h diferena prtica
de conhecimento ao final da graduao entre
alunos que receberam emprstimo pelo Fies
13
e seus colegas de classe que no receberam o
emprstimo. Finalmente, alunos que receberam
bolsa do ProUni parecem ter acumulado mais
conhecimentos que seus colegas de classes.
Notamos que esses resultados, em
particular no que se refere a polticas de cotas,
se refere a uma situao anterior lei 12.711;
para os anos analisados, os cotistas totalizavam
17% dos alunos. Notamos tambm que esses
resultados se referem apenas a comparaes de
rendimento ao final do curso. Como discutimos,
h outras medidas de interesse para polticas de
incluso: acesso, evaso e tempo de graduao,
alm do rendimento.

Referncias

ALMEIDA, Cleide et al. Programa universidade para todos ProUni polticas pblicas e incluso social. Educao & Linguagem,
So Paulo, v.13, n.21, p. 67-88, 2010.

AMARAL, DanielaPatti do; OLIVEIRA, FtimaBayma de. O Prouni e a concluso do ensino superior: novas trajetrias pessoais e
profissionais dos egressos. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro, v.19, n.73, p. 861-890, 2011.

BARBOSA, Maria Ligia de Oliveira; SANTOS, Clarissa Tagliari. A permeabilidade social das carreiras do ensino superior. Caderno
CHR, Salvador. v. 24, n. 63, p. 535-554, 2011.

BERALDO, AntonioFernando; MAGRONE, Eduardo. Poltica de cotas na Universidade Federal de Juiz de Fora: avaliao 2006-2011. In:
SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.105-136.

BEZERRA, Tereza OlindaCaminha; GURGEL, Claudio. A poltica pblica de cotas em universidades, desempenho acadmico e
incluso social. Sustainable Business International Journal, Rio de Janeiro, v.9, p. 1-22, 2011.

CAMARGO, Raphael Vinicius Weigert; CAMARGO, Rita de Cssia Correa Pepinelli; ANDRADE, Dalton Francisco; BORNIA, Antonio
Cezar. Desempenho dos alunos de cincias contbeis na prova ENADE/2012: uma aplicao da Teoria da Resposta ao Item.
Revista de Educao e Pesquisa em Contabilidade (REPeC), Braslia v. 10, n. 3, p. 332-355, 2016

CARVALHO, Jos Carmello. O ProUni como poltica de incluso: estudo de campo sobre as dimenses institucionais e intersubjetivas
da incluso universitria, junto a 400 bolsistas no binio 2005-2006. In: 30o Reunio anual da ANPEd. [S.l.: s.n.], 2008.

EURSTENES, Poema; CAMPOS, Luiz Augusto; FERES JNIOR, Joo. As polticas de ao afirmativa nas universidades
estaduais (2015). [S.l.], 2015.

GARCIA, FranciscoAugusto da Costa; JESUS, GirleneRibeiro de. Uma avaliao do sistema de cotas raciais da universidade de
Braslia. Estudos em Avaliao Educacional, So Paulo, v.26, n.61, p. 146-165, 2015.

GUTTERRES, Rafael dosSantos. Alunos que ingressaram no ensino superior por aes afirmativas apresentam melhor
desempenho? Uma anlise empregando a decomposio de Oaxaca para o ENADE 2012. Dissertao (Mestrado) Faculdade
de Administrao, Contabilidade e Economia, Pontifcia Universidade Catlica do Rio Grande do Sul, 2015.

MENDES JUNIOR, Alvaro Alberto Ferreira; WALTENBERG, FbioDomingues. Polticas de cotas no raciais aumentam a admisso de
pretos e pardos na universidade? Simulaes para a UERJ. Planejamento e Polticas Pblicas, Braslia, v.44, p. 229-256, 2015.

MENDES JUNIOR, AlvaroAlberto Ferreira. Uma anlise da progresso dos alunos cotistas sob a primeira ao afirmativa brasileira
no ensino superior: o caso da universidade do estado do rio de janeiro. Revista Ensaio: Avaliao e Polticas Pblicas em Educao,
Rio de Janeiro, v.22, n.82, p. 31-56, 2014.

FERES JNIOR, Joo; DAFLON, VernicaToste. Polticas da igualdade racial no ensino superior. Cadernos do Desenvolvimento
Fluminense, Rio de Janeiro, v. 5, p. 31-43, 2014.

KIRK, RogerE. Practical significance: A concept whose time has come. Educational and psychological measurement, v.56,
n.5, p. 746759, 1996.

LOPES, Fernanda Luiza; VENDRAMINI, Claudette Maria Medeiros. Propriedades psicomtricas das provas de pedagogia do ENADE
via TRI. Avaliao: Revista da Avaliao da Educao Superior, Campinas, v. 20, n. 1, p. 27-47, 2014.

14 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...

NEVES, PauloSrgio da Costa. A poltica de reserva de vagas da universidade federal de Sergipe para alunos de escolas pblicas e
no brancos: uma avaliao preliminar. In: SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras
(2004-2012). Salvador: CEAO, 2013. p.243-278.

PEREIRA, Joaquim IsraelRibas; BITTENCOURT, Mauricio; BRAGA, Bernardo. Affirmative action in higher education: Impacts of the
national exam in Brazil. In: 55th Congress of the European Regional Science Association: World Renaissance: Changing roles
for people and places. [S.l.: s.n.], 2015.

PINTO, Paulo GabrielHilu da Rocha. Ao afirmativa, fronteiras raciais e identidades acadmicas: uma etnografia das cotas para
negros na Uerj. In: ZONINSEIN, Jonas; FERES JNIOR, Joo (Org.). Ao afirmativa e universidade: experincias nacionais
comparadas. Braslia: Editora da Universidade de Braslia, 2006.

PRIMI, Ricardo; HUTZ, Claudio Simon; SILVA, Marjorie Cristina Rocha da. A prova do ENADE de psicologia 2006: concepo,
construo e anlise psicomtrica da prova. Avaliao Psicolgica: Interamerican Journal of Psychological Assessment,
Itatiba, v. 10, n. 3, p. 271-294, 2011.

QUEIROZ, DelceleMascarenhas; SANTOS, Joclio Telesdos. Sistema de cotas: um debate dos dados manuteno de privilgios
e de poder. Educao e Sociedade, Campinas, v.27, n.96, p. 717737, 2006.

ROSSETTO, CristinaB. de Souza; GONALVES, Flvio de Oliveira. Equidade na educao superior no Brasil: Uma anlise multinomial
das polticas pblicas de acesso. DADOS Revista de Cincias Sociais, Rio de Janeiro, v.58, n.3, p. 791-824, 2015.

SANTOS, JoclioTeles dos; QUEIROZ, DelceleMascarenhas. O impacto das cotas na universidade federal da Bahia (2004-2012).
In: SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013.
p.37-66, 2013.

SARAIVA, Luiz AlexSaraiva; NUNES, Adriana de Souza. A efetividade de programas sociais de acesso educao superior: o caso
do ProUni. Revista de Administrao Pblica, Rio de Janeiro, v.45, n.4, p. 941-965, 2011.

SILVA, MariaNilza da; PACHECO, JairoQueiroz. As cotas na universidade estadual de londrina: balano e perspectivas. In: SANTOS,
JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p. 67-104.

SILVEIRA, Paulo RobertoCardoso da; SILVEIRA, Marta ris CamargoMessias da; MESSIAS, AndressaRodrigues. Monitoramento,
permanncia e promoo da diversidade: as aes afirmativas em risco na Universidade Federal de Santa Maria. In: SANTOS,
JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.171-202.

TESSLER, LeandroR. Ao afirmativa sem cotas: O Programa de Ao Afirmativa e Incluso Social da Unicamp. [S.l.], 2006.

TRAGTENBERG, Marcelo HenriqueRomano et al. Impacto das aes afirmativas na universidade federal de Santa Catarina (2008-2011). In:
SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.203-242.

VELLOSO, Jacques. Cotistas e no-cotistas: rendimento de alunos da Universidade de Braslia. Cadernos de Pesquisa, So Paulo,
v.39, n.137, p. 621644, 2009.

WALTENBERG, Fbio; CARVALHO Mrcia. Cotas aumentam a diversidade dos estudantes sem comprometer o desempenho?
Sinais Sociais, Rio de Janeiro, v. 7, n. 20, p. 36-77, 2012.

Recebido em: 20.04.2016

Aprovado em: 13.09.2016

Jacques Wainer professor titular do Instituto de Computao da Unicamp. Ele tem PhD em Cincia da Computao
pela Pennsylvania State University e atua em vrias reas da computao incluindo impactos sociais da computao. Sua
pesquisa em educao foi publicada em Educao e Sociedade, Computers & Education, e Higher Education.

Tatiana Melguizo professora associada da Rossier School of Education, University of Southern California. Ela tem PhD
em Economia da Educao pela Stanford University e mestrado em Polticas Sociais pela London School of Economics. Ela
atua principalmente na rea de Economia da Educao Superior. Sua pesquisa em educao foi publicada em Education
Evaluation and Policy Analysis, The Journal of Higher Education, The Review of Higher Education, Research in Higher
Education e Higher Education.

Educ. Pesqui., So Paulo, Ahead of print, 2017. 15