Qualidade Tcnica das Provas do Vestibular

Raimundo Hlio Leite*

ABORDAGENS NA CONSTRUO DE TESTES

Ao se falar em qualidade do ensino, um tema que fica imediatamente associado i discusso 6 a avaliao que se deve fazer a fim de aferi-la. De modo particular, os testcs se colocam como instrumentos fornecedores de dados p a um processo de avaliao do que se queira implantar. Uma anlise histrica da atividade de construo de testes mostra exi&em trs abordagens: a) empica, b) tcnica, c) cientfica e racional. A abordagem empica usada principalmente por professores e docentes que, sem terem recebido formao especfica, passam a elaborar testes a partir desud prpria experincia como aiuno. 6 o caso, por exemplo, de professores sem qualificao formal ou que cursaram somente o bacharelado. 6 evidente que, nesses casos, falta ao elaborador uma perspectiva mais global do processo de elaborao do teste em si, bem como do contexto onde ele deve situar um plano de avaliao. J.4 a metodologia tknica se caracteriza pela utilizao de vnos procedimentos, at que seja encontrado um que seja apmpnado. O que difercncia csses dois procedimentos, basicamente, 6 que, no primeiro caso, quando muito, so utilizadas tcnicas rudimentares, enquanto no segundo podem-se usar as mais sofkticadas tcnicas de que se dispc num determinado momcnto. S6 que no existe te+zao anterior. A medida deduzida a partir dos dados, como afima STRONG (1): E bem reconhecido que o desenvolwnento dc uma escala para medir interesse ocupacional

*
1

Professor da Universidade Federal do Cear STRONG, E. K. (1943) VocanOnnlin~eresis m n and women. Smford, Cal., Smford Universiry Press, o/ p.76.

77

no baseado em nenhuma teoria anterior. A escala se baseia na diferena de interesses de uma pessoa em uma ocupao e das pessoas em geral. O escore bruto obtido por uma pessoa a soma dos pesos que ela obtm numa escala. Os pesos no representam, pois, a teoria de algum mas so estatisticamente deduzidos dos dados. Trata-se de um mtodo em que a explorao de vrias possibilidades de construir um teste ou uma escala 6 levada longe demais. 6 como que uma expedio cega em que se tm vrios caminhos a seguir sem se saber exatamente qual tomar para chegar ao objetivo pretendido. Esse tipo de construo tem sido usado na elaborao de testes de rendimento escolar. Quanto aS tknicas cienificas, os construtores de testes que as usam comeam por defmu critrios para a escolha inicial dos itens; e aqueles itens que so includos podem ser racionalmente justificados, a partir de uma determinada teoria que o instrumento a ser Construido pretende medir, sejam traos ou conceitos. Ao contrrio do procedimento anterior, tanto a tcnica a ser usada quanto os itens a serem includos so perfeitamente identificados apriori. A primeira questo que se pe qual dessas abordagens nossos elaboradores de provas de vestibular utilizam normalmente?
ELEMENTOS ESSENCIAIS PARA A CONSTRUCO RACIONAL DE UM TESTE
Os cuidados que se devem tomar para a elaborao de um bom instrumento para aferir a aprendizagem envolvem as seguintes etapas: planejamento, elaborao e anlise dos resultados. Vejamos, inicialmente, o que se entende por planejamento de um teste e por que razo cle faz parte de sua construo. H que se entender, antes do mais, que o teste no est desvinculado da maneira como o contedo que ele vai medir foi ensinado. Isso significa que o teste deve espeIhar a aferio das tarefas e contedos vivenciados ao longo do processo de aprendizagem. Como bem aborda BLOOM (2),os contedos educacionais podem ser enfocados de diferentes maneiras, que vo desde a simples rememorao at a utilizao de complexas habilidades mentais tipos shtese e avaliao. Planejar um teste sem ter conhecimento bem claro disso como realjzar um n6 cego. Em relao a esse aspecto, entendo que os vestibulares enfrentam as seguintes dificuldades, que coloco para reflexo nesse Encontro. I Os professores que elaboram as provas dos vestibulares no conhecem as nfases que ) foram dadas no ensino de 19 e 29 graus aos contedos ensinados, isto 6, no tm idia do nvel de complexidade daquele nvel de ensino de que fala a documentao oficial. Como preparar adequadamente uma prova para alunos que no tiveram os contedos ensinados pelo elaborador da prova? Ser que a definio de objetivos por parte das Universidades um balizador bastante para ajudar operacionaimente um elaborador de prova do vestibular? 1 ) Em que grau muitas provas de vestibulares no refletem simplesmente o gosto ou o 1 pendor de seus elaboradores por determinados assuntos? Insistimos, pois, que para se minimizar esse problema duas medidas podem ser adotada: a) O conhecimento, por parte das Coinisses de Vestibulares, dos programas executados pelos coldgios. Aconselha-se apropriadamente que sejam realizados seminrios e encontros de estudo entre professores elaboradores das provas dos vestibulares com professores de ensino do 10 e 29 graus. b) A adoo da Tabela de Especificao na qual figurem os objetivos especlficos de cada prova e o nvel no qual cada objetivo ser medido. Adotadas ditas medidas, pode-se planejar a quantidade de itens para cobrir determinado objetivo, bem assim seu nvel de complexidade. Releva lembrar que a etapa de planejamento no envolve a construo de quesitos, como muitos professores pensam e fazem. Somente aps um judicioso plano das tarefas que se quer medir na prova 6 que se passa i elaborao dos quesitos, em seqncia imediata. E fundamental que na fase de elaborao se respeitem dois grupos de ingredientes essenciais

BLOOM, B. S. (1973)Taxode objetivoseducadornu. Porto Alegre, Globo, 2. Contedo: v.1 -Domnio cognitivo; v.2 - Domnio afetivo.

78

ao processo: I) A natureza, o propsito e as regra? para construo de cada tipo de quesito. Com efeito, cada tipo de item, mltipla escolha ou dissertao, possui suas pr6pnas caracteristicas, quer dizer, deve ser consuudo com dctcminados cuidados. Violar isso cometer um grave engano. 11) A noo de validade de contedo. Isto quer dizer que o claborador deve se preocupar com qucstcs da espcie: o testc mede aquilo que pretende medir'! Cada item mede um objetivo estipulado na Tabela de Especificao de que se falou acima? Os itens esto de acordo com o previsto no plano geral do lesie? A experincia dos que militam nessa rea tem mostrado que se cometem grandes desvios, quando no se segue um rgido plano de validao de contedo do teste. Como se constata, essas duas fases so anteriores A aplicqo das provas. Os cuidados indicados visam a uma wrreta elaborao da prova, de modo que ela seja vlida e esteja bem construida. Esses que devem ser os pressupostos do elaborador. O confronto com a realidade representada pelo domnio ou no dos contedos tcstados por parte dos alunos que ir mostrar em que grau a suposio de a prova ser vlida se confirma ou no. Veremos, a seguir, como se faz isso, aps a aplicaso do teste.

ANALISE

DOS RESULTADOS

A anse dos resultados de um teste pode ser feita de duas maneiras complementares: 1) anlise dos itens do teste; 2) clculo da ridedignidade; 3) estudo da assimetria e curtose da distribuio das notas.

ANALISE

DOS ITENS

Nesta anlise estamos interessados em responder a duas questcs: o item 6 vlido? Ele discrimina os alunos que sabem daqueles que no dominam o contedo testado'! O nlvel de dificuldade do item 6 adequado para o grupo no qual clc foi aplicado? Para se responder i primeira indagao, foi realizado um nmero razovel de estudos que, segundo FLANAGAN (3),no conseguiram por um ponto final na questo. De qualquer forma, existe A disposio do elaborador de prova uma gama significativa de possibilidades. Por sua vez, o ndice de dificuldade do item pode ser calculado atravs de porcentagem de alunos que o acertaram. Tem havido considervel esforo para se mostrar que um teste deva ser ,0 composto por questes cujos lndices de dificuldade estejam em tomo dc 0 5 . A par disso, o estudo das correlaes item a item pode oferecer subsdios importantes, na medida em que se pode determinar atravs delas se os quesitos esto medindo a mesma habilidade ou o mesmo contedo. Para os testes mltipla escolha no convencionais, do tipo que a nivcrsidade Federal do Cear utiliza, atualmente, nos seus vestibulares, NORMANDO (4) e outros desenvolveram uma anlise especifica.

CALCULO

DA FIDEDIGNIDADE

Com esse ciculo, pode-se determinar em que grau a varincia dos escores das provas nio 6 devida a erro. O elaborador dispe nesse caso, igualmente, de uma variedade de mtodos para o ciculo desse coeficiente, a saber: teste-reicste, mitodo das metades, Kuder-Richardson, Anlise de Varincia, Coeficiente Aipha etc.

ESTUDO DA ASSIMETRIA E CURTOSE DA DISTRIBUIO DAS NOTAS Com isso pode-se dctenninar o afastamento das curvas de notas em relao i curva normal, bem como o grau em que elas se aproximam ou no das unidades de tendncia central.
RECOMENDA~ES

A fim de operacionalizar o que foi exposto antes, recomenda-se: 1) As Comisses Coordenadoras do Vestibular devem ter carter permanente, devendo dcsenvoiver estudos tcnicos relativos aos vcstibulares por ela realizados. Nesse sentido, 6 de suma importncia que as Universidades planejem e realizem elas prprias seus vestibulares. No h como se conceber as Universidades deixarem de realizar tarefas para cuja exccuo possuem pessoal preparado. Hg que sc lembrar que os dados que os vestibulares ofcrecem podem se transsormar em fontes importantes para teses de alunos de ps-graduao de reas como Educao, Sociologia, Letras etc. 2) As Universidades devero fixar claramente os objetivos de cada disciplina do vestibular, de modo que no ultrapassem o nvel de complexidade do 21 grau e sirvam de pr-Eyuisitos para os estudos que sero feitos no 3 g grau. 3) Um especialista em medidas educacionais deve integrar a equipe das Comisses Coordenadoras de Vestibular, com o objetivo de implementa as anlises citadas anteriormente. 4) As bancas elaboradoras de prova devem ser compostas por professores que dominem o contedo e por tcnicos em medidas educacionais. 5 ) As anses e estudos realirados nas provas dos vestibulares devem ser, sistematicamente, levados ao conhecimento dos professores do l g e 2 graus, por meio de scminirios O e simpbsios. Essa atividade se nos afigura w m o uma forma efetiva de promover a to desejada articulao entre os dois graus de ensino. 6) AS Comisses Coordenadoras deveriam enviar, para cada curso da Universidade, um perffi de cada aluno classificado, a fm de que a programao didtica das disciplinas a sercm cursadas no incio pelo aluno levasse em conta suas deficincias.

REFERNCIAS BIBLIOGRAFICAS
B URT, C. (1962) Mqntal and Scholastic Tesr. 4. ed. London, Staples Press. FUNDAO GETULIO VARGAS, Rio de Janeiro. Instituto de Seleo e Orientao Profissional. Centro de Estudos de Testes c Pesquisas Psicol6gicas. Testes de Desenvolvimento Educacional; Relat6rio tcnico. Rio de Janeiro, Fundayo Getlio Vargas, 1971. .Instituto de Seleo e Orientao Profiisional. Centro de Estudos de Testes e Pesquisas Psicol6gicas. Teszes e medidas na educao: wlla colethnea. Apresentao de Loureno Filho. Rio de Janeiro, Fundao Gctlio Vargas. LEITE, R. H. (1974). A predico dos exames vestibulares na LIFC; estudo preliminar. Documento apresentado pela Comisso Coordenadora do Vestibular da UFC ao Simpsio sobre Concurso Vestibular promovido pelo Conselho de Reitores das Universidades Brasileiras, reaiizado em Fortaleza, CE, fevereiro dc 1974. Fortaleza, Comisso Coordenadora do Vestibular da UFC, 23p. LEITE, R. ti. (1978). Exames Vestibulares - In: Ministrio da Educao e Cultura. Departamento de Assuntos Universitrios, O ensino superior Lrolado particular: alguns aspectos de sua problemtica. Brasa. MECIDAU, P. 141-157. LEITE, R. H. (1978). A demanda por vagas nos cursos superiores do Cear. Educao em Debare; Revista do Departamento de Educao do Centro de Estudos Sociais Aplicados da Universidade Federal do Cear, Fortaleza, 1 (1):59-72. LEITE, R. H. (1979), coord. Integrao das agncias formadoras do pessoal docente e no-dorente de 1 s e 2 9 Graus com o sistema que os absorve. Brasilia, INEPIMEC - Departamento de Documentao e Divulgao, 145p.

80

LEITE, R. H. e BARRETO, J . A. E. (1974). Llaborrqo e Avuliuo dos Concursos Vesiibulures n Universidade Federal do Cear&.Fortairra, Irnprmsa Universitria da UFC, 30p. LINDEMAN, R. H. (1976). Medidas educucionriis. Porto Alegre, Globo; Brasilia, INL. MEDEIROS, E. B. (1972). As provus objecir~us. 2.ed. Rio de Janeiro. Funda@o Getlio Vargas. MEHRENS, W. A. e LEHMANN, I. J. (1978). Testes pudroniwdos em educugo. So Paulo, E.P.U. RIILTON, O. e EDGERLY, J. W. (1977). 7bc resting and grrrding ofsrudenrs. New York, Chm6e. NELSON, C. (1971). Medicionesy Evuliucin cn e1 Aula. Huenos Aires, Kapelusz. NUNNALLY, I. C. (1964). Educutional Me<isiircrnenrund Evuluarion. Ncw York, McGraw-Hill. VIANNA, M. M. (1976). Testes em Educao. 2.4. So Paulo, IBRASA; Rio de Janeiro, FENAME.

81