L. J.

CRONBACH

Cinthia Nara Gadelha Teixeira Pablo Carvalho

RESUMO: VIANNA, Heraldo Marelim. Avaliao educacional: teoria, planejamento e modelos. So Paulo: IBRASA, 2000.

ABRIL/2014

INTRODUO Cronbach no pretendeu apresentar um modelo para a realizao de avaliaes. As ideias que ventilou tiveram ampla ressonncia e contriburam em grande parte para o surgimento de dois trabalhos na rea da avaliao educacional, publicados ambos em 1967: o de Stake e o de Scriven. O artigo de Cronbach concentra-se na discusso de quatro aspectos de extrema importncia: A associao entre avaliao e o processo de tomada de deciso; Os diferentes papis da avaliao educacional; O desempenho do estudante como critrio de avaliao de cursos; Algumas tcnicas de medida disposio do avaliador educacional. IDEIAS FUNDAMENTAIS Cronbach (1963): 1) Relao entre os especialistas em currculo e o avaliador; 2) Avaliao e seus diferentes entendimentos; 3) Decises possveis em decorrncia da avaliao; 4) Avaliao no aprimoramento e reviso de cursos; 5) Avaliao e comparao de cursos; 6) Procedimentos de medida em avaliao educacional; 7) Avaliao de cursos e a opinio de especialistas; 8) O uso da observao em avaliao educacional. O entendimento entre especialistas em currculo e elementos da rea de avaliao nem sempre perfeito. Muitas vezes aquele especialista no possui uma ideia perfeita do tipo de colaborao que o avaliador lhe pode proporcionar; por outro lado, conforme Cronbach (1963), muitas tcnicas e concepes tericas da avaliao no se ajustam perfeitamente aos problemas de currculo. A avaliao, segundo Cronbach (1963), deve ser entendida como uma atividade diversificada, que exige a tomada de vrios tipos de decises e o uso de grande nmero de diferentes informaes. A avaliao, com vistas ao aprimoramento de currculos, no deve ser confundida, como muitos fazem, com a construo de instrumentos de medida e a obteno de escores fidedignos, processo que, eventualmente, podem entrar no contexto da avaliao, mas que so indispensveis para que ela possa atingir seus objetivos. Cronbach (1963) mostra que a avaliao usada com o objetivo de tomar trs tipos de decises: 1) Determinar se os mtodos de ensino e o material instrucional, utilizados no desenvolvimento de um programa, so realmente eficientes; 2) Identificar as necessidades dos alunos, para possibilitar o planejamento da instruo; julgar o mrito dos estudantes, para fins de seleo e agrupamento; fazer com que os estudantes conheam seu progresso e suas deficincias; 3) Julgar a eficincia do sistema de ensino e dos professores etc. Assim, de acordo com Cronbach (1963), no primeiro caso, a avaliaco permitiria decises gue levariam ao aperfeioamento do currculo; no segundo, referir-se-ia aos alunos submetidos a determinado programa; e, finalmente, no terceiro e ltimo caso, as decises seriam de natureza administrativa. AVALIAO DE CURSO - PROBLEMAS Cronbach ( ... ) enfatiza que quando a avaliao visa ao aprimoramento de cursos, seu principal objetivo verificar quais os efeitos do curso, ou seja, quais as mudanas que produz no estudante. O problema, segundo a perspectiva de Cronbach, no est em determinar se um curso eficiente ou ineficiente apenas. preciso lembrar que os resultados da instruo so multidimensionais e, desse modo, a avaliao deve promover o mapeamento de todos os efeitos do curso em cada uma de suas dimenses ( ... ). A avaliao presta um grande servio quando identifica os aspectos do curso que necessitam de reviso, no dizer de Cronbach (1963). O procedimento habitual consiste em submeter o produto avaliao somente depois de terminado, com vistas a uma confirmao do que foi previamente estabelecido. Cronbach afirma que esse comportamento no proporcionar bons resultados, alm de traduzir um menosprezo pelo importante papel que o avaliador pode efetivamente desempenhar. ( ... ) a avaliao deve acompanhar o desenvolvimento do currculo, quando o mesmo ainda se acha em estado fluido. A comparao de cursos no deve ser o objetivo dominante da avaliao, na concepo de Cronbach (1963). A comparao de resultados de avaliaes de cursos deve ser cautelosa, para evitar que decises errneas sejam tomadas ( ... ). Alm do mais, ainda conforme Cronbach (1963), em experimentos

educacionais, difcil ocultar dos estudantes o fato de que integram um grupo experimental, sendo igualmente complexo o controle do vis dos professores numa situao experimental. INFORMAES QUANTITATIVAS E QUALITATIVAS Um problema, destacado por Cronbach (1963), refere-se aos procedimentos de medida, que variam em funo do tipo de deciso a ser tomada. Cronbach (1963) afirmou que existem diferentes maneiras de analisar o desempenho de um estudante e este desempenho, por sua vez, no constitui o critrio nico para a avaliao de um curso. A avaliao pode ser realizada por intermdio de levantamento de opinies, relatrios de professores usurios do curso (observao do comportamento), observaes sistemticas, medidas ou estudos do processo, medida de proficincia, medida de atitudes e estudos longitudinais (follow-up). As opinies manifestas por professores, durante o desenvolvimento de um currculo, so importantes, pois graas aos seus relatrios, que traduzem observaes de comportamentos, positivam-se os pontos crticos, as deficincias e todos os demais elementos que esto a exigir maiores cuidados, talvez substituio ou mesmo supresso total da parte comprometida. A observao do professor, ainda que no seja de natureza sistemtica, reveste-se de grande importncia para a avaliao educacional (Cronbach, 1963). A observao sistemtica mais imparcial e, frequentemente, consegue apresentar diferentes aspectos com maior profundidade. Contudo, apresenta, tambm, alguns problemas, como o de custos e o referente demora ( ... ). J o estudo do processo refere-se aos eventos que ocorrem em sala, sendo, pois, de especial valor para o aprimoramento do curso. Nesse estudo, o registro de eventos no se limita queles relativos ao estudante durante a fase de instruo, procura, tambm, enfocar o procedimento do professor em sala de aula. Este conjunto de atividades dos alunos e dos professores possibilita ao construtor de currculos diagnosticar deficincias e propor modificaes. A medida de proficincia, ressaltada por Cronbach (1963), utiliza de vrias tcnicas. O uso de amostragem de itens - itens diferentes para alunos diferentes - oferece mais vantagem do que o emprego dos mesmos itens para todos os estudantes, na avaliao de cursos. Outro aspecto importante em avaliao de currculo, conforme mostra Cronbach (1963), refere-se ajustagem do instrumento de medida ao currculo, que no precisa ser motivo de preocupao para o avaliador. Na avaliao de currculo, contudo, e em termos ideais, todos os tipos desejveis de proficincia devem ser medidos e no apenas os de alguns objetivos selecionados pelo construtor de currculos. Se h um interesse em saber se o currculo alcana os seus objetivos, impe-se o ajustamento do teste ao currculo, mas se a inteno a de verificar at que ponto o currculo atende a interesses mais amplos, o ajustamento no necessrio, tendo em vista o desejo de que sejam verificados todos os objetivos possveis. Outro ponto enfocado por Cronbach (1963) diz respeito distino entre testes factuais e testes para verificar processos mentais complexos, segundo a terminologia de Bloom. Aplicar um teste apenas para verificar se o aluno "sabe" ou "no sabe" certo assunto no inteiramente relevante para fins de avaliao de um curso, importando, isto sim, medir o conhecimento em termos de profundidade e relacionando capacidade de aplic-lo a novas situaes (habilidade de aplicar). A questo da especificidade das questes considerada por Cronbach (1963), que discute, detalhadamente, o problema. A especificidade, na maior parte das vezes, concentra-se no uso de uma terminologia prpria do curso, que somente compreendida por aqueles que tiveram a oportunidade de assist-Io ( ... ) para fins de avaliao, entretanto, mais significativo medida de compreenso, de relao e de outras variveis do curso, que, em princpio, poderiam ser verificadas, tambm, em quem no foi diretamente submetido ao curso em questo. MEDIDAS DE ATITUDE E ESTUDOS LONGITUDINAIS Voltando, novamente, aos diferentes modos de avaliar um curso, Cronbach (1963) discute, ainda, as medidas de atitude e os estudos do tipo follow-up (longitudinal). A formao de atitudes parece ser uma preocupao constante de todos os responsveis por desenvolvimento do currculo, pois a expectativa a de que cada atividade relacionada aprendizagem contribua para o desenvolvimento de atitudes, alm da rea curricular especfica. A mensurao de atitudes pode ser feita de diferentes modos: entrevistas, questionrios, e outras tcnicas semelhantes, sem dvida valiosas, mas cujos resultados, como adverte Cronbach (1963), devem ser aceitos com as devidas cautelas, porque sujeitos a distores. Cronbach (1963) afirma que os estudos de follow-up apresentam problemas, devido: Os estudos de follow-up possuem ponto de contato com as tcnicas de observao ( ... ), onde muitas vezes se mostram de pouca valia para fins de aprimorar um curso ou explicar seus efeitos, em virtude do distanciamento temporal da fase de instruo inicial;

Outro problema no follow-up que este avalia os efeitos de um curso como um todo, no sendo possvel detectar, por exemplo, desvios da situao ideal, diferenas na eficincia das vrias partes do curso, ou, ainda, diferenas de um item em relao a outro item do programa; A necessidade, s vezes impossvel, de igualar os grupos experimentais e os de controle, constitui outro problema nos estudos de follow-up, que, apesar de apresentarem esses pontos crticos, so importantes, especialmente para fins de pesquisas sobre a construo de novos currculos.

As ideias de Cronbach, no seu ensaio de 1963, so extremamente provocadoras, contribuindo para a formao do nosso pensamento nas atividades de avaliao. Assim como Cronbach, Vianna (2000) acredita que as mensuraes so importantes em avaliao educacional, mas no se deve ficar limitado ao escore pelo escore, ou apenas para fins de comparao de posies. O importante, no caso, que saibamos usar esses escores para uma descrio bastante ampla dos resultados obtidos. Por outro lado, preciso, igualmente, que esses escores sejam indicativos das mudanas ocorridas e possibilitem identificar os pontos crticos do currculo, do curso, do programa que precisam ser alterados ou submetidos a uma rgida reviso. A avaliao educacional, quando devidamente conduzida serve para reduzir o mito do valor do escore (bruto) ou de compsitos. Na verdade, a grande fonte de informaes est na anlise das questes/itens e nas diversas respostas apresentadas, pois um item, isoladamente, fornece mais informaes do que um simples escore. A amostragem de itens aplicada a uma amostra de alunos, para fins de avaliao, na perspectiva de Cronbach, possibilita a superao de uma srie de problemas decorrentes do emprego do mesmo instrumento a todos os sujeitos. PLANEJAMENTO GERAL E INTERNO Cronbach uma das raras figuras na rea educacional que domina os mltiplos e complexos caminhos da avaliao em suas diferentes perspectivas. Cronbach de opinio de que a avaliao tem uma funo poltica. Desse modo, as reaes aos dados da avaliao tm uma motivao poltica. O planejamento de uma avaliao deve ter flexibilidade suficiente para atender diversidade dos interesses de vrias audincias, com expectativas as mais diversas possveis. A avaliao, acredita Vianna (2000), afeta diferentes reas de poder (poltica), devendo, pois, enfrentar desafios. A aprovao de um planejamento de avaliao deve merecer cuidadoso exame, envolvendo diferentes especialistas competentes para a deciso final relacionada aprovao do projeto. Nenhum avaliador sozinho, na opinio de Cronbach, possui um conjunto de qualificaes, por mais capaz que seja, para tomar todas as decises relacionadas ao planejamento e a interpretao de dados. A responsabilidade na avaliao deve ser compartilhada por um grupo, possibilitando uma anlise e discusso sob diferentes perspectivas. O planejamento de uma avaliao, sem bem considerarmos o problema, deve realizar-se, assim, em dois nveis: Um planejamento geral, com vistas a definir prioridades e alocar responsabilidades; Um planejamento interno, intra-equipes, que deve basear-se na experincia e na interao dos atores envolvidos nas equipes. O planejamento, desse modo, segundo Cronbach (1982), torna-se uma reflexo sobre o processo, perde o carter mecnico e padronizado que costuma oferecer em algumas situaes. A avaliao, no pensamento de Cronbach, um caminho para eliminar complexos mecanismos e chegar a decises sobre aes. A avaliao, nos termos apresentados por Cronbach (1982), objetiva, entre outros aspectos, acelerar o processo de aprendizagem das instituies educacionais, por intermdio de informaes que, de outra forma, no seriam consideradas ou poderiam ser interpretadas erroneamente. O valor de um avaliador no est apenas em levantar questes, mas em dar resposta aos problemas, comunicando-as de uma forma eficiente: de modo claro, rapidamente, com fidedignidade e validade, oferecendo informaes alternativas que satisfaam s vrias audincias. O agir do avaliador deve ser, nesse sentido, para o mximo de pessoas possam usar os dados levantados e as concluses estabelecidas, mas isto deve fazer parte do seu plano de aes definidas pela equipe de avaliao. Assim, a avaliao deve esclarecer controvrsias, dirimir dvidas sobre falsos pressupostos e possibilitar aes que resultem da compreenso do objeto avaliado. Cronbach acredita que h muitos exageros em ambas as posies [abordagem cientfica e naturalista] e que uma posio conciliatria, uma mistura de estilos, no dizer dele, possvel, bastando, para isso, que as mentes estejam abertas e uma boa comunicao se estabelea entre ambos.

H uma concordncia geral, como bem mostra Cronbach (1982), que as instituies sociais, inclusive as educacionais, precisam ser inovativas, o que nem sempre ocorre e, assim, elas acabam ficando muito aqum do que poderiam ser, demonstrando a necessidade de constantes avaliaes. HUMANISTAS E BEHAVIORISTAS Cronbach lembra que entre os avaliadores humanistas e behavioristas h concordncia de que a avaliao de um programa deva ser emprica e os eventos examinados nos locais em que ocorrem. Os avaliadores, especialmente aqueles que seguem uma metodologia quantitativa, precisam lembrar que as estatsticas so acompanhadas por graus de incerteza, o que faz considerar que a avaliao no se pode apoiar inteiramente em mtodos estatsticos e nas inferncias decorrentes dos resultados. O avaliador deve, diante dessa situao, fazer opes que melhor atendam ao seu caso especfico. Alguns avaliadores, no planejamento e na prtica, usam ambas as abordagens, a cientfica e a humanista. Outros preferiro um estilo uniforme num determinado estudo. Aqueles que favorecem testes somativos, possivelmente, optaro pela objetividade na observao e na anlise. Ao contrrio, a opo por estudo de caso levar a advogar uma interpretao do tipo impressionista. Cronbach (1982) mostra que no h incompatibilidade entre um controle experimental e o uso de informao qualitativa ou interpretao subjetiva. Um experimento formal pode incorporar entrevistas, por exemplo, e, por outro lado, dados quantitativos podem ser usados na construo de hipteses para um estudo de caso. A concepo de Cronbach no sentido de que h um contnuum entre planejamento cientifico e humanstico em avaliao e que toda a retrica entre o polarismo de experimentao e estudo de caso, numa viso naturalista, til, por destacar questes crticas para a avaliao educacional ( ... ) sendo importante encontrar um equilbrio entre os dois estilos que podem ser usados em diferentes momentos da evoluo de um programa avaliativo. PLANEJAMENTO 1. Fase divergente - uma fase importante, pois nesse momento que o avaliador e administradores formulam o mximo possvel de indagaes a serem consideradas a respeito da avaliao. nessa fase que se formam os grupos de presso, pretendendo impor ideias e orientaes pessoais, mas os possveis atritos devem ser superados. Uma fonte de questes, nessa fase, representada pelos objetivos propostos para a avaliao. A lista de objetivos deve ser a mais completa possvel; 2. Fase convergente - essa fase destaca a necessidade de que as questes sejam propostas para uma diversidade de indivduos e grupos. nesse momento da fase convergente, mostra Cronbach (1982), que identificado o que possui valor para ser avaliado; PERDA DE INFORMAES - AS AUDINCIAS E A EQUIPE O observador nem sempre comunica o total de suas observaes, sendo algumas perdidas no processo de codificao e sumrio das estatsticas, enquanto outras so omitidas do relatrio. ATENO Segundo Alkin (1990), a avaliao de programas curriculares apresenta diferentes subconjuntos, caracterizados da seguinte maneira: Avaliao orientada pela medida dos resultados (objetivos) - Tyler; Avaliao orientada por pesquisa ou metodologia, onde os aspectos particulares da metodologia so considerados - Guba; Avaliao orientada por valores, onde estes so os principais elementos verificados pelos tericos Scriven e Eisner (cabe ao avaliador a emisso de juzos de valor) e Stake (menor nfase); Avaliao orientada para deciso, procurando destacar a preocupao dos responsveis pela tomada de deciso e dos usurios das informaes da avaliao - Stufflebeam; Cronbach, Stufflebeam e, anteriormente, Stake, acreditam que o trabalho da avaliao deva ser dividido entre todos os membros da equipe. Ao final, Cronbach mostra-se otimista quanto importncia da avaliao, na medida em que a sociedade passa a utilizar informaes para iluminar suas linhas de ao.