ADMINISTRAÇÃO DE EMPRESAS
ADMINISTRAÇÃO COM ÊNFASE EM COMÉRCIO
EXTERIOR
SÃO PAULO
ABRIL / 2005
2
ORIENTAÇÕES GERAIS
A concepção das provas pressupõe especificidades quanto aos objetivos e à modalidade de avaliação.
Devem ser de grande abrangência quanto ao que é avaliado (habilidades cognitivas e conhecimentos). É
fundamental a abordagem da prova e questões em termos de universalidade. O entendimento do que é
proposto na prova, para o examinando resolver, não pode depender de contextos particulares do processo
de ensino-aprendizagem ou de experiências de aprendizagem específicas desenvolvidas, com uma ou
outra referência bibliográfica desconhecida pela maioria.
Quanto ao formato da prova, é importante que se atente para o número de questões, a ordem da disposição
das partes (múltipla escolha ou discursiva) na prova e o peso de cada parte.
Ao estruturar e construir as provas é preciso compreender o significado dos tipos de questões, do número
de questões e dos pesos estabelecidos.
No processo de construção das provas impõe-se considerar, além das referências teórico-metodológicas,
objetivos e modalidade da avaliação, as orientações e procedimentos básicos comuns a todas as provas,
apresentados a seguir.
Tabela de Especificação é uma matriz de dupla entrada em que se relacionam os pontos dos conteúdos a
considerar, nas linhas, e as habilidades a serem aferidas, nas colunas, ou vice-versa, para um primeiro
mapeamento da distribuição das questões que deverão compor a prova. No cruzamento das linhas e
colunas registram-se, nas células, o número de questões ou o número das questões, contemplando a
relação habilidade / conteúdo que melhor atende à concepção da prova.
A partir daí é que se elaboram as questões, que devem ser em número maior do que o estipulado em cada
célula. No processo de sucessivas revisões das questões são definidas ou selecionadas aquelas que
deverão compor a versão final da prova.
Em todas as provas, as questões devem abordar os conteúdos, de acordo com os conteúdos programáticos
definidos para as disciplinas.
A concepção da prova deve ser tal que as questões verifiquem, sobretudo, habilidades básicas como
raciocínio lógico, análise crítica e utilização dos conhecimentos adquiridos na interpretação e resolução de
problemas e/ou situações, e não somente conteúdos.
0 procedimento de planejar a prova tendo por base uma Tabela de Especificação tem por objetivo que ela
seja construída com questões relevantes, que representem uma amostra significativa e equilibrada dos
conhecimentos e habilidades a serem avaliados, e que possibilite verificar a validade de conteúdo.
Concluído o processo de elaboração da prova, a Tabela de Especificação deve ter o formato reorganizado,
discriminando, para cada questão, a(s) habilidade(s) e o(s) conteúdo(s) que pretende avaliar.
O primeiro impacto do aluno ao ler as questões deve ser o de que os assuntos abordados são de seu
conhecimento, não necessariamente as respostas; ou seja, o aluno deve reconhecer que as questões
propostas ter relação com o que foi trabalhado em algum momento do seu curso.
Para compor uma prova significativa e agradável, os conteúdos abordados devem ser familiares aos
examinandos, de modo que, à primeira vista, eles percebam que a sua resolução é possível. Assim, as
questões devem ser referentes a situações compatíveis com a vivência do aluno.
Outro ponto é que as questões devem ser formuladas de tal maneira que ele sinta interesse em
respondê-las, que desperte a sua motivação para a leitura e resolução da prova. A leitura da prova deve
ser agradável. Não se deve incluir questões longas e desnecessariamente complicadas na sua propositura.
Particularmente, as primeiras questões devem provocar o ânimo para dar início à resolução da prova.
Portanto, deve-se definir cuidadosamente as questões que vão iniciar a prova: mais fáceis e mais atraentes.
b) Texto orgânico
A prova deve ser sustentada por um eixo que expresse as diretrizes estabelecidas, no que concerne à sua
proposta pedagógica de formação do profissional em nível de graduação, e o conjunto das questões deve
apresentar-se de modo que os temas / tópicos abordados sejam coerentes e coesos.
Uma prova não pode ser constituída de um aglomerado e justaposição de questões isoladas, sem qualquer
relação entre elas. As questões na prova devem ser organizadas seqüencialmente e ordenadas segundo
uma estruturação lógica, tendo como referência o conteúdo abordado nas questões e considerando a sua
forma.
Um critério para a ordenação das questões, em provas que utilizam questões de complementação múltipla
e asserção-razão, é agrupá-las sob a mesma instrução e mesma chave de respostas. Esse procedimento
proporciona economia de tempo para a leitura das instruções, permitindo ao examinando concentrar-se na
compreensão e resolução da questão e não nas mudanças de instruções, além de reduzir a extensão da
prova.
Para o aluno, o exercício da leitura e resolução das questões da prova deve fluir, considerando as suas
estruturas cognitivas, sem causar rupturas na lógica do seu pensamento, na passagem de uma questão
para a seguinte, do início ao final da prova,
As provas devem ser adequadas para resolução dentro do tempo disponível para a realização, definido por
cada professor.
Deve-se considerar que, para responder questões de múltipla escolha, o tempo gasto é de um a três
minutos por questão, em média, dependendo da sua extensão, da complexidade para a resolução do que é
proposto e da natureza do material: verbal ou quantitativo, que envolve cálculo.
Para estimar o tempo necessário para a resolução de questões discursivas, sugere-se o seguinte
procedimento: (a) responder cada uma de modo completo e adequado, registrando-se o tempo despendido;
(b) tomar como estimativa o valor encontrado multiplicado por quatro.
Nas provas com questões discursivas em que o aluno deve escolher um número determinado para
responder, dentre as apresentadas, deve-se considerar o tempo necessário para o aluno responder às
selecionadas, acrescido do tempo para leitura e análise de todas as questões e para a decisão da sua
escolha.
Como a relação tempo disponível para a realização da prova e o número de questões a serem resolvidas
pode afetar o estado de ansiedade dos alunos, comprometendo a sua concentração, a prova como um todo
e as questões devem ser bem equacionados quanto à extensão e complexidade, de modo que a maioria
dos alunos tenha tempo suficiente para responder à maioria delas, com um mínimo de tranqüilidade.
9 RELEVÂNCIA
Há uma idéia equivocada de que as questões de múltipla escolha avaliam apenas a mera memorização de
conhecimentos de fatos específicos, detalhes, listas, etc., e estimulam a fragmentação do conhecimento,
enquanto as questões discursivas são apropriadas para a avaliação de habilidades mais complexas como
aplicação de conhecimentos ou análise de relações, etc. Ambas as formas de questões podem exigir a
organização e integração do conhecimento.
Os dois tipos de questões - múltipla escolha ou discursiva - podem ser usados para avaliar habilidades
cognitivas / conteúdos considerados importantes como resultado de um processo educacional.
As boas questões de múltipla escolha são concebidas e elaboradas para o examinando demonstrar
criatividade, pensamento critico ou outro desempenho original, ao escolher a sua resposta entre as
alternativas apresentadas. Questões de múltipla escolha bem concebidas e bem elaboradas não permitem
que o examinando responda corretamente com base em simples reconhecimento, memorização, ou
associação verbal sem a menor importância,
As boas questões discursivas também são concebidas e elaboradas para o examinando demonstrar
pensamento crítico e original no desenvolvimento da resposta, Questões discursivas bem concebidas e
bem elaboradas não podem ser respondidas com base apenas na memorização.
O que uma questão avalia depende mais do que se propõe avaliar, portanto de quem a elabora, do que do
tipo da questão; depende mais do que se propõe na questão do que do modo como o examinando
responde.
As provas devem privilegiar as questões que avaliem a construção e produção de conhecimento. Não pode
incluir questões de interesse secundário ou tópicas, que avaliem detalhes, conhecimentos pontuais sem
aplicação, ou que avaliem exclusivamente a simples memorização.
9 ESPECIFICIDADE
As questões das provas devem ser concebidas de acordo com a especificidade da área e nível de ensino
avaliado, de modo que não possam simplesmente ser respondidas com base em conhecimentos gerais. As
questões das provas devem exigir competência específica no campo específico da área.
Uma questão discursiva tem especificidade se um bom leitor, inteligente, atualizado e culto, que não domine
o conteúdo da prova, não consegue delinear qualquer aproximação da resposta correta. Se se trata de
questão de múltipla escolha, não consegue resolvê-la; e, numa prova composta por esse tipo de questão,
obtém uma pontuação próxima do acerto ao acaso.
Explicando melhor: há falha quanto à especificidade em questões elaboradas para avaliar a capacidade de
resolver problemas, analisar situações, ou interpretar fenômenos, por exemplo, se houver falha na
construção das questões em relacionar essas habilidades com problemas, situações ou fenômenos que
impliquem em domínio de conhecimentos desenvolvidos em situação regular de ensino de graduação.
Quando se trata de questão discursiva, essa relação pode ser vista de modo diferente. Além da proposta da
questão, é, sobretudo, na resposta do examinando que se evidencia e se avalia a especificidade
necessária.
Na elaboração das questões, para assegurar a sua especificidade, deve-se recorrer à literatura específica e
fortemente recomendada na área.
9 OBJETIVIDADE
As questões das provas, para atenderem à característica de objetividade, devem ser claras, com frases
bem estruturadas e palavras de significado preciso; apresentar todas as condições e qualificações
necessárias para que haja uma e apenas uma resposta correta; e as respostas devem ser bem delimitadas.
9 PROPRIEDADE DO CONTEÚDO
As questões das provas devem primar pela correção do conteúdo abordado, tendo como parâmetro o rigor
do conhecimento científico, e que tenha fundamentação em bibliografia atual e considerada básica na área.
Os conceitos tratados nas questões devem ter precisão científica e ser atualizados. O rigor científico deve
ser adotado tanto na concepção das questões, quanto na apresentação de dados, informações, tabelas,
figuras e quadros. As unidades de medida devem ser explicitadas, e, obrigatoriamente, de acordo com o
Sistema Internacional de Unidades.
Cabe ressaltar que as questões não devem abordar temas polêmicos ou que possam gerar confusão e/ou
dúvidas. Nas questões de múltipla escolha, essa abordagem suscita dúvida quanto ao gabarito; nas
questões discursivas, essa abordagem geralmente é formulada em enunciados genéricos e, na correção
podem sofrer influência da opinião ou viés do avaliador, comprometendo a confiabilidade no instrumento.
Em hipótese alguma se pode partir de premissas falsas ou de textos, fórmulas, ou qualquer outro tipo de
informação com erro conceitual no enunciado, tanto nas questões de múltipla escolha, como nas
discursivas. Acrescente-se que, em hipótese alguma nas questões de múltipla escolha pode ser tratado
tema considerado controverso para especialistas da área, seja em enunciados, seja nas alternativas.
As questões também não devem abordar temas tratados de maneira diversa por diferentes correntes
teóricas ou filosóficas, a menos que essa diversidade esteja explicitada no enunciado da questão e
considerada na correção.
9 ORIGINALIDADE
As questões devem ser inéditas, solicitando explicações não preparadas previamente, pois, caso contrário,
o examinando pode responder por simples memorização, e não se poderá inferir que ele possui as
habilidades e domina os conhecimentos que se pretendeu avaliar.
Ineditismo aqui se refere à concepção ou formulação da questão, ou seja, a questão não deve ter sido
publicada anteriormente e nem aplicada em nenhuma situação de ensino ou de avaliação. Na categoria de
questão inédita não se pode aceitar as que resultam de modificações superficiais em questões já
publicadas.
9 ABORDAGEM INTERDISCIPLINAR
As questões devem ser interdisciplinares, sempre que possível, integrando conhecimentos de matérias
básicas e profissionais, e relacionando conhecimentos de diferentes matérias / disciplinas básicas ou
profissionais, evitando abordagem isolada de tópicos compartimentados.
Para que uma questão tenha abordagem interdisciplinar, um bom caminho é construí-ia a partir de uma
situação, caso, problema, etc. - com o foco na habilidade e na relação de conhecimentos que podem ser
requeridos para respondê-la -, para verificar a capacidade de obtenção de soluções baseadas em análises
globais, considerando os múltiplos aspectos envolvidos na identificação de alternativas mais favoráveis.
9 CONTEXTUALIZAÇÃO
As questões devem ser contextualizadas, sempre que a sua abordagem assim o exigir. A contextualização
deve ser entendida como parte integrante da questão. Contexto, nesse caso, significa informações ou
dados - elementos pertinentes e necessários - introduzidos para compor ou dar sentido ao enunciado, com
vistas à melhor compreensão do problema a ser resolvido, e, em certos casos, para a sua resolução.
O procedimento de contextualizar um problema, em questões para avaliação, funciona para dar o sentido
da globalidade ao recorte que se faz para o que se propõe resolver, que, inevitavelmente, simplifica a
realidade ou uma dada situação hipotética plausível.
A respeito disso é importante chamar a atenção para um cuidado. É muito comum construir questões com a
intenção de apresentá-las em um contexto, e este ser totalmente desnecessário para respondê-la. Nesse
caso, confunde-se contextualização com enfeites ou penduricalhos, os quais só atrapalham e dificultam o
entendimento da questão e podem desviar a atenção do cerne da questão.
Essa visão equivocada de questão contextualizada ocorre porque se confunde o procedimento de ensino
contextualizado com questão contextualizada numa situação de avaliação.
Questões elaboradas com essa distorção ficam comprometidas em sua qualidade, visto que demandam
tempo na leitura e compreensão dessa pseudo-contextualização, prejudicando os bons alunos, que tentam
entender o sentido das informações e a sua relação com o que se pede, para respondê-las.
9 ABORDAGEM DO COTIDIANO
As questões devem, sempre que possível, e desde que seja pertinente e relevante, abordar fatos do
cotidiano, situações práticas e problemas comuns. Nessa direção, os temas tratados nas questões devem
ser articulados com situações, fatos, problemas, cenários que estejam presentes no cotidiano do exercício
profissional da área e da vida atual, de uma maneira geral.
Questões que abordam situações alheias ao cotidiano do aluno podem não ser interessantes ou atrativas,
ou não ser adequadamente respondidas, ainda que sejam tecnicamente bem elaboradas.
Questões que abordam problemas reais é concretos da prática profissional, enfocando temas atuais,
tornam-se significativas.. Exigem observação, análise, avaliação e decisão, e permitem avaliar a
capacidade de solucionar problemas e de estabelecer relações entre conteúdos de diferentes matérias /
disciplinas do currículo e de integrar conhecimentos de matérias / disciplinas básicas e profissionais. E,
nesse caso, os problemas devem ser claramente contextualizados.
As provas deve abordar a realidade brasileira, de forma que os problemas propostos devem ser
predominantemente referenciados a ela, em termos de suas características internas, ou de sua relação com
o mundo contemporâneo.
9 ABORDAGEM UNIVERSAL
Conceitos, fatos, terminologias, usos, etc. referidos nas questões devem ser de caráter universal, isto é, que
sejam de conhecimento generalizado pelo universo de examinandos submetidos à avaliação, para não
beneficiar e/ou prejudicar determinados grupos de alunos.
Portanto, as questões não devem abordar aspectos que sejam trabalhados de modo localizado e exclusivo
nos conteúdos de determinados cursos, e que sejam de domínio restrito dos alunos das respectivas
regiões. A terminologia, objetos, fatos e situações referidos nas questões devem ser conhecidos e de uso
corrente em termos nacionais.
Entende-se que a atitude de intransigência nas relações étnico-culturais significa, de fato, ocultação de
posicionamento sócio-político e não se pode admiti-ia no processo de ensino – aprendizagem e em
materiais e avaliações educacionais.
As questões devem ser redigidas de maneira clara e concisa. A redação deve ser de construção simples,
em ordem direta, elegante, correta, segundo padrões da norma culta. A linguagem não deve conter
ambigüidade, as expressões e palavras utilizadas não devem causar dúvidas quanto ao sentido.
A forma como é redigida uma questão pode influenciar a postura do aluno no processo avaliativo. Erros
gramaticais, de pontuação ou abreviação podem distraí-lo e ter efeitos negativos sobre a sua concentração
e desempenho.
A atenção e o empenho do aluno para compreender e resolver uma questão devem ser prioritariamente
direcionados para a resolução do que é proposto. Não podem ser desviados em decorrência de
imprecisões de linguagem, redação de construção complicada, ou pela linguagem prolixa, que resulta em
extensão desproporcional, sem propósito na questão.
Questões sucintas propiciam ao examinando mais tempo para a leitura crítica e resolução de cada, questão
e tornam-se menos cansativas.
As questões devem fornecer os elementos necessários à sua resolução como: textos, informações técnicas
específicas, fotos, ilustrações, figuras, gráficos, tabelas e fórmulas. Esses devem ser fornecidos nas
situações em que não tem relevância a memorização de seu conteúdo. Só devem ser incluídos se tiverem
função na questão, ou melhor, se forem absolutamente necessários para a resolução da questão.
A sua funcionalidade pode ser verificada com um simples procedimento de leitura da questão, com a sua
retirada, e constatação se implica em prejuízo no entendimento e resolução do que é proposto.
Esses elementos devem ser completos, o suficiente e necessário, para resolver o problema proposto ou
para a análise que pede a questão. Além disso, devem ter correção técnica ou científica. Nesse caso,
deve-se recorrer a fontes fidedignas. O uso de fotos, figuras, tabelas, etc. em questões, requer também o
cuidado quanto à nitidez e legibilidade de todos os detalhes, e, ao mesmo tempo, com o tamanho ou
extensão, ou seja, proporcional idade do espaço que ocupa na questão.
As tabelas, figuras, mapas, fotos, textos, segmento de texto utilizados nas questões devem estar
referenciados, de acordo com as normas da ABNT, e os quadros, tabelas e gráficos devem ser atualizados
e apresentados conforme as normas técnicas.
Recomenda-se que seja permitido o uso de calculadora para resolver as questões da prova.
Evidentemente, a concepção de questões de uma prova deve levar em consideração a possibilidade de uso
ou não de calculadora em questão que exige cálculo na sua resolução. A própria permissão ou não desse
instrumento já é um indicador do tipo de questão que deve compor essas provas. Uma precaução na
construção da questão, nesse caso, é que o recurso da calculadora não prejudique a avaliação da
habilidade prevista.
Da mesma forma, é necessário considerar na elaboração de provas onde é permitida consulta à bibliografia
impressa. Resolver uma prova com ou sem consulta tem diferença; e na elaboração das questões deve-se
ter em conta esse fator. É preciso cuidado para não propor questões cuja resposta pode ser encontrada
diretamente em material de consulta que comprometa a aferição da habilidade que se pretende avaliar.
9 PODER DE DISCRIMINAÇÃO
Para se obter informação de qualidade por meio da avaliação, as questões da prova devem ser
discriminativas. Isto significa que os examinandos que apresentam melhor desempenho na prova devem
ser mais bem-sucedidos, em cada questão, do que aqueles que apresentam desempenho mais fraco.
O índice de discriminação de uma questão é calculado com os resultados da aplicação da prova, mas as
questões devem ser elaboradas tendo em vista alcançar bons índices de discriminação. Questões com
índice médio de facilidade, em geral, apresentam bons índices de discriminação.
Alguns cuidados importantes devem ser tomados na construção das questões para que discriminem bem
os diferentes níveis de desempenho dos alunos:
# Não elaborar questões extremamente fáceis, nem extremamente difíceis - questões que a maioria
acerta ou a maioria erra, não discriminam;
# Escolher habilidades / tópicos / idéias, para desenvolver as questões, que muito possivelmente
resultarão em bons índices de discriminação;
Cabe ressaltar que é de fundamental importância a elaboração das questões atendendo rigorosamente às
recomendações técnicas e aos demais procedimentos para alcançar bons índices de discriminação.
ORIENTAÇÕES ESPECIFICAS
Questão objetiva é aquela em que o examinando, basicamente, reconhece e assinala a resposta correta
entre as apresentadas. Os formatos mais conhecidos são: múltipla escolha, falso / verdadeiro, associação,
ordenação, resposta curta e lacuna, que variam entre si quanto ao mérito e aplicabilidade em situações do
processo de ensino-aprendizagem e níveis de ensino.
As questões de múltipla escolha são consideradas como o tipo mais amplamente utilizado, mais confiável e
válido das questões objetivas. São também as que podem alcançar maior poder de discriminação.
Em provas de questões de múltipla escolha, assim como de outros tipos de questões objetivas, o número
de questões é um fator importante a ser considerado para se garantir a qualidade do instrumento. Quanto
mais abrangentes as habilidades e os conteúdos a serem avaliados, maior deve ser o número de questões
a compor a prova para garantir a validade do instrumento. Numa prova bem elaborada quanto à qualidade
técnica e pedagógica das questões, quanto maior o número de questões, maior será a confiabilidade dos
seus resultados.
Questões de múltipla escolha podem ser estruturadas de várias formas, sendo que as mais comumente
adotadas em avaliação de processo de ensino-aprendizagem são: complementação simples, resposta
única, interpretação, resposta múltipla, asserção-razão, pictórico, lacuna, associação e item negativo.
Inúmeras outras são referidas em literatura especializada, em geral, variações das formas citadas.
Basicamente uma questão de múltipla escolha tem um enunciado seguido de alternativas. O enunciado é
também chamado de raiz ou suporte da questão; e as alternativas são chamadas também de opções de
resposta, sendo que as incorretas denominam-se distratores.
Não há preferência por uma forma ou outra; ambas são igualmente válidas; e a opção é determinada pela
facilidade, simplicidade e clareza na redação.
A questão de complementação simples pode levar à incoerência das alternativas com o enunciado,
limitando a plausibilidade dos distratores, à medida que vão sendo construídas. A questão de resposta
única favorece a construção de alternativas com homogeneidade.
O enunciado e cada uma das alternativas dessas questões devem guardar perfeita harmonia entre si,
completando ou respondendo o enunciado de forma clara e precisa, cuidando da plausibilidade dos
distratores.
9 INTERPRETAÇÃO
A questão de múltipla escolha de interpretação é formulada a partir de uma situação-estímulo que compõe
o enunciado. A situação-estímulo faz parte do problema e a partir dela o examinando organiza as idéias,
dados ou informações para resolvê-lo. Portanto, o examinando utiliza as informações contidas na
situação-estímulo para resolver a questão. São exemplos de situação-estímulo: texto, caso, tabela, quadro,
diagrama, gráfico, figura, mapa ou ilustração que devem ser extraídos de fonte fidedigna, com as devidas
referências.
A questão de interpretação pode estruturar-se como frase incompleta ou pergunta. As alternativas devem
responder à pergunta ou completar a frase proposta no enunciado, de forma clara e precisa, cuidando da
plausibilidade dos distratores.
As situações-estímulo podem ser utilizadas para uma questão ou conjunto de questões. Nesse caso, é
necessário explicitar, ao apresentar a situação-estímulo, a sua utilização para responder à(s) questão(ões).
Além disso, deve-se construir um número de questões relacionadas à situação apresentada que seja
proporcional à sua extensão e complexidade. Esse procedimento pode ser útil como estratégia para a
adequação da extensão da prova.,
A situação-estímulo selecionada deve ser coerente com as habilidades / conteúdos a serem avaliados na
questão e a sua exploração deve ser relevante, válida, pertinente e adequada, tomando-se cuidados
especiais com o tamanho, forma e composição desse material que deve ser legível para não comprometer
a qualidade da questão.
9 RESPOSTA MÚLTIPLA
A questão de múltipla escolha na forma de resposta múltipla é também conhecida como complementação
múltipla ou múltipla escolha complexa. A composição desse tipo de questão consiste de três ou quatro
afirmações, relacionadas com o tema explicitado no enunciado e de uma chave de respostas, onde são
apresentadas as alternativas de resposta, propriamente ditas, sendo que em cada uma delas consta
qual(is) afirmação(ões) dentre as apresentadas é (são) verdadeira(s), em relação à proposta da questão.
Para responder a essa questão, o examinando deve analisar as afirmações em relação ao tema proposto
no enunciado, se verdadeiras ou falsas, e identificar na chave de resposta aquela que corresponde ao
resultado da análise efetuada.
A opção pela questão de resposta múltipla é recomendável apenas para aquelas situações em que a
avaliação requer a identificação de mais do que uma resposta. Em outras palavras, se o desempenho do
examinando, relativamente a determinada habilidade / conteúdo, é aferido mediante a evidência de domínio
de diversas e definidas proposições.
O uso de questões de múltipla escolha de resposta múltipla deve ser com parcimônia, porque seu formato é
mais complexo e menos familiar para os examinandos, em geral. No máximo 10% do total de questões da
prova poderão apresentar essa forma de construção.
No processo de construção de uma questão de resposta múltipla é importante ter claro o que a concepção
desse formato requer. Ela não deve ser conseqüência de dificuldade na elaboração de alternativas de
questão de complementação simples (formular distratores que sejam plausíveis).
As questões com esse formato deverão, preferencialmente, ser agrupadas sob a mesma instrução e
mesma chave de respostas, como no exemplo a seguir.
Em casos específicos, se essas questões não puderem ser agrupadas, a chave de respostas deve ser,
preferencialmente, com as mesmas alternativas, repetindo-se a instrução para cada questão proposta
individualmente.
• A chave de respostas deve ser feita de tal forma que as combinações não forneçam pistas
quanto à alternativa correta;
• As afirmações verdadeiras devem ser identificadas pelos examinandos que dominam o que é
proposto na questão;
• As afirmações falsas devem causar dúvida quanto à sua veracidade para os examinandos que
não têm um bom domínio sobre o que é proposto na questão;
• As questões não podem conter elementos que favoreçam o acerto por exclusão:
Afirmações verdadeiras não devem ser tornadas falsas pela inserção da palavra
não, pelo uso do prefixo in no verbo, ou por outros artifícios similares, porque
tendem a revelar que são falsas, e evita-se o complicador desnecessário da dupla
negação, que confunde o examinando,
9 ASSERÇÃO-RAZÃO
A questão de múltipla escolha na forma de asserção-razão, também conhecida como análise de relações,
constitui-se de duas proposições ligadas pela palavra porque, sendo a segunda a razão ou justificativa da
primeira. Compõe a questão, ainda, uma chave de respostas, onde são apresentadas as alternativas de
resposta, propriamente ditas, e, cada uma delas contém uma afirmação sobre a veracidade ou falsidade
das proposições, e a relação de causalidade entre elas.
É considerada a forma mais complexa de múltipla escolha e, possivelmente, por essa razão não é muito
comum a sua utilização.
As questões com esse formato deverão ser agrupadas sob a mesma instrução e mesma chave de
respostas, como no exemplo a seguir.
(A) Se as duas asserções forem verdadeiras e a segunda for uma justificativa correta
da primeira.
(B) Se as duas asserções forem verdadeiras e a segunda não for uma justificativa
correta da primeira.
(D)Se a primeira asserção for uma proposição falsa e a segunda uma proposição
verdadeira.
A resolução da questão consiste em analisar a veracidade de cada proposição e se existe relação de causa
e conseqüência entre elas.
As duas proposições devem ser constituídas por frases com sentido completo;
As duas proposições devem ser redigidas de modo que o examinando possa analisar cada uma
independentemente;
Cada uma das duas proposições deve ser absolutamente verdadeira ou sem dúvida falsa;
As alternativas devem ser plausíveis para as questões em que não existe relação de causa e
conseqüência entre as proposições.
Os cuidados específicos recomendados para a elaboração da questão de resposta múltipla são aplicáveis
nas questões de asserção-razão.
A elaboração de questões de múltipla escolha das provas exige que sejam tomados cuidados técnicos,
para não se correr o risco de, depois de aplicada a prova, ter-se a desagradável surpresa de não terem sido
entendidas como se pretendeu e que problemas de formulação resultaram em perda de oportunidade de
levantar a informação desejada, com precisão e qualidade.
A formulação tecnicamente adequada desse tipo de questão requer maior rigor em todos os detalhes
referentes à elaboração, ao enunciado e às alternativas.
O enunciado é uma parte importante da questão de múltipla escolha porque é ele, fundamentalmente, que
determina o nível de habilidade cognitiva que será avaliado, desde a simples memorização até níveis mais
complexos como a capacidade de síntese do aluno. Desse modo, a sua formulação adequada contribui
para a validade da medida do desempenho.
A construção das alternativas, principalmente dos distratores, é uma tarefa complexa, e exige mais domínio
técnico na sua elaboração.
Os distratores devem ser redigidos com aparência de resposta correta, mas sendo inquestionávelmente
incorreta. Eles devem atender à característica de plausibilidade, por exemplo, respostas incorretas, que
guardam semelhança em relação à situação ou outros elementos similares apresentados na alternativa
correta. Assim, eles devem exercer atração, como se fossem respostas corretas, para os examinandos que
não dominam as habilidades e conhecimentos exigidos ou que têm conhecimento incompleto ou superficial
sobre a questão, e, portanto, não sabem identificar qual alternativa responde corretamente ao proposto no
enunciado.
a) As questões devem ter uma única resposta correta. Apenas uma alternativa deve ser
indubitavelmente correta,
A alternativa correta deve conter todas as informações necessárias para que não haja dúvidas
quanto à sua correção.
As questões não podem conter imprecisões, nem falhas de lógica. Problemas dessa ordem
costumam permitir mais do que uma resposta correta, ou nenhuma resposta correta.
As questões não podem conter defeito de estruturação que resultam em nenhuma alternativa
inquestionavelmente correta.
Não formular questões que tratam de temas polêmicos ou que permitem várias abordagens. Esse
tipo de questão pode dar margem a mais de uma resposta correta ou nenhuma resposta correta.
Não formular questões em que se pede para selecionar a melhor resposta ou a mais adequada, a
menos que o teor da questão e a avaliação de desempenho impliquem em habilidades dessa
ordem. Esse tipo de formulação indica que várias ou todas as alternativas podem estar corretas. A
resposta "mais adequada" ou a "melhor" pode ser contestada.
Deve haver independência entre as questões no sentido de que a resposta de uma não dependa
da resposta ou resultado da anterior.
O erro em uma questão pode implicar em erro também nas seguintes, quando as questões
são em cascata.
Uma questão não pode ser favorecida em sua resposta, por elementos contidos em outra.
Questões que os examinandos acertam por exclusão implicam na perda da informação que se
pretendia com sua aplicação.
É aconselhável concluir o enunciado sem artigo (feminino ou masculino), para não induzir ou
afastar, de saída, alguma alternativa.
Termos absolutos ou genéricos (sempre, nunca, todo, nenhum, apenas, somente, totalmente,
completamente, geralmente, usualmente, em geral, etc.) não devem ser empregados, a não ser
nos casos em que a generalização ou a delimitação seja apropriada, isto é, seja relacionada com
o teor do que está sendo tratado,
São exemplos desse tipo de questão,aquelas em que o enunciado é construído com duas,
três ou mais situações, fenômenos, estruturas, etc. para o examinando identificar nas
alternativas quais características, componentes, atributos, fórmulas,, produto, etc,
(respectivamente) correspondem ao exposto no enunciado.
Essas questões são meras questões objetivas do tipo associação, adaptadas para o
formato de múltipla escolha, e, como tal, basta uma única "correspondência" identificada
como inexistente, ou uma única associação correta para possibilitar o acerto da questão.
Com isso, compromete a aferição da habilidade que se pretende avaliar.
Perde-se o possível valor da questão, se ela for respondida por conter elementos que sugerem a
resposta certa.
Geralmente, essa falha resulta em alto índice de facilidade e a questão pode não discriminar.
Não se deve elaborar questões em que palavras ou partes do enunciado são apresentadas como
alternativas de resposta.
Esse formato não é adequado para examinandos de nível superior, revela-se elementar quanto às
habilidades / conteúdos avaliados, impede desnecessariamente a clareza do problema e permite
o acerto por exclusão.
Não se deve utilizar questões com enunciados negativos em que se pede para selecionar a
resposta falsa ou incorreta, ou qual alternativa não responde...
Questões com enunciados negativos poderão ser elaboradas apenas se essa forma for a mais
adequada para verificar a habilidade / conteúdo especificados.
É aceitável esse formato de questão somente para as situações em que o que se pretende
avaliar é o domínio da "exceção da regra", se a proposta pedagógica valoriza esse
conhecimento.
Por outro lado, em algumas áreas, pode ser relevante que o profissional que está sendo
formado deve demonstrar habilidades e conhecimentos relacionados, por exemplo, com
procedimentos e que dependendo das circunstâncias ou certas variáveis, não se deve
adotar determinada conduta. Assim, o formato de questão negativa pode ser o mais
adequado.
Nesse caso, a negativa aparecerá em caixa alta (NÃO, EXCETO, FALSO, etc.) e deverão ser agrupadas,
preferencialmente, sob as mesmas instruções, não excedendo a 5% do total das questões.
Preferencialmente, o enunciado deve ser um problema ou propor um problema, ou, ainda, ser
uma situação-problema.
Deve-se ter claro o foco específico da questão (habilidade / conteúdo) e, em torno dele, formular a
questão.
Enunciados com o problema bem especificado, ou uma situação bem delimitada para
análise, contribuem para a validade e fidedignidade do instrumento.
Enunciados sem um problema específico ou uma situação a ser analisada indicam que não
se tem claro o que se pretende avaliar.
A instrução sobre como responder às questões - assinalar a alternativa correta - deve estar
na capa da prova; portanto, é desnecessário repeti-la nas questões, e não tem sentido
aparecer essa informação em algumas questões apenas.
O enunciado não deve conter termos relativos à instrução como: assinale, indique, aponte,
etc.
Os enunciados não podem ser vagos, pois permitem que as alternativas sejam um conjunto de
frases soltas. Formulações desse tipo não se caracterizam como questão de múltipla escolha e
aproximam-se mais de questões objetivas do tipo falso-verdadeiro, e, mesmo assim, mal-
formuladas.
Um enunciado está mal-formulaclo se, para compreendê-lo, é preciso ler todas as alternativas.
Não se deve incluir frases como, por exemplo: "Podemos afirmar que... ", "...concluímos que... ",
"Consideremos... ", mas, sim, "Pode-se afirmar que... ", "...conclui-se que... ", "Considere-se... ".
Nas questões de formato de resposta única, não se deve perguntar, por exemplo: "Qual a sua
opinião ... ?” "O que você faria ... ?", "Como você agiria... ", mas, sim, "O que deve ser
considerado ... ?" ou "Qual o procedimento ... ?".
Enunciados assim redigidos podem tornar a questão discutível quanto à resposta correta.
Elementos meramente ilustrativos, ou incluídos para enfatizar a importância do que será tratado
ou tornar a questão "mais bonita", mas desnecessários para a resolução, prejudicam
examinandos de melhor desempenho, resultando em baixos índices de discriminação.
Expressão, texto, fórmula, figura, tabela, etc. só podem ser incluídos no enunciado se tiverem
função nas questões.
Todas as palavras ou expressões que seriam repetidas nas alternativas devem ser incluídas no
enunciado, a fim de não tornar as questões desnecessariamente longas.
Todas as alternativas devem começar igualmente por verbo (tempo, modo e conjugação),
substantivo ou adjetivo.
Por exemplo: grandeza crescente ou decrescente dos números, ordem alfabética dos autores,
ordem cronológica dos eventos, etc.
A disposição desordenada das alternativas pode gerar dificuldade para o aluno, além daquela que
pode enfrentar na resolução do problema proposto.
As alternativas tornadas falsas pela inclusão da palavra não na frase, pelo uso do prefixo in
no verbo, ou por outros artifícios similares prejudicam a sua plausibilidade.
Sem esse cuidado, pode-se ter mais de uma alternativa que responde adequadamente ao
proposto no enunciado.
Duas ou mais alternativas que tenham o mesmo significado podem ser automaticamente
eliminadas, aumentando a chance de acerto sem o domínio da resposta.
Duas ou mais alternativas que tenham significados opostos podem ser automaticamente
eliminadas, aumentando a chance de acerto sem o domínio da resposta.
As alternativas devem ter extensão equivalente. Os tamanhos das alternativas devem ser
aproximadamente iguais, a fim de que eventuais diferenças de extensão não atraiam ou afastem o
examinando.
e) As alternativas não devem ser do tipo todas as respostas acima ou nenhuma das respostas
acima.
Esse tipo de alternativa é discordante da instrução de indicar a única resposta correta, que está
na capa da prova. ,
O examinando poderá defender como correta qualquer das alternativas, ou que não há resposta
correta.
Alternativas longas e/ou repetitivas podem levar o examinando a perder o seu verdadeiro
conteúdo.
A alternativa que corresponde à resposta certa e os distratores não devem gerar discussões
quanto à correção por desconsiderar as variáveis que o problema envolve.
Alternativas que abordam temas polêmicos podem ser contestadas por especialistas.
Questões que apresentam alternativa desse tipo, não medirão o real conhecimento do assunto.
QUESTÕES DISCURSIVAS
As questões discursivas, são conhecidas também como dissertativas, abertas, descritivas, tipo ensaio,
resposta construída ou de resposta livre,
Algumas dessas provas apresentam questões, aqui referidas como discursivas, que são também
conhecidas como do tipo problema matemático, em especial as provas das áreas exatas. Outras provas
propõem estudos de caso, como as de Administração. Qualquer que seja a estruturação proposta, valem as
mesmas recomendações técnicas para a elaboração das questões discursivas aqui apresentadas.
Uma prova discursiva é composta de poucas questões, que exigem respostas abrangentes e de extensão
relativamente longa, ao contrário de uma prova com questões de múltipla escolha que requer muitas
questões de respostas relativamente curtas.
A questão discursiva é recomendada para verificar resultados da aprendizagem em que o examinando deve
construir a resposta, com originalidade, e não reconhecê-la entre as alternativas apresentadas, ou
reproduzir o que foi desenvolvido no curso.
Sua estruturação deve dar oportunidade para que o aluno, no desenvolvimento da sua resposta,
É fundamental que a construção da questão discursiva considere a relação harmoniosa entre habilidades e
conteúdos relevantes a serem avaliados.
Cuidados básicos:
a) Não formular questões que possam ser respondidas simplesmente reproduzindo o que é
normalmente trabalhado durante os cursos em sala de aula, ou o que é apresentado nos livros-texto.
b) Não formular questões que peçam "O que", "Quem", "Quando", "Onde", "Quais", "Cite",
"Enumere", por exemplo.
Pode-se ter uma resposta banal, reprodução de uma definição, nome, data, lugar, citações,
resultante de simples memorização.
Se a resposta esperada for mais do que dizer a definição, nome, data, lugar, citações, a pergunta
não foi suficientemente clara. Pode-se ter uma resposta correta, mas não a que e esperada, ou
seja, a resposta possível, mediante a pergunta, não seria suficiente.
c) Não formular questões que peçam "Quais são...?" (quando não há limite), "Cite alguns ...... ",Dê
exemplos ... "
Formulações desse tipo não delimitam a resposta. O examinando não saberia quantos deveria
responder.
Formulações desse tipo permitem tal variabilidade indesejável de resposta que se torna
impossível um critério objetivo de correção. Por exemplo:
No caso da pergunta "Quais são ... ?", quando não há limite, as respostas poderão
variar em número de citações, e, dentre estas, o número de corretas e incorretas, de
resposta para resposta, o que inviabiliza qualquer avaliação justa, objetiva e criteriosa.
É preciso cuidado com algumas formulações, geralmente não intencionais, que admitem uma
resposta simples e direta - afirmativa ou negativa. Por mais bem-intencionada quanto à habilidade
/ conteúdos a serem avaliados, a questão perderá o seu objetivo e se perderá a informação a ser
levantada.
Questões que perguntam "Você acha que ... ?", "É possível...?", "É importante que ... ?", "Deve-se
... ?”, "Você faria ... ?", permitem responder "sim" ou "não", apenas, e, no primeiro exemplo não
seria possível afirmar que a resposta está certa ou errada.
As questões devem ser elaboradas de modo a permitir ao aluno a livre expressão de seu pensamento,
desenvolvimento do raciocínio, e a integração dos conteúdos.
Cuidados básicos:
b) Não se deve formular questões em que o aluno responda simplesmente reproduzindo o que ouviu
em sala de aula ou leu no livro-texto.
As questões discursivas devem ser formuladas com precisão, com orientações especificas e detalhadas, de
modo que o examinando compreenda o que se pede e saiba como proceder para estruturar e desenvolver
a sua resposta.
A tarefa a ser desenvolvida, pelo examinando, deve ser definida de maneira específica, completa, e com
clareza.
A questão deve conter indicações para o aluno julgar quão abrangente deve ser a resposta para ser
considerada completa e exata.
Quanto mais detalhadas e explícitas as orientações para responder às questões, e mais claro estiver o que
se espera como resposta, a medida obtida na avaliação será mais objetiva e confiável.
Cuidados básicos:
Não se deve empregar, no enunciado, expressões como "resumidamente", "em poucas linhas" ou
"de maneira sintética", pois não delimitam objetivamente a abrangência da resposta, e são muito
relativos.
b) Não empregar proposições vagas como "Comente... ", "Discuta... ", “Discorra...”, "Disserte... ",
"Dê sua opinião sobre... ", "O que você pensa... ", “Fale sobre ... ", "O que você pensa sobre... ", "O
que você acha ... ", "Discorra sobre... ", "Teça comentários sobre...", "O que você entende... ", "O
que você sabe... ", "Discuta... ", "Diga o que sabe sobre... "
Questões desse tipo não orientam a resposta, não deixam claro o que se pede e permitem que o
aluno dê qualquer resposta, podendo acontecer:
Dissimulação da resposta com digressões enganosas por aqueles com aptidão para a
escrita, concentrando mais na forma, com uma redação elegante, abordando
tangencialmente e superficialmente o conteúdo;
Na correção dessas questões não se pode ter claramente um critério para correção e é difícil
julgar se a resposta dada está certa, par,ialmente certa ou errada.
Além disso, a falta de dados e informações prejudica não só a compreensão do problema proposto, mas
pode trazer conseqüências sérias para a avaliação, pois pode conduzir a uma questão sem possibilidade de
resposta.
Em questões subdivididas em itens, estes não podem depender uns dos outros em forma de cascata, em
que a resposta de um depende da resposta ou resultado do anterior, pois, nesse caso, o erro em um implica
errar também o outro.
A incapacidade do examinando em resolver um dos itens da questão não deve limitar a possibilidade de
responder outro(s).
As questões devem fornecer elementos como textos, informações técnicas específicas, tabelas, figuras,
fórmulas, etc., mas que sejam necessários à sua resolução, e não como elementos figurativos ou
ilustrativos.
Esses elementos, em geral, demandam tempo para compreensão e análise e, se não tiverem função na
questão para responder ao que é proposto, os alunos ficarão desapontados, por destinar um tempo para a
resolução da questão, desnecessariamente, que poderia ter sido utilizado em outras.
Essas e outras falhas na estruturação da questão podem induzir o aluno a erros ou à perda de interesse e
motivação para respondê-la. Na elaboração das questões, deve-se fazer da prova um instrumento de
verificação de habilidades, com base nas potencialidades do aluno, sem utilizar artifícios que só prejudicam
a confiabilidade na avaliação.
Enquanto a qualidade da questão de múltipla escolha é, em grande parte, determinada pelos cuidados na
sua elaboração, a qualidade da questão discursiva e, em grande parte, determinada pelos cuidados na
correção. Desse modo, deve-se estabelecer procedimentos e padrões de qualidade objetivos para avaliar
as respostas, para assegurar a fidedignidade à avaliação.
Existem dois métodos comumente utilizados para a correção de questões discursivas - o analítico e o
holístico ou global
Para a correção pelo método analítico, ao elaborar cada questão constrói-se a sua chave de correção que
inclui:
A gradação de valores: a partir de onde a resposta é totalmente certa, até onde se considera que
a resposta atingiu três quartos, metade ou um quarto do total, ou outro critério.
É importante estabelecer o critério de atribuição de pontos para a correção das questões e dos itens das
questões para realizar uma avaliação objetiva e criteriosa. Dar a justificativa dos pontos atribuídos, explicar
a pertinência dos aspectos considerados essenciais na resposta-padrão, enfim, dar confiabilidade aos
resultados da avaliação.
Redação inadequada;
Ausência de dados ou informações importantes;
Inadequação do grau de dificuldade ou de complexidade;
Possibilidade de baixa discriminação;
Inexistência de resposta ou de solução possível.
A explicitação do valor das questões e de cada item das questões, na prova, ajuda o examinando a decidir
o que responder, caso o tempo não seja suficiente para respondê-los integralmente – todas as questões e
todos os itens de todas as questões -, e de, uma certa maneira, informa a profundidade de resposta
esperada na questão e as partes essenciais da resposta.
Embora não seja objeto desse Manual, cabe alertar para a importância do processo de correção de
questões discursivas, Se não for cuidadosamente desenhado, com homogeneização na aplicação dos
critérios, manutenção do padrão de correção, etc., a confiabilidade do resultado da avaliação fica
comprometida, a despeito de todos os cuidados na preparação do instrumento.