Produção científica: avaliação da qualidade ou ficção contábil?

Kenneth Rochel de Camargo Jr.

Ideias Centrais:
 O autor realiza uma problematização dos critérios de avaliação das produções
acadêmicas que focam mais em números do que no real sentido da avaliação. São
apontados os inúmeros aspectos de contradição entre o que tais avaliações se
propõem e o que de fato encorajam, desde a pressão competitiva para publicar,
até as estratégias de manipulação que são criadas em função desta lógica. Nesse
sentido, o próprio autor destaca que “a questão principal é que substituir a
avaliação de qualidade da ciência por qualquer avaliação baseada
predominantemente em indicadores quantitativos é em si problemática, no
mínimo” (p. 1708), de modo que a ênfase na suposta “objetividade” de
indicadores numéricos leva a que não se questione o aspecto fundamental
(sentido) da utilização de tais indicadores.
 Para o autor, não tem existido ousadia nas proposições de inovações nos processos
avaliativos que considerem efetivamente a qualidade da produção. Em resposta à
essa estagnação, ele convida a comunidade científica a pensar as vantagens da
implementação de uma sistemática qualitativa de avaliação, sugerindo uma
ruptura com a tradição de ranqueamentos segundo indicadores quantitativos. Ele
propõe o uso indicadores sociais qualitativos nos processos de análise das
pesquisas, sugerindo que a avaliação se dê sobre “um pequeno conjunto de
produtos (não necessariamente publicações) ligados ao projeto ou ao programa
que possam ser examinados, para que a elusiva qualidade da produção seja de fato
considerada nas avaliações” (p. 1709).
 O autor aponta, ainda, as possíveis críticas à implementação de um modelo
qualitativo de avaliação das produções, que poderiam questionar se esta não
passaria a ser muito subjetiva e passível de manipulação. No entanto, ele recorre
à explicação de que os números são também manipuláveis e já estão sendo alvo
de estratégias corruptivas no modelo atual.

Questões:
1. Por que, depois de tanto tempo, ainda nos vemos na eterna dicotomia objetivo x
subjetivo (nesse caso, falando sobre a avaliação da produção acadêmica)?
2. Por que seguimos pensando que apenas as avaliações que envolvem subjetividade
(nesse caso, o exemplo da entrega dos cinco melhores trabalhos para avaliação)
são sujeitas a manipulação? No atual modelo, quantitativo, muitos exemplos
foram dados de manipulação por parte do pesquisador – pagar para revista
publicar, pagar para publicar livro, citação mútua, muitos autores por artigo, etc.
3. Como provocar esta reflexão em áreas de conhecimento que se baseiam quase que
exclusivamente no viés quantitativo de produção?