ARTIGOS

Indicadores quantitativos: reflexes que antecedem seu estabelecimento*

Piotr Trzesniak
INDICADORES QUANTITATIVOS, VIRTUDES E LIMITAES Quantificao e modelagem Uma das mais importantes metas da busca do conhecimento a obteno de modelos. Por modelo entende-se um procedimento de qualquer natureza (prtico, matemtico, grfico, verbal...) capaz de, em todos os aspectos relevantes, reproduzir uma relao de antecedentes (causas) e conseqentes (efeitos) de forma idntica como essa relao ocorre no universo em que nos inserimos. Por concentrar-se nos aspectos relevantes, o modelo corresponder a uma simplificao do evento real, e justamente a que residem sua fora e suas vantagens: sem pagar o preo integral, sem necessitar da ocorrncia do evento em si, pode-se prever como se comportar o universo (cincia), ou pode-se determinar como nele induzir uma determinada configurao final (tecnologia). Na quase totalidade dos casos, isso representa uma economia muito significativa (no mais amplo sentido possvel). As chamadas cincias exatas, mais especialmente as fsicas e as engenharias, acumulam um acervo enorme de resultados de grande sucesso em favor do bem-estar do ser humano. Tal sucesso estrutura-se em modelos matemticos que representam, de maneira excelente, os processos pertinentes e, sem dvida, decorre decisivamente de uma quantificao muito bem elaborada. H mais de cem anos (cerca de 1860), dizia William Thomson (que posteriormente recebeu o ttulo de Lord Klvin)1:
* Colaborao voluntria apresentada durante o Seminrio sobre Avaliao da Produo Cientfica, realizado em So Paulo pelo Projeto SciELO, de 4 a 6 de maro de 1998.

Afirmo muitas vezes que, se voc medir aquilo de que est falando e o expressar em nmeros, voc conhece alguma coisa sobre o assunto; mas, quando voc no o pode exprimir em nmeros, seu conhecimento pobre e insatisfatrio; pode ser o incio do conhecimento, mas dificilmente seu esprito ter progredido at o estgio da Cincia, qualquer que seja o assunto. Hoje em dia, talvez possamos considerar o entusiasmo de Klvin um tanto exagerado, mas no difcil compreend-lo: os fenmenos das fsicas e das engenharias prestam-se de maneira absolutamente perfeita quantificao e modelagem matemtica. Aos aspectos relevantes dos processos naturais, foi possvel associar grandezas, capazes de serem medidas em termos de unidades e instrumentos apropriados. Considere-se, por exemplo, a noo de quente e frio: atravs da grandeza fsica temperatura e do emprego de termmetros , essa noo pode ser transformada em nmeros que fazem sentido para todos ns. O que acontece a um ser humano abandonado sem proteo em um ambiente de temperatura -40 C? 24 C? 150 C? Isso parece muito simples, considerando-se a dimenso dos resultados que mostrou propiciar. Por que, ento, no estendido a todas as reas do conhecimento humano? Esforos nesse sentido existem em muitas delas: econometria, para a economia; sociometria, para as cincias sociais; psicometria, relativa personalidade e certas habilidades do ser humano. Veja-se, para ilustrar (e tambm para mostrar que o entusiasmo pela quantificao no esmoreceu nesses ltimos 150 anos), o que pre-

Resumo
O trabalho indica alguns aspectos a serem considerados para a construo sistematizada de indicadores quantitativos referentes a processos de qualquer natureza, incluindo propriedades como relevncia, gradao de intensidade, univocidade, padronizao e rastreabilidade. Palavras-chave Indicadores Metodologia.

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998

159

Indicadores quantitativos: reflexes que antecedem seu estabelecimento

coniza o controle total da qualidade, uma rea de interface exatas/sociais de grande prestgio na atualidade, cujo objeto o gerenciamento otimizado do fornecimento de produtos e servios2: Os itens de controle de um processo so ndices numricos estabelecidos sobre os efeitos de cada processo para medir a sua qualidade total. Os itens de verificao de um processo so ndices numricos estabelecidos sobre as principais causas que afetam determinado item de controle. O sucesso alcanado nessas cincias, no entanto, no se compara ao obtido nas exatas. Qual, ou melhor, quais as razes para isso? No fcil estabelecer grandezas Em primeiro lugar, o exemplo da temperatura de fato simples, mas no seria honesto tom-lo como representativo para balizar o estabelecimento e refinamento de grandezas, nem mesmo dentro das cincias exatas. Embora outras haja com comparvel popularidade, como o comprimento (usualmente dado em metros ) e a massa (em geral referida ao quilograma ), a maioria no apresenta um significado imediato, palpvel, de fcil compreenso, mas corresponde a uma abstrao que s faz (se que) sentido para um especialista. E, se assim , especialistas, e muitos, so necessrios para estabelec-las, e somente o conseguem aps reunies e debates que podem estender-se por dcadas. Em fsica, existem duas combinaes envolvendo a velocidade e a massa de um corpo em movimento. Em uma delas, as duas grandezas so simplesmente multiplicadas; na outra, faz-se o produto da velocidade por ela mesma e pela massa e divide-se o resultado por dois. O que cada uma dessas combinaes significa? Qual a informao contida em cada caso? Esse tema foi discutido durante anos no sculo XIX, tendo-se concludo que ambas so importantes e correspondem a aspectos distintos do processo corpo em movimento. Estabeleceram-se, assim, os conceitos de mo-

mento linear (o primeiro) e energia cintica (o segundo) *. O determinstico e o estocstico Um segundo aspecto relevante diz respeito caracterstica das relaes de causa e efeito de serem determinsticas ou estocsticas. Pertencem categoria das determinsticas aquelas em que causa e efeito esto ligadas diretamente: a presena (ou uma variao) da primeira necessariamente implica o surgimento (ou uma alterao) no ltimo, freqentemente obedecendo a uma lei matemtica conhecida (pelo menos, essa uma condio que contribui muito para o sucesso dos indicadores envolvidos). J no caso das estocsticas, a vinculao entre causa e efeito tornase indireta, a presena (ou uma variao) da primeira reflete-se no no efeito, mas na probabilidade de ele surgir (ou se modificar). Um exemplo simples de relao estocstica a existente entre o fumo e certos tipos de cncer: tal relao existe, mas no determinstica, no sentido de que no est assegurado nem que todos os fumantes iro contrair a molstia, nem que um no-fumante no a contrair. Fumar no traz a doena como conseqncia necessria, mas seguramente aumenta a probabilidade de que ela aparea. Alm disso, quanto maior a quantidade de fumo consumido, mais a probabilidade crescer, podendo at, como no caso determinstico, existir uma lei matemtica aplicvel. Ela, porm, no estar relacionando a causa ao efeito, mas probabilidade de ele ocorrer. bastante comum, em certos meios, tentarem-se confundir opinies e interlocutores, argumentando deterministicamente com relao a processos estocticos. Adversrios de cintos de segurana citam exemplos de situaes em que os envolvidos em colises morrem
* Uma idia aproximada da diferena entre os dois conceitos pode ser dada em termos do que uma pessoa sentiria ao ser atingida por um corpo em movimento: a extino do momento linear desse corpo corresponderia a uma fora aplicada num intervalo de tempo muito curto, e geraria uma sensao de dor ; j a energia cintica estaria associada ao deslocamento de tecido ocasionado pela fora, sendo responsvel por um arroxeado ou fratura.

mesmo com o equipamento colocado, fumantes se justificam citando o av com mais de 90 anos que desde os 15 consome dois maos por dia, enquanto o primo (que nunca ps na boca qualquer cigarro ou similar) faleceu com menos de 20. Essas situaes somente derrubariam as relaes entre uso do cinto e reduo de mortes no trnsito e entre fumo e doenas, caso tais relaes fossem determinsticas. Elas so, no entanto, estocsticas, e, assim, os exemplos descritos esto absolutamente dentro da normalidade. Tratando-se de probabilidade, pouco peso ou sentido existe no evento isolado, a partir dele nada se pode provar ou invalidar. Concluses exigem estudos e comparaes em conjuntos representativos de situaes de igual natureza. Nesses termos, um indicador que se relacione apenas estocasticamente com a dimenso do processo que deseja medir, com certeza, mais fraco, menos definitivo, do que um indicador determinstico. Da mesma forma, quando um determinado processo tiver natureza estocstica, tambm estocstico ter de ser o modelo que o ir descrever. Em outras palavras, os indicadores envolvidos estaro ligados entre si segundo uma lei estocstica, implicando que o grau de controle e o conhecimento que se tem do processo so muito menores e bastante mais fracos, se comparados a uma situao determinstica. Caso se tentem classificar os processos e as grandezas das cincias exatas em determinsticos, estocsticos e no-paramtricos (isto , no representveis numericamente), a primeira categoria certamente predominar; j repetindo o exerccio nas reas de cincias sociais e humanas, essa ser seguramente a categoria de menor amplitude, configurando-se, desse modo, um ambiente menos amigvel para os indicadores quantitativos. Se estabelecer tais indicadores para as cincias exatas j se constitui em um desafio de considervel envergadura, maior ainda o de desenvolv-los para as cincias humanas e sociais. Isso no pode ser feito simplesmente transferindo a experincia nesse sentido acumulada nas primeira para as ltimas: muita cautela necessria para que tal transferncia de fato se d de maneira

160

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998

Indicadores quantitativos: reflexes que antecedem seu estabelecimento

til e proveitosa. Sem a menor dvida, porm, esse um esforo bem despendido e, uma vez harmoniosamente integrado aos mtodos e tcnicas tradicionais das reas no-exatas do conhecimento, dever contribuir significativamente para que essas reas se desenvolvam e para que gerem modelos cada vez mais perfeitos dos processos por elas estudados. A medio Caso se concorde que ser de natureza estocstica bastante comum nas reas de humanas e sociais, surge um complicador a mais na quantificao dos aspectos relevantes de processos: a medio. Em uma relao determinstica, basta fazer uma observao e o valor correspondente fica disponvel, isto , interage-se uma vez com o processo (eventualmente com um instrumento de medio adequado) e j se obtm um resultado muitas vezes satisfatrio. No caso estocstico, como anteriormente discutido, observaes isoladas nada permitem concluir ou deduzir: preciso dispor-se de um conjunto representativo de observaes da mesma espcie para poder fazer afirmativas fundamentadas. Adicione-se a isso a questo, nada simples, de se identificarem e empregarem sensores e detectores (materiais) para os processos estudados pelas cincias humanas e sociais. Nas exatas, molas, colunas de mercrio, ims e outros dispositivos auxiliam na busca da informao. Nas no-exatas, a engenhosidade maior fica por conta de pessoas (no plural!) e da sua capacidade de observao e de questionamento direto. Combine-se a necessidade de muitas pessoas por observao com a de fazer muitas observaes, e o custo fica proibitivo. Sem mencionar o enorme esforo posterior de organizao, estudo, anlise e sntese das informaes coletadas (uma ilustrao desse complexo todo so os recenseamentos populacionais). Essa situao, no entanto, est mudando decisivamente nos ltimos anos. Mquinas com recursos espetaculares para guardar, compilar, organizar e reorganizar informaes esto diariamente se tornando mais poderosas, mais disponveis e mais acessveis. Coisas que jamais se imaginariam possveis tor-

FIGURA 1 Diagrama para a extrao de informaes relativas a processos ou sistemas de qualquer natureza

Perguntas

Sistema ou Processo

Caractersticas dos indicadores: "a priori" e desejveis

Procedimentos padronizados

Dados
Reelaborao Interpretao Refinamento Valores de referncia

Informaes
nam-se triviais, drasticamente reduzindo o nus de se trabalhar intensivamente com enormes massas de dados. O momento de quantificar sem dvida agora. Cabe aos cientistas e pesquisadores zelar para que isso ocorra de modo a maximizar a utilidade e a fidedignidade. Neste trabalho, buscam-se indicar alguns aspectos a serem considerados para uma construo sistematizada de indicadores quantitativos referentes a processos de qualquer natureza. A CONSTRUO DE INDICADORES QUANTITATIVOS O abc dos indicadores O diagrama da figura 1 ilustra uma parte da metodologia da cincia estreitamente ligada ao desenvolvimento de indicadores. No centro de tudo, obviamente, encontra-se o processo de interesse. Observ-lo envolve, sob o ponto de vista do pesquisador, dirigir ao processo, ao Universo, uma ou mais perguntas no seguinte sentido: Como voc funciona? Existe uma regra, uma organizao ao alcance de minha lgica, em seu comportamento? A resposta (ou as respostas) surgiro das informaes que forem possvel conseguir. Conforme apresentado na seo anterior, a expresso de informaes sob forma numrica apresenta inegveis vantagens, mas no facilmente realizada na prtica. Ao se propor uma discusso a respeito da construo de indicadores quantitativos, consideram-se pelo menos duas metas da maior relevncia: quebrar a distncia entre o topo (perguntas) e a base (informaes) do diagrama em trechos menores, atravs do estabelecimento de critrios para anlise dos indicadores em fases diversas do seu desenvolvimento; que, j no instante da concepo/proposio de um indicador, sejam observados os aspectos bsicos necessrios para que ele seja bom ou, pelo menos, promissor, bem como que se evitem vcios bsicos que possam, futuramente, vir a limitar sua validade ou amplitude.

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998

161

Indicadores quantitativos: reflexes que antecedem seu estabelecimento

As duas metas podem ser contempladas, considerando-se os quadros colocados no lado direito da figura 1. A rota das perguntas at as informaes passa, ento, por: a) Fase que precede a obteno da informao: proposio dos indicadores: busca, no processo, de dimenses ou aspectos com caractersticas especficas, que possam, direta ou indiretamente, conter as respostas desejadas; padronizao da metodologia de obteno: tal metodologia deve ser estvel, bem definida e reprodutvel, de modo que, repetindo-a em circunstncias idnticas, os dados colhidos sejam coerentes entre si; b) Fase de obteno da informao: reelaborao dos dados brutos: a informao desejada, em geral, fica escondida nos dados colhidos (questo atribuda a Arno Penzias, ganhador do Prmio Nobel de Fsica: Where is the information lost in the data?). preciso reelabor-los (por exemplo, reordenando-os de diversos modos ou efetuando algum tipo de clculo) para que ela aparea; interpretao: corresponde a saber o que a informao resultante realmente significa, que resposta foi de fato obtida. , de certo modo, uma retroalimentao: Que pergunta foi efetivamente respondida, a original ou outra qualquer? Se outra, qual? c) Fase de aperfeioamento da relao indicador-informao: efinamento: freqentemente, o estabelecimento da interpretao leva a algum tipo de refinamento em uma ou mais das etapas anteriores (enunciado das perguntas originais, metodologia de obteno, reelaborao); valores de referncia: consolidado um indicador, podem-se muitas vezes identificar para ele valores especficos, dotados de significado especialmente relevante, que podem tornar-se metas a superar (velocidade do som, ndice de solvabilidade mnimo recomendado para os bancos pelo Comit de Basilia e similares).

As caractersticas a priori Trata-se das propriedades indispensveis, que qualquer indicador-candidato deve necessariamente exibir*: 1) relevncia (seletividade, segundo o IPEA3 e Tironi et al.4): o indicador deve retratar um aspecto importante, essencial, crtico do processo/sistema; 2) gradao de intensidade: o indicador deve variar suficientemente no espao dos processos/sistema de interesse; 3) univocidade: o indicador deve retratar com total clareza um aspecto nico e bem definido do processo/sistema; 4) padronizao (estabilidade, segundo o IPEA e Tironi et al.): a gerao do indicador deve basear-se em uma norma, um procedimento nico, bem definido e estvel no tempo; 5) rastreabilidade: os dados em que a obteno do indicador baseada, os clculos efetuados e os nomes dos responsveis pela apurao devem ser registrados e preservados (IPEA e Tironi et al.). Mais ilustrativo do que exemplos de indicadores-candidatos que atendam a todos esses requisitos a apresentao de contra-exemplos, em que pelo menos um esteja ausente. Considere-se o problema de medir o potencial de aprendizagem dos alunos ingressantes em uma instituio de ensino superior (eles constituiriam, ento, o sistema de interesse). Tome-se como primeiro possvel indicador a idade dos estudantes (em anos): certamente esto ou podem ser atendidos os critrios relevncia , univocidade , padronizao e rastreabilidade. A gradao de intensidade, no entanto, no seria suficiente para possibilitar qualquer concluso: a maioria dos envolvidos teria praticamente a mesma idade.

Uma segunda tentativa seria o nmero do calado. Trata-se de um indicador unvoco, suficientemente varivel (presumivelmente entre 34 e 45) e sua obteno pode ser padronizada e rastreada. Ele carece totalmente, no entanto, da relevncia com respeito ao que se pretende estudar (a altura em centmetros seria outra instncia do mesmo tipo). Agora, como exemplo (no mais contra), poder-se-ia pensar nas notas obtidas pelos estudantes no vestibular. Com respeito a elas, restries (aparentemente contornveis) existiriam, talvez, na padronizao e na rastreabilidade, mas os demais aspectos estariam todos contemplados, ao menos potencialmente. claro que teria de haver ainda um importante trabalho de extrao da informao desejada (indicador de potencial de aprendizagem) dos dados brutos disponveis (notas das provas). Mudando de contexto, mas ainda permanecendo nessa rea (para a qual fica proposta a denominao educaciometria...), possvel ilustrar o aspecto univocidade. Estatsticas sobre o desempenho escolar freqentemente se restringem a aprovados (67,2%), portanto reprovados (32,8%). Esse segundo indicador no unvoco, ele mistura vrios efeitos e acontecimentos diferentes e tem muito pouca utilidade como fonte de informao acerca do processo. Apenas serve para registrar um resultado indesejvel, mas no permite a definio de qualquer ao corretiva, uma vez que no encerra a natureza exata do que vai mal. Basta raciocinar em termos de casos limites: na sala A, houve muitas desistncias durante o perodo letivo, mas todos os alunos (67,2%) que permaneceram at o final foram aprovados; j na sala B, nenhum estudante desistiu, todos participaram de todas as avaliaes e atividades, mas apenas 67,2% deles apresentaram o desempenho mnimo necessrio. Nos dois casos, o indicador simplista reprovados teria o mesmo valor, mas significados muito diferentes; as providncias para sanar o problema teriam de ser igualmente distintas em cada caso.

*** As denominaes apresentadas, nesta e na prxima seo para as caractersticas dos indicadores, no so consagradas, mas meramente sugestes do autor; para as aquelas que constam nos trabalhos citados (IPEA e Tironi et al.), indica-se tambm o nome l empregado.

162

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998

Indicadores quantitativos: reflexes que antecedem seu estabelecimento

As caractersticas desejveis Embora possam estar presentes (deliberadamente ou por acaso) j no momento da proposio, as propriedades desejveis dos indicadores costumam resultar de aperfeioamentos em sua conceituao e obteno. Muitas vezes, inclui-se a at mesmo uma mudana maior ou menor no prprio significado, na interpretao do que os nmeros encontrados representam. So caractersticas desejveis: a cobertura (segundo o IPEA3 e Tironi et al. 4) ou abrangncia ou amplitude, a portabilidade ou transferabilidade e a invarincia de escala. Essencialmente, os trs dizem respeito a poder-se aplicar o indicador a processos/sistemas diversos daqueles para os quais ele foi inicialmente concebido, sem que seja perdida a sua validade, o seu significado, a sua fidedignidade relativamente informao que retrata. a amplitude aumenta quando a nova aplicao corresponde a processos/sistemas de natureza diferente, porm dentro da mesma (sub)rea do conhecimento na qual o indicador usualmente empregado; a portabilidade, mais forte, significa que o uso do indicador pode ser estendido com sucesso para o estudo de sistemas/processos de outras (sub)reas do conhecimento contguas a alguma em que ele funciona adequadamente; a invarincia de escala est presente quando o indicador mantm sua validade e sua interpretao, mesmo que as dimenses do processo ou sistema examinado sejam acentuadamente diferentes. Dessa vez, bons exemplos podem ser dados em termos dos indicadores bibliomtricos e dos relativos informao, mais especificamente aqueles que buscam estabelecer alguma espcie de avaliao. No contexto, podem-se divisar diversas subreas de interesse: pretende-se avaliar exatamente o qu? Pesquisadores? Publicaes? Instituies?

Progressos em determinadas reas do conhecimento? O grau de desenvolvimento de uma regio (estado ou pas)? Parece razovel considerar trs dessas categorias pesquisadores, instituies e reas do conhecimento como relativas a sistemas/processos distintos em uma mesma subrea de interesse. Assim, um indicador que funcione bem nas trs ter uma amplitude maior do que outro, aplicvel a somente uma ou duas delas. A categoria publicaes, por sua vez, diferente da anterior, mas no de todo afastada dela. No absurdo admitir que um indicador adequado primeira possa tambm fazer sentido na ltima. Em caso positivo, tratar-se-ia de um indicador com boa portabilidade. O grau de desenvolvimento de uma regio parece constituir uma terceira categoria, distinta das outras duas: de novo, a aplicao, a ela, de qualquer indicador eficaz nas outras duas, constitui-se em outro exemplo de portabilidade. Cabe, neste ponto, um comentrio cuja importncia no poderia ser maior: o fato de um indicador ser excelente em um determinado contexto no implica que possa ser automaticamente empregado em outros, mesmo que prximos. Eventualmente, ele nem ao menos chegar ao nvel de ruim, sua interpretao costumeira poder simplesmente no fazer qualquer sentido. A portabilidade no bvia, no evidente, no dada a priori. Precisa ser verificada e s deve ser aceita quando exaustivamente comprovada. A tendncia natural, especialmente quando se trata de um indicador de grande sucesso e credibilidade, a portabilidade nem ser questionada. Isso implica a existncia de um risco enorme de se tomarem decises erradas, com srios prejuzos morais e materiais para pessoas e instituies, em decorrncia de um excesso de confiana em nmeros de validade insuficientemente estabelecida, quando estendidos a novas situaes.

Retome-se a questo de se avaliarem instituies e pesquisadores para ilustrar a invarincia de escala, a ltima e mais sutil das caractersticas mencionadas. Por exemplo, a Faculdade R tem 150 docentes que publicam 75 artigos por ano em veculos de expresso internacional; a Universidade S, com 4 mil docentes, publica 2 mil artigos desse tipo por ano. Ambas apresentam o mesmo ndice de 0,5 artigos/ (docentes.ano). Superficialmente, poderse-ia dizer que os dois grupos de pesquisadores so igualmente produtivos. Mas isso necessariamente verdade? Eventualmente, pode no ser: encargos administrativos em geral no crescem de forma proporcional quando se aumenta o nmero de docentes em uma instituio. Assim, na Universidade S, a carga administrativa por professor tende a ser menor, ele teria mais tempo para pesquisar, deveria publicar mais. Ou seja, 0,5 artigos/(docentes/ano) podem no ter o mesmo significado na escala 4 mil e na escala 150, o que implicaria que esse indicador no apresenta invarincia de escala. Existe, ainda, outro fator que pode contribuir para que a informao contida no indicador no seja exatamente a mesma nos dois casos: em uma instituio pequena, um dado equipamento usado por apenas um pesquisador, ficando ocioso boa parte do tempo; na grande, comum haver at disputa por acesso a uma certa mquina. De novo, 0,5 artigos/(docentes/ano) no tm exatamente o mesmo significado em um e outro caso. Observe-se que essa considerao permite supor que o indicador nmero de artigos/recursos investidos em equipamento igualmente no satisfaa a invarincia de escala. Finalmente, um indicador de fato invariante de escala deveria manter sua interpretao, mesmo quando aplicado a apenas um pesquisador. Embora interessante, a discusso desse ponto no ser feita aqui.

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998

163

Indicadores quantitativos: reflexes que antecedem seu estabelecimento

Vantagens que podem se tornar riscos a) bastante favorvel construir indicadores a partir de dados naturalmente disponveis no sistema/processo em estudo. A construo de indicadores no pode deixar de levar em conta o nus que eles iro representar. Parte desse nus pode ser o custo financeiro de sua determinao, mas nem sempre esse o ponto de maior dificuldade. Muito pior e muito mais dificilmente contornvel uma necessidade de modificaes no sistema ou processo para chegar aos dados brutos. Especialmente nas cincias sociais, bastante complexo mudar hbitos, alterar procedimentos, introduzir inovaes, ampliar a carga de tarefas: em princpio, o poder do pesquisador no suficiente para isso*. Em uma investigao acerca de aproveitamento escolar, um exemplo seria exigir que provas fossem formuladas ou corrigidas pelos professores segundo um padro especfico, para que das notas se pudesse obter mais do que um simples aprovado/no-aprovado. O sucesso passaria a depender de uma cooperao onerosa para o sistema em estudo de que, ao menos num primeiro momento, no se poderia estar segu ro. A conseqncia pode ser ou falha, ou fracasso de um excelente projeto, gerando desnimo e desconfiana relativamente a outras iniciativas similares.
* A esto mais algumas diferenas entre as cincias humanas e sociais e as exatas. Nestas ltimas, trabalha-se com mquinas e materiais inanimados, amplamente dominados pelo experimentador no laboratrio e razoavelmente controlveis em campo. J nas primeiras, o laboratrio , em muitos casos, excessivamente distante da realidade para ser til, e a prpria realidade impossvel de ser submetida.

b) Muito cuidado com a interpretao preconceituosa. Obtido o indicador, tende-se a atribuirlhe automaticamente o significado que se imaginou ao conceb-lo. Essa uma atitude que tem de ser conscientemente evitada: a interpretao de indicadores deve ser examinada criticamente (com iseno) e amplamente discutida, at se chegar um consenso do exato contedo em termos de informao sobre o processo ou sistema que ele encerra de fato. c) A verdade final est sempre com o sistema ou o processo. Ao se elaborar indicadores, h uma questo fundamental que no pode ser perdida de vista: o mais importante sempre a realidade, o processo ou sistema que os indicadores descrevem; se um indicador diz que o sistema vai mal, mas na verdade ele vai bem, acreditar que isso possvel e duvidar do primeiro, e no do ltimo... Aps um indicador ter sua obteno padronizada, fica fcil obt-lo, e torna-se cmodo basear nele muitas decises, esquecendo que ele no a realidade, mas uma expresso incompleta de uma parte dela. CONCLUSO: DISPONIBILIZAR INDICADORES UMA ENORME RESPONSABILIDADE Ao longo deste trabalho, procurou-se mostrar que construir bons indicadores no trivial, mas pode e deve ser feito. A ampla disponibilidade de computadores reduziu drasticamente o custo do armazenamento e manipulao de grandes massas de dados, permitindo a padronizao de procedimentos para extrair informaes praticamente sem esforo (uma vez disponveis os algoritmos pertinentes). Assim, facilmente sero obtidos indicadores variados, disponveis nos prprios sistemas que guardam e disseminam informaes em geral.

Ponha-se, de um lado, essa fcil acessibilidade e, de outro, o fato de que a elaborao de indicadores uma tarefa difcil. O resultado que os assim chamados indicadores automticos tendero fatalmente a se tornarem extremamente populares e que muitas pessoas e sistemas tentaro us-los para apoiar tomadas de deciso. Se os indicadores no forem bem construdos, muitas ms decises podero ser tomadas. Mais ainda, deve-se ficar alerta com respeito a tentar extrair dos indicadores informaes que eles no foram projetados para fornecer, especialmente a j discutida questo da portabilidade. Um indicador adequado para fornecer informaes sobre revistas cientficas pode ser empregado para avaliar pesquisadores ou instituies? A comunidade de pesquisadores, desenvolvedores e usurios de indicadores quantitativos precisa constantemente rev-los, question-los e discuti-los, divulgando, de forma clara e sem ambigidades, tanto a informao que eles contm como a que eles no contm com respeito ao processo a que esto associados.
REFERNCIAS BIBLIOGRFICAS 1. RESNICK, R., HALLIDAY, D. Fsica. 2. ed. Rio de Janeiro: Livros Tcnicos e Cientficos, 1974. v. 1. 2. CAMPOS, V. F. TQC - controle da qualidade total (no estilo japons). Belo Horizonte: Christiano Ottoni, 1992. 3. INSTITUTO DE PESQUISA ECONMICA APLICADA. Critrios para a gerao de indicadores da qualidade e produtividade no servio pblico. Braslia: IPEA/MEFP, 1991. 4. TIRONI, L. F., SILVA, L. C. E., VIANNA, S. M. et al. Critrios para a gerao de indicadores de qualidade e produtividade no servio pblico. Braslia: IPEA/MEFP, 1991. (Texto para discusso, 238).

Quantitative indicators: reflections before their establishment Abstract

The paper points out some aspects to be considered for the systematized building of quantitative indicators relating to any kind of processes, and including attributes such as relevance, intensity, univocality, standardization and tracking. Keywords Indicators Methodology.

Piotr Trzesniak Professor da Escola Federal de Engenharia de Itajub, MG. Ptrzesniak@uspif1.if.usp.br

164

Ci. Inf., Braslia, v. 27, n. 2, p. 159-164, maio/ago. 1998