EDITORIAL Como ler um artigo cientfico*

sumivelmente obtidas com crianas e informava que a porcentagem de reduo de crie conseguida havia sido de 80%, um nmero alto demais para ser observado em curto perodo de tempo. preciso observar nmeros e propores com cuidado. Como as propores do a importncia relativa das categorias, elas expressam, mais do que os nmeros, a extenso dos sucessos ou problemas. No entanto, dependendo do contexto e, principalmente, quando o nmero de indivduos na amostra pequeno, as percentagens podem dar impresso falsa. Por exemplo, seria ingnuo acreditar em um artigo que alardeia um tratamento que curou 66% dos pacientes, se esse percentual foi calculado sobre uma amostra de trs pessoas. muito importante lembrar que, em geral, as afirmativas no valem por si mesmas: preciso uma base de comparao. No se pode confiar em um artigo que informe, por exemplo, que determinado tratamento tem menos risco, ou mais ao. s pensar um pouco: menos risco do que o qu? Mais ao do que o qu? Nos artigos que relatam experimentos particularmente importante ler, com cuidado, a descrio do esforo que os pesquisadores fizeram para usar o delineamento adequado. Podem faltar detalhes importantes. Por exemplo, s vezes no est claro se foram feitas observaes mltiplas nos mesmos indivduos ou se as observaes foram feitas em indivduos diferentes. Os mtodos de pareamento so, em geral, descritos de maneira vaga. Ainda, comum ler artigos cientficos que relatam ensaios clnicos casualizados e ensaios duplo-cegos. No entanto, no se pode pressupor, com base nessas simples palavras, que os autores usaram tais tcnicas corretamente. O artigo cientfico deve, pois, descrever todas as tcnicas aplicadas, incluindo as estatsticas, e o leitor deve julg-las com cuidado. Afinal de contas, autores que estudaram vrios experimentos que comparam os mesmos tratamentos em geral verificaram que ensaios mal delineados mostram efeitos maiores de tratamentos que ensaios bem delineados. Existe, portanto, a tendncia de delineamentos incorretos apresentarem achados muito bons ou, como escreveu FISHER1, bons demais para serem verdadeiros.

iferentes razes ou interesses podem motivar um profissional a ler artigos cientfcos, mas , basicamente, a necessidade de se atualizar ou de aprofundar conhecimentos que coloca um mdico diante desse trabalho. No entanto, a quantidade enorme de informao, de qualidade varivel, disponvel hoje na literatura, obriga o mdico a fazer uma seleo do que deve ler. possvel escolher entre diferentes tipos de publicao: artigo de atualizao, artigo de divulgao, anlise crtica pontual (editorial), registro de caso, pesquisa clnica ou experimental. Qualquer que seja a opo, preciso considerar, ainda, caractersticas importantes como qualidade do peridico em que foi publicado o artigo, idoneidade do editor e do corpo editorial, exigncias do peridico para aceitar a publicao de artigos, e credenciais, tanto do autor como da instituio. Lendo um artigo cientfico, algumas pessoas podem pensar que os editores das revistas cientficas so sempre capazes de fazer um trabalho to extraordinrio que todos os artigos ali publicados tm, alm de veracidade, qualidade e exatido. Basta, porm, olhar os fatos do passado para presumir que ainda estamos longe desse ideal. Os leitores das revistas cientficas precisam ser capazes de julgar os argumentos apresentados em cada artigo, contra ou a favor de idias, posturas, interpretaes ou intervenes. A leitura de um artigo cientfico deve ser eminentemente crtica. Por exemplo, parece razovel desconfiar da qualidade de artigos cientficos que relatem dados extremamente de acordo com a teoria, como genes que segregam exatamente na proporo de 3:1, taxas de crescimento constantes de 10% ao ms, experimentos nos quais todos os pacientes que receberam a droga foram curados e todos os pacientes que receberam placebo, em lugar da droga, no apresentaram qualquer tipo de reao. Enfim, convm sempre lembrar que dados verdadeiros no tm excesso de coerncia. razovel levantar dvidas, at prova em contrrio, sobre a qualidade de experimentos que relatam verdadeiros milagres. Por exemplo, um produto que j foi vendido no Brasil como capaz de prevenir a crie, mas depois acusado de no ter experimentao adequada, relatava estatsticas pre-

*Fonte: Jornal do Conselho Federal de Medicina. Braslia, ano XVI, n. 126, p. 18-19, fev. 2001.

Muitos artigos relatam inferncia para a populao, com base em dados de amostras. A teoria exige que a amostra seja casual. Como na prtica isso raramente acontece, crucial que a amostra seja representativa da populao. Para saber se a amostra pode ser considerada representativa da populao, preciso comparar as caractersticas dos indivduos amostrados com as caractersticas da populao. Ento, todo artigo deve descrever as caractersticas dos indivduos da amostra. No tem sentido, por exemplo, fazer inferncia para toda a populao com base em uma amostra de alto risco. Tem surgido, mais recentemente, muita discusso em torno do tamanho das amostras. Isto porque muitas pesquisas que no detectaram diferena estatstica entre tratamentos tinham, na verdade, pouca chance de faz-lo devido ao pequeno tamanho das amostras. preciso muita ateno neste ponto. Ainda, so poucos os trabalhos que relatam como foi estabelecido o tamanho da amostra. Alis, a idia de calcular o tamanho da amostra pouco conhecida na pesquisa mdica e, por causa disso, muitos trabalhos so feitos com amostras muito pequenas. Por outro lado, no se pode esquecer que embora vrios artigos admitam que os estudos so retrospectivos, muitos informam incorretamente que os estudos foram planejados, porque parece melhor dizer que a idia surgiu antes dos dados. So sintomas de estudos mal delineados a variao dos tratamentos e dos mtodos de avaliao utilizados, o nmero diferente de observaes por voluntrio, a falta de observaes e certa indeterminao geral sobre o que foi feito, e porqu. Os erros de anlise so, infelizmente, muito comuns, embora os mtodos estatsticos de delineamento e anlise sejam parte essencial da pesquisa mdica. Como a aplicao de tcnicas estatsticas exige habilidades que no so menores do que as exigidas em outras partes da pesquisa, necessrio ler a estatstica de trabalhos publicados com certa prudncia, principalmente quando no referenciam um consultor especializado. Tambm no se pode esquecer que a anlise estatstica complexa pode dar ao artigo um ar esprio de respeitabilidade, mas por si s no demonstra nada. Boas respostas so dadas para boas questes e no por anlises esotricas2. Na interpretao dos resultados, freqente o erro de igualar associao e causa. Uma associao no implica, necessariamente, numa relao de causa e efeito. No se pode inferir causa sem

outros tipos de evidncia. Contudo, a maioria dos erros de interpretao de anlises estatsticas parece estar ligada aos testes de hipteses. comum a interpretao errada de significante e no-significante. Como em geral se acredita que a finalidade da pesquisa chegar a um resultado significante, o resultado no-significante implicaria a idia de pesquisa malsucedida. Alis, muitas vezes se descrevem os estudos como positivos e negativos, nomenclatura inadequada que felizmente est sendo banida da literatura. O p-valor no , como comumente se escreve, a probabilidade de que o efeito observado tenha ocorrido por acaso, mas sim a probabilidade de obter o efeito observado (ou um valor menos provvel) quando a hiptese verdadeira. Outra interpretao falsa a de que um p-valor de, digamos, 0,001 significa efeito maior do que um p-valor de, digamos, 0,01. Embora isto possa ser verdade, os p-valores no demonstram isto. Finalmente, ajuda muito, ao ler um trabalho, ter uma lista de pontos especficos que precisam ser observados. impossvel produzir uma lista de questes que possa ser usada sempre, e para qualquer tipo de pesquisa. No entanto, usar uma lista para a verificao torna o trabalho mais fcil, principalmente quando se tem em conta que mais difcil detectar uma omisso do que um erro. J existem vrias dessas listas, disponveis na literatura3. Mas no basta seguir a lista: preciso julgar com profundidade e senso crtico. De qualquer forma, o leitor de artigos cientficos deve se preocupar, primeiro, com os erros de delineamento. Se o delineamento do estudo inaceitvel, o trabalho inaceitvel. Se o delineamento est correto, o leitor deve verificar se os dados foram coletados com metodologia adequada e se a anlise est certa. Se isso acontecer, o leitor deve verificar se a interpretao dos dados e da anlise justa. Feito isto, s resta saber se as concluses so aceitveis. A prescrio parece simples, mas s quem j tentou segui-la sabe o trabalho que d. Sonia Vieira e William Saad Hossne

1. FISHER, R. A. Has Mendels work been rediscovered? Annals of Science, (1) 1936. p. 115-137. 2. SCHOOLMAN, H. M. et al. Statistics in medical research: principles versus practice. J Lab Clin Med, v. 71, p. 357-367, 1968. 3. VIEIRA, S.; HOSSNE, W. S. Metodologia cientfica para a rea de sade. Rio de Janeiro : Campus, 2001.