1
Departamento de
Enfermagem, Faculdade de
Cincias Mdicas,
Universidade Estadual de
Campinas. Cidade
Universitria Zeferino Vaz,
Baro Geraldo. 13083-970
Campinas SP.
nesalex@fcm.unicamp.br
ARTIGO ARTICLE
3062
Introduo
Ao planejar o mtodo de coleta de dados, devese pensar em procedimentos que garantam indicadores confiveis. A deciso vai depender do
desenho da pesquisa e da seleo de instrumentos de medidas adequados e precisos. Um nmero crescente de questionrios e escalas est atualmente disponvel na rea de sade.
Dessa forma, cada vez mais a literatura tem
alertado os pesquisadores sobre uma correta
avaliao das qualidades dos instrumentos de
coleta de dados1-3. Os mais importantes atributos desses instrumentos so: validade (validity),
confiabilidade (reliability), praticabilidade (usability), sensibilidade (sensitivity) e responsividade (responsiveness)4-6. Na realidade, as caractersticas de validade e de confiabilidade so particularmente importantes ao se escolher, desenvolver ou realizar a adaptao cultural de instrumentos que sero usados tanto em pesquisas
como na prtica clnica5, 7-9.
Na rea de cincias sociais, o conceito de validade deve ser aplicado em todas as medidas
como inventrios de personalidades, testes educacionais, surveys, questionrios de atitudes, entre outros10. Deve tambm fazer parte da avaliao de instrumentos usados na clnica como entrevistas, exame fsico, exames de laboratrio,
radiolgicos e histolgicos5.
A validade verifica se o instrumento mede exatamente o que se prope a medir11. Isto , avalia a
capacidade de um instrumento medir com preciso o fenmeno a ser estudado12. Pode-se considerar um instrumento vlido quando ele consegue avaliar realmente seu objetivo, como, por
exemplo, ansiedade e no outro constructo como
o estresse13. Pode ser avaliada por meio dos seguintes mtodos: validade de contedo, validade relacionada a um critrio e validade do constructo.
A confiablidade a capacidade em reproduzir um resultado de forma consistente no tempo
e no espao, ou com observadores diferentes12.
Os seguintes procedimentos so utilizados para
sua avaliao: estabilidade (teste-reteste), homogeneidade e equivalncia (inter-observadores)14.
Sensibilidade a habilidade de a medida identificar diferenas entre pacientes ou grupo de pacientes com afeces leves e severas6. A responsividade avalia a capacidade do instrumento em detectar melhora ou piora nas condies de pacientes, isto , consegue verificar mudanas6. A praticabilidade refere-se aos aspectos prticos da utili-
Mtodo
Trata-se de uma pesquisa bibliogrfica que pode
ser definida como integrativa17. Para o levantamento bibliogrfico, optou-se pelas bases de dados das Cincias da Sade como a Biblioteca Virtual em Sade Enfermagem (BDENF) e o Portal de Revistas de Enfermagem; o SCIELO; a LILACS (Literatura Latino - Americana e do Caribe em Cincias da Sade); a MEDLINE (National Library of Medicine-USA); o International
Nursing Index (INI) e o Cumulative Index to
Nursing and Allied Health Literature (CINAHL).
Para seleo das pesquisas, foram utilizados
alguns critrios. O tipo de publicao considerado foram os peridicos e os livros de metodologia de pesquisa e estatstica. A procedncia e o
idioma deveriam ser de artigos nacionais e internacionais, publicados em portugus e ingls.Os
descritores em portugus pesquisados na BIREME (DeCS - Terminologia em Sade) foram: estudos de validao; traduo; validade dos testes
e reprodutibilidade dos testes. Em ingls, a pesquisa foi feita na National Library of Medicines
Medical Subject Headings (MeSH = Medical Subject Heading Terms), utilizando-se: validation studies; translations e psychometrics.
Discusso
Essa reviso foi organizada de modo a apresentar as bases conceituais e os mtodos de medidas
usados em validade de contedo, com nfase em
sua aplicao na rea da sade.
3063
avaliao desse por meio da anlise por especialistas22,23. Assim, pode-se considerar que a validade de contedo de instrumentos seria tambm
garantida pelo procedimento de elaborao dos
mesmos24. Para avaliar a validade de contedo
recomenda-se tambm utilizar procedimentos
quantitativos e qualitativos19.
Para construir a variedade de itens, o pesquisador deve inicialmente definir o constructo de
interesse e suas dimenses por meio de pesquisa
bibliogrfica e consulta a estudiosos da rea e a
representantes da populao de interesse14,25.
Autores tm defendido que esse estgio de desenvolvimento de instrumentos deve englobar trs
fases: identificao dos domnios, a formao dos
itens e a construo do instrumento23, 26-28. A fase
de elaborao de questionrios e escalas tem sido
objeto de publicaes especficas indicando diferentes metodologias29-31.
Autores sugerem e descrevem etapas e mtodos padronizados e sistemticos que deveriam ser
usados durante esse processo com o objetivo de
melhorar a qualidade dos instrumentos de medidas19. Essas etapas diferem dependendo do que o
instrumento quer avaliar. Segundo Lynn23, para
medidas cognitivas deve-se seguir os seguintes
passos: identificao da totalidade dos domnios;
construo dos itens e por fim, organizao desses itens.Ainda pensando no processo de delineamento dos itens, no se pode deixar de mencionar a questo da adaptao cultural de instrumentos de medidas31. A adaptao de um instrumento para outra linguagem um processo complexo. A realizao de uma simples traduo no
pode ser efetuada devido s diferenas culturais e
de linguagem. Deve-se levar em considerao o
idioma, o contexto cultural e o estilo de vida. Assim, para realizar uma adaptao de um instrumento de uma linguagem para outra, deve-se levar em conta aspectos tcnicos, lingusticos e semnticos32. A literatura internacional tem procurado propor normas para assegurar adaptaes
de instrumentos de uma forma metodologicamente correta. A tendncia atual padronizar
normas internacionais para assegurar a qualidade de instrumentos adaptados. Segundo esses
protocolos, os seguintes passos so essenciais nesse
processo: traduo inicial; sntese; traduo de
volta para a lngua original; reviso por um comit e realizao de um pr-teste33-37.
Avaliao por um comit de especialistas
Alguns autores defendem que o segundo estgio do procedimento da validade de contedo
consiste na avaliao do instrumento por especi-
Abordagem conceitual
3064
3065
Medidas quantitativas
para avaliar validade de contedo
Publicaes tm apresentado mtodos diferentes para quantificar o grau de concordncia
entre os especialistas durante o processo de avaliao da validade de contedo de um instrumento. Dentre esses, destaca-se:
Porcentagem de concordncia
Mtodo empregado para calcular a porcentagem de concordncia entre os juzes. a medida
mais simples de concordncia interobservadores43.
A frmula utilizada est descrita a seguir39, 44.
nmero de
participantes que
concordaram
% concordncia = ______________ X 100
nmero total de
participantes
As vantagens desse procedimento proporcionar informaes teis que so facilmente calculadas. No entanto, apresenta limitaes que restringem sua utilizao44. Autores tm usado esse
mtodo na fase inicial para auxiliar na determinao dos itens27, 39. Ao usar esse mtodo, deve-se
considerar como uma taxa aceitvel de concordncia de 90% entre os membros do comit22, 44.
compreensvel e avaliar a sua equivalncia cultural. H a necessidade de existir equivalncias semntica, idiomtica, conceitual e experimental34.
Equivalncia semntica relativa ao significado das palavras (vocabulrio, gramtica); equivalncia idiomtica refere-se s expresses idiomticas e coloquiais (por exemplo, sentir-se em
casa); equivalncia experimental aborda situaes coerentes com o contexto cultural (por exemplo: usar o carro / usar o transporte pblico;
dificuldade para usar um garfo); e, finalmente, a
equivalncia conceitual se refere ao conceito explorado (por exemplo: explorar as maneiras que
as diferentes populaes entendem sade)33. Dentro deste contexto, o comit pode modificar as
orientaes iniciais e o formato do instrumento,
alterar ou rejeitar itens inadequados e at desenvolver novos itens. Para verificar se o instrumento est realmente em uma linguagem compreensvel para uma grande parte de pessoas, recomenda-se que ele precisa ser entendido por indivduos de 10 a 14 anos33.
3066
sa forma, aplicvel quando os dados so categricos e esto em uma escala nominal46. Os valores de kappa variam de -1 (ausncia total de
concordncia) a 1 (concordncia total)43.
Concluso
Coeficiente de kappa
O coeficente de kappa (k) tambm tem sido
recomendado para avaliar medidas de concordncia entre avaliadores na rea de sade44,45. O
coeficiente de kappa de concordncia a razo
da proporo de vezes que os juizes concordam
(corrigido por concordncia devido ao acaso)
com a proporo mxima de vezes que os juizes
poderiam concordar (corrigida por concordncia devido ao acaso)43, 46. um ndice til quando
vrios avaliadores categorizam cada grupo de
objetos ou sujeitos em categorias nominais. Des-
Colaboradores
NMC Alexandre e MZO Coluci participaram
igualmente de todas as etapas de elaborao do
artigo.
Este estudo descreve aspectos do processo de realizao da validade de contedo, uma fase importante do desenvolvimento e adaptao de
questionrios e escalas. Ressalta-se que esse
somente o incio de um processo que deve englobar tambm outras medidas para avaliar outros
tipos de validade e a confiabilidade.
Compreender esses procedimentos essencial para pesquisadores e profissionais da rea de
sade preocupados em utilizar cada vez mais
medidas e instrumentos confiveis e apropriados para determinada populao.
3067
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22. Polit DF, Beck CT. The content validity index: are you
sure you know whats being reported? Critique and
recomendationas. Res Nurs Health 2006; 29:489-497.
23. Lynn MR. Determination and quantification of content validity. Nurs Res 1986; 35(6):382-385.
24. Pasquali L. Psicometria. 2 ed. Petrpolis (RJ): Editora Vozes; 2004.
25. DeVon HA, Block ME, Moyle-Wright P, Ernst DM,
Hayden SJ, Lazzara DJ, Savoy SM, Kostas-Polston
E. A psychometric toolbox for testing validity and
reliability. J Nurs Scholarsh 2007; 39(2):155-64.
26. Carmines EG, Zeller RA. Reliability and validity assessment. 11th ed. Beverly Hills (CA): Sage; 1988.
27. Grant JS, Davis LL. Selection and use of content
experts for instrument development. Res Nurs
Health 1997; 20(3):269-274.
28. Berk RA. Importance of expert judgment in content-related validity evidence. West J Nurs Res 1990;
12(5):659-671.
29. Kirshner B, Guyatt G. A methodological framework
for assessing health indices. J Chron Dis 1985; 38(1):
27-36.
30. Pasquali L. Princpios de elaborao de escalas psicolgicas. Rev Psiquiatr Clin 1998; 25(5): 206-13.
31. Streiner DL, Norman GR. Health measurement
scales. A practical guide to their development and use.
2nd ed. New York: Oxford University Press; 2002.
32. Hunt SM, Bucquet D, Niero M, Wiklund I, McKenna S. Cross-cultural adaptation of health measures.
Health Policy 1991; 19(44):33-44.
33. Guillemin F, Bombardier C, Beaton, D. Cross-cultural adaptation of health-related quality of life
measures: literature review and proposed guidelines. J Clin Epidemiol 1993; 46(12):1417-1432.
34. Guillemin F. Cross-cultural adaptation and validation of health status measures. Scand J Rheumatol
1995; 24(2):61-63.
35. Hutchinson A, Bentzen N, Konig-Zanhn C. Cross
cultural health outcome assessment: a users guide.
The Netherlands: ERGHO; 1996.
36. Alexandre NMC, Guirardello EB. Adaptacin cultural de instrumentos utilizados em salud ocupacional. Rev Panam Salud Publica 2002; 11(2):109-111.
37. Beaton DE, Bombardier C, Guillemin F, Ferraz MB.
Guidelines for the process of cross-cultural adaptation of self-report measures. Spine 2000; 25(24):
3186-3191.
38. Davis LL. Instrument review: getting the most from a
panel of experts. Appl Nurs Res 1992; 5(4):194-197.
39. Tilden VP, Nelson CA, May BA. Use of qualitative
methods to enhance content validity. Nurs Res 1990;
39(3):172-175.
40. Hyrks K, Appelqvist-Schmidlechner K, Oksa L. Validating an instrument for clinical supervision using
an expert panel. Int J Nurs Stud 2003; 40(6):619-625.
41. McGilton K. Development and psychometric evaluation of supportive leadership scales. Can J Nurs
Res 2003; 35(4):72-86.
42. Morse JM. Approaches to qualitative-quantitative
methodological triangulation. Nurs Res 1991; 40(1):
120-123.
Referncias
3068