1

Explorando Conceitos e Perspectivas da Meta-Anlise em Marketing Autoria: Rita de Cssia de Faria Pereira Resumo A sistematizao de estudos, utilizando mtodos quantitativos ou qualitativos, constitui uma ferramenta de se agruparem resultados e obter-se uma melhor compreenso geral acerca de um fenmeno que foi analisado conforme vrios mtodos e tcnicas de pesquisa. Considerando-se as deficincias da sistematizao qualitativa de pesquisas, a meta-anlise utilizada por vrios pesquisadores para combinar os resultados de vrios estudos de forma quantitativa, controlando, de certa forma, o vis e a subjetividade das anlises qualitativas de pesquisas. Na rea de marketing, a meta-anlise representa, sobretudo, a determinao de indicadores e a possibilidade de generalizaes empricas, contribuindo para a formao de um corpo slido de conhecimentos na rea. O presente artigo discute, teoricamente, a importncia da meta-anlise em marketing, considerando os conceitos, classificaes e tcnicas nela implicadas. O artigo pretende, ainda, identificar os principais moderadores e parmetros empregados nesse tipo de estudo, apresentando, por fim, exemplos ilustrativos de estudos realizados na rea.

Introduo O desenvolvimento e a utilizao de uma diversidade de mtodos e tcnicas de conduo de estudos tm sido uma importante contribuio para o progresso cientfico. Essa diversidade apresenta reflexos diretos nos resultados das pesquisas, na apropriao destes por outros cientistas e na expanso para outros contextos. No entanto, essa mesma multiplicidade de opes metodolgicas pode gerar uma srie de estudos potencialmente inviveis para efeitos de comparao. Uma tal profuso e confuso nos caminhos que a cincia pode considerar como vlidos para a construo de um corpo de conhecimentos slido e confivel pode comprometer, de certa forma, a fertilidade dos campos de conhecimento, dado que alguns mtodos e teorias so abandonados, substitudos ou desconsiderados em estudos futuros. Por vezes, pesquisadores e academia caminham inertes e independentes na busca do conhecimento. Um exemplo disto pode ser verificado em reas do conhecimento como Medicina e Psicologia, em que a questo da diversidade de mtodos pode representar, alm de uma diversidade de caminhos e respostas para problemas cientficos, riscos e dvidas acerca de diagnsticos e tratamentos para pessoas. Nos ltimos anos, tem-se percebido a necessidade de serem unificados resultados relevantes de pesquisas, de modo a apoiarem-se os pesquisadores e consolidarem-se os conhecimentos. Depois de 20 anos de controvrsia, uma metodologia inovadora para descoberta de respostas na cincia est conquistando cada vez mais espao: a meta-anlise (Epstein, 1998). Considerada uma forma quantitativa de unificarem-se estudos, a meta-anlise apresenta, dentre suas principais vantagens, a possibilidade de oferecer a cientistas e tericos uma viso global dos fenmenos permeada por inmeras variveis e de analisar resultados discordantes (aparentemente ou no) de pesquisa.

Em marketing, tal metodologia quantitativa de sntese tem representado, sobretudo, a determinao de indicadores e a possibilidade de generalizaes empricas, contribuindo para a formao de um corpo slido de conhecimentos na rea. Neste sentido, o presente artigo visa a discutir a importncia da meta-anlise em marketing, explorando conceitos, classificaes e tcnicas nela implicadas. Visa, tambm, a identificar os principais parmetros empregados para a estimativa de efeitos e os moderadores utilizados nos estudos. Por fim, o artigo apresenta alguns exemplos na rea, para fins de ilustrao.

A Necessidade de Ordem no Caos Cientfico

A cincia vem sendo marcada pelo princpio bsico de que o conhecimento construdo de forma progressiva e cumulativa (na viso positivista), ou seja, baseado em informaes existentes e no acrscimo de resultados de pesquisa atuais s bases de conhecimento. Nas ltimas dcadas, tem havido, no entanto, uma exploso desordenada e fragmentada de produes cientficas, cujos resultados no apenas diferem das verdades estabelecidas, mas, sobretudo, divergem fortemente de outros estudos (Hunt, 1997). Alm do uso de metodologias e bases tericas diferenciadas, as dificuldades de replicao de estudos e a influncia de erros de amostra e mensurao contribuem para este cenrio, tornando mnima a possibilidade de estudos com mesma metodologia e rea de aplicao obterem resultados iguais. Este problema se agrava nas cincias humanas e sociais, devido a sutilezas, variabilidades e, sobretudo, a subjetividades do comportamento humano. Inmeras variveis podem impactar nos resultados dos estudos, sejam eles de campo ou experimentais, tenham eles controles ou no de variveis independentes e intervenientes. Considerando estas dificuldades, pesquisadores de vrios campos da cincia tm buscado formas de sintetizarem e sistematizarem resultados de pesquisa, objetivando descobrirem grandes verdades dentro do caos cientfico, bem como as possveis causas de tantos resultados diferentes e divergentes. Na busca por melhores solues para estes problemas, a reviso de literatura, tambm chamada sistemtica ou de pesquisa, e a meta-anlise surgem como mtodos de serem combinados os resultados de estudos, buscando-se propiciar sistematizaes do conhecimento e embasar generalizaes empricas (Farley, Lehmann e Sawyer, 1995). A reviso de literatura visa a sumariar e avaliar resultados de pesquisas, oferecendo concluses combinatrias no observando o rigor cientfico e sinalizando tendncias de resultados em vrios estudos. No entanto, embora este mtodo oferea uma sistematizao dos conhecimentos em determinada rea de pesquisa, contribui muito pouco para integrar ou acumular tais conhecimentos (Hunt, 1997). A tradicional reviso de artigos considerada por Light e Pilemer (apud Hunt, 1997) como uma forma ineficiente de extrair informao til por causa da ausncia de qualquer mtodo sistemtico de integrarem-se os relacionamentos entre as variveis em diferentes estudos e de reconciliarem-se diferenas nos resultados. Diante das deficincias da anlise qualitativa de artigos e pesquisas, operacionalizada pela reviso sistemtica, a meta-anlise surge para combinar os resultados de vrios estudos de forma quantitativa, controlando, de certa forma, o vis e a subjetividade das anlises qualitativas de artigos. Comparada reviso de literatura, a meta-anlise pode quantificar os fenmenos analisados de forma conjunta. Neste sentido, Cooper e Rosenthal (apud

Armstrong, 2001) compartilham a idia de que a meta-anlise realmente mais efetiva do que a reviso de literatura tradicional para uma reunio de estudos. As origens da meta-anlise remetem-nos a 1904, quando o matemtico Karl Pearson inventou um mtodo para combinar resultados divergentes. Mas foi apenas em 1976 que Gene Glass e Mary Lee Smith apresentaram os resultados de uma meta-anlise em Psicoterapia, que envolveu a anlise de 375 estudos e 833 effect sizes durante dois anos (Hunt, 1997). Apesar de esta metodologia ter sido utilizada por dcadas em Psicologia, Glass foi o responsvel pela introduo do termo neste campo (Armstrong, 2001). A partir de ento, a meta-anlise passou a ser utilizada nas diversas reas do conhecimento, sendo alvo constante de crticas quanto ao seu potencial de generalizao e de agrupamento de estudos com naturezas diversas.

Meta-anlise: Conceitos, Vantagens e Etapas

Diante do cenrio do progresso cientfico contemporneo comentado anteriormente, a meta-anlise possibilita a combinao de resultados numricos de estudos com resultados diferentes e, at mesmo, conflitantes, apoiando pesquisadores na descoberta das inconsistncias (Hunt, 1997). Para Armstrong (2001), esta metodologia consiste em um sistemtico e quantitativo estudo de estudos. Segundo o autor, esta metodologia torna possvel: (1) a busca de estudos realizados em determinada rea do conhecimento, (2) a visualizao de estudos relevantes, (3) a codificao de resultados, e (4) o sumrio quantitativo desses. Assim, o pesquisador pode explorar a causa principal das incoerncias em determinada pesquisa, auxiliando no delineamento de pesquisas futuras a partir da considerao conjunta de resultados. Rich et al. (1999) afirmam que a meta-anlise uma tcnica rigorosa amplamente utilizada e aceita, que objetiva acumular resultados de vrios estudos para se chegar a uma representao mais acurada do seu relacionamento na populao do que aquela fornecida pelos estimadores de estudos considerados de forma individual. Neste sentido, um aspecto que deve ser destacado que a meta-anlise uma metodologia estritamente quantitativa, referindo-se anlise estatstica de um grande conjunto de resultados de estudos individuais com o objetivo de integrar suas concluses (Hunt, 1997; Farley, Lehmann e Sawyer, 1995). O processo central da metodologia a combinao de dados, de forma quantitativa, resultando em um ndice que representa os resultados dos estudos individuais agrupados. Neste sentido, Rosenthal (apud Sobrero e Schrader, 1998) destaca, dentre as finalidades de um processo de meta-anlise: (1) a sntese das evidncias que emergem de vrios estudos, em que relacionamentos entre duas ou mais variveis so investigados, (2) o isolamento de um conjunto de variveis moderadoras e verificao do seu impacto geral no relacionamento que est sendo estudado, e (3) a gerao de hipteses por agrupamento de estudos realizados sobre as variveis no diretamente observadas ou medidas no estudo. Bass (1995, p. 7) ressalta que a meta-anlise um importante mtodo para a generalizao emprica, definida pelo autor como um padro ou regularidade que se repete sobre diferentes circunstncias e que pode ser descrito simplesmente por mtodos

matemticos, grficos ou simblicos; um padro de resultados que ocorre com periodicidade e que, possvel e no necessariamente, pode ser predito por uma teoria. Neste sentido, a metaanlise contribui para a generalizao emprica ao possibilitar observaes adicionais e replicaes de estudos, bem como a expanso dos mesmos a outras situaes. Com base nos objetivos pretendidos por uma pesquisa, citados por Miller e Pollock, Geyskens, Steenkamp e Kumar (1999, p. 130) definem dois tipos de pesquisas que utilizam a meta-anlise: 1) tipo I visa a relacionar a variabilidade nos resultados dos estudos em um campo de pesquisa s diferentes caractersticas metodolgicas dos estudos individuais. A metaanlise a nica tcnica que permite investigar de forma apropriada o modo como as caractersticas dos estudos afetam seus resultados; e 2) tipo II objetiva o teste de hipteses baseadas sobre evidncias agregadas no campo, incluindo hipteses que no haviam sido consideradas anteriormente em pesquisas primrias. meramente uma ferramenta, pois as mesmas questes poderiam ter sido estudadas atravs da coleta de dados primrios. Neste caso, a meta-anlise possibilita generalizaes empricas a partir da reunio de vrios estudos. Assim, a meta-anlise observa atentamente diferenas entre estudos e os motivos para a ocorrncia dessas, gerando questionamentos e a definio de hipteses inovadoras de pesquisa. As diferenas so investigadas, segundo Albernethy e Franke (1996), atravs da considerao de influncias substantivas nacionalidade ou gnero dos indivduos pesquisados, por exemplo sobre resultados, e dos mtodos de pesquisa utilizados, tais como os procedimentos de anlise de dados. Destaca-se como vantagem principal deste mtodo a possibilidade de se obter uma viso dos elementos subjacentes aos multifatores e descobertas discordantes de pesquisa, bem como uma sntese de resultados diferentes. A meta-anlise possibilita, tambm, a identificao das variveis mediadoras e moderadoras de um estudo, responsveis pelos effect sizes e por suas diferenas, as quais sinalizam para reas em que pesquisas futuras so necessrias (Hunt, 1997). Infere-se, portanto, que, alm da vantagem citada acima, a metodologia em questo contribui para o delineamento da trajetria de temas e subdisciplinas, corroborando para o desenvolvimento global da rea de conhecimento em questo. Para Albernethy e Franke (1996), a meta-anlise fornece uma reviso quantitativa da literatura, que torna possvel aos pesquisadores: (1) o desenvolvimento de regras de uma ampla variedade de fontes, (2) a soluo de divergncias na literatura, (3) a determinao de quais fatores tm contribudo para as diferenas sistemticas entre os estudos, e (4) a identificao de reas negligenciadas. No se pretende, com o destaque de tais vantagens, realizar uma apologia metaanlise, mas ressaltar a sua relevncia para o avano terico e metodolgico da cincia. Como destacam Geyskens, Steenkamp e Kumar (1999), esta metodologia nunca dever ser considerada substituta de novas pesquisas primrias; so partes complementares de uma linha de pesquisa. Considerados os objetivos e as vantagens de uma meta-anlise, torna-se relevante compreender quais as etapas constituintes de um estudo deste tipo (Glass apud Hunt, 1997).

Alm do fator descritivo, busca-se indicar os caminhos a serem trilhados por pesquisadores que querem obter conhecimentos mais aprofundados em determinada disciplina, atravs de uma meta-anlise. As etapas so descritas a seguir, apresentando-se, tambm, alguns exemplos: 1) formulao do problema. Esta etapa explora quais so as questes que a metaanlise ajudar a responder e que tipos de evidncias examinar. Definem-se as variveis dependentes e independentes do estudo, bem como as variveis moderadoras. Na metaanlise realizada por Grewal et al. (1997), cujo objetivo era a anlise dos efeitos da propaganda comparativa em relao propaganda no-comparativa no consumidor, as variveis dependentes eram: ateno, conscincia, processamento de informao, capacidade de informao da propaganda, posicionamento e credibilidade (variveis cognitivas); atitude em relao propaganda e para a empresa (variveis afetivas); e inteno de compra e compra (variveis conativas). A incluso de variveis moderadoras foi considerada como forma de atenuarem-se os efeitos, na anlise, de caractersticas como: posio competitiva da marca no mercado, contedo factual da mensagem, credibilidade da propaganda comparativa e marca da empresa relacionada posio de mercado. 2) Coleta dos dados. Nesta etapa, os pesquisadores devem realizar uma busca por todos os estudos que tratam o problema, realizados de todas as formas possveis. A busca por artigos, dissertaes, teses e pesquisas em geral deve ser intensa em peridicos cientficos e bases de dados da rea, instituies de ensino, entre outros. Deve-se considerar a presena das variveis em estudo, bem como a confiabilidade das fontes de informao utilizadas. 3) Avaliao dos dados. Deve-se, neste momento, decidir quais das evidncias compartilhadas so vlidas e teis, eliminando-se estudos que no esto nos padres. Dennis, Wixom e Vandenberg (2001, p. 186), em uma meta-anlise acerca dos efeitos da adequao (entre tecnologia e tarefas organizacionais) e da apropriao da tecnologia pelas pessoas nos sistemas de suporte a grupos (GSS), destacam os cuidados a serem tomados na anlise dos estudos, tais como a similaridade das metodologias utilizadas e a considerao das mesmas variveis dependentes e das mesmas medidas estatsticas sobre elas. Os autores destacam que a avaliao do rigor de um estudo cientfico para incluso em uma meta-anlise complexa, considerando-se, por exemplo, a adequao de estudos de campo e experimentais. Alm disso, os autores destacam que to problemtico quanto serem includas pesquisas consideradas ruins exclurem-se boas pesquisas da anlise. Ainda, propem que a excluso de trabalhos no publicados pode causar um vis no estudo, porque trabalhos publicados tendem a ter resultados apoiando hipteses (Mcleod apud Dennis, Wixom e Vandenberg, 2001). Por fim, pode ser enfatizada a falta de padres na apresentao dos resultados de pesquisas como outra dificuldade na avaliao dos estudos a serem includos em um estudo desse tipo. A no-explicitao de itens como tamanho das amostras, desvio padro, erros e valores dos parmetros estimados pode complicar bastante o trabalho do pesquisador durante a pesquisa (Farley, Lehmann e Sawyer, 1995). 4) Sntese dos dados. A sntese dos dados utiliza mtodos estatsticos, como combinao de probabilidades e effect sizes para reconciliao e agregao de estudos dspares. 5) Apresentao dos resultados. Aqui, relatam-se os resultados para a comunidade de pesquisa, fornecendo-se detalhes, dados e mtodos usados. As crticas consideradas por Farley, Lehmann e Sawyer (1995) item 3 na apresentao de estudos podem ser

consideradas na apresentao de uma meta-anlise, se forem considerados os objetivos futuros de comparao e embasamento de futuros estudos desse tipo. Conclui-se este item destacando-se que os preceitos bsicos de rigor referentes a qualquer estudo cientfico devem ser observados na meta-anlise, no apenas dentro dos estudos, mas tambm entre os estudos. As relaes teoria-construto, construto-variveis e variveis-mensurao devem ser respeitadas rigorosamente e consideradas no conjunto total de estudos includos na meta-anlise.

Meta-anlise em marketing

Em recentes anos, a meta-anlise tem se tornado popular como mtodo de generalizao de resultados de estudos transversais em marketing (Rust, Lehmann e Farley, 1999). Vrios temas tm sido considerados nas meta-anlises realizadas na rea, tais como efeitos de propaganda (Grewal et al., 1997), sucesso de novos produtos (Henard e Szymanski, 2001), difuso de inovaes (Sultan, Farley e Lehmann, 1990), satisfao em canais de marketing (Geyskens, Steenkamp e Kumar, 1999), relacionamento entre participao de mercado e lucratividade (Szymanski, Bharadwaj e Varadarajan, 1993) e avaliao de desempenho de vendedores (Rich et al., 1999). Neste sentido, considerando-se a meta-anlise no mbito da generalizao emprica, observa-se que esta oferece uma abordagem para a generalizao emprica quantitativa em cima de parmetros de modelos de marketing, os quais devem apoiar a habilidade deste campo para descrio de teorias, leis e modelos que devem ser mantidos para um significativo nmero de situaes (Bass apud Farley, Lehmann e Sawyer, 1995). Assim, conforme afirmam Farley, Lehmann e Sawyer (1995), pode-se propiciar uma ligao metodolgica entre respostas organizadas e honestamente pesquisadas sobre condies experimentais e o complexo mundo onde os ambientes so difceis de serem controlados e as definies comuns no esto, freqentemente, disponveis. Segundo os autores, o principal benefcio desta metodologia em marketing tem sido a gerao de estimativas quantitativas generalizadas de importantes medidas. Exemplo disto so as generalizaes provenientes dos parmetros de modelos como o de difuso da inovao (Sultan, Farley e Lehmann, 1990), de comportamento do consumidor (Farley, Lehmann e Sawyer, 1995), de propaganda (Grewal et al., 1997) e de modelos de preos (Sultan, Farley e Lehmann). Deve-se destacar, no entanto, que esta metodologia per se no representa um avano cientfico ou a possibilidade de se alcanarem generalizaes, fortemente enfatizada (e almejada) pelos pressupostos indutivos do Positivismo. Como destacam Rust, Lehmann e Farley (1999), a relevncia e a qualidade das generalizaes resultantes de uma meta-anlise dependero fortemente de quo representativos so os estudos nela envolvidos e da existncia de uma razovel gama de ambientes de pesquisas. Esta afirmao nos remete, novamente, questo levantada anteriormente sobre a importncia da realizao de pesquisas primrias e, sobretudo, da qualidade desses estudos para o sucesso de uma meta-anlise, considerando-se que haver, com a generalizao, uma certa transposio de cenrios e momentos para outras situaes. Para tanto, a observao dos efeitos dos estudos considerados torna-se uma condio sine qua non para todo o processo.

Assim, ainda que cercada de precaues e de crticas relativas aos obstculos da generalizao de estudos, a meta-anlise tem sido bastante utilizada por pesquisadores de marketing, como pode ser observado no quadro 1.
autores Szymanski, Bharadwaj e Varadarajan. (1993). objetivos da meta-anlise n de estudos 48 estudos - Avaliar se a participao (1970-1991) de mercado e a lucratividade so positivamente relacionadas. resultados - Efeito positivo da participao de mercado na lucratividade, moderado por modelo de especificao de erros, caractersticas da amostra e de mensurao. - Satisfao econmica e no-econmica so constructos distintos com relacionamentos diferentes com antecedentes e conseqentes, como, por exemplo, centralizao e formalizao.

Geyskens, Steenkamp e Kumar (1999).

Rich et al. (1999)

- Distinguir entre satisfao econmica e noeconmica em canais de marketing. - Testar se satisfao noeconmica, confiana e compromisso so constructos distintos. - Examinar o relacionamento entre medidas objetivas e subjetivas de desempenho de vendedores.

93 estudos publicados (1970-1996)

21 estudos publicados (1950-1997)

- Medidas subjetivas e objetivas de desempenho no so intercambiveis, e a escolha da medida mais apropriada pode requerer um trade-off entre abranger com preciso o domnio do constructo de desempenho e a minimizao do erro de mensurao. - Propaganda comparativa parece ser mais eficaz do que propaganda nocomparativa, particularmente quando a marca anunciada nova para a categoria de produtos e comparada marca lder de mercado. - Dos 24 antecedentes de performance investigados na meta-anlise, a vantagem de produto, o potencial de mercado, a identificao das necessidades dos clientes, a competncia na tarefa de desenvolvimento e os recursos disponveis tm, em mdia, um impacto mais significante na performance de novos produtos. - Os tipos de informao mais comumente relatados so performance, disponibilidade, componentes, preo e qualidade. - Os resultados demonstram que a fora dos sentimentos evocados pela propaganda depende sistematicamente da valncia da emoo, das caractersticas do estudo e do conjunto de avaliao cognitiva.

Grewal et al. (1997).

- Analisar os efeitos da propaganda comparativa em relao propaganda nocomparativa no consumidor

77 estudos (54 publicados e 23 no publicados). (1975-1996) 41 estudos (35 publicados e 6 no publicados)

Henard e Szymanski (2001)

- Identificar os antecedentes da performance de novos produtos.

Albernethy e Franke (1996)

Brown, Homer e Inman. (1998)

- Analisar a informao contida em propagandas pesquisadas atravs da abordagem de ResnikStern. - Avaliar o relacionamento entre sentimentos evocados por anncios e respostas propaganda.

59 estudos (1977-1995)

46 artigos publicados

Quadro 1: meta-anlises em marketing.

Deve-se destacar que, alm de uma considervel quantidade de artigos e de um rigor cientfico na seleo e na incluso destes no processo, a meta-anlise requer, para sua realizao, um desenvolvimento terico consolidado na rea de conhecimento. Observa-se, tambm, que a meta-anlise em marketing tem utilizado trabalhos no publicados como fonte de pesquisa, considerando-se, obviamente, os rigores j comentados.

3.1

Estimando effect sizes e utilizando moderadores

Os effect sizes foram a maneira encontrada por Glass, em 1976, para traduzir os resultados dos vrios estudos para uma mtrica comum, podendo ser considerados formas de expresso dos efeitos dos tratamentos em escores, segundo Hunt (1997). Neste sentido, os effect sizes fornecem um ndice de magnitude de uma descoberta de pesquisa, sendo aparentemente independentes do tamanho da amostra. Representam, assim, o grau em que um fenmeno est presente na populao (Fern e Monroe, 1996). Os effect sizes possibilitam a comparao de vrios estudos, por representarem uma medida padronizada de diferenas de grupo utilizada no clculo do poder estatstico e calculada como a diferena nas mdias dos grupos, dividida pelo desvio padro (Hair et al., 1998). Em marketing, Fern e Monroe (1996, p. 103) destacam que trs tendncias justificam um exame de questes acerca dos effect sizes, quais sejam: (1) a insatisfao com os testes de hipteses nulas, que no possibilitam a comparao entre os indicadores, (2) a aceitao de meta-anlise para sintetizar conhecimentos entre pesquisas, e (3) o crescente uso do poder da anlise estatstica. Os autores destacam alguns indicadores utilizados para clculo dos effect sizes em marketing. Esses indicadores esto dispostos no quadro 2.
indicadores d de Cohen g de Hedge ! de Glass r de Pearson de Spearman Ponto Bisserial Coeficiente Phi Zr de Fisher 2 2 2

diferenas entre mdias

medidas de associao

varincia explicada

Quadro 2: indicadores de effect sizes. Fonte: Fern e Monroe (1996).

Uma crtica ao uso de meta-anlise e aos effect sizes refere-se comparao de estudos que diferem bastante entre si. Esta questo tem merecido bastante espao e a considerao de termos como homogeneidade e heterogeneidade dos estudos. Assim, um campo chamado homogneo se os effect sizes da populao so uniformes entre os estudos, e heterogneo se os valores variam entre os mesmos. A meta-anlise pode testar uma srie de estudos para ver se os valores da populao so uniformes dentro do campo. A forma mais simples para testar esta hiptese o teste de significncia chamado teste de homogeneidade. No entanto, tal teste apresenta limitaes referentes aos erros Tipo I e Tipo II, segundo Hunter (2001).

Deste modo, so citadas algumas recomendaes feitas pelos autores, a serem consideradas pelos pesquisadores antes de se compararem os effect sizes entre as pesquisas, quais sejam: 1. teste de se a amostra dos resultados representados na reviso vem da mesma distribuio; caso negativo, o pesquisador pode utilizar as caractersticas do estudo como moderadores, considerando a homogeneidade da populao; 2. considerao das diferenas dos effect sizes como provenientes da confiabilidade entre os estudos; 3. considerao do nmero de nveis de mensurao utilizados; o pesquisador deve ter certeza de que as escalas de mensurao das variveis dependentes so escalas intervalares e os pontos dos extremos so comparveis em significado; e 4. exame das caractersticas de amostra para heterogeneidade; caractersticas que se sobressaem devem ser consideradas moderadoras do estudo. Nesta mesma linha de pensamento, Farley, Lehmann e Sawyer (1995) criticam a utilizao da mdia nos estudos meta-analticos. Os autores fazem algumas consideraes a respeito desta abordagem tradicional, afirmando que os pesquisadores: (1) consideram que no h diferena de fato no desenho dos estudos, (2) sabem que as diferenas existem, mas as ignoram, (3) acreditam que as mesmas so controladas no desenho experimental, (4) vem os procedimentos de estimao e mensurao como concordantes, ou (5) percebem a varincia do erro como relativamente pequena e devida ao erro amostral. Farley, Lehmann e Sawyer (1995) recomendam a utilizao de uma ajustabilidade paramtrica para estimao dos effect sizes, considerando as diferenas entre estudos e utilizando anlise de varincia e covarincia. Os autores destacam, no entanto, que esses ajustes representam um aumento no grau de dificuldade, separando esse tipo de meta-anlise do convencional, baseado implicitamente na considerao de vrios estudos como replicaes sobre k estudos com diferenas entre estudos indicadas pelo erro. Os efeitos, considerados nessa abordagem ajustada, so estimados nos parmetros das variveis representando ambiente da pesquisa (produto e mercado), procedimentos de mensurao, mtodos de estimao e especificaes do modelo. A meta-anlise de Sultan, Farley e Lehmann (1990) envolveu 213 aplicaes dos modelos de difuso da inovao e considerou a natureza da inovao, o pas em estudo, o modelo de especificao e os procedimentos de estimao como provveis caractersticas dos estudos que pudessem causar variaes sistemticas no estudo. Essas categorias foram sugeridas por Assmus, Farley e Lehmann em 1984 (Sultan, Farley e Lehmann, 1990). Alm destes parmetros, o uso de moderadores essencial para garantir-se a homogeneidade dos estudos, controlando certas variveis que afetam diretamente os resultados. A meta-anlise de Rich et al. (1999), citada anteriormente, que examinou o relacionamento entre medidas objetivas e subjetivas de desempenho de vendedores, considerou, como variveis moderadoras, o controle de externalidades (condies econmicas, potencial do territrio, etc.), o mtodo de avaliao (medidas absolutas ou relativas) e o formato da avaliao (medidas subjetivas, objetivas ou mistas).

10

Outra meta-anlise, realizada por Szymanski, Bharadwaj e Varadarajan (1993), que tratou do relacionamento entre participao de mercado e lucratividade, buscou identificar quais fatores moderariam a magnitude do possvel relacionamento. Os moderadores utilizados no estudo referiram-se: (1) omisso de variveis relevantes envolvidas no relacionamento entre variveis da estrutura de mercado e participao de mercado/lucro, entre variveis de estratgia competitiva e participao de mercado/lucro, entre variveis especficas da empresa e participao de mercado/lucro, (2) s caractersticas da amostra empresas que trabalham no mercado consumidor ou organizacional, por exemplo , e (3) s caractersticas de mensurao da lucratividade e da participao de mercado.

Reflexes Finais e Recomendaes

A meta-anlise, apesar de ser uma metodologia aceita e amplamente utilizada, ainda enfrenta srias crticas, sobretudo com relao s suas propostas de generalizao emprica. Bayus (apud Sultan, Farley e Lehmann, 1990) enfatiza que a meta-anlise fornece, por natureza, uma imperfeita representao de um campo de estudo. O autor ressalta o aspecto temporal dos estudos e afirma que os ltimos estudos considerados podem encontrar diferentes resultados de mdias, porque, em muitos casos, o fenmeno muda. Alm disso, as prprias crticas metodolgicas transposio de idias provindas das cincias naturais, considerando o comportamento humano passvel de ser avaliado em laboratrios com variveis moderadoras e de controle, obstruem os caminhos da meta-anlise e das generalizaes. As acusaes de reducionismo e modelagem da realidade no podem ser desconsideradas quando da adoo de mtodos que pretendam expandir realidades apreendidas em determinada realidade a outros contextos, pessoas ou situaes. Alm destas crticas, de carter mais epistemolgico, as prprias limitaes da metaanlise, enquanto mtodo, merecem ser comentadas. Sobrero e Schrader (1998), por exemplo, citam algumas limitaes da meta-anlise:
" a comparao de effect sizes entre os estudos limitada, devido natureza noexperimental dos estudos existncia de covariveis pode afetar os resultados dos estudos;

os mesmos constructos tericos so freqentemente operacionalizados e mensurados de formas diferentes. As fraquezas na validade e na confiabilidade de constructos podem ter impactos diretos nos resultados da meta-anlise; e
"

a meta-anlise pode ser baseada em dados com vieses, dado que estudos publicados representam apenas uma frao dos estudos realizados, e que aqueles que so publicados relatam resultados significantes.
"

Muitos pesquisadores tm buscado solues para esse problema, como modelos de parametrizao e a abordagem Bayesiana (Farley, Lehmann e Sawyer, 1995). Outras recomendaes so feitas por Farley, Lehmann e Sawyer (1995): (1) estabelecimento de padres para reportarem-se resultados, os quais requerem a explicitao de tamanhos de amostra, dos erros e dos valores estimados de parmetros, (2) conduo de experimentos dentro dos estudos para controle dos efeitos da estimao e especificao sem necessidade de coletas adicionais de dados, e (3) acrscimo de fatores ambientais importantes mercados internacionais, por exemplo.

11

Muitas dvidas e questionamentos perpassam a realizao de um processo de metaanlise para a sistematizao do conhecimento ou generalizao emprica. Os modelos matemticos e a utilizao de parmetros e da matemtica Bayesiana, entre outros, representam avanos significativos, que contribuem para potencializarem-se as vantagens e minimizarem-se os erros para os pesquisadores de marketing.

Referncias ALBERNETHY, Avery M.; FRANKE, George R. The information content of advertising: a meta-analysis. Journal of Advertising, v. 25, n. 2. Minneapolis: American Academy of Advertising, 1996, pp. 1-17. ARMSTRONG, J. Scott (ed.). Principles of Forecasting: a handbook for researchers and practitioners. Norwell: Kluwer Academic Publishers, 2001. BASS, Frank. Empirical generalizations and marketing science: a personal view. Marketing Science, v. 14, n. 3. Linthicum: Institute for Operations Research and the Management Sciences, 1995. BROWN, Steven P.; HOMER, Pamela M.; INMAN, J. Jeffrey. A meta-analysis of relationships between ad-evoked feelings and advertising responses. Journal of Marketing Research, v. 35. Chicago: American Marketing Association, 1998, pp. 114-126. DENNIS, Alan R.; WIXOM, Barbara H.; VANDENBERG, Robert J. Understanding fit and appropriation effects in group support systems via meta-analysis. MIS Quarterly, v. 25, n. 2. Minneapolis: Carlson School of Management, University of Minnesota, 2001, pp. 167-193. EPSTEIN, Jeffrey H. Making Sense of Science: the rise of meta-analysis. Book review. The Futurist, v. 32, n. 2, 1998, pp. 44-45. FARLEY, John U.; LEHMANN, Donald R.; SAWYER, Alan. Empirical marketing generalization using meta-analysis. Marketing Science, v. 14, n. 3. Linthicum: Institute for Operations Research and the Management Sciences, 1995. FERN, Edward; MONROE, Kent B. Effect-size estimates: issues and problems in interpretation. Journal of Consumer Research, v. 23, 1996, pp. 89-105. GEYSKENS, Inge; STEENKAMP, Jan-Benedict E. M.; KUMAR, Nirmalya. A metaanalysis of satisfaction in marketing channel relationships. Journal of Marketing Research, v. 36. Chicago: American Marketing Association, 1999, pp. 123-138. GREWAL, Dhruv; KAVANOOR, Sukumar; FERN, Edward F.; COSTLEY, Carolyn; BARNES, James. Comparative versus non-comparative advertising: a meta-analysis Journal of Marketing, v. 61.Chicago: American Marketing Association, 1997, pp. 1-15. HAIR Jr., Joseph F.; ANDERSON, Ralph E.; TATHAN, Ronald L.; BLACK, Willian C. Multivariate Data Analysis: with readings. 5ed. New Jersey: Prentice Hall, Englewood Cliffs, 1998.

12

HENARD, David H.; SZYMANSKI, David M. Why some new products are more successful than others. Journal of Marketing Research, v. 38, n. 3. Chicago: American Marketing Association, 2001, pp. 362-375. HUNT, Morton. How Science Takes Stock. New York, USA: Russel Sage Foundation, 1997. HUNTER, John E. The desperate need for replications. Journal of Consumer Research, v. 28, 2001, p. 149-158. RICH, Gregory A.; BOMMER, William H.; MACKENZIE, Scott B.; PODSAKOFF, Philip M.; JOHNSON, Jonathan L. Apples and apples or apples and oranges? A meta-analysis of objective and subjective measures of salesperson performance. Journal of Personal Selling & Sales Management, v. 19, n. 4, 1999, pp. 41-52. RUST, Roland T.; LEHMANN, Donald R.; FARLEY, Jonh U. Estimating publication bias in meta-analysis. Journal of Marketing Research, v. 27. Chicago: American Marketing Association, 1999, pp. 220-226. SOBRERO, Maurizio; SCHRADER, Stephan. Structuring inter-firm relationships: a metaanalytic approach. Organizations Studies, v. 19, n. 4. Berlim: Walter De Gruyter & Company, 1998, pp. 585-615. SULTAN, Farena; FARLEY, John U.; LEHMANN, Donald R. A meta-analysis of applications of diffusion models. Journal of Marketing Research, v. 27. Chicago: American Marketing Association, 1990, pp. 70-77. SZYMANSKI, David M.; BHARADWAJ, Sundar G.; VARADARAJAN, P. Rajan. An analysis of the market share-profitability relationship. Journal of Marketing, v. 57.Chicago: American Marketing Association, 1993, pp. 1-18.