.~;~~
Donald
Julin
'"",,.,..,,t:e r.t
r~~_.t"o~
T. Campbell
C~ Stanley
;r~ ~.:
'-",
\'
A.r.I
I
~
:\
.
1. Estudo de um nico caso sem controle
Delineamentosexperimentais
,e qua~e-expe~imentais
,de pesquisa
~l(lV~~:e~~6~.'e)~
.1
\':i
Traduo de
"
:231-0
O(
O~
t
'\
([;;;.tt.-/cit
111111I111111111I1111111111111111I111
~::
.1
18913138709
"
\;~
O~\j06'
E.P.U.
j
't
II
I
f.I
Como tem sido salientado (p~ ex., Boring, 1954; Stouffer, 1949),
tais estudos ressentem-se. de uma to completa falta de controle a
.ponto de no possurem quase nenhum valor cientfico. O delineamento aqui introduzido como um ponto de referncia mnimo. No
obstante, devem ser feitos alguns comentrios a seu respeito em
razo do contnuo investimento em tais estudos e das inferencias
causais que deles se tiram. O processo de comparao, de anotao
de ~ferenas ou de contraste essencial evidncia cientfica (e a
todos os processos de diagnstico do conhecimento que incluem a
retina do olho). 'Qualquer aparncia de conhecimento absoluto ou.
de conhecimento intrnseco acerca de objetos singulares isolados
resulta ilusria aps a anlise. A evidncia cientfica exige pelo
menos uma comparao; para que tal comparao possa ser til,
ambos os lados dela 'devem ser tratados com o mesmo cuidado e com
a mesma preciso.
Nos estudos de caso representados pelo Delineamento 1, uma
nica instncia cuidadosamente estudada implicitamente comparada
com outros eventos- observados e lembrados casualmente. As infern<:iasbaseiam-se na expectativa geral do que os dados teriam sido, caso
X no tivesse ocorrido, etc. Tais estudos freqentemente envolvem
coleta tediosa de pOImenores especificos, observao cuidadosa, apli.
cao de testes e operaes semelhantes, envolvendo, em tais instncias, o erro de precistio mal empregada. O estudo seria muito mais
13
I
,li
r-
.,
~_.~_
,.
-o..
.__
'"
Delineamentos
tais:
2. Pr-teste e ps.teste a um
grupo
O
X
O
.
.
'e.
.! 11~
:a ~
~ a :I~
!i.E
.5fo.5.. u .5.g.
- -
- -
- ---
?+ + -
+ ++
.,....
j'
+++++++
O
.
-- -
.....
AuMnticos delinelJmentos
experimentlJis:
4. Pr-teste e ps-teste a grupos experimental e de controle
casuais .
O
..ti 'Qftt
'0
.-----.
o
pr.Experimen.
~ :a
.!:
.. lUa
4.1 4.l
~
'Q 'Q"".... -8
o~ o
of
~ 'e.::s
'fi.
"'~
..'" I::!.. I!
~ 5 ,o
'Cfc.oS;o:=
~
fi
1:.
._. B
ftt ri '" u _ o :Ia
s:::
11:: ::!! I-< ~ ~ ~ ::!! .....
E ~'~
,,:1
"'u
o
~
'"
Uma terceira .explanao rival "confundida" o. efeito de testagem - o efeito do' prprio pr-teste. Em testes de desempenho e
~te1igncia, estudantes submetidos ao teste pela segunda vez ou
submetidos a uma forma paralela do teste, etc., conseguem usualmente melhores resultados do que os que se submetem ao teste pela
5. Delineamento
de quatro
grupos de Solamon
A
O
X
O
A
O
O
A
O
A
O
6. Delineamento com grupo
de controle e s ps-teste
A
X
O
++++++++
+ + + ++ + + +
Nota: Nas tabelas, um sinal menos indica uma fraqueza indiscutfvel, um sinal
mais indica que o fator controlado; um ponto de interrogao indica uma
possvel fonte' de preocupao, e a ausncia de sinal indica que o fator no
relevante.
...
16
17 .
r-
F'=..
..-.
.,
~inh8de
E!icpres
no
Escores no ps-teste ~
;
pr-teste
!! 2 !!! 11 li
11
12
1.
11
i.2
~1
2""'~;;
! ;/1
(D'.o
"1n
,-
!!!
8
'.,
ln
Mdia
-o
10,5
10,0
9,5
C>
o.u.
11,5,
11,0
1~
~!t"'2"
4'" 3
De grupos homogneos
no pr-teste,
--+
13
12
Predio
Para mdia
Para mdia
no p6s-teste
no pr-teste
11 ,~
10
10
18
Figura
ps-teste.
.-
1b:
;Fig'ura1c
De grupos homogneos
+--no
.~;.~
11
regresso b
11 no ps-leste
l/I!
2
I
..a
1
1
,";--
do pr-teste e
.
19
..-
f
1
teste, por exemplo, para os escores 7, e procurarmos somente os escores desses estudantes no ps-teste, encontraremos os escores dispersas,
mas em geral mais elevados e em mdia "regredidos" meio quninho
(ou seja, a regresso ou. coeficiente de correlao 0,50) rumo mdia
do grupo, resultando uma mdia de 8,5. Mas ao invs de ser isso uma
prova de progresso uma reafirmao tautolgica de correlao
imperfeita e de seu grau.
.
Embora tenha sido discutida aqui em termos de erros de medida, a regresso mais geralmente uma funo do grau de correlao;
quanto menor a correlao, maior a regresso rumo mdia. A falta
de correlao perfeita pode ser devida a "erro" e/ou a fontes sistemticas de varincia espedfica a uma ou outra medida.
Os efeitos da regresso so, pois, acompanhamentos inevitveis
de correlao imperfeita de teste-reteste para grupos. selecionados
por sua posio extrema. No so, CC?ntu4o,concomitantes neces.
srios de escores extremos onde quer que, sejam encontrados. Se um
grupo, selecionado por 'motivos independentes, resulta possuir uma
mdia extrema, existe menor expectativa a priori de que a mdia do
grupo regrida num segurido teste, uma vez que as fontes de varincia
aleatrias ou estranhas tiveram liberdade de afetar os escores iniciais
em ambas as direes. Mas no esse o caSode um grupo selecionadC)
por causa de sua posio extrema numa vrivel falvel. Sua extre.
midade artificial eregredir rumo mdia da populao de que
foi extrado.
20
".---.
.................---
01
.~
01
O2 entre grupos, devidas evaso diferencial de sujeitos dos
grupos. Assim, ainda que no Delineamento 3 os dois grupos tenham~
iniciaimente, sido idnticos, podem diferir agora, no porque seus.
membros tenham sofrido individualmente qualquer mudana, mas
em conseqncia da evaso seletiva de pessoas de um dos grupos.
Em pesquisa educacional, esse probJema surge freqentemente em.
estudos tendentes a apurar os efeitos da educao universitria de um
college atravs da comparao de medidas em calouros (que no
foram expostos a X) com medidas em veteranos (submetidos X).
Quando tais estudos mostram que as calouras so mais bonitas que
as veteranas, repelimos a implicao de que nosso intenso curso de
treinamento enfeia e lembramo-nos da menor. proBabilidade que tm
as moas bonitas de concluir o curso porque se casam. Esse feito.
aqui classificado como mortalidade experimental. ( bvio que, se
considerarmos as mesmas moas, quando so calouras e veteranas,
o problema desaparece e temos ento o Delineamento 2.)
62
Instncias desse tipo de pesquisa incluem, por exemplo, a comparao de sistemas escolares q!1e exigep1 professores portadores do
ttulo de bacharel (X) versus sistemas que no fazem essa exigncia:
a comparao de estudantes em classes em que se proporciona treinamento em leitura dinmica versuS classes em que no se verifica .tal
prtica; comparao dos que assistiram a certo programa de TV
com os que no o viram, ete. Em marcante contraste com o "verdadeiro" experimento representado p~lo Delineamento 6, exposto adiante, no h, nessas il1stncias do Delineamento 3, nenhum meio formal
de apurar se os grupos teriam sido equivalentes, caso X no tivesse
sido aplicado. Essa ausncia, indicada no diagrama pela linha tracejada separando os dois grupos, espelha o prximo fator a exigir
controle, isto , seleo. Se 01 e O2 difere~, essa diferena bm
poderia ser conseqncia do recrutamento diferencial de pessoas que.
constituram os grupos: os grupos poderiam ter apresentado difer.~a de qualquer forma, ainda que no tivesse ocorrido X. Como
ser discutido por ocasio da apresentao da anlise ex post facto,
emparelhar os elementos dos dois grupos em caractersticas outras
que no O constitui, regra geraJ, prtica ineficaz e enganosa, especialmente nos casos em que os sujeitos do "grupo experimental" pro~
curaram expor.se a X.
Uma ltima variveJ confundida para esta lista pode ser deno.
minada mortalidade experimental, ou seja, a produo. de diferenas
22
23
.--
----.-.---.
01
X
--..-..---....
01
'l
O2
62
Instncias desse tipo de pesquisa incluem, por exemplo, a comparao de sistemas escolares q'!le exig~ professores portadores do
titulo de bacharel (X) versus sistemas que no fazem essa exigncia;
a comparao de estudantes em classes em que se proporciona treinamento em leitura dinmica ve1'SuSclasses em que no se verifica tal
prtica; comparao dos que assistiram a. certo programa de TV
com os que no o viram, ete. Em marcante contraste com o "verdadeiro" experimento representado p~lo Delineamento 6, exposto adiante, no h, nessas instncias do Delineamento 3, nenhum meio formal
de apurar se os grupos teriam sido equivalentes, caso X no tivesse
sido aplicado. Essa ausncia, indicada no diagrama pela linha tracejada separando os dois grupos, espeIha o prximo fator a exisir
controle, isto , seleo. Se 01 e O2 difere~, essa diferena bem
poderia ser conseqncia. do recrutamento diferencial de pessoas que
constituram os grupos: os grupos poderiam ter apresentado dife:r:~a de qualquer forma, ainda que no tivesse ocorrido X. Como
ser discutido por ocasio da apresentao da anlise ex post facto,
emparelhar os elementos dos dois grupos em caractersticas outras
que no O constitui, regra geral, prtica ineficaz e enganosa, especialmente nos casos em que os sujeitos do "grupo experimental" pro~
curaram expor-se a X.
Uma ltima varivel confundida para esta lista pode ser denominada mortalidade experimental, ou seja, a produo. de diferenas
22
23.
r-
...
r
;..
t...;'
'
Os trs delineamentos bsicos de que trata esta seo so os plan~ correntemente recomendados na literatura metodolgica. Sero
tambm os.planos mais enfaticamente recomendados. nesta apresentao, ainda que este endosso esteja sujeito a muitas qualificaes. especificas relativas prtica usual e a alguns sinais menos, sob as colunas
da validade externa na Tabela 1. O Delineamento 4 o mais usado
dos trs e, por essa razo, sua apresentao ser-desproporcionalmente'
extensa, uma vez que ensejar discusses mais geralmente aplicveis.
Note-se que todos os trs planos so apresentados em termos de um
nico X comparado' com noX. Delineamentos com mais numerosos
tratamentos, na tradio do .experimento fatorial de Fisher, representam elaboraes importantes que tangenciam o fio condutor deste
capitulo e so discutidos' ao trmino desta seo, em seguida ao
Delineamento 6. Mas tal perspectiva pode servir para lembrar-nos, a
esta altura, de que a comparao de X com no X uma supersimplificao. A comparao faz-se, na realidade, com as atividades
especificas do grupo de controle que ocuparam o periodo de tempo
t
tI
O2
04
Da.
Porque este plano controla to nitidamente todas as sete hipteses rivais at aqui descritas, sua apresentao no tem usualmente
expJicitado as necessidades de controle por ele stisfeitas. Na tradio da pesquisa sobre aprendizado, os e~eitos,de prtica de testagem
parecem proporcionar o priD;1eiroreconhecimento da necessidade de
um grupo de controle. Maturao COstumavaser'um foco crtico nos
estudos experimentais em educao, tanto quanto no problema
"natureza-ambiente" dentro da rea do' desenvolvimento da criana.
Em pesquisas sobre ,mudana. de atitudes, como nos primeiros estUdos sobre efeitos de filmes, histdria pode ter sido a principal e forosa considerao. De qualquer forma, parece desejvel discutir aqui
so
controlados.
brevemente
o modo pelo qual ou as condies em que tais fatores
~ Histria controlada na medida em que acontecimentos histricos em geral, que possam ter produzido uma diferena 01 _ 02'
produziriam tambm uma diferena Os - 4, Note-se,todavia,que
muitas pretensas utilizaes do Delineamento 4 (tanto quanto dos Delineamentos 5 ou 6) no controlam a especifica histria interna a cada
sesso. Se 'todos os estudantes aleatoriamente selecionados do grupo
experimental ~o tratados numa nica sesso e, de forma s.emelhante,
os estudantes do grupo de controle em outra nica sesso, ento os
irrelevantes eventos peculiares a, cada sesso (a piada engraada, o
incndio do outro lado da rua, as observaes introdutrias do experimentador, etc.) constituem-se em hipteses rivais QPazes de explicar a diferena 01
O2 versus a dilerena 0a _ 4, Esse experimento no um autntico experimento, ainda quando seja
apresentado como um paradigma ilustrativo, com~, ocorreu com o
26
com JC.
. A soluo tima consiste na aleatoriedade_ doasocasies experimentais, com restries tais que garantam representao equilibrada
de fontes de vis altamente provveis, quais sejam, experimentadores,
hora do dia, dia da semana, parte do semestre, pr~ximidade 'de
exames, etc.
expediente comum de tratar os ""Sujeitosexperimentais
em pequenos grupos, ao 'invs de: individualmente, ' -inadmissvel,
se tal agrupamento no for levado em considerao na anlise, estadstica"J.(Ver a seo sobr~ atribuio "de_grupos intactos a tratamentos,adiante.) Etodos. os. includos na "mesma ses~o partilham. da
mesma histria interna e assim possuem fontes de similiuidade outras
que no XJSe tais sesses fo~
atribudas ao acaso, o tratamento
estatstico correto o me~o que ser discutido a seguir quanto
~,
f
t;
~
~
1
li
15
~,
n
h'
'11
li
i',
-a
..,1,.
h
UI
~i
'
,1
i;"
I'
Seleo, eWninada como uma explicao da diferena'"na medida em que a aleatoriedade garantiua igualdade dos grupos ao
tempo . Tal n,edida a medida propiciada pelas nossas estatsticas
de amostragem. Assim, a garantia de igualdade maior para grandes
do que para pequenos nmeros de atribuio aleatria. Na extens,o
indicada pelo termo do erro para a hiptese de no-diferena. essa
pressuposio ser ocasionalmente errada. No Delineamento 4, isso
significa que haver. oCasionalmente, uma ~ferena aparentemente
"significativa" entre os escores do pr-teste. Assim, se certo que a
amostragem casual simples ou estratificada garante a atribuio no
viesada de sujeitos experimentais .grupos, no menos certo que se
trata d~ um meio imperfeito de assegurar a equivalncia inicial de
e o meio essencial
tais grupos. No obstante, o nico meio
,de faz-l,o.Esta afirmao feita to dogmaticamente por causa da
generalizada e enganosa prefer~ncia. em pesquisa educacional, nOIl
ltimos trinta anos, pela equalizao atravs de emparelhamento
(matching). McCall (1923) e Peters e Van Voorhis (1940) ~judaram
a perpetuar esse equivoco. Como ser explicado mais pormenorizadamente durante a disCusso do Delineamento 10 e da anlise ex post
facto, o emparelhamento no constitui um auxlio real qUando usado
para corrigir difere~~ iniciais de grupos. Com isso no se quer
eliminar o emparlhainento como um adjunto aleatoriedade, c9mo
ocorre quando se ganha preciso estatstica, quando, em seguida.
um membro de cada par atribudo aleatoriamente a um grupo
experimental e outro ao grupo de ,controle. Na lite~atura estatstica isso conhecido como constituio de blocos (blocking).
Ver particularmente as discusses de Cox (1957). Feldt (1958) e"
Lindquist (1953). Mas emparelhamento ,como substituto de aleatoriedade inadmissivel mesmo para os planos quase-experimentais
28
.
,,--~
"
.~
,
ap~feioamento, etc., mas impossvel identificar sua exata contraparte no grupo de controle. Embora.. parea tambm pouco equitativo para a hiptese de eficcia teraputica comparar to~o o grupo
convidado com todo. o grupo' .no convidado, . essa uma soluo
aceitvel, ainda que. conservadra..~ote-se, todavia, a possibilidade
de que o prprio co~vite, mais. do que a u~rapia, venha a causar o
efeito. Em geral, o grupo de controle n~o convidado deveria ser
denti~cado, tanto quanto o convidalo, 'de sua posio' no pr-teste.
Outra alternativa convidar todos os que precisam de aulas de
recuperao e incluir os que atendem em dois grupos de tratamento
remedial: verdadeiro e placebo; mas, na presente situao, qualquer
terapia simulada (placebo) que seja to plausvel a ponto de'se
apresentar como -capaz de auxiliar o estudante/acabar sendo uma
terapia to boa quanto o tratamento que estamos estudando. Note-se,
contudo, a implicao vlida de que testes experimentais da ~lativa
eficcia de dois processos teraputicos so muito. mais fceis de
avaliar do que a absoluta eficda de. cada um. A nica soluo efetivamente prtica consiste em 'criar grupos experimental e de controle
a partir de pessoas que procuram tratamento de recuperao, atravs
d manipulao dos perodos de espera. (p. ex., Rogers e Dymond,
1954). Isso, como natural, cria por vezes outras dificuldades, como,
por ~xemplo, uma excessiva c:vaso no grupo de controle da terapia
adiada. Quanto ao emprego bem sucedido e aparentemente noreativo de um sorteio para decidir sobre um curso de recuperao de
leitura imediato ou adiado, ver Reed (1956).
Fatores que comprometem a validade externa
Os fatores de invalidade interna descritos at. aqui foram fatores capazes de afetar diretamente os escores O. Tratou-se de fatores
que, por si ss, poderiam. produzir mudanas suscetveis de serem
erroneamente tomadas como resultados de X, ou seja, fatores' que,
uma vez acrescentado o.grupo de co~trole, produziriam efeitos mani- '
{estados, por. si me~mos; nesse grupo e acrescentados aos efeitos de
X no grupo experimental. Na linguagem de anlise de varincia,
histria, maturao, testagem, etc. foram descritos. como efeit6s principais e, .como tais, fQram controlados ~o Delineamento 4, garan,tindo::'
lhe validade interna/As ameaas validade externa, de outro lado,
podem sei denQmina,das de. efeitos .de interao, envolvendo X e
algUma outra varivel. Elas representam, pois, uma especifidda:de
potencial dos efeitos de X a algum indesejvel conjunto de condies. guisa de antecipao: no Delineamento 4; por tudo o que
sabemos, os efeitos observados de X podem ser espedficos aos grupos
"esquentados" pelo pr-teste. Logicamente, no podemos generalizar
31
..--....-...-.......---
ao mais amplo universo n.o pr-testado a respeito do qual gostaramos de poder falar.
.
bilidade e os processos tendentes a reduzi.las. Assim, desde que existem vrios esquemas que eliminam o pr-teste e desde que, em muitos
contextos (mas no necessariamente em pesquisa sobre ensino), a
grupos no pr-testados que se quer generalizar, tais. delineamentos
so preferidos sob o fundamento de que preservam' a validade externa
ou genera~bilidade.
Na rea do ensino, as dvidas freqentemente
levantadas sobre a aplicabilidade, na prtica efetiva, dos resultados
de experimentos altamente artificiais so juizos sobre validade
externa. A introduo de tais conside.raes na discusso de planos
experimentais timos causa uma reao emocional no praticante
que acha, com razo, que tais consideraes tm. sido indevidamente
negligenciadas na maioria dos tratados formais sobre metodologia
experimental. A discusso seguinte sustentar esses pontos de vista,
indicando numerosos meios de tomar os experimentos mais externamente vlido.s e criando bases mais apropriadas de generalizao
para a prtica de ensino, sem perder validade interna~
Mas antes de entrar em tal discusso, necessria uma precau.
f'
da induo. Os problemas so penosos por causa da persistente relu( tncia em aceitar o trusmo de Hume de que a i-nduo ou genera-
I lizao
nunca
\ Enquanto
se justifica
plenamente
do ponto
de vista lgico.
\\.deestrelas,
orientao do campo magntico, presso baromtrica,
radiao gama, etc.
nvel
32
iI
II
I
,.j
~~
.--
33
-..,.I
,
t"
~._.
'
34
',',
,.-,".
,~:~j
~.
r-
r--!
;
Atualmente, parece haver dois tipos principais de 'Iexperimentao" 'em :curso nas escolas: (1) pesquisas "impostas" escola por
algum de fora, que tem seus prprios problemas a resolver.e cujo
.objetivo no. ao imediata (mudana) pela escola; e (2) o assim
segue resultados que podem ser altamente aplicveis mas que pro- .
vavelmente no .so "verdadeiros" em conseqncia da extrem falta
de rigor na, pesquisa. Um modelo alternativo o da pesq~isa em
sala. de aula origin~da entre professores e outros profissionais da
escola, cujas .idias sejam testadas atravs de esquemas elaborados
em cooperao com especialistas em metodologia da pesquisa e cujo
processo experimental. fique a cargo dos prprios produtores de
idias. As anlises estatsticas apropria4as poderiam ser feitas pelo
especialista em metodologia da p~quisa e os resultados comunicados
ao grupo atravs de um intermedirio ttemado (supervisor, diret9r
de pesquisa no' sistema esColar, etc.) qu~ tenha s.ervido como elemento de contato todo o tempo. Os resultados, nesse 'caso, devero
ser relevantes e "certos". Como consegUir q~e pesquisa bdsica seja
realizada dentro desse padro quase sempre um problema sem
soluo, mas,. assim procedendo, ou seja, sob a coordenao de um
39
i
.!
.
.
.. -
_J
rI~
--
.--
.~
.~
~
"J
Uma estatlstica t'Tadacomumente usada. EmbOra a Deline~ento 4 seja o plano-padro e mais amplamente usado, OStestes de significAneia empregados com ele. so freqentemente errados, incompletos'
; ou inadequados. Ao. aplicarem a "razo crtica" ou teste t comuns
I ~ esse delineamento experimental padro, muitos pesquisadores tm
computado dois t, um para. a diferena entre pr-teste e ps-teste no
.) 'grupo experimerital, outro para a diferena c;ntre pr:teste e ps-teste
no grupo. de contrale. Se a primeira foi "estatisticamente significativa" e a segunda "na", ento. tm 'concludo qQe X teve um efeito,
sem qualquer comparao estatstica direta entre os grupos experimental e de controle. Freqentemente, as condies tm sido tais
que, houvesse sido apli~ado um' teste mais apropriado, a diferena
no teria sido significativa (como no caso .em' que os valores de
I significncia so prximos ao limite, com o grupo de' controle mostrando um ganho quase significativo). Windle (1954) e Cantor (1956).
tm mostrado como esse erro freqente.
Uso de escores diferenciais e covaridncia. O teste aceitvel mais
largamente usado o de computar, para cad grupo, o ganho em
escores do ps-teste em relao ao pr-teste e cal~ar um t entre
os grupos experimental e de controle. nesses escores diferenciais.
"Blocos casualizados" ou "nivelametito" em escores do pr-teste e a
-anlise de covarincia com os escores' do pr-teste coma covarivel
so, via de regra, preferveis simples comparao entre os ganhos em
escores. Certo como que a grande maiC?riados experimentos educacionais no mostram diferena. significativa e, por conseguinte, freqentemente no so. comunicados, o uso dessa' anuse mais precisa
pareceria altamente desejvel. Cansiderando o trabaijla de realizar um
experimento,. a trabalho de. proceder anlise apropriada 'relativam~nte siID;ples.Tratamentos-padro de anlise tipo-Fjsh~ pod~Il
ser consultados para conhecimento. de porm~ores.' (Ver tambm
Cox, 1957, 191)8j.Feldt, 1958j e Lindquist, 1953.)
Estatlsticas para atribui,o aleatria de turmas in.tacias a tt'atamentos; As estatsticas usuais so. apropriadas somente quatidoestu- .
dantes tenham sido individualmente atrlbu~os a tratamentos atravs
de seleo. cas-ual. Quando turmas intactas tiverem ,sido atribudos
a' trtamentos, as frmulas. acima prodUziro um termo. de. erro
muito pequeno porque o processo de casualizao foi, obviamente,
. mais "por atacado" e foi empregado um nmero menor de eventos.
aleatrios. Lindquist (1953, pp'.) 72-189) forneceu a fundamentao
e as frmulas para uma analise correta. Essenialmente,: as. mdias
das classes so usadas' como as observ'aesbsicas e os efeitos do
tratamento so testados em relao s variaes ne,ssas mdis. .Uma
anlise de covarincia usaria as mdias do pr-teste cO~(j a covarivel.
\
"
.,1
-'1
f;
"I
~~1
:;~,
.j
~
..
..
('1
i~m
42
r
~
~
i
j
;
i,
mento. Como natural, cerca de 20 deles no podem ser encaixados' .e social, se no mesmo ainda 'da pesquisa sob.re ensino), esse erro
se que erro deva existir. maior uma
convenientemente no horrio do laboratrio ou adoecem, etc., de ; est na direo preferida
possvel
subestimao
de
signifidncia
quando h apenas duas conforma que se opera, implicitamente, uma redefinio do universo. i
dies
experimentais
e
so
usados
tados
os suje~tos disponveis (Wilk
E mesmo que ele faa um esforo titnico e rena todos os 100, o i
e
Kempthome,
1955,
p.
1154).
que ganhou, do ponto de vista da representatividade, foi a habilidade
,
~
~
~
~
~
~
!
~
a
;e
'
'e
que se apresentam, os distribui, casualmente, aos grupos de trata- , dao cruzada ( esse certamente o caso da psicologia experimental
5.
ia
a
:1
I,
S
5
)
s
~
A
A
A
A
01
Oa
O2
0"
06
Oe
X
Em geral, bvio 'que o objetivo dominante da aleatoriedade
em experimentos de laboratrio a validade interna, no a externa.
Tendo isso em vista, deveriam ser empregados termos de erro menores e mais apropriados baseados em pequenos universos finitos.
Ao estabelecer um paralelo entre os elementes de Delineamento 4
Subscrevendo Kempthome (1955) e Wilk e Kempthome (1956),
(01 at O~) com o grupo experimental e com o de de controle sem
notamos que o modelo adequado a aleatorizao por "grupos" atrapr-teste, tanto os efeitos prindpais de testagem quanto a interao.
vs de uma em vez da amostragem de um universo. H, pois, um
de testagem e X so determinveis. Dessa forma, no s aumenteste no.paramtrico disponvel mais apropriado e mais preciso, em
.tada a generalizabilidade, como tambm O' efeito d~ X replicado
que se tomam os escores obtidos nos grupos experimental e de conde quatro maneiras diferentes: 02>O, O2>0,, 011>0 e ()1I>Oa'
trole e se colocam aleatoriamente tais escores, repetidamente, em dois
As instabilidades reais da experimentao so tais que, se 'essas com"grupos", gerando empiricamente (ou matematicamente) uma distrip~aes estiverem de acordo, a fora da inferncia estar grande,
buio de diferenas de mdias surgidas completamente da distrimente aumentada. Outra contribuio indireta generalizabilidade
.buio aleatria desses escores especificos. Essa distribuio o critdos resultados experimentais prestada tambm no sentido de que,
rio com o. qual a diferena de mdias obtidas deveria ser comparada.
atravs da experincia com o Delineamento 5 em qualquer rea de
Quando ocorre a "interao tratamento-unidade" (heterogen~idade
'pesquisa determinada, se apreende a probabilidade geral de interade efeitos reais en~re sqjeitos), essa distribuio ter menos, variabilies de testagem e X e, por conseguinte, se pode interpretar melhor
dade do que a respectiva distrib~io pressuposta no teste t usual. . ,os Delineamentos 4 passados 'e futuros. De mo.do semelhante, pode-se
.'no.tar (pela comparao. de O, com 01 e 08) um efeito combinado
Estes comentrios no pretendem modificar substancialmente a
de maturao e histria..
prtica atual de aplicar testes de significncia em pesquisa &obre
ensino. As solues exatas so muito cansativas e, costumeiramente,
inacessveis. Seleo casual por grupo, por exemplo, exige ordinariaTestes estatsticos para o Delineamento 5
mente acesso a computadores de alta velocidade. A direo do erro
No h um nica processo estatstico que faa uso de todos os
. conhecida: o uso de estatsticas tradicionais muito conservador,
seis
conjuntos de observao simultaneamente. As assimetrias do
isto , muito incli~ado a dizer "nenhum efeito apurado Se julgardelineamento. eliminam a anlise de varincia das diferenas nos
mos nossas publicaes como sobrecarregadas de "falsos positivos",
escores. . (As sugestes de Solomon a esse respeito. so. consiou seja, de proclamaes de efeitos que no resistiriam a uma vali4S
44
il....
___o. _~.
.-
.
-
----.-----..
,...-.--.
-.---
06
Oli
i
I
I.
. -~
A
A
L
~
~j
'
t
~
46
01
O2
i.
!.
i!'
Delineamentos fatoriais
I
i
Tais elaboraes, complicadas por esforos no sentido de economizar, por eliminao, algumas das possveis permutaes de X.. por
Xb tm produzido alguns dos mistrios traumatizantes do esquema
. fatorial
(blocos aleatris, unidades subdivididas (split plots], quadrados greco-Iatinos, rplicas parciais, "confundimento", ete.) que tm
criado um grande abismo entre metodologias de pesquisa educacional
avanadas e ttadicionais. Esperamos que est capitulo contribua para
vencer este abismo atravs da continuidade da metodologia tradicional e das consideraes de senso comum que o>estudante traz
consigo. Parece-nos tambm que a maior parte do que precisa ser
ensinado sobre delineamento experimental possa melhor ser entendido quando apresentado sob a forma de delineamento de dois tratamentos, sem a interferncia de outras complexidades. Ademais, uma
completa apresentao dos problemas do uso tradicional gerar uma
ompreenso da neces~idade e da importncia das abordagens modernas. Ao procurar o meio mais eficiente de sintetizr o antigo e.
amplamente aceito Delineamento 4, j fomos levados a sentir a neces~'
sidade da anlise de covarincia, que quase no tem sido usada neste
contexto. E, no Delineamento 5, com um problema de dois tratamentos, elaborado apenas para obter controles indispensveis, abandona.mos as raZes criticas e os testes t em favor .das respectivas estatsticas
. da anlise de varincia.
.
; .
:'_i
~ :f
49
48
L~
r- -
- -
.J
..,---
J usamos esse conceito em contextos em que se supunha cOJOpreensvel ao leitor no treinado. Como antes, nossa nfase repousa
aqui nas 'implkaes de generalizabilidade. Consideremos, sob forma
grfica, na Figura 2, cinco possveis resultados de um delineamento
com trs nveis' cada de XII e X1J,que sero design'ados por A e B.
A, B e O devem ser grafadas em
(Uma vez que trs dimenses
duas dimenses, existem vri!lS representaes alternativas, uma das
quais apenas ser usada aqui.) Na Figura 2a h um efeito principal
significativo tanto no caso de A quanto de B, mas no h interao.
(H, naturalmente, uma soma de efeitos
As, Bs surgindo como a
mais forte
mas no h inter;to, prquanto os efeitos so adidvos.) Em todas as demais figuras, h interaes significativas.
alm ou em lugar dos efeitos principais de A e B. Em outras
palavras, a lei que rege os efeitos de A muda em funo do valor
espedfico de B. Nesse sentido, efeitos interativos so regras de espetificidade de efeitos e, por conseguinte, relevantes aos esforos .de
generalizao. O efeito de interao em 2d mais claramente dessa
ordem. Nesse caso, A no tem um efeito principal (isto , se forem
tiradas as mdias dos valores de todos os BB para cada AJ o resultado
ser uma linha horizontal); mas, quando B mantido ao nvel 1,
aumentos em A tm um efeito decrescente, ao passo que, quando. B
mantido ao nvel 3, A tem um efeito crescente. Houvesse o expe.
.-
!:
I
i.
'
..~
.
Li
50
::
"
8'
..
"ti
'"
:;)
..
BII
./
9
..
"ti
..:;)
E
C)
/8,
B1
AI
A2
. Figura' 2a
As
AI
A2
Figura 2b
As
Ba
O
lU
"ti
'"
:;)
E,
C)
lnterao
. AI
Bs
O
lU
"ti
..
::I
I!!o
.C)
8B2
8B2
B1
B1
A2
Figura 2c
Aa
AI
lU
-c
A;t
Da.
.....
A2 .
Figure 2d
B2
C)
81
AI
A2
.As
!'igura 211
52
Classific~~cs hicr4rquizadas
53
r-
---
I
:\
.1
j
!!
;\
1i
.\
,\1
"
t~M
.
"
.I
d~peUdentes. Outra forma de encarar variveis independentes consider-Ias ~ntrinsedunente ordenadas (srie escolar, nvel scio-econmico, altura, tentativas, ett.) 'e no-ordenadas (mtodo de ensino,
matria, profesSor, sexo, etc.).' Os efeitos de variveis ordenadas
podem freqentemente ser analisados mais a fundo ~ fim de apurar
se a tendncia linear. quadrtica, cbica ou mais alta (Grant,
1956; Myers, 1959).
A maioria das variveis de interesse ,em experimentao educacional pode cruzar outras variveis e no precisa. ser hierarquizada.
Excees dignas de nota, alm das mencionadas acima, so: idade
cronolgica. idade mental, srie escolar (primeira, segunda, etc.) e
nvel scio-econmico. O leitor perspicaz pode ter notado que vari, veis independ.entes ou critrios de classificao so de vrias esp<;ies:
(I) variveis manipuladas, tais como mtodo de ensino, suscetveis
de ser atribudas vontade pelo experlmentadori (2) aspectos potencialmente manipulveis, tais COmOmatrias estudadas, que o experimentador pode atribuir de alguma forma casual aos estudantes
que est usando, embora raramente o faa; (3) aspectos ambientais
relativamente fixos, tais como escola, comunidade ou nvel scioecoI)mico,que' no se acham sob controle direto do experimentador,
mas servem como bases explcitas para estratificao no experimentOi (4) caractersticas "orgnicas" de alunos. tais como idade, altura,
peso e. sexo; e (5) caractersticas de resposta de' estudantes. tais
como escores em \!rios testes. 'Costumeiramente. as variveis independentes manipuladas da Classe I so de primordial. interesse, ao
passo. que as variveis' independentes no manipuladas das Classes
3, 4 e, por vezes, 5 servem para aumentar. a preciso e revelam quo
generalizveis so os efeitos das variveis manipuladas. As variveis
da Classe 5 usualmente aparecem como covariveis ou variveis
54
de 1949, vrios estatsticos matemticos construram modelos "finitos'~ para a nlise de varincia que aplicam amostragem de.
"nveis" de fatores experimentilis (variveis independentes) os prin~
dpios previamente aplicados com xito amostragem extrada de
populaes finitas. Scheff (1956) procedeu ao levantamento histrico desse desenvolvimento esc1arecedor. Q\ladrados mdios espera-.
~os, que ajudam a determinar "termos de erro" apropriados, podem
ser cQmputados (Stanley, 1956) para delineamentos atoriais de classificao trlplice completamente aleatrios. Modelos finitos so particularmente teis, porque podem ser prontamente generalizaaos ,para
situaes em que um ou mais dos fatores so casuais ou fixes. Uma
explicao simples de tais extenses (oi apresentada por Ferguson
(1959).
'
5S
,
I
.~
.f
;j
56
~
~"...
r--
O
X
1~
O
O
Uma semelhante duplicao de gmpos seria, exigida pelos Delineamentos 5 ou 6. Note-se que esse plano carece 'de controle perfeito em
seu propsito de comparar diferenas em efeito em funo do tempo
decorrido, porquanto as diferenas poderiam tambm ser .d.evidas a
uma intera~ entre X e os eventos histricos espedficos ocorridos'
entre o ps-teste a curto prazo e o ps-teste a longo prazo. Um completo controle dessa possibilidade conduz a delineamentos ainda mais
elaborados. Em vista da grande despesa de tais estudos, salvo quando
os 00 so obtidos' rotineiramente, seria de esperar que os pesquisadores que se prevalecem de 00 institucionalizados, repetidamehte
disponveis, fizessem uso das vantagens especiais de seus contextos
para acompanhar longitudinalmente os efeitos ao longo de muitos
instantes no tempo.
Generaliza:ndo para outros XX: variabilidade na execuo de X
o objetivo da cincia inclui no s generalizao para outras
populaes e tempos, mas tambm para outras representaes noidnticas do tratamento, ou seja, o1;ltrasrepresentaes que teorkamente deveriam ser as mesmas e que, entretanto, no so idnticas
em pontos especificos teoricamente irrelevantes. Esse objetivo contrrio extenso, freqentemente desejada, da busca de controle
experimental que conduz ao anseio de uma rplica exata do X em
cada repetio. Assim, ao estudar o efeito de um apelo emocional
versus um apelo racional, pode-se ter o mesmo orador fazendo todos
os apelos a cada tipo de grupo ou, mais extremamente, podem-se
gravar os apelos de modo que todas as audincias de um dado tratamento ouam "exatamente a mesma" mensagem. Isso pode parecer
melhor do que ter vrias pessoas fazendo cada apelo apenas uma
vez; visto que, neste ltimo caso, "no saberamos exatamente" que
estmulo experimental foi aplicado em cada sesso; mas o que ocorre.
precisamente o contrrio, se por "saber" entendermos. a habilidade
de apreender a classificao abstrata apropriada ao tratamento e
transmitir a infprmao efetivamente a novos usurios. Com a entrevista gravada, repetimos cada vez muitos pormenores espedficos
irrelevantes; por tudo que sabemos, esses pormenores, no as carac~
ter:lsticas essenciais, -foram responsveis pelo efeito. Se, contudo,
tivermos muitas exemplificaes independentes, as irrelevncias especificas no tero condies de se repetirem cada vez e nossa interpretao da fonte dos efeitos , pois, maiS provavelmente correta.
Considere-se, por exemplo, a comparao dos mtodos de exposio e discusso no ensino, feita por Guetzkow, Kel1y e McKeachie
57
- --I
.,,
if
;
;
(1954). Nosso "conhecimento" do. que eram os oatamentos experimentais, no sentido de fornecer recomendaes. a outros professores,
' melhor porque oito professores foram usados, cada 1,1.mdos quais.
interpretando cada mtodo a seu modo, o que no o seria, .se apenas
tivesse sido usado um professor ou se os oito tivessem memomadQ
pormenores comuns no includos na descrio abstrata dos procedimentos sob comparao. (Essa nfase sobre execuo heterognea
de X. deveria ser acompanhada, se possvel, como em Guetzkow
et aI., 1954, pela execuo de cada tratamento por cada um dos professores experimentais, de modo que as irrelevncias especficas no
se confundam com o tratamento especfico. Para estimar-se a 'significncia da interao professor-mtodo, caso sejam empregadas classes
intactas, cada professor dever exe~utar cada mtodo duas vezes.)
Numa ilustrao mais bvia, Um estUdo do efeito do sexo do
professor em instruo inicial' de aritmtica deveria usar numerogos
exemplos, de cada sexo, no apen!iS um de cada. Embora seja essa
uma precauo bvia, nem sempre tem sido tomada, como observou
Hammond (1954). O problema um aspecto da nfase de Brunswik
(1956) em delineamentos representativos; Underwood (1957b, pp. 281287), seguindo a mesma linha de pensamento} argiu objees
exata padronizao ou exata rplica de aparelliamento de um
estudo para outro, numa atitude no incompatvel com seu vigoroso operacionalismo.
Generalizando .para outros XX: refinamento seqencial de X e novos
grupos de controle
'
,t
Deiineamentos
quase-experimentais
1\
das de teste.) Em qualquer estudo de mtodos de ensino, 00 m11ltipios deveriam se" um requisito ortodoxo. Ao nvel mais simples, deveriam ser usadas ambas as provas: dissertativa e objetiva (ver Stanley
e Beeman, 1956), paralelamente, sempre que possvel, a ndices de
participao da classe, etc. (Campbell e Fiske, 1959, e Campbell,
1960, fornecem uma extenso dessa perspectiva questo da validade
dos testes.)
I'
I
mais informais.
(
60
de fontes de invalidade
.:".
..-
--I
-,
II
i;
f
f
~
coisassemelhantes. .
:.ti:.~,.-_
Mas, pode-se argir, no resultaro tais delineamentos imperfeitos em confirmao d~ teorias inadequadas, desorientando nossos
esforos subseqentes e ocupando o espao de nossas publicaes com
. as dzias de estudos que parecem ser necessrias para erradicar um
falso positivo? t esse um srio risco; , porm, um. risco que precisamos correr. um risco partilhado em sua natureza, se no nO mesmo
grau, pelos experimentos "verdadeiros" representados pelos })elineamentos 4, 5 e 6. Num sentido muito fundamental, resultados experimentais nunca "confirmam" ou "provam" uma teoria: o que ocorre
que a teoria vitoriosa testada e deixa de ser rejeitada. A palavra
"prova", por ser freqentemente empregada para designar validade
dedutiva, adquiriu, em nossa gerao, uma conotao imprpria tanto
a seus usos antigos quanto sua aplicao a processos indutivos
como a experimentao. Os resultados de um experimento "pem
prova", mas no "provam" uma ,teoria. Uma hiptese adequada
uma hiptese que sobreviveu repetidamente a esse desafio, mas estar
sempx:esujeita a ser novamente posta prova.
hoje geralm~te ceito que a "mptese nula", freqentemente
empregada por convenincia para enunciar a hiptese de um experimento, no pode nunca .ser "aceita" pelos dados obtidos; ela pode'
apenas ser "rejeitada" ou "deixar de ser rejeitada". Coisa semelhante
acontece com hipteses mais gerais: tecnicamente, elas nunca so
"confirmadas": quando, por comodidade, usamos essa expresso,
entendemos implicitamente que a hiptese foi submetida a rejeio
e no foi rejeitada. Esse ponto de vista compatvel com as filosofias
da cincia inspiradas em Hume, as quais enfatizam a impossibilidade.
de provas dedutivas para leis indutivas. Recentemente, Hansn
(1958) e Popper (1959) mostraram-se particularmente explcitos a
63
:t
Em tal perspectiva, a lista de fontes de' validade que os delineamentos experimentais controlam pode ser encarada como uma lista de
hipteses freqentemente plausveis que rivalizam ,com as hipteses
de que a varivel experimental teve um efeito. Quando um plano
experimental "controla" um de tais fatores, torna apenas essa hip~
64
"
"
I;
li,"",
.-
-I
"!1
1 '
t
!
.f
-t
:~
~:
Esse esquema experimental tipificou ~Ultas das experimentaes clssicas do sculo XIX nas Cincias Fsicas e na Biologia. Por
exemplo, se uma barra de ferro que permaneceu inalterada em peso
por muitos meses imersa num banho de cido ntrico e em seguida
removida, a inferncia associando o banho de cido ntrico perda
"de peso pela barra de ferro seguiria esse tipo de lgica experimental.
~ bem possvel que tenha havido "grupos de controle" de barras de
ferro que permaneceram na prateleira e no perderam peso, mas a
medida e a comunicao de tais pesos no seriam considerados tipicamente necessrios ou relevantes. Parece provvel, pois. que esse
plano experimental seja freqUentemente encarado como vlido
em cincias mais bem sucedidas embora raramente tenha conseguido.
status nas enumeraes de esquemas experimentais disponveis nas
cincias sociais. (Ver, contudo, Maxwell, 1958; Underwood, 1957b,
p. 133.) H boas razes para esse status diferencial e uma anlise
cuidadosa dessas razes ensejar melhor compreenso das condies
em que Qesquema possa ser usado validamente pelas Cincias Sociais,
desde 'qu seja impossvel mais eficiente controle experimental. O
delineamento tpico dos experimentos clssicos da "British lndustrial Fatigue Resear'ch Board" sobre fatores capazes de afetar a produ~o das. fbricas (por exemplo, Farmer, Brooks e Chambers, 1923).
A Figura 3 indica alguns possveis padres de sada para sries
. temporais em que uma alterao experimental tenha sido introduzida; como se v~ representado pela linha vertical X. Para fins de
argumentao, suponhamos que algum seja tentado a inferir que X
causou algum eleito em uma srie temporal com resultados como
os de A e B e, possivelmente, C, D e E, mas que rto se sinta inclinado a inferir um efeito em sries temporais do .tipo F, G e H,
embora o salto em valores de 04 para 06 fosse to grande e estatisti67
"1
t
i
..
Y'I
11 'A
I
8
D
E
,.
Os
O,
O.
experimental
ganho 4
totalmenteinjustificadoem F, G e H.
68
'
r- --
'5-
,
I
.,
.. :a
~
e
... lU
U
'O
11.~
:1
? -
+ ++ ++ + I
+ ++ +++ + ? J ?
? -
+ + + + ? + + -I
com grupo
O
O
11. DelineamenLOs contrabalanados
X10 X20 XaO -X4O
11I
'O
...--.....--..
~
'iI
de controle no.equivalente
f3 o
'g
11
'I)!
'C
bO
I)
o
==
f3 ::I
+ + ?+++
++ + +++
temporais equivalentes
X10 XoO X10 XoO, et
9. Delineamento de amostras + +
de materiais equivalentes
MaXIO MbXOOMoXIO MdXOO.etc.
...
o-
O OXO O O
8. Delineamentode amostras+
10. Delineamento
" .
" '00
... ..
u
'B.
ri c
01 ~
0><: o
0r!
I() "f ><:
'5'a.
e
.;:: ~
'ta eu 11I eu .~
."9 :I
'O ~"o cn
~ 11 t:: -u~~~
__ o ~ ~ y 8 ~><: C u_
l '1 E-o1! ~ ~ '1 oS" oSfo .; " 8 .E.g.
O
Delineamentos
quase-experi.
mentais:
7. Serie temporal
o
';'iI~
'" "
7 a 12.
.._----------------
X20
XaO
X20
X10
12. Delineamento
com pr e -
pstestede amostrasdistintas.
A
_ + .? + + _ _
+ +
(X)
12a.A
A (X)
+ _ + ?+ + _ + + + +
X
-----------------..
A
(X)
A
X
(X)
12b. A 01
- + + ? + + - :1 I + ---=F1=
A
02 (X)
X
A
12c.A 01
A
70
[ij
lt,,,,,...
2
a
a
--+?+++
-1+
.+ +
2.
De modo semelhante, muitas hipteses que alegassem mudanas na. instrumentao pecariam pela falta de uma razo espedfica
que justificasse a expectativa de o erro instrumental ocorrer .nessa
ocasio particular e no em outras anteriores; conudo, o ponto de
interrogao na Tabela. 2 chama a ateno para situaes em que
71
,!
~
i.
!
~.
!
;
:t
;,I
No que. se refere a validade externa, claro que o efeito experi~ental bem pode ser especifico quelas populaes sujeitas a testes
repetidos. t essa uma limitao provvel em pesquisas sobre o ensino
em escolas. a menos que o experimento seja conduzido com 00 aru,'ficiais, no comuns no contexto escolar costumeiro. Alm disso, esse
esquema ajusta-se particularmente quelas situaes institucionais' em
que dados so regularmente registrados e, pois, constituem uma parte
natural do ambiente. Testes anuais de desempenho nas escolas pblicas, fichas de sade, etc., so usualmente no reativas no sentido
de que so tpicas do universo para o qual se quer generalizar. A
interao seleo-X refere-se . limitao dos efeitos da varivel
experimental quela amostra especfica e possibilidade de que essa
reao .no seria Upica de algum outro universo geral de interesse
para o qual o grupo-de-exposio naturalmente agregado constituiu
uma amostra viesada; .Por exemplo, as exigncias dos dados podem
limitar a pesquisa aos estudantes que tiveram cem por. cento. de
[i
72
:1
j
j
,
I
I
;J
fj
~' ~
'/':""
treqncia por muitos perodos - umsubconjunto obviamente selecionado. Alm disso, se foram usados novos 00, essa ocorrncia
repetitiva pode ter provocadb ausncias.
Se tais sries temporais devem ser interpretadas como experimentos, parece essencial que o experimentador deva especificar, de
antemo, a esperada relao temporal entre a introduo da varivel
experimental e a manifestao de um efeito. Se isso tivesse sido feito,
o padro indicado na srie temporal D da Figura 3 poderia ser
quase to definitivo quanto o padro em A. Levantamentos exploratrios .que decidam. oportunisticamente sobre a interpretao de
efeitos retardados exigiriam validao {:ruzada antes de se tomarem
interpretveis. Na medida em que o intervalo de tempo entre X e
um efeito aumenta, a plausibilidade de efeitos de eventos histricos
estranhos tambm aumenta.
Parece tambm imperativo que o X seja especificado antes de
se examinar o resultado da srie temporal. O exame post hoc de
uma srie temporal para inferir qual X precedeu a mudana mais
dramtica deve ser excludo porque a capitalizao oportunstica
de resultados casuais que tal exame encerra toma difcil, se no
impossve1, qualquer teste de signifkncia de efeitos.
A adoo desse delineamento pelas cincias mais desenvo~vidas
deveria torn-Io merecedor de algum respeito. No obstante, no nos
podemos esquecer de que os fatos de "isolamento experimental" e
"condies {:onstantes" o fazem mais interpretvel por elas do que
por ns. Deveria tambm ser lembrado que, quando tais cincias o
usam, um nico experimento jamais conclusivo. Embora possa
ocorrer que um grupo de controle nunca seja usado, o Delineamento
7 repetido em muitos lugares diferentes por vrios pesquisadores
antes que se estabelea um principio. Essa tam~m deveria ser nossa
norma ao us-Io. Ser usado sempre que no seja posstvel algo com
melhor controle.. Organizaremos nossos arquivos institucionais de
modo a ensejar t~ntas sries temporais quantas forem possveis para
tais avaliaes e tentaremos examinar com mais cuidado os efeitos de
mudanas administrativas e outros eventos a.~pitrrios e abruptos
como XXj mas esses efeitos no sero encarados como definitivos
enquanto no tiverem sido replicados muitas' vezes em vrias
situaes.
Testes de significncia para os delineamentos de sries tempm'ais
Se as dncias mais avanadas usam testes de significncia menos
do que o fazem a psicologia e a educao, sem dvida porque a
73
-I
','"
H
II
I
74
rr
j
ii
,
!I
:, !
~
X10
.i
XIO
XoO
ao Delineamento
7. Com
relao valida-
de externa, generalizao obviamente possvel apenas para populaes freqentemente testadas. O efeito reatiV;ode montagem (arrangements), a conscincia de experimentao representam uma vulnerabilidade tpica desse experimento. Quando grupos distintos so
submetidos a XX distintos, possvel (particularmente no Delineamento 6) mant-los no total desconhecimento da presena de um experimento ou dos tratamentos em cotejo; Isso no ocorre quandb se
acha envolvido apenas um grupo e quando esse grupo repetidamente exposto a' uma condio ou outra, 'por exempl9, a uma base
para -computar pagamento e' outra, comQ ocorre:u no experimento
de Sorokin; a uma espcie de ventilao e a outra, como se deu nos
,estudos de Wyatt, Fraser e Stock (1926); e a uma espcie de msica
ou outra, como se verificou na pesquisa de Kerr (embora Kerr
tomasse precaues elaboradas para que a programao variada fosse
vista como uma parte natural do ambiente de trabalho). No que
tange interao de seleo e X: como de hbito, existe a limitao
da generalizao do&efeitos ~emonstrados de X para o tipo particular de populao envolvida.
Esse delineamento experimental traz consigo uma aleatoriedade
quanto validade externa, que ser encontrada em todos os experimentos descritos neste, ensaio em que mltiplos nveis de X so
apresentados ao m~mo conjunto de pessoas. Esse efeito tem sido
rotulado como "interferncia de X mltiplo". O efeito de Xl' na
situao mais simples em que est sendo comparado com Xo, pode
ser generalizado somente para condies de apresentaes repetitivas
ou espaadas de Xl' Nenhuma base aceitvel existe para generalizao a possveis si~uaes em que Xl se acha continuamente presente
ou condio em que , introduzido uma vez e apenas uma vez.
Alm disso, a q>ndio Xo ou a ausncia de X no tpica de perodos sem X em geral, mas apenas representativa de ausncias
de X intercaladas entre presenas. Se Xl tiver algum efeito prolongado capaz de repercutir nos perodos de no-X, como pare77
.
i!I
i
~
I
!
ceria usualmente provvel. o plano. experimental poder subestimar o efeito de Xl se comparado com um estudo do Delineamento
6, por exemplo. Do outro lado, o simples fato de haver freqentes
mudanas pode aumentar o valor estimulante de X em relao ao
que esse valor seria sob uma apresentao contnua e homognea.
A msica hawaiana no estudo de Kerr pode afetar o trabalho de.
modo completamente diferente se intercalada por um dia entre dias
de outra msica, do que o faria se constitusse uma programao
contnua. Os delineamentos experimentais de Ebbinghaus (1885) p0dem ser encarados como essencialmente desse tipo e, como observou
Underwood (1957a), as leis por ele encontradas so limitadas em
sua generalizabilidade a uma populao de pessoas que aprenderam
dzias de outras listas ltamente semelhantes. Muitas de suas concluses, com efeito, no prevalecem no. caso de pessoas que tenham
aprendido uma nica lista de slabas sem sentido. Assim, embora o
esquema seja vlido internamente, sua validade externa pode ser
seriamente limitada a alguns tipos de contedo. (Ver tambm
Kempthorne, 1952. Capo 29.)
Note-se, contudo, que muitos aspectos do ensino sobre os quais
algum gostaria de conduzir um experimento podem muito bem ter
efeitos limitados, do ponto de vista prtico, ao perodo de efetiva presena de X. Para tais fins, esse delineamento pode ser perfeitamente
valioso. Suponhamos que um professor levante a questo do valor
de recitao oral versus estudo individual silencioso. Ao variar esses
dois processos .ao longo de uma srie de unidades de ensino, pode-se
montar um experimento interpretvel. O efeito da presena de um
pai-observador na sala de aula sobre o debate voluntrio de estudantes pode ser estudado dessa forma. Conscincia de tais esquemas
pode situar uma testagem experimental d~ alternativas dentro do
alcance de um nico professor. Isso poderia . servir de teste-piloto
para avaliar procedimentos que, se promissores, poderiam ser examinados por experimentos mais amplos e mais coordenados.
Essa abordagem pode ser aplicada a uma amostragem de ocasies
em relao a um nico indivduo. Embora no d ensejo tipicamente
aplicao de testes de significncia, eSse um delineamento recorrente em pesquisa fisiolgica, em que um estmulo aplicado ]:'epetidamente a um animal, com o cuidado de evitar qualquer periodicidade na estimulao. Esta ltima caracterstica corresponde exigncia de aleatoriedade de ocasies exigidas pela lgica do plano.
Podem ser usados tambm quadrados latinos ao invs de simples
casualizao (por exemplo, Cox, 1951; Maxwell, 1958).
78
I..-~~~.
79
MeXIO
80
..
81
~-i
1;
ou grupo
.1
-.'
ff
""f
'
'I
L
I1
H
Li
"H
li
d
il.
;{
!
I
I
,I
I
r
I
X
o
--.----------
I'
11
.'
,'I
i
l~~
:1
i
"
1
~
~
... ...",
F
i,I
t~. ,
li:j ,
rr
um ganho que tf:ria ocorrido mesmo sem X. Tal interao seleomaturao (ou uma interao seleo-histria ou ainda uma interao seleo-testagem) poderia ser tomada erroneamente pelo efeito
de X e, portanto; representa uma ameaa validade interna do
.experimento. Essa possibilidade est prevista na oitava coluna da
Tabela
2 e o principal
os
Delineamentos
4 elO. fator de validade interna que distingue
'I;
t.
! .
Regresso constitui-se em outro srio problema de validade interna para o Delineamento 10. Como o indica o "?" da Tabela 2, essa
possibilidade evitvel, mas talvez se trate de um problema mais
freqentemente ignorado do que evitado. Em geral, se ambos os
grupos comparados tiverem sido selecionados pelos seus escores extremos em O ou em medidas correlacionadas, ento a diferena em
grau de mudana do pr-teste para o ps-teste entre os dois grupos
bem pode ser um produto de regresso ~ais do que o efeitq de X.
Essa possibilidade tem prevalecido cada vez mais por causa de uma
teimosa e enganadora tradio da experimentao educacional, em
que o emparelhamento tem sido encarad como o processo apropriado e suficiente para estabelecer a equivalncia pr-experimental
de grupos. Esse erro tem sido acompanhado pela incapacidade de
distinguir os Delineamentos 4 e 10 e as funes bem diferentes do
emparelhamento nos escores do pr-teste sob as duas condies. No
Delineamento 4, o emparelhamento pode ser reconhecido como um
adjunto til casualizao mas no como seu substituto: em termos
de escores no pr-teste ou em variveis relacionadas, a populao total
disponvel para os objetivos experimentais pode ser organizada em
pares de sujeitos cuidadosamente emparelhados; membros desses
pares podem da ser atribudos, aleatoriamente, s condies experimental ou de controle. Esse emparelhamento, acrescido casualizao subseqente, produz usualmente um delineamento experimental com preciso .maior do que a gerada apenas pela casualizao.
85
!
L--...
.0
.-
-_ -
>.
lI.
Delineamento contrahalanado
86
87
",
't
r.7
li'i
'
: ;:'
,,f.
ti
11
!
!
'i
!i
Grupo A
Grupo B
-----------------X20
X4.0
X10
Grupo C
XsO
X10
X40
X20
XaO
X20
X10
-----------------Grupo D
X40
~----
XaO
Grupo
Grupo
Grupo
Grupo
A
B
C
D
Xl
X2
.t1O
taO
t20
t40
,t2O
t1O.
t40
taO
Xa
taO
t40
t10
t20
X4
t.,p
t2O'
tua
t10
As diterenas em tais somas no poderiam' ser simplesmente interpretadas como artefatos das diferenas do grupo inicial ou como'
efeitos de prtica, histria, etc. Igualmente comparveis so as somas
das linhas quanto s diferenas intrnsecas aos grupos, bem como as
s,ornasdas colunas da primeira apre~ntao quanto s diferenas em
ocsies. Em termos de anlise de varincia, o delineamento vem,
pois. fornecer dados em trs efeitos principais num plano com
nmero de celas usualmente exigidas para dois. Raciocinando em termos de anlise de varincia, o custo dessa maior eficincia claro: o
que parece ser um efeito principal significativo para cada um dos
trs critrios classificatrios poderia, ao invs, ser uma interao
significativa de uma forma complexa entre os outros dois (Lindquist,
1953, pp. 258-264). As diferenas aparentes entre os efeitos dos XX
poderiam, pelo .contrrio, ser um efeito de interao especifica complexa entre as diferenas dos grupos e as ocasies. Inferncias quanto
aos efeitos de X dependero da plausibilidade dessa hiptese rival
e, portanto, sero discutid!J.Smais a fundo.
Note-se, inicialmente, que a hiptese de tal iriterao mais
plausvel para a aplicao quase-experimental descrita do que para
as aplicaes de quadrados latinos em experimentos em sentido
estrito, descritos em textos que tratam do assunto. No que tem sido
descrito como dimenso de grupos. confundem-se duas possveis fontes de efeitos sistemticos. Primeiro, fatores de seleo sistemtica
acham-se envolvidos na organizao natural dos grupos. Pode-se esperar que tais fatores' no s tenham efeitos principais como tambm
interajam com histria, maturao, efeitos de prtica, etc. Houvesse
sido montado dessa forma um experimento completamente controlado, cada pessoa teria sido atribuda a cada grupo independentemente e ao acaso e tal fe)Otede efeitos principais e interativos teria
sido removida, pelo menos na extenso do erro de amostragem.
, caract~rstica do quase-experimento introduzir o contrabalanamento a fim de criar uma espcie de equao precisamente porque
tal atribuio aleat~ria 'no foi possvel. (Ao contrrio, em experimentos completamente controlados, o quadrado latino empregado
por motivos de economia ou para superar 'problemas especficos 'da
amostragem de reas de terra.) Uma segunda possvel fonte de efeitos
confundida com grupos a associada com as especficas seqncias,
de tratamentos. ~e todas as rplicas num experimento em sentido
estrito' houvessem de seguir o mesmo quadrado latino, essa fonte de
efeitos principais e interativos tambm estaria presente; contudo, no
tpico experimento em .rentido estrito, alguns conjuntos de respondentes replicados teriam sido atribudos a diferentes quadrados latinos especficos, eliminando-se assim o efeito sistemtico de seqn89
.-
---
li},
ir
:lt
H
~
n
f
f..1
j
!
!!
li
li
d
II
11
I
I
!
.
!"
(grupo)
e da coluna
(tempo):
Mo'
Mil.
:~ . w.
A O
A
(X)
X
O
91
C)
,>
u
,
fi
..
f
!
Ii
I
t
1
H
,.
il
:1
:,
I'
I
I;
ii
I
I!
I i
,
, I,
,I
93
___i
f
f1
~:~
'1
\
""
;-'1
'I
"
!,
i-
Talvez, para estudos que perdurem por longos perodos, as amostras do pr-teste e do ps-teste devam ser selecionadas independentemente e em pocas apropriadamente diferentes, embora isso tambm tenha uma fonte de vis sistemtico, resultante de possveis
mudanas no padro residencial do universo como um todo. Em
alguns contextos, como nas escolas, arquivos tornaro possvel a eliminao de escores do pr-teste dos que j no ~stejam disponveis ao
tempo do ps-teste, tornando assim o pr~teste e o, ps-teste mais comparveis. Para 'fornecer um contato que torne essa correo possvel no
levantamen~o da amostra e p!lra fornecer uma confirmao adicional
de efeito que mortalidade no possa contaminar, o grupo do prteste pode ser retestado, como no Delineamento 12c, em que a difeOs. Esse foi o
rena 01 - O2 aeveria confirmar a comparao 01
estudo de Duncan et aI. (1957) sobre a reduo em crenas falazes
causadas por um {:urso introdutrio em psicologia. (Nesse esquema,
o grupo do reteste' no :torna possvel o exame dos ganhos para
'pessoas de escores iniciais diversos porque a ausnda do grupo de
controle impede que se controle regresso.)
caracterstica deste esquema mover-se do laboratrio para a
situao de campo para a qul o pesquisador quer generalizar, testan-'
do os efeitos de X em seu contexto natural. Em geral, como o indicam as Tabelas 1 e 2, os Delineamentos 12, 12a, 12b e l2c so capazes
de ser superiores em validade externa ou genera1izabilidade aos "verdadeiros" experimentos dos Delineamentos 4, 5 e 6. Estes esquemas
exigem to pouco, por parte dos respondentes, que coperem ou que
estejam em certos lugares em certas ocasies, etc., que pode ser
empregada amostnigem representativa de populaes especificadas
de antemo.,
94
'
'
!r.!
i:"<
!~
~j
,. ~:~
l~.
~!
.I
,
?-
Delineamento
de sries temporais
'mltiplas
,
~
II
i,
li
Exlerna
(nlema
o
o
'g-
!siio
.~ e
~o~
~ e
o ;::
"'''J!5t.'..~~C
.~r:rJ,"zr-Cl!!a
:I::I;
s~,)!:I;.s..
'B-:s
li
...!.
-!i ~
..""
_ ~a
:;t =.g
~ ~ ~.g
~
1~
..~
o~ o 11~y
'e-u 'e- ~.!!'".:
tet~]t.!!
:Sl:,Il8.s~
+++++++
+ +
+++++++
+
.'
+ +
----------11 O
A
Uo.
_~_~_~~~_~_
A'
11
11 O (X)
X O .
-"'---"(xf--X O
{ .ti
,f'
~-~
~-
A.
11 O
o
:
--------O.
{A
+++++++.
"'O"'(j'
U. Delineamenlo'
de
instllucional
Classe A
X
01
ciclo
..
c.iiSni1----o~-y-;--ClasseDs
11 X O~.
Ca~~-C---~
;-X-
'
iiC'nt.-P;p:G.;,;j-i/cr.ise-n~
-Conl. Pop..Geral p/Clanc C 07
02 < O,
05 < (J~}
O2 < O.'
O" < O,
00 = 1
O","= O".}
16. Descontinulcbde
~o
de
re-
-+
---11++
--+1?+1
+
+++1++1
+
+
1 +
1 +
? ?
- + +
97
96