Anda di halaman 1dari 17

Revista Brasileira de Anlise do Comportamento / Brazilian Journal of Behavior Analysis, 2008, Vol. 4, No.

2, 157-173

ESCOLHA, REFORAMENTO CONDICIONADO E EFEITO PRIUS1


CHOICE, CONDITIONED REINFORCEMENT, AND THE PRIUS EFFECT2

Edmund Fantino
UNIVERSIDADE DA CALIFORNIA, SAN DIEGO, USA

RESUMO

As racionais subjacentes as nossas decises tem h muito tempo intrigado os psiclogos. De forma similar,
o conceito de reforamento condicionado tem uma histria respeitvel, particularmente na explicao de com-
portamentos que no so claramente mantidos por reforos primrios. Os estudos sobre escolha e reforamento
condicionado geralmente tm sido desenvolvidos como campos independentes. Vrias abordagens contempor-
neas a respeito desses tpicos fundamentais compartilham uma nfase no contexto e no valor relativo. Rastreamos
a evoluo do pensamento sobre o poder dos reforadores condicionados que comeava por considerar que os
estmulos adquiriam seu valor por meio do pareamento com reforadores mais fundamentais e passa a considerar
que os estmulos adquirem seu valor por serem diferencialmente correlacionados com esses reforadores mais
fundamentais. Discutiremos alguns experimentos seminais (incluindo vrios que foram pouco valorizados)
e alguns dados recentemente coletados que nos levaram a concluir que a fora dos reforos condicionados
determinada pelo seu papel de sinalizar uma melhora relativa na relao do organismo com o reforo.
Palavras chave: escolha, reforamento condicionado, teoria de reduo do atraso, observao, Lei da Igua-
lao, esquemas encadeados, contexto.

ABSTRACT

Psychologists have long been intrigued with the rationales underlying our decisions. Similarly, the concept
of conditioned reinforcement has a venerable history, particularly in accounting for behavior not obviously
maintained by primary reinforcers. The studies of choice and of conditioned reinforcement have often developed
in lockstep. Many contemporary approaches to these fundamental topics share an emphasis on context and on
relative value. We trace the evolution of thinking about the potency of conditioned reinforcers from stimuli that
were thought to acquire their value from pairings with more fundamental reinforcers to stimuli that acquire
their value by being differentially correlated with these more fundamental reinforcers. We discuss some seminal
experiments (including several that have been underappreciated) and some ongoing data all of which have
propelled us to the conclusion that the strength of conditioned reinforcers is determined by their signaling a
relative improvement in the organisms relation to reinforcement.
Key words: choice, conditioned reinforcement, delay-reduction theory, observing, matching law, chain
schedules, context

Na dcada de 60, o tpico reforamento mento humano, a maioria dos comportamentos


condicionado era considerado central para a cuja manuteno no podia ser atribuda ao
compreenso do comportamento. De fato, reforamento primrio era explicada em termos
especialmente quando se tratava de comporta- de reforamento condicionado. Pelo menos
1
Artigo convidado para publicao simultnea na Revista Brasileira de Anlise do Comportamento (em Portugus) e no The Behavior Analyst (em Ingls).
Traduzido por Jnnia Maria Moreira.
2
Conferncia convidada para a srie O Estado da Cincia apresentada no Encontro Annual da International Association of Behavior Analysis, Chicago,
Maio de 2008. Agradeo a Paul Romanowich, Patty Quan, e Joshua Zwang, pela permisso para apresentar alguns de nossos dados no publicados e a Patty
pela ajuda extensiva com as figuras. A preparao deste artigo foi apoiada pelo National Institute of Mental Health Grant MH57127 para a Universidade
da Califrnia, San Diego. Cpias podem ser obtidas com Edmund Fantino, Department of Psychology-0109, University of California, San Diego, 9500
Gilman Drive, La Jolla, California 92093-0109 (E-mail: efantino@ucsd.edu).

157
E. FANTINO

dois livros influentes sobre o assunto foram de resposta o mesmo nos dois esquemas. No
publicados na dcada de 60 (Hendry, 1969; esquema encadeado, no entanto, cada um dos
Wike, 1966). Pensava-se que pelo pareamento dois ou mais elos est associado com um
de um estmulo com um reforo primrio, o nico estmulo discriminativo (geralmente a luz
primeiro adquiriria poder reforador e assim, de uma chave), enquanto que o mesmo estmulo
ele prprio poderia manter o comportamento. discriminativo est presente ao longo de todo o
Uma vez que a maioria dos comportamentos esquema tandem. Assim, qualquer propriedade
no era claramente mantida por reforadores reforadora condicionada dos estmulos presentes
primrios estabelecidos, parecia haver uma no esquema encadeado pode ser avaliada pela
grande lacuna na manuteno de comporta- comparao das taxas e os padres de respostas
mentos (especialmente humanos) por refor- nos esquemas encadeado e tandem. A Figura 1
adores condicionados. representa uma das comparaes do estudo de
Ao mesmo tempo, tornava-se mais claro Gollub, ou seja, os esquemas encadeado e tandem,
que nossa compreenso a respeito do refora- ambos compostos por cinco elos, em cada um
mento condicionado era no mnimo incompleta. dos quais vigorava um componente de intervalo
No presente artigo vou revisar alguns trabalhos fixo (FI) um minuto. Para produzir comida como
que so referncias cruciais para auxiliar a de- reforo, o pombo deveria emitir uma resposta ao
marcar o histrico da rea de reforamento con- final do primeiro FI para que se iniciasse o segun-
dicionado. Uma evidncia de que os resultados do FI e da por diante; a primeira bicada ao final
contrrios ao Zeitgeist no costumam ser poupados do quinto FI 1 min produzia comida.
foi que vrios destes estudos foram ignorados e/
ou no foram publicados. Dito de outra forma,
esses estudos so considerados marcos apenas
de forma retrospectiva. Juntamente com outros
estudos mais contemporneos, esses trabalhos
ajudam a clarificar o estado vigente do refora-
mento condicionado e, especialmente, sua relao
Figura 1. Procedimento do estudo clssico de Gollub (1958).
com escolha. Na comparao mostrada acima, o comportamento dos
pombos foi comparado em esquemas encadeado e tandem
A tese de Lew Gollub sobre Esquemas de estendidos (com cinco elos). No esquema encadeado, uma
luz diferente est associada com cada elo da cadeia. No
Cadeias Estendidas esquema tandem, no entanto, os requisitos de resposta so
idnticos aos do esquema encadeado, mas o mesmo estmulo
est presente durante todo o esquema.
O primeiro estudo, meu favorito, a tese de
doutorado de Lewis Gollub em Harvard (Gollub,
1958). Ele investigou a manuteno de respostas Todos os anos, dedico uma disciplina
de bicar de pombos em esquemas de cadeias es- inteira neste estudo, mais especificamente a
tendidas e em esquemas tandem. Nos dois tipos disciplina Aprendizagem e Motivao, na Uni-
de esquema o requisito especfico de cada elo do versidade da Califrnia, em San Diego (UCSD).
esquema deve ser satisfeito antes que o pombo Aps apresentar os esquemas da Figura 1,
possa avanar para o prximo elo. O esquema pergunto aos estudantes qual dos esquemas
tandem funciona como um controle para o es- encadeado ou tandem seria melhor para
quema encadeado na medida em que o requisito manter o comportamento em termos de taxas

158
ESCOLHA E REFORAMENTO CONDICIONADO

mais altas de respostas e obteno mais rpida iniciais do esquema de cadeias estendidas so
de reforo primrio. Mais de 90% de meus correlacionados com (so pistas de) no re-
estudantes escolhem o esquema encadeado. foramento. Em outras palavras, os estmulos
Eles argumentam de forma persuasiva que o iniciais da cadeia dizem ao organismo que ele
encadeado cheio de reforos condicionados est longe do reforo. Assim, estes estmulos no
(obtidos cada vez que um novo elo iniciado), apenas no so reforadores, condicionados
de informao e de estmulos discriminativos, como tambm funcionam como pistas para
levando o pombo a progredir no esquema. no reforamento e, consequentemente, para
Raramente um estudante percebe que o est- no responder.
mulo presente ao longo do esquema tandem Eu vou discorrer agora sobre um inte-
o nico diretamente pareado com comida. ressante corolrio do tratado de Gollub. Em
Assim, os resultados dos pombos de Gollub seus esquemas encadeados estendidos havia
surpreende os estudantes. O esquema tandem um estmulo que funciona como um estmulo
no apenas mantm melhor o responder do que para responder em sua presena (estmulo
o esquema encadeado, mas tambm os pombos discriminativo) que, porm, falha em funciona
tipicamente comeam a parar de responder como um reforo condicionado para mantm
completamente no primeiro elo do encadeado. o responder no elo precedente. O inverso pode
Os animais tambm no melhoraram o desem- tambm ser demonstrado, como em Fantino
penho no esquema. De fato, medida que o (1965). Este foi um estudo de escolha a respeito
controle de estmulos era fortalecido, a taxa da preferncia de pombos por esquemas de
de respostas no esquema encadeado eventu- reforamento variveis versus esquemas fixos
almente cessava (mais detalhes disponveis em comparveis. Os pombos demonstraram uma
Fantino & Logan, 1979, p. 183, e, claro, em preferncia robusta pelas recompensas mais
Gollub, 1958). Fantino (1969b) obteve resul- variveis. A preferncia foi investigada em um
tados similares com ratos. Neste estudo, Kurt esquema concorrente encadeado padro, como
Fischer (na poca um estudante de graduao representado na Figura 2 (para um caso mais
da Universidade de Yale) e eu tentamos o que tpico com esquemas de intervalo varivel nos
ns pensvamos ser uma variedade de inova- elos terminais). Os pombos escolhiam entre
es para facilitar o responder nos elos iniciais esquemas de intervalo varivel (VI) idnticos
do esquema encadeado. As inovaes funcio- nos elos iniciais (etapa de escolha); atender
navam por algum tempo at que as presses a aos requisitos desses esquemas VI produzia
barra dos ratos ficavam sob controle de estmu- o incio do elo terminal correspondente (eta-
los e o responder cessava completamente. Uma pa terminal) associada com um esquema de
de nossas inovaes envolvia reduzir tanto o razo fixa (e.g., FR 50) ou com um esquema
tamanho da caixa experimental que pressionar de razo mista (e.g., FR 1 ou FR 99, cada um
barra parecia ser a nica resposta conveniente com probabilidade de 0,5 de ocorrncia). Para
disponvel para nossos ratos. No entanto, em nosso objetivo neste trabalho, os resultados
vez disso, os ratos conseguiram adotar uma mais interessantes emergiram quando o res-
postura de virarem-se de costas para a barra. ponder para produzir comida foi colocado sob
Dessa forma, parece que o organismo fica extino. Neste momento, quando o pombo
sob controle de estmulos e pra de responder entrava no elo terminal, atender aos requisitos
porque os estmulos presentes durante os elos do esquema de razo levava apenas ao retor-

159
E. FANTINO

no ao elo inicial (ou etapa de escolha), sem a


comida. Como apresentado na Figura 3, os
pombos rapidamente aprenderam a parar de
bicar no elo terminal. Contudo, eles continu-
aram respondendo de forma robusta na fase
de escolha, produzindo com isso a entrada no
elo terminal. Se o experimentador reiniciava
manualmente a fase de escolha, o pombo ina-
tivo voltava imediatamente a responder com
taxas altas. Assim, os estmulos do elo terminal
no funcionavam mais como estmulos discri-
minativos para responder em sua presena,
mas ainda mantinham uma taxa de respostas
robusta nos elos iniciais. Essas dissociaes
entre as funes discriminativa e reforadora
condicionada de um estmulo so as excees
Figura 2. Procedimento padro de um esquema con-
para a regra de que estmulos discriminativos corrente encadeado. esquerda est a sequncia de
funcionam como reforadores condicionados eventos quando respostas na chave da esquerda so
reforadas, direita est a sequncia anloga para
e vice-versa (a hiptese do estmulo discrimi- a chave da direita. Respostas na presena das luzes
nativo de reforamento condicionado, Keller coloridas (os estmulos dos elos terminais ou fase
consequente) so reforadas com comida de acordo
& Schoenfeld, 1950; Skinner, 1938). com algum esquema de reforamento (geralmente a
Este artigo enfatizar o assunto introdu- varivel independente; na figura ambos os esquemas
zido agora: ns no podemos inferir que con- so de intervalo varivel). A medida da escolha a taxa
relativa de respostas na presena das luzes brancas con-
sequncias associadas com taxas de respostas correntemente disponveis (elos inicias ou fase de es-
robustas so preferidas quelas associadas colha). Normalmente, esquemas de intervalo varivel
iguais so programados para acesso aos elos terminais
com taxas mais baixas de respostas. O que (mas veja a Figura 6 para uma exceo). (Adaptada com
aconteceria se fosse fornecido aos pombos permisso de E. Fantino, Choice and rate of reinfor-
cement. Journal of the Experimental Analysis of Behavior,
a escolha entre responder em um encadeado 12, 723-730. Copyright 1969 by the Society for the
ou em um esquema tandem equivalente? Eles Experimental Analysis of Behavior, Inc.)
escolheriam o esquema tandem como pode
ser inferido a partir da pesquisa de Gollub? Retornando mensagem do estudo de
Ou eles seriam indiferentes aos elos termi- Gollub, com o apoio adicional fornecido
nais j que eles esto associados com taxas pelos estudos de escolha, a seguinte con-
de reforos equivalentes (ou, para usar uma cluso parece possvel: estmulos associa-
terminologia desenvolvida posteriormente, dos ao elo final de um esquema encadeado
j que eles esto associados com equivalentes (e presentes ao longo de todo o esquema
redues no tempo at o reforo, ou reduo tandem) parecem ser reforos condiciona-
do atraso)? A Figura 4 mostra o tipo de esco- dos genunos na medida em que eles so
lha fornecida por Duncan e Fantino (1972) a diretamente pareados com reforamento
seus pombos. Consistente com os resultados primrio. Uma demonstrao poderosa des-
de Gollub, os pombos apresentaram uma forte sa possibilidade surge de um outro estudo
preferncia pelo esquema tandem. clssico, o de Roger Kelleher. Enquanto

160
ESCOLHA E REFORAMENTO CONDICIONADO

no estudo de Gollub (e no meu estudo


correspondente com ratos) os sujeitos no
mantinham o responder, apesar de que res-
pondendo eles podiam obter um reforo a
cada cinco minutos, em Kelleher (1966) os
pombos respondiam com taxas vigorosas
em um esquema que fornecia no mximo
um reforo por hora. No estudo de Kelleher,
os pombos precisavam completar 15 esque-
mas FI 4 min consecutivos para obter co-
mida. Na condio crtica, completar cada
um dos esquemas FI 4 produzia um flash
de luz branca (0,7 segundos) que tambm
era pareada com apresentao de comida
depois do 15 e ltimo FI 4. Assim, esse era
um estmulo breve pareado e aparentemente
um poderoso reforador condicionado. O
contraste entre os resultados de Gollub e os
Figura 3. Taxa de respostas nos elos iniciais e terminais para
de Kelleher evidente e aponta para o po- quatro pombos em cada uma de quatro sesses de extino. A
der de mudanas, aparentemente sutis sem sesso 0 foi a anterior extino. Durante a extino a comida
importncia, na programao das apresen- no era apresentada quando os esquemas FR eram completa-
dos. Mesmo assim, o responder no elo inicial foi mantido pelo
taes de estmulo sobre o comportamento. estmulo correlacionado com o elo terminal. (Figura adaptada
O poder das apresentaes dos estmulos de Fantino, 1965)
breves para aumentar radicalmente as taxas
de respostas seria com certeza consistente
com a efetividade dos estmulos pareados
em treinamento de comportamentos ani-
mais, incluindo a efetividade de fichas e do
clicker. Neste ponto de nossa histria,
a mensagem parece clara: reforos condi-
cionados so aqueles pareados diretamente
com reforos primrios. Essa mensagem
consistente com a viso de reforo con-
dicionado que prevalecia naquele tempo:
ou seja, a hiptese de pareamento do reforo Figura 4. Procedimento experimental usado por Duncan e Fan-
condicionado a qual afirma que os estmulos tino. O painel esquerdo da figura indica a sequncia de eventos
adquirem sua fora reforadora condicio- quando respostas na chave da esquerda eram reforadas; o painel
direito indica a sequncia de eventos quando respostas na chave
nada em virtude de simples pareamento da esquerda eram reforadas. Os elos terminais consistiam de um
(Pavloviano) com reforamento primrio. esquema simples FI 2X s em uma das chaves e um encadeado
FI X s FI X s na outra chave. (Figura adaptada de B. Duncan e
Porm, os prximos conjuntos de estudos E. Fantino, The psychological distance to reward. Journal of the
mostram que a viso predominante no era Experimental Analysis of Behavior,18, 23-34. Copyright 1972 by the
Society for the Experimental Analysis of Behavior).
sustentvel.

161
E. FANTINO

As dissertaes de Richard Schuster mais altas que as taxas de respostas no outro elo
e Nancy Squires terminal equivalente sem os estmulos breves?

Richard Schuster, atualmente na Universi-


dade de Haifa, props uma viso alternativa ou
funcional do reforamento condicionado. De
acordo com sua viso funcional, os efeitos de um (2) Qualquer que seja a resposta primei-
estmulo arbitrrio que acompanha uma resposta ra questo, a escolha seria afetada? Dito
dependem das consequncias reforadoras que de outra forma, o elo inicial levando ao
so sinalizadas pelo estmulo. Na maioria dos ex- elo terminal com o reforamento con-
perimentos sobre reforamento condicionado os dicionado sobreposto seria preferido ao
supostos reforos condicionados so preditores elo inicial sem os supostos reforadores
de reforamento primrio e tanto a hiptese tra- condicionados?
dicional do reforo condicionado por pareamento
quanto a viso funcional fazem a mesma predi-
Figura 5. Uma verso esquemtica dos procedimentos
o: o estmulo deve funcionar como reforador experimentais bsicos utilizados nos estudos de Schuster
condicionado. No entanto, Schuster conduziu (1969) e Squires (1972).
uma srie de experimentos (Schuster, 1969) que
isolaram as predies destas posies. Ele usou De acordo com a hiptese tradicional do re-
um procedimento de concorrentes encadeados foro condicionad o por pareamento, a resposta s
modificado em que os elos iniciais (etapa de duas questes deveria ser sim. A resposta emprica
escolha) eram esquemas VI 1 min idnticos. A para a primeira questo foi Sim, aparentemente
consequncia dos esquemas em ambos os elos estabelecendo os estmulos breves pareados como
terminais (etapa terminal) era um esquema VI reforadores condicionados genunos. Mas esse
30 s com comida como reforo. A diferena efeito reforador condicionado no foi acompa-
entre os dois elos terminais era que em um dos nhado por uma preferncia concomitante pelo
elos terminais apresentaes de estmulos breves lado no qual havia reforamento condicionado.
estavam disponveis de acordo com um esquema Dito de outra forma, a resposta segunda questo
de reforamento FR 11 sobreposto ao VI (ver foi No. De fato, exatamente o contrrio foi
Figura 5). Os estmulos breves eram supostos re- observado: todos os cinco pombos preferiram o
foradores condicionados de acordo com ambas elo terminal sem os reforadores condicionados
as vises do pareamento e funcional, j que eles sobrepostos. A preferncia mdia pelo lado com
foram pareados e sinalizavam a disponibilidade o elo terminal com os reforadores condicionados
de comida como reforamento. Essa abordagem sobrepostos foi de 0,39. Assim, esses resultados
possibilitava duas questes interessantes: contrariam a hiptese tradicional do reforo
(1) Se os estmulos breves pareados fossem refor- condicionado por pareamento.
adores condicionados efetivos, ento eles deve- Os resultados de Schuster foram contro-
riam aumentar seletivamente o responder durante versos. Eu sei que eu, para citar uma pessoa,
o elo terminal da fase terminal com o esquema no os apreciei completamente. Nancy Squires
sobreposto de apresentao de estmulos bre- (agora na SUNY-Stony Brook) realizou sua dis-
ves. Dessa forma, as taxas de respostas durante sertao na UCSD expandindo a explorao dos
o elo terminal com os estmulos breves seriam questionamentos levantados por Schuster. Uma

162
ESCOLHA E REFORAMENTO CONDICIONADO

mudana potencialmente importante envolveu a dos experimentos de Schuster foi confirmada:


programao de estmulos breves pareados em elos terminais com apresentaes de estmulo
esquemas de intervalo, evitando dessa forma as breve pareado no so preferidos a elos termi-
altas taxas de respostas geradas pelos esquemas nais com apresentaes de estmulo breve no
FR 11 utilizados por Schuster (no caso de que es- pareado como tambm a elos terminais sem
sas altas taxas fossem paradoxalmente aversivas, apresentaes de estmulo breve. Uma reviso
uma possibilidade consistente com os resultados de Fantino e Romanowich (2007) fornece uma
de Fantino, 1968; Moore e Fantino, 1975). Dessa discusso mais completa dessas duas teses que
forma, em um elo terminal do procedimento podem ser tomadas como referncia (apesar de
com concorrente encadeado utilizado no Expe- pouco apreciadas). A reviso tambm discute
rimento A de Squires (1972), apresentaes de experimentos adicionais (e.g., Fantino, Freed,
estmulos breves eram programadas em esquema Preston, & Williams, 1991) embasando a con-
VI 15 s. Esses estmulos tambm eram pareados cluso de que os estmulos que se comportam
com reforamento primrio. Ao mesmo tempo, como reforadores condicionados no elo ter-
responder de acordo com um esquema VI 60 s minal de esquemas concorrentes encadeados
produzia comida no mesmo elo terminal. Assim, aparentemente no so reforadores condi-
o esquema em um elo terminal consistia nesses cionados conforme mensurado em termos de
dois esquemas independentes (um para estmu- sua influncia sobre a escolha. Isto , os elos
los breves pareados e outro para comida). O terminais que apresentam esses estmulos no
esquema do outro elo terminal no Experimento so escolhidos. Retornaremos a este fato central
A consistia apenas em esquema para comida ao final deste artigo. Primeiro, com esse emba-
(tambm um VI 60 s). Ento, assim como no samento, passaremos aos estudos quantitativos
experimento de Schuster, os dois elos terminais sobre escolha e reforamento condicionado.
diferiam apenas quanto disponibilidade de
apresentao dos estmulos breves pareados. O O estudo quantitativo sobre escolha
Experimento B era anlogo ao Experimento e reforamento condicionado
A exceto que os estmulos breves nunca eram
pareados com ou sinalizavam reforamento; ou desnecessrio rever aqui a quantifica-
seja, esses estmulos no deveriam funcionar o da lei do efeito, mais conhecida como lei
como reforadores condicionados. da igualao, segundo a qual os organismos
Squires (1972) encontrou o mesmo pa- tendem a distribuir suas respostas de escolha
dro de resultados nos Experimentos A e B a de acordo com a taxa relativa com a qual essas
despeito do fato de os estmulos breves terem respostas so reforadas (Herrnstein, 1961).
sido pareados no Experimento A e no no Ex- Em outras palavras, a distribuio das escolhas
perimento B: nenhuma preferncia sistemtica tende a igualar-se distribuio de reforos.
nos elos iniciais (escolha) foi encontrada nos Essa lei, que tem sido comprovada como
experimentos. A averso pelos estmulos breves poderosa preditora de comportamento em
pareados encontrada por Schuster (1969) no uma grande amplitude de situaes, tem sido
ocorreu nesses experimentos, provavelmente refinada e estendida em artigos importantes
porque os estmulos breves foram programados por Baum (1974), Catania (1963), Killeen
de acordo com esquemas de intervalo e no de (1972), Myers e Myers (1977), Rachlin e Green
razo. Entretanto, a concluso fundamental (1972), entre outros.

163
E. FANTINO

Autor (1960; 1969) e Herrnstein (1964) devido natureza de esquemas VI concorrentes,


levantaram a possibilidade de que a lei da igua- respondendo em ambos voc pode encurtar pela
lao pudesse tambm descrever escolha em metade seu tempo de espera at o reforamento
esquemas concorrentes encadeados (Figura (cinco segundos em vez de 10, em mdia). Essa
2). Neste caso, a lei da igualao poderia ser predio baseada no pressuposto de que voc
estendida para descrever escolha por reforos provavelmente prefere esperar alguns segundos
condicionados. De fato, em estudos elaborados, extras para garantir que voc vai obter o seu
tanto Autor quanto Herrnstein variaram as reforo ligeiramente preferido. Por outro lado, o
taxas de reforamento primrio no elo termi- que aconteceria se os esquemas VI iguais tivessem
nal de esquemas concorrentes encadeados e durao longa, digamos esquemas VI 1 hr? Voc
mensuraram os efeitos sobre as taxas de res- no seria mais propenso a responder em ambos os
postas na fase de escolha. Ambos encontraram botes agora (dessa forma obtendo um reforo a
igualao entre as taxas relativas de respostas cada 30 minutos em mdia) em vez de responder
na fase de escolha e as taxas relativas de refor- por 60 min exclusivamente no boto que leva ao
os na fase terminal. Se esse achado tivesse reforo ligeiramente preferido? De forma mais
generalidade, isto seria muito vantajoso pela geral, quanto maior a durao da escolha, mais
sua simplicidade: a mesma lei de igualao seria indiferentes aos dois reforos provavelmente
adequada para comportamento mantido em nos tornamos. Essa intuio, se correta, tem uma
esquemas concorrentes simples (por refora- implicao profunda para a igualao: a escolha
mento primrio) e em esquemas concorrentes no deve ser constante ao longo de variaes na
encadeados (por reforamento condicionado). durao da fase de escolha. A igualao deveria
Mas isso era muito bom para ser verdade em ser esperada apenas para determinadas duraes
termos de simplicidade e/ou parcimnia. Alm da fase de escolha. De fato, entretanto, essa su-
disso, havia razes para cautela. posio no foi levantada e precisou de alguns
Modificando um exemplo de Fantino e Lo- dados considerados inicialmente estranhos para
gan (1979, p. 231), consideremos a escolha entre desafiar a noo de que a igualao ocorreria para
dois reforos favoritos, por exemplo, a pasta de esquemas concorrentes encadeados.
homus irresistvel da minha esposa e sua deliciosa Esses dados so oriundos de um experi-
salada de beterraba com endvia (o leitor pode mento que procurou verificar as contribuies
substituir estes itens pelos seus prprios reforos relativas dos reforamentos condicionado e
imaginrios, desde que ambos sejam desejados primrio para a escolha em esquemas concorren-
e que um seja apenas ligeiramente preferido ao tes encadeados. Em um esquema concorrente
outro). Os dois reforos encontram-se em vasi- encadeado tpico, os esquemas VI associados
lhames tampados, cada um dos quais aberto de aos elos iniciais (fase de escolha) so iguais. Mas
acordo com um esquema VI. A resposta girar nesse experimento, o VI do elo inicial em uma
um boto localizado em cada uma das tampas. chave era um VI 30 s levando a um VI 90 s no
Suponha que os esquemas VI iguais programados elo terminal, enquanto o VI do elo inicial na
para levar s consequncias (as comidas) eram outra chave era um VI 90 s levando a um VI 30
curtos, digamos esquemas VI 10 s. Eu afirmo s no elo terminal. Note que o tempo total para
que voc ir responder praticamente de forma o reforamento primrio em cada chave o
exclusiva no boto que leva ao reforo preferido mesmo (120 segundos). Se essa fosse a varivel
(no meu caso a pasta de homus) apesar de que, crtica no controle da escolha, ento o pombo

164
ESCOLHA E REFORAMENTO CONDICIONADO

deveria ser indiferente s duas opes e deveria


distribuir suas respostas igualmente entre os
dois estmulos do elo inicial. Por outro lado, se
a taxa de reforamento condicionado tem mais
importncia ento o pombo deveria responder
mais no estmulo associado com o esquema VI
30 s no elo inicial, j que ele produz entradas
no seu elo terminal em uma taxa trs vezes
maior que o outro elo inicial com VI 90 s. Uma
proporo de escolha de 0,75 poderia ser ante-
cipada se a taxa de reforamento condicionado
fosse a varivel de controle. Finalmente, se a
taxa de reforamento primrio no elo terminal
fosse o determinante central da escolha, como
Figura 6. Uma verso esquemtica do procedimento expe-
postulado pela lei da igualao (e apoiado por rimental bsico utilizado na primeira condio de Fantino
um conjunto extensivo de dados de Autor e (1969). Note que os esquemas tanto nos elos iniciais quanto
Herrnstein), o resultado exatamente oposto nos elos terminais so diferentes, mas que a soma da durao
dos esquemas em cada uma das chaves igual a 120 segundos.
deveria ser esperado: uma proporo de escolha
de 0,75 pelo VI 30 s no elo terminal (ou seja, Os resultados desse raciocnio foram, em
os pombos deveriam responder a uma taxa trs ltima instncia, um repensar sobre o que seria a
vezes maior no estmulo associado ao esquema varivel crtica para a escolha em esquemas con-
VI 90 s no elo inicial, que levava ao elo terminal correntes encadeados e para experimentos que
com VI 30 s, do que ao estmulo associado com foram testes adicionais sobre a importncia dessa
o esquema de VI 30 s, que levava ao elo terminal varivel. Em retrospecto, a resposta simples. Re-
com VI 90 s). Obviamente, ambas as taxas de tome nosso exemplo sobre homus versus salada
reforamento condicionado e primrio podem de beterraba com endvia. Aqui o contexto tem-
ser importantes e, neste caso, as propores de poral ajuda a determinar o grau de escolha. Mais
escolha deveriam ficar entre 0,50 e 0,75. O pro- especificamente, nossa intuio era que quanto
cedimento bsico est esquematizado na Figura mais longa a durao da escolha menos iramos
6. Quando conduzi esse experimento (Fantino, expressar preferncia pelo reforador ligeiramente
1969), os resultados iniciais foram gratificantes preferido entre os dois. Ambas as consequncias
e pareciam apoiar fortemente a igualao (e um parecem terrivelmente boas aps um longo per-
caminho fcil at a publicao). A preferncia odo de escolha. Cada uma representa uma grande
dos pombos rapidamente moveu-se para o elo mudana para melhor. No caso de VI nos elos
inicial VI 90 s, como requerido pela igualao terminais, cada elo representa uma grande reduo
(com sua nfase nas taxas de reforo no elo ter- no tempo de espera at o reforamento (reduo
minal). Mas elas no pararam em 0,75 para este do atraso). Ento, no deveria haver uma prefe-
lado. Pelo contrrio, as preferncias gravitaram rncia to intensa pela consequncia melhor. Com
em torno de 0,90, o que inconsistente com uma durao de escolha menor, entretanto, apenas
todas as trs possibilidades tericas mencionadas a consequncia preferida representa uma reduo
acima. Esses resultados foram alimento para o relativamente grande no tempo at o reforamento
pensamento. e por isso deveria ser mais acentuadamente pre-

165
E. FANTINO

ferida. Para testar mais diretamente essa noo, a Esse resultado importante porque
durao dos esquemas VI iguais foi manipulada (de mostra que o contexto temporal afeta a
VI 40 s at VI 600 s) com esquemas VI 30 s e VI preferncia por reforos condicionados.
90 s na fase terminal (Figura 7). Como previsto, a Em outros termos, a fora de um estmulo
escolha diminuiu dramaticamente com aumentos como um reforador condicionado s pode
na durao da fase de escolha (de preferncia ser verificada levando em considerao o
exclusiva pelo VI 30 s no elo terminal reduzindo contexto temporal relevante. Nos termos
at as preferncias se aproximarem da indiferen- da DRT, a fora de um estmulo como um
a). Esse resultado (Fantino, 1969), replicado em reforador condicionado melhor predita
vrios laboratrios, tem sido chamado de efeito pela reduo no tempo at o reforamento
do elo inicial e previsto no apenas pela teoria primrio correlacionada com o incio do
de reduo do atraso (DRT Delay Reduction estmulo em relao ao tempo mdio at
Theory) como tambm por modelos quantitativos o reforo na situao de condicionamento.
mais recentes de escolha (incluindo o modelo Um corolrio desse achado outro golpe na
contextual de escolha de Grace, 1994, o modelo de tradicional hiptese do reforamento con-
incentivo de Kileen, 1982, e de Killeen & Fantino, dicionado por pareamento. Por exemplo, os
1990, e o modelo de valor aditivo hiperblico de resultados de Fantino (1969) mostram que
Mazur, 2001; ver Luco, 1990, e Preston & Fantino, o mesmo estmulo (neste caso associado a
1991, para revises). um esquema VI 90 s) pode ser um poderoso
reforador condicionado em um contexto
temporal, quando ele correlacionado com
uma reduo no tempo at o reforamento,
e no ser de maneira alguma um reforador
condicionado em outro contexto temporal,
quando ele correlacionado com um aumen-
to no tempo at o reforamento.
Casualmente, o fato de que aumentos
na durao da fase de escolha diminuem
a preferncia expressa pela consequncia
de maior valor consistente com uma rica
literatura sobre autocontrole (por exemplo,
Rachlin & Green, 1972; Navarick & Fanti-
Figura 7. A parte superior da figura mostra a forma original da no, 1976): quanto mais curta a durao da
frmula de reduo do atraso, onde T igual ao tempo at a fase de escolha mais impulsivo o organismo
comida a partir do incio da tentativa, e tL e tR denotam o tempo
remanescente at a comida, quando os elos terminais da esquer- que escolhe. Assim, se queremos reduzir
da ou da direita so iniciados, respectivamente. Por conseguinte, o consumo de combustveis por meio do
T-tL representa a reduo no tempo at a recompensa associada
com o incio do elo terminal da esquerda e T-tR representa o aumento nos impostos de combustveis
termo correspondente reduo do atraso a partir do incio devemos anunciar a proposta bem antes da
do elo terminal direito. A parte inferior da figura mostra que,
de acordo com a lei da igualao, formulao (1) na figura, a data de efetivao da mesma e ainda faz-lo
preferncia no deve variar quando o valor do elo inicial varia. de alguma forma incerta (digo tornando o
No entanto, de acordo com as equaes da reduo do atraso, a
preferncia variaria dramaticamente com variaes na durao imposto contingente a 10% de reduo no
do elo inicial (a durao da fase de escolha). consumo de combustvel). A maioria das pes-

166
ESCOLHA E REFORAMENTO CONDICIONADO

soas considera consequncias de baixo valor


mais palatveis se suficientemente atrasadas
e/ou incertas.
Observao

A teoria de reduo do atraso tem


sido estendida a reas como autocontrole,
memria, condicionamento clssico, forra-
geamento, e observao. Uma breve reviso
da rea de observao ir abarcar os pontos
centrais deste artigo e tambm estabelecer
a ocasio para relatar alguns dados iniciais
de um experimento em andamento que nos
trar de volta ao tema do efeito da taxa de
reforamento condicionado sobre a esco-
lha. O procedimento geral de observao,
ilustrado na Figura 8, foi desenvolvido por
Figura 8. Um procedimento tpico de resposta de obser-
Wyckoff (1952; 1969). Uma resposta de vao, como originalmente desenvolvido por Wyckoff
observao do sujeito (para Wyckoff, a (1952). Na condio correlacionada (a, painel superior),
presso de um pedal por um pombo) trans- as respostas de observao do sujeito transformavam um
esquema misto em um esquema mltiplo anlogo. As luzes
forma um esquema misto em um esquema vermelha e verde eram correlacionadas com um esquema FI
mltiplo correspondente. Isto , quando o 30 s e Extino, respectivamente. Na condio no correla-
cionada, (b, painel inferior) as luzes produzidas no eram
pedal no era pressionado, uma luz branca correlacionadas com os esquemas em vigor. Elas no tinham
estava associada com a chave tanto durante valor discriminativo ou informativo. Se uma taxa mais alta
de observao mantida na condio correlacionada (e isto
o perodo em que o esquema com comida o que acontece) considera-se que a observao mantida
vigorava (um esquema FI) como durante pela produo dos estmulos discriminativos correlacionados
com os dois esquemas e no pela mudana de estmulos.
o perodo de extino. Presses no pedal,
entretanto, produziam uma luz associada
ao esquema em vigor (digamos vermelho Isso leva questo: por que a observao
para FI, verde para Extino). impor- ocorre? Uma abundncia de estudos, vrios
tante enfatizar que pressionar o pedal no do laboratrio de James Dinsmoor na Uni-
tinha efeito sobre a taxa ou distribuio da versidade de Indiana (incluindo Dinsmoor,
comida (reforo). A observao tinha uma 1983; Mulvaney, Dinsmoor, Jwaideh, &Hu-
funo apenas discriminativa (ou em termos ghes, 1974), tem dado suporte hiptese do
cognitivos, informativa). O estudo pioneiro reforo condicionado aplicada observao,
de Wyckoff com pombos e uma grande a qual afirma que a observao mantida pela
quantidade de outros estudos subsequentes produo de um estmulo correlacionado com
tm confirmado a robustez da observao: reforamento positivo (e no com a reduo
pombos, pessoas, macacos, ratos e peixes, da incerteza ou informao por si; para uma
todos observam, a despeito do fato de que reviso ver Fantino, 1977; para alguns estudos
a observao no produz mudanas na taxa com pessoas, ver Case, Fantino, & Wixted,
de reforamento primrio programada. 1985; Case, Ploog, & Fantino, 1990; Fantino &

167
E. FANTINO

Case, 1983). Esse resultado faz sentido intuiti- Essa figura mostra a preferncia por
vamente: estmulos pareados com uma maior nenhuma notcia (estmulos no correlaciona-
probabilidade de recompensa (uma reduo dos com os esquemas em efeito, e assim, sem
no tempo at a recompensa, nos termos da valor informativo) em relao a ms notcias
DRT, ou um aumento no valor, nos termos de (o estmulo correlacionado com extino, e
Jim Mazur) so provveis de serem reforos assim, um estmulo com valor informativo,
condicionados, enquanto estmulos pareados porm valor reforador condicionado nega-
com uma menor probabilidade de recompensa tivo) no painel superior, e taxas absolutas de
(ou um aumento no tempo at a recompensa observao (painel inferior) para duas crianas
ou uma reduo no valor) tem menor pro- (9 a 10 anos de idade). Embora essas crianas
babilidade de funcionarem como reforos tenham observado em taxas significativamente
condicionados. Coloquialmente, apenas boas altas (acima de 100 respostas por minuto), no
notcias manteriam a observao. De fato, ocorreram indcios de preferncia por boas
numerosos estudos de nosso laboratrio em notcias em relao a nenhuma notcia, mas a
UCSD tm mostrado que, para humanos, forte preferncia por nenhuma notcia sobre
comparado com ms notcias, nenhuma ms notcias (painel superior) parece no ter
notcia boa notcia. Os resultados de um diminudo ao longo das dez sesses estudadas.
dentre diversos estudos que apoiam essa O trabalho discutido demonstra at o
concluso so apresentados na Figura 9 de momento que um estmulo correlacionado
Fantino, Case e Altus (1983). com extino, apesar de informativo, no fun-
cionar como um reforador condicionado e
no manter respostas de observao. Uma
questo mais interessante para determinar a
natureza do reforamento condicionado (isto
, quais as condies necessrias e suficientes
para o reforamento condicionado) esta: o
menos positivo de dois estmulos funcionar
como um reforador? Por exemplo, considere
o esquema de reforamento empregado por
R. Auge em sua dissertao no laboratrio
de Peter Killeen na Universidade do Estado
do Arizona. Auge (1974) estudou esquemas
alternados de reforamento positivo. Pombos
poderiam observar qual de dois esquemas es-
tava em efeito (ver Figura 10, painel superior).
Ambos
os estmulos eram informativos e pare-
Figura 9. Propores de escolha (painel superior) e taxa abso- ados com reforamento primrio. Dessa forma,
luta total de observao (painel inferior) de duas crianas em de acordo tanto com a posio tradicional do
cada uma de dez sesses. As propores de escolha foram
calculadas com relao ao estmulo no correlacionado com reforamento condicionado por pareamento
reforamento (nenhuma notcia). As crianas escolheram quanto com a viso da informao, mesmo o
entre produzir este estmulo versus um estmulo correlacio-
nado com extino (ms notcias). (Figura adaptada de estmulo associado com o menos positivo dos
Fantino, Case, & Altus, 1983). esquemas alternados deveria funcionar como

168
ESCOLHA E REFORAMENTO CONDICIONADO

um reforador condicionado e manter a obser- reduo no tempo at o reforamento (ou com


vao. De acordo com a DRT, porm, apenas um aumento no tempo at um evento aversivo).
o estmulo associado com o esquema mais Estensa pesquisa sobre anlogos experimentais
positivo representa uma reduo no tempo at do comportamento de forragear (e.g., Fantino &
o reforamento. Assim, apenas este estmulo Abarca, 1985; Fantino & Preston, 1988), assim
deveria funcionar como um reforador condi- como outras reas, apoiam esta concluso e a
cionado e manter observao. Observando a noo mais geral de que para apreciar o valor de
Figura 10, podemos ver que para esses esque- uma alternativa devemos considerar o contexto
mas, o estmulo correlacionado com o esquema em que a alternativa se encontra inserida (Fantino,
FI 1 min deveria manter observao de acordo 2001). Apoio emprico para essa concluso bas-
com as trs posies tericas, mas apenas tante geral deriva tambm de extensiva pesquisa
as posies do pareamento e da informao sobre supresso condicionada, incluindo a de Bob
predizem que o estmulo correlacionado com Rescorla, e sobre automodelagem, incluindo a
o esquema FI 5 min manteria a observao. pesquisa de Elkan Gamzu e Barry Schwartz e a
De acordo com a DRT, o esquema FI 5 min de Bruce Brown e Nancy Hemmes. tentador
representa um aumento, no uma reduo no finalizar nossa histria por aqui (com a palavra
tempo at o reforamento e, assim, no deveria CONTEXTO!). No entanto, temos assuntos ain-
funcionar como um reforador condicionado. da no resolvidos incluindo alguns dados novos.
De fato, apenas o estmulo correlacionado com
o esquema FI 1 min manteve observao. O Efeito de Prius

Recentemente compramos um Prius. O


Prius tem um visor que informa tudo o que
voc pode querer saber sobre seu consumo de
combustvel (e de seu carro): qual o gasto (em
milhas por galo mpg) no momento, qual o
gasto em cada um dos ltimos seis perodos de
cinco minutos e em sua viagem inteira (ou na
vida do carro). Eu costumava dirigir pela Auto-
estrada 5 de nossa casa, prxima a San Diego at
Mendocino, a 90 mph com meus olhos grudados
na estrada minha frente. Mas, com o visor do
Prius na parte inferior direita do meu campo
visual me dizendo que eu estava consumindo
Figura 10. Uma descrio do experimento de Auge (1974) e
de porque a teoria de reduo do atraso requer que apenas o
combustvel demais, eu me vejo agora dirigindo a
mais rico de dois esquemas componentes funcione como um 70 mph com os olhos pregados no visor do Prius.
reforador condicionado e mantenha observao (o estmulo Assim, o visor do Prius pode contribuir para dois
associado com o esquema FI 5 min correlacionado com
um aumento e no uma reduo no tempo at a comida). grandes problemas mundiais: consumo de energia
e superpopulao.
Portanto, neste ponto podemos resumir Este exemplo no totalmente apropriado
concluindo que reforadores condicionados em termos de nossa discusso sobre observao,
so aqueles estmulos correlacionados com uma na medida em que as mudanas de estmulos

169
E. FANTINO

produzidas por minhas respostas de observao nos fazem pensar novamente. Ento, Paul
parecem influenciar meu comportamento de Romanowich, Patty Quan, Joshua Zhang, e eu
dirigir. Um exemplo mais adequado envolveria decidimos verificar se pombos prefeririam um
respostas de observao que no influenciassem elo terminal que programasse taxas mais altas
as mpg com que eu dirijo. O exemplo correspon- de observao (o equivalente ao visor do Prius).
deria a observar o visor do Prius enquanto minha Nosso procedimento est esquematizado na
esposa estivesse dirigindo (uma vez que eu no Figura 12 e nossos dados iniciais sumarizados
me arrisco a oferecer sugestes a Stephanie sobre na Figura 13. A preferncia no foi afetada quer
como ela deve dirigir). Em qualquer caso, claro os esquemas de observao fossem FI ou VI.
que o visor do Prius mantm uma alta taxa de Mais uma vez, a escolha no foi afetada pela
observao, pelo menos para alguns indivduos. taxa de reforamento condicionado.
Isso significa que, mantidos constantes todos
os outros fatores, o visor do Prius aumentaria a
probabilidade desses indivduos optarem por esse
equipamento? Essa questo nos leva de volta
relao entre taxas de reforamento condicionado
e escolha: escolheramos um resultado no qual
emitimos altas taxas de observao, isto , no
qual estaremos presumivelmente recebendo altas
taxas de reforamento condicionado? Dispomos
de uma resposta provisria baseada em alguns da-
dos recentemente coletados. Nosso experimento
foi inspirado em um estudo recente de Shahan,
Podlesnik e Jimenez-Gomez (2006).
Como mostra a Figura 11, Shahan e
seus colaboradores forneceram aos pombos a
escolha entre responder em esquemas concor-
rentes que diferiam entre si apenas pelo fato
de que cada um disponibilizava um esquema
diferente de observao. O delineamento era
elegante e os resultados foram inequvocos: as
escolhas igualaram as taxas de observao dos
estmulos produzidos. Esses resultados levan-
taram novamente a questo terica: modelos de
escolha em esquemas concorrentes encadeados
(como na DRT e em outros modelos citados Figura 11. Uma verso esquemtica do procedimento
anteriormente) requerem um termo para a utilizado por Shahan, Podlesnik e Jimenez-Gomez (2006).
taxa de reforamento condicionado? Temos Quando o esquema VI 90 s para comida estava em efeito
(painel superior), respostas nas duas chaves de observao
argumentado que no, com base em pesquisas ocasionalmente produziam o estmulo correlacionado com
prvias, incluindo os experimentos discutidos o esquema VI 90 s. Mas a taxa na qual as respostas de obser-
vao eram efetivas variava nas duas chaves de observao.
neste artigo (ver Fantino & Romanowich, 2007, Quando Extino estava em vigor no elo terminal (painel
para uma reviso). Mas os resultados de Shahan inferior), respostas de observao no tinham efeito.

170
ESCOLHA E REFORAMENTO CONDICIONADO

CONCLUSO

Esses resultados podem parecer parado-


xais. Aps uma reflexo, no entanto, eles no
so nem paradoxais nem mesmo surpreenden-
tes. Os reforos condicionados adicionais no
elo terminal no estudo de Schuster, Squires,
em nosso trabalho inicial e em nosso estudo em
andamento no esto correlacionados com
uma reduo no tempo at o reforamento
primrio (nem com um aumento no valor, nos
termos de Mazur). Observando a Figura 5 mais
Figura 12. Em nosso estudo a taxa na qual as respostas de ob-
servao eram efetivas tambm variava. No entanto, neste caso,
uma vez, os incios dos estmulos correlaciona-
a observao ocorria nos elos terminais (fase consequente) dos com os elos terminais (conseqentes) esto
de esquemas concorrentes encadeados. Os pombos prefeririam correlacionados com redues no tempo at
o elo terminal com a taxa mais alta de observaes efetivas?
o reforamento (ou aumento no valor). Estes
so reforadores condicionados. Os estmulos
breves sobrepostos no possuem essa funo
discriminativa. Para resumir, apenas estmulos
correlacionados com uma reduo no tempo
at o reforamento primrio (ou aumento no
valor) so legtimos reforadores condiciona-
dos. E esses estmulos afetam profundamente a
preferncia, como temos visto (e todos aqueles
que usam pontos como reforadores sabem).
Com este paradoxo ostensivo resolvido, cons-
tatamos que as regras que governam escolha
e reforamento condicionado so diretas, em-
bora dependentes do contexto. Essas regras
tm relevncia para nossos comportamentos
cotidianos muitos dos quais mantidos por
reforamento condicionado e para as esco-
lhas que fazemos e que modelam nossas vidas
e nosso mundo.

Referncias

Figura 13. Nossos resultados iniciais sugerem que taxas mais Auge, R. J. (1974). Context, observing behavior,
altas de observao nos elos terminais de um esquema con-
corrente encadeado no influenciam a preferncia por esses and conditioned reinforcement. Journal of the
elos terminais. Este parece ser o caso quer os esquemas no Experimental Analysis of Behavior, 22, 525-533.
elo terminal (comida) sejam FI (painel superior) ou VI (painel
inferior). Os dados apresentados referem-se a cada pombo e Autor, S.M. (1960). The strength of conditioned reinforcers as
mdia dos quatro pombos em cada condio. a function of frequency and probability of reinforcement.

171
E. FANTINO

Unpublished doctoral dissertation, Harvard and information. In W.K. Honig and J.E.R. Staddon
University. (Eds.), Handbook of operant behavior (pp. 313-339).
Autor, S.M. (1969). The strength of conditioned Englewood Cliffs, N.J.: Prentice Hall.
reinforcers as a function of frequency and Fantino, E. (2001). Context: A central concept.
probability of reinforcement. In D.P. Hendry Behavioural Processes, 54, 95-110.
(Ed.), Conditioned reinforcement (pp. 127-162). Fantino, E., & Abarca, N. (1985). Choice, optimal
Homewood, IL: Dorsey Press. foraging, and the delay-reduction hypothesis. The
Baum, W. M. (1974). On two types of deviation from Behavioral and Brain Sciences, 8, 315-362 (includes
the matching law: Bias and undermatching. Journal commentary).
of the Experimental Analysis of Behavior, 22, 231-242. Fantino, E., & Case, D. A. (1983). Human
Case, D. A., Fantino, E., & Wixted, J. (1985). Human observing: Maintained by stimuli correlated with
observing: Maintained by negative informative reinforcement but not extinction. Journal of the
stimuli only if correlated with improvement in Experimental Analysis of Behavior, 40, 193-210.
response efficiency. Journal of the Experimental Fantino, E., Case, D. A., & Altus, D. (1983). Observing
Analysis of Behavior, 43, 289-300. reward-informative and uninformative stimuli
Case, D. A., Ploog, B. O., & Fantino, E. (1990). by normal children of different ages. Journal of
Observing behavior in a computer game. Journal Experimental Child Psychology, 36, 437-452.
of the Experimental Analysis of Behavior, 54, 185-199. Fantino, E., Freed, D., Preston, R. A., & Williams, W.
Catania, A. C. (1963). Concurrent performances: A. (1991). Choice and conditioned reinforcement.
Reinforcement interaction and response Journal of the Experimental Analysis of Behavior, 55,
independence. Journal of the Experimental Analysis 177-188.
of Behavior, 6, 253-263. Fantino, E., & Logan, C. A. (1979). The experimental
Dinsmoor, J. A. (1983). Observing behavior and analysis of behavior: A biological perspective. San
conditioned reinforcement. Behavioral and Brain Francisco: Freeman.
Sciences, 6, 693-704. Fantino, E., & Preston, R. A. (1988) Choice and
Duncan, B., & Fantino, E. (1972). The psychological foraging: The effects of accessibility on
distance to reward. Journal of the Experimental acceptability. Journal of the Experimental Analysis
Analysis of Behavior,18, 23-34. of Behavior,50, 395-403.
Fantino, E. (1965). Some data on the discriminative Fantino, E., & Romanowich, P. (2007). The effect
stimulus hypothesis of conditioned reinforcement. of conditioned reinforcement rate on choice:
Psychological Record, 15, 409-415. A review. Journal of the Experimental Analysis of
Fantino, E. (1968). Effects of required rates of Behavior 87, 409-421.
responding on choice. Journal of the Experimental Grace, R. C. (1994) A contextual model of concurrent-
Analysis of Behavior, 11, 15-22. chains choice. Journal of the Experimental Analysis
Fantino, E. (1969a). Choice and rate of reinforcement. of Behavior, 61, 113-129.
Journal of the Experimental Analysis of Behavior, 12, Gollub, L. R. (1958). The chaining of fixed-interval
723-730. schedules. Unpublished doctoral dissertation,
Fantino, E. (1969b). Conditioned reinforcement, Harvard University.
choice, and the psychological distance to reward. Hendry, D. P. (1969). Conditioned reinforcement.
In D.P. Hendry (Ed.), Conditioned reinforcement (pp. Homewood, IL: Dorsey Press.
163-191). Homewood, IL: Dorsey Press. Herrnstein, R. J. (1961) Relative and absolute strength
Fantino, E. (1977). Conditioned reinforcement: Choice of response as a function of frequency of

172
ESCOLHA E REFORAMENTO CONDICIONADO

reinforcement. Journal of the Experimental Analysis Navarick, D.J., & Fantino, E. (1976). Self-control and
of Behavior, 4, 267-272. general models of choice. Journal of Experimental
Herrnstein, R. J. (1964). Secondary reinforcement Psychology: Animal Behavior Processes, 2, 75-87.
and rate of primary reinforcement. Journal of the Preston, R.A., & Fantino, E. (1991). Conditioned
Experimental Analysis of Behavior, 7, 27-36. reinforcement value and choice. Journal of the
Kelleher, R. T. (1966). Conditioned reinforcement in Experimental Analysis of Behavior, 55, 155-175.
second-order schedules. Journal of the Experimental Rachlin, H., & Green, L. (1972). Commitment, choice,
Analysis of Behavior, 9, 475-486. and self-control. Journal of the Experimental Analysis
Keller, F. S., & Schoenfeld, W. N. (1950). Principles of of Behavior, 17, 15-22.
psychology. New York: Appleton-Century-Crofts. Schuster, R.H. (1969). A functional analysis of
Killeen, P. (1972). The matching law. Journal of the conditioned reinforcement. In D.P. Hendry
Experimental Analysis of Behavior, 17, 489-495. (Ed.), Conditioned reinforcement (pp. 192-234).
Killeen, P.R. (1982). Incentive theory: II. Models Homewood, IL: Dorsey Press.
for choice. Journal of the Experimental Analysis of Shahan, T. A., Podlesnik, C. A., & Jimenez-Gomez, C.
Behavior, 38, 217-232. (2006). Matching and conditioned reinforcement
Killeen, P. R., & Fantino, E. (1990). Unification of models rate. Journal of the Experimental Analysis of Behavior,
for choice between delayed reinforcers. Journal of the 85, 167-180.
Experimental Analysis of Behavior, 53, 189-200. Skinner, B.F. (1938). The behavior of organisms: An
Luco, J. E. (1990). Matching, delay-reduction, and experimental analysis. New York: Appleton-
maximizing models for choice in concurrent- Century-Crofts.
chains schedules. Journal of the Experimental Squires, N. (1972). Preference for conjoint schedules of
Analysis of Behavior,54, 53-67. primary reinforcement and brief-stimulus presentation.
Mazur, J.E. (2001) Hyperbolic value addition and Unpublished doctoral dissertation, University of
general models of choice. Psychological Review, California, San Diego.
198, 96-112. Wike, E. L. (1966). Secondary reinforcement: Selected
Moore, J., & Fantino, E. (1975). Choice and response experiments. New York: Harper & Row.
contingencies. Journal of the Experimental Analysis Wyckoff, L.B., Jr. (1952). The role of observing
of Behavior, 23, 339-347. responses in discrimination learning: Part I.
Mulvaney, D. E., Dinsmoor, J.A., Jwaideh, A. R., & Psychological Review, 59, 431-442.
Hughes, L.H. (1974). Punishment of observing Wyckoff, L.B., Jr. (1969). The role of observing
by the negative discriminative stimulus. Journal responses in discrimination learning. In D.P.
of the Experimental Analysis of Behavior, 21, 37-44. Hendry (Ed.), Conditioned reinforcement (pp. 237-
Myers, D.L., & Myers, L.E. (1977). Undermatching: A 260). Homewood, IL: Dorsey Press.
reappraisal of performance on concurrent variable-
interval schedules of reinforcement. Journal of the Artigo convidado
Experimental Analysis of Behavior, 27, 203-214. Recebido em 8 de julho de 2008

Publicao referente ao 2. Semestre de 2008, impressa em maio de 2011

173