Este documento descreve três experimentos que testaram se pombos são capazes de cooperar no Dilema do Prisioneiro iterado (IPD). Nos experimentos 1 e 2, os pombos sempre delataram, indicando que eles respondem imediatamente ao pagamento, em vez de considerar a estratégia geral a longo prazo. No experimento 3, a cooperação ocorreu apenas quando maximizava o pagamento imediato, como na estratégia TFT-dom. Os resultados sugerem que os pombos têm dificuldade em cooperar no IPD dev

1. Dilema do Prisioneiro e o
Pombo: Controle por
Consequência Imediata
Green, L., Price, P. C. and Hamburger, M. E. (1995), PRISONER'S
DILEMMA AND THE PIGEON: CONTROL BY IMMEDIATE CONSEQUENCES.
Journal of the Experimental Analysis of Behavior, 64: 1–17.
doi:10.1901/jeab.1995.64-1

2. Teoria dos
Jogos
Dilema do
Prisioneiro
Tit-for-Tat
John Nash (1928-2015)
Albert William Tucker (1905-1995)
Robert Axelrod (1943)

3. S < P < R < T, e R > (T+S)/2.
Matriz de pagamento
SUCKER
PUNISHMENT TEMPTATION
REWARD

4. Pergunta da Pesquisa
Que aspecto da estratégia do oponente controla o organismo?
VD: Comportamento de Cooperação.
VI: Estratégias TFT e Randomizadas (coopera 50% e delata 50%)
TFT: Cooperação
RND: Delação
Porém se os pombos estiverem sob controle dos resultados imediatos das tentativas
Então devem delatar em ambas estratégias
Modo Iterado (repetitivo)
Estratégia pode ser comparada a esquema de reforçamento para o oponente.
Matriz de pagamento é análogo à magnitude de reforço.

5. Método
• Sujeitos: 02 pombas fêmeas, previamente treinadas a bicar chaves
para ganhar grãos, mantidos à 80% do peso.
• Equipamento: Caixa da Coulbourn Instruments. Computador Apple
IIc para controlar e gravar os eventos. Duas chaves de resposta que
podiam ser transluminadas de verde e vermelho, lâmpada com sinal
triplo (Azul, Amarelo e Branco), lâmpada da caixa e abertura para
acesso ao comedouro.
• Procedimento: pombos treinados à bicar as chaves vermelho e
verde por automodelagem. Sessão diária. 55 tentativas. 5 primeiras
não inclusas (aquecimento). Cada tentativa 25segundos.

6. Experimento 1 (Aparato)
Lâmpada
Chaves Transluminadas com
vermelho e verde
Comedouro (ração 45mg)
Lâmpada Tripla

7. Caixa iluminada
por 2 segundos
Luz fica acesa 6 segs.
Enquanto a outra se
extingue
Últimos 03 segundos.
Lâmpadas azul e
amarela acesas
- 55 Tentativas por dia
- Cada tentativa 25 segs
de duração.
- Pombos treinados para bicar as chaves vermelho e verde
Chaves iluminadas por 10 segs. Cores das chaves
de cima ou debaixo eram determinadas
randomicamente a cada tentativa
Uma das
chaves Bicada
5 primeiras
tentativas
de treino
Todas as luzes
apagadas por
7 segundos,
menos do
comedouro
Nenhuma chave bicada
Comedouro
iluminado e
comida liberada a
cada 0,5 segs.
Todas as luzes
apagadas para
reinício da
tentativa
Para manter a tentativa
em 25 segundos. A
latência da bicada era
subtraída dos 10
segundos máximos
permitidos e o tempo
que sobrou somado ao
começo da próxima
tentativa

8. Pombo
Coopera (CP)
Pombo
Delata (DP)
Computador
Coopera (CC)
Computador
Delata (CD)
0 pelotas
3 pelotas
1 pelota
5 pelotas
Experimento 1 (Matriz de Pagamento)
IPD
(TFT/RND)
TFT-dom TFT+1 Chicken TFT x 2
Computador Computador Computador Computador Computador
C D C D C D C D C D
Pombo
C 3 0 3 2 4 1 3 1 6 0
D 5 1 0 1 6 2 5 0 10 2

9. Experimento 1 (Método)

10. Experimento 1 (Resultados e Conclusão)
- A conclusão no experimento 1 foi de que sob estratégia TFT e
RND a escolha foi desertar, descartando resultados onde o pássaro se
encontrava sob controle da cor da luz.
- Supor pombos cooperando no TFT requer valores psicológicos
associado ao pagamento e noção de valor numérico satisfazendo
as desiqualdades do dilema do prisioneiro (o que não é o caso). É
possível que o pombos não sejam sensíveis às diferenças entre
pagamentos. Sendo equivalentes, não há motivo para
cooperação pura. No entanto, não haveria razão para esperar a
deserção pura observada, argumentando contra a equivalência
psicológica dos pagamentos como uma provável explicação.
- Pombos são sensíveis à luz, autor relata que bicadas foram mais
vigorosas e demoradas no azul e pouco no amarelo tendo efeito
claro no comportamento dos pombos. Esta observação sugere
que os pombos foram sensíveis aos pagamentos. Mudança para
TFT-dom também sugere isso.
- Conclui-se, então, que pombos conseguem distinguir S
(pagamento de 0 pelotas) de um P, R ou T, mas não conseguem P,
R ou T de um outro. Pombos apenas evitam um pagamento de
zero pelotas.

11. Experimento 2 (Método)
• Mesmos pombos (22W e 25) e mesmo aparato do experimento 1.
• Condição 1: TFT
• Condição 2: TFT com matriz de pagamento acrescido de 1 pelota
• Condição 3: Condição 2 com significado das luzes das barras e luzes de aviso invertidos.
• Condição 4: retorno da Condição 2.
• Condição 5: Chicken: Pombo e CPU cooperar = 03 pelotas;
• Pombo deserta e CPU coopera = 05 pelotas
• Pombo Coopera e CPU deserta = 01 pelota
• Pombo e CPU desertam = 00 pelotas
• Condição 6: TFT-dom.
• Condição 7: volta do TFT
• Condição 8: matriz de pagamento é o dobro em TFT (para testar se a deserção continua mesmo
com um pagamento maior. Há alguma evidência em humanos que um pagamento maior aumenta
a cooperação (Insko 1993).
• Condição 9: Condição 8 com significado de luzes invertidas..
• Pergunta: Será que resultados do experimento 1 é só de
esquiva do pagamento zero?

12. Experimento 2 (Resultados e Conclusão)
- Pombos continuaram a delatar mesmo com acréscimo de uma pelota
nos resultados.
- Esquiva de pagamento zero não explica resultados do experimento.
- Na condição Chicken pássaros cooperaram na metade das tentativas.
- Resultado era o dobro. Pássaros continuaram a delatar em quase todas
as tentativas.
- Pombos não responderam por toda a estrutura de pagamento, mas ao
invés disso, foram influenciados pelo pagamento da tentativa de
ocorrência imediata.

13. Experimento 3 (Método)
• Poucos sujeitos estudados podem ser preocupação.
Adicionado 7 pássaros .
• Apenas duas estratégias de computador: TFT e TFT-dom.
Verificar se há cooperação onde só há delação.
• TFT e TFT-dom com pagamento igual à tabela 1.
• Para pássaros 15, 16 e 17 condição inicial era TFT. Depois de
15 sessões mudança para TFT-dom. Depois de 15 sessões
retorno para TFT com 45 sessões.
• Para pássaros 6, 7, 9, 10 condição inversa: TFT-dom>> TFT >>
TFT-dom. 15 sessões (30 para o pássaro 9) e TFT 30 ou 60
sessões.

14. Experimento 3 (Resultados)
TFT
TFT-dom
Resultados sessão por sessão dos
pássaros 15, 16 e 17

15. Discussão Geral
• Pombos respondendo a jogos 2x2 respondem imediatamente ao valor
mais alto de pagamento.
• Pombos maximizaram as recompensas no geral, apenas quando o
comportamento era consistente com a recompensa era imediata na
tentativa. Quando era inconsistente a maximização no geral com
maximizar na tentativa imediata respondiam para a situação de
recompensa imediata. Esse comportamento reduz consideravelmente o
ganho sob certas condições. Cooperação se via somente quando o
comportamento alcançava a recompensa maior imediata (ex.TFT-dom).
• Pombos falharam ao jogar TFT à longo prazo. Delatando na maioria das
vezes. Sugere-se que a causa seja a função do desconto temporal (Kagel
e Green 1987)
• Efeito do desconto temporal no IPD foi discutido por Axelrod (1984)
Desconto temporal: Supondo um jogador que ganhe 3 de pagamento em cada um dos indefinidos números de tentativas sempre cooperando contra um oponente TFT. Na tentativa 1,
quando deve decidir que escolha deve fazer a vantagem em cooperar é 3. A vantagem em cooperar na tentativa 2 é apenas uma fração do que foi na tentativa 1; e na tentativa 3 é apenas
uma fração do que foi na tentativa 2 e assim por diante. O peso ou importância do último movimento relativo ao anterior é chamado “w “, um parâmetro de desconto que “representa o
grau que o pagamento de cada movimento é descontado relativamente ao movimento anterior” (Axelrod, 1984p.13). Quanto maior o valor de w, mais o pagamento das últimas tentativas
são levados em conta no cálculo total de pagamento.
A vantagem total de sempre cooperar seria, no caso, 3 + 3w + 3w² + 3w³.... A vantagem de sempre desertar quando o oponente joga TFT, assumindo T=5 e P=1, seria 5 + w + w² + w³.....
Axelrod notou que a soma desta serie infinita para 0<w<1 seria 3/(1 – w) e 5 + [w/(1 – w)] para os dois casos respectivamente.
Em geral, sempre cooperar maximiza uma vantagem do jogador somente se w é suficientemente grande, caso contrário deserção é a melhor escolha. No presente estudo w era muito
pequeno para promover cooperação nos pombos jogando TFT.

16. Discussão Geral
• Comportamento dos pombos exibiram uma carência de Auto-controle (Impulsividade),
escolha da recompensa menor, porém mais imediata em detrimento da maior, porém
mais atrasada (Green 1981).
• Devido aos problemas de Auto-controle e Desconto temporal a resposta ótima no IPD
geral pode ser rara entre os animais, não quer dizer que eles não possam aprender a
estratégia TFT ou que não possam cooperar., mas mecanismos ainda não aprendidos
devem estar envolvidos para futuros resultados mais sensíveis. Desenvolvimento
ontogenético de cooperação no IPD permanece uma raridade em não-humanos que
extensivamente descontasse os eventos atrasados. Recompensas de desconto atrasado
devem ser uma resposta adaptativapara incertezas no meio animal natural.
• Presente estudo sugere que Cooperação não emerge nas circunstâncias dessa pesquisa.
É lógico, comportamento cooperativo emerge quando a taxa de desconto temporal é
considerada baixa, resposta de compromisso são permitidas, ou atrasos ente escolha e
resultados são suficientemente grandes. Essas possibilidades necessitam ser testadas.

17. Obrigado!!