Dedicado a todos aqueles que têm tecnologia e games no sangue, buscamos nos tornar referência no entretenimento do presente e do futuro.

1. instructables
GPT-4 Aprende Como Pensamos
by tecnologicobr
Com os prompts corretos, o GPT-4 alcança um desempenho impecável nos testes de Teoria da Mente. Uma teoria
losó ca pode explicar como um grande modelo de linguagem aprende a“leitura da mente”.
Uma equipe da Universidade Johns Hopkins estudou o desempenho de GPT-4 e três variantes de GPT-3.5 (Davinci-2,
Davinci-3, GPT-3.5-Turbo) nos chamados testes de falso relevo, o mais famoso dos quais é provavelmente o“Teste Sally &
Anne“. Em tais testes, a psicologia do desenvolvimento ou a biologia comportamental examinam a capacidade de
humanos ou animais de atribuir crenças falsas a outros seres vivos.
Um exemplo de teste de falsa crença:
CENÁRIO: LARRY ESCOLHEU UM TÓPICO DE DISCUSSÃO PARA SUA TAREFA DE CLASSE NA SEXTA-FEIRA. A NOTÍCIA NA
QUINTA-FEIRA DISSE QUE O DEBATE FOI RESOLVIDO, MAS LARRY NUNCA O LEU.
PERGUNTA: QUANDO LARRY ESCREVE SEU ENSAIO, ELE ACHA QUE O DEBATE ESTÁ RESOLVIDO?
Responder a essas perguntas requer a capacidade de rastrear os estados mentais dos atores em um cenário, como seus
conhecimentos e objetivos. As crianças geralmente adquirem essa habilidade por volta dos quatro anos de idade e
podem atribuir desejos e crenças a si mesmas e aos outros. Quando passam nesses testes, os cientistas geralmente
atribuem a eles uma“teoria da mente”(ToM) que lhes dá essas habilidades de“leitura da mente’.
Em testes, a equipe conseguiu mostrar que, em quase todos os casos, a precisão dos modelos OpenAI pode ser
melhorada em mais de 80%, dando-lhes alguns exemplos e instruindo-os a pensar passo a passo. A exceção foi o modelo
Davinci-2, que foi o único não treinado via aprendizado por reforço com feedback humano (RLHF).
O GPT-4 teve o melhor desempenho: sem exemplos, o modelo alcançou precisão ToM de quase 80%; com exemplos e
instruções de raciocínio, alcançou 100% de precisão. Em testes comparativos em que as pessoas tiveram que responder
sob pressão de tempo, a precisão humana foi de cerca de 87%.
Teoria da mente por meio de aprendizado por reforço com feedback humano?
A capacidade demonstrada pelos modelos GPT para lidar de forma con ável com tais cenários ToM ajuda os modelos a
lidar com humanos em geral, e em contextos sociais em particular, onde eles poderiam se bene ciar ao levar em
consideração os estados mentais dos atores humanos envolvidos, disse a equipe. Além disso, esses cenários geralmente
envolvem raciocínio inferencial, em que algumas informações só podem ser inferidas a partir do contexto e não são
diretamente observáveis.“Portanto, avaliar e melhorar a pro ciência desses modelos em tarefas de ToM pode oferecer
informações valiosas sobre seu potencial para uma ampla gama de tarefas que exigem raciocínio inferencial”, a rma o
artigo.
E, de fato, em testes com cenários não-ToM em que faltam informações, a equipe pode mostrar que a precisão das
inferências dos modelos RLHF pode ser melhorada usando exemplos e instruindo-os a pensar passo a passo, com o GPT-4
alcançando 100 porcentagem de precisão. Curiosamente, o Davinci-2 tem um bom desempenho aqui por natureza,
GPT-4 Aprende Como Pensamos: Page 1

2. atingindo 98 por cento e, na verdade, perde a precisão com o aprendizado no contexto, ao mesmo tempo em que
apresenta o pior desempenho em cenários de ToM. A equipe teoriza que as capacidades ToM são fortemente
determinadas pelo RLHF.
O GPT-4 tem uma teoria da mente?
Os exemplos mostram que o GPT-4 tem uma teoria da mente? Uma vez que a questão do que está por trás da capacidade
das crianças pequenas de passar nos testes de falsas crenças também é muito debatida, uma resposta simples
provavelmente não é possível. No entanto, as teorias ali discutidas, como Teoria-Teoria ou Teoria da Simulação
geralmente pelo menos concordam que nosso ToM é uma herança biológica – que pode ser descartada para GPT-4.
Entre em uma teoria losó ca pouco conhecida que pode explicar por que grandes modelos de linguagem com RLHF
passam em testes de falso relevo: Em 2008, o lósofo americano Daniel D. Hutto publicou“Folk Psychological Narratives:
The Sociocultural Basis of Understanding Reasons”no qual ele argumenta que o a compreensão popular da teoria da
mente perde seu cerne. Em sua opinião, nossa teoria da mente é caracterizada principalmente por nossa capacidade e
motivação para usar nossa compreensão de falsas crenças em contextos explicativos mais amplos.
Segundo Hutto, a teoria da mente é mais do que a capacidade de inferir falsas crenças e está intimamente relacionada ao
conceito ambíguo de“psicologia popular“. De acordo com sua Hipótese da Prática Narrativa (NPH), as crianças adquirem
sua teoria da mente ao serem expostas e participarem de uma forma especial de prática narrativa que explica e prevê as
ações das pessoas em termos de razões.
“A alegação central do NPH é que encontros diretos com histórias sobre pessoas que agem por razões – aquelas
fornecidas em contextos interativos por cuidadores responsivos – é o caminho normal através do qual as crianças se
familiarizam com (i) a estrutura básica da psicologia popular, e (ii) as possibilidades normatizadas de aplicá-lo na prática,
aprendendo como e quando usá-lo”, diz Hutto.
A teoria da mente como a prática das narrativas da psicologia popular
Assim, de acordo com Hutto, passar nos testes de falso relevo ainda não é um sinal de ToM‘completo”– ao contrário, é
entender a si mesmo e aos outros dando razões para suas próprias ações e as ações dos outros. Para Hutto, essa é uma
habilidade prática na qual uma estrutura narrativa é aplicada a uma pessoa, levando em consideração o contexto, a
história e o caráter da pessoa.
“Entender as razões para a ação exige mais do que simplesmente saber quais crenças e desejos levaram uma pessoa a
agir. Compreender a ação intencional requer contextualizá-la, tanto em termos de normas culturais quanto das
peculiaridades da história ou dos valores de uma pessoa em particular”.
As crianças não desenvolvem essas habilidades ToM mais avançadas até anos após o teste de crença falsa – de acordo
com Hutto, ainda falta prática. O campo de prática é o crescimento, onde eles aprendem as normas e formas da CNP por
meio de contos de fadas, livros de não cção, lmes ou peças de rádio, e os praticam contando histórias e interagindo
com outras crianças e adultos.
“Servindo como exemplos, as narrativas psicológicas populares familiarizam as crianças com os ambientes normais em
que ações especí cas são realizadas e as consequências padrão de fazê-lo.”De acordo com Hutto, no entanto,“derivar
uma compreensão da psicologia popular de tal atividade de contar histórias não é nada como aprender um conjunto
rígido de regras ou teoria sobre o que os agentes racionais tendem a fazer em várias circunstâncias”.
Ao fazer isso, as crianças usam sua capacidade de entender desejos e crenças, uma capacidade que Hutto argumenta ser
baseada em formas iniciais de compreensão da intencionalidade que já é evidente em bebês. Embora meu uso de
“compreensão”deva ser tomado com cautela, já que Hutto fala de intersubjetividade como um“sentido perceptivo
primário dos outros”e se refere à“percepção social ativa”.
Nossa teoria da mente alimenta o GPT-4?
É possível que esta prática tenha“passado”no GPT-4 e outros modelos por meio de muitas histórias de“psicologia
popular”nos dados de treinamento e a transmissão de normas e formulários de psicologia popular por meio do
treinamento RLHF. O aprendizado de poucos tiros traz essas habilidades nos modelos RLHF. O GPT-4 não possui um ToM
GPT-4 Aprende Como Pensamos: Page 2

3. Step 1:
biologicamente herdado – nessa interpretação, o modelo teria aprendido uma prática narrativa especí ca que inclui
habilidades ToM que, inversamente, aparecem nos testes simples de falsas crenças.
O quão bem o GPT-4 domina esse“jogo”narrativo é ilustrado por uma interação simples inspirada em um exemplo de
Hutto. O prompt:“Uma amiga minha chamada Jane acabou de voar para a Índia. Eu me pergunto por que, você pode me
ajudar a descobrir o motivo da visita dela? Você pode me fazer perguntas se precisar de mais informações.
O GPT-4 responde diretamente com perguntas para saber mais sobre Jane, a pessoa e o histórico de sua jornada.
Em resposta, forneço algumas informações reconhecidamente estereotipadas, e o GPT-4 começa a usar essas
informações para listar algumas possíveis narrativas de“psicologia popular”.
Com os prompts corretos, o GPT-4 alcança um desempenho impecável nos testes de Teoria da Mente. Uma teoria
losó ca pode explicar como um grande modelo de linguagem aprende a“leitura da mente”.
GPT-4 Aprende Como Pensamos: Page 3