O documento apresenta os conceitos e métodos da pesquisa experimental em psicologia, incluindo a "receita da replicação", o cálculo do tamanho de efeito, variáveis dependentes e independentes, e delineamentos experimentais como entre sujeitos e intra-sujeitos. O objetivo é introduzir técnicas experimentais e avaliar sua validade interna.

1. A Receita da Replicação
Tamanho de efeito
Técnicas experimentais na pesquisa em Psicologia
Psicologia Experimental
Prof. Dr. Caio Maximino
IESB/UNIFESSPA

2. 2
Objetivos
•Apresentar a “Receita da Replicação”
•Introduzir conceitos e cálculo do tamanho do efeito
•Discutir características básicas do método experimental
•Definir variáveis dependentes, independentes, e de controle
•Avaliar delineamentos experimentais básicos (entre sujeitos, intra-
sujeitos, delineamentos mistos, quase-experimentos) e definir as
ameaças à validade interna

3. 3
A Receita da Replicação

4. 4
Replicações próximas
● Objetivos:
– Testar os processos teóricos subjacentes
– Avaliar o tamanho de efeito de um efeito
– Testar a robustez de um efeito em outro laboratório (generalização ou
validade externa)
● A Receita da Replicação tem cinco ingredientes:
1.Definir cuidadosamente os efeitos e métodos que o pesquisador quer replicar
2.Realizar exatamente os métodos do estudo original
3.Alcançar alto poder estatístico
4.Garantir a disponibilidade de todos os detalhes da replicação
5.Avaliar os resultados da replicação, comparando-os criticamente aos resultados
do estudo original

5. 5
Natureza do efeito
1.Descrição verbal do efeito que estou tentando replicar
2.O motivo pelo qual é importante replicar esse efeito é:
3.O tamanho do efeito que estou tentando replicar é:
4.O intervalo de confiança do efeito original é:
5.O tamanho da amostra associada ao efeito original é:
6.Onde o estudo original foi conduzido? (p. ex., laboratório, campo, online)
7.Em que país/região o estudo original foi conduzido?
8.Que tipo de amostra o estudo original utilizou (p. ex., estudantes, amostra
representativa, amostra clínica)
9.O estudo original foi conduzido com testes de papel-e-caneta, computadores,
ou algo mais?

6. 6
Delineamento do estudo de replicação
10.Os materiais originais foram disponibillizados pelo autor?
a) Se não, os materiais estão disponíveis em outro lugar (p. ex., escalas publicadas)?
b) Se os materiais originais não estão disponíveis, como serão criados para a tentativa
de replicação?
2.Sei que os pressupostos do estudo original (p. ex., em relação ao significado
dos estímulos) serão válidos na minha replicação por que:
3.Localização do experimentador durante a coleta de dados:
4.Conhecimento do experimentador em relação à condição experimental do
participante:
5.Conhecimento do experimentador em relação à hipótese geral
6.O tamanho de amostra que quero alcançar é de:
7.A lógica para esse tamnho de amostra é:

7. 7
Documentando diferenças entre o estudo original e
o estudo de replicação
● Para cada parte do estudo, indicar se o estudo de replicação é Exato, Próximo, ou
Conceitualmente Diferente do estudo orginal
17.As similaridades/diferenças nas instruções aos participantes
2.As similaridades/diferenças nas medidas
3.As similaridades/diferenças nos estímulos
4.As similaridades/diferenças nos procedimentos
5.As similaridades/diferenças na localização (p. ex., laboratório vs. online; só vs. em
grupos)
6.As similaridades/diferenças na remuneração
7.As similaridades/diferenças nas populações participantes
8.Espera-se que quais diferenças entre o estudo original e a replicação influenciem o
tamanho e/ou a direção do efeito?
9.Tomei as seguintes atitudes para testar se as diferenças listas em #24 podem influenciar
o resultado de minha tentativa de replicação

8. 8
Análise, avaliação, e registro da replicação
26. Meus critérios de exclusão são (p. ex., técnicas para
manejar outliers, remoção de participantes da análise):
2. Meu plano de análise é (justificar diferenças do original):
3. Uma replicação bem-sucedida é definida como:
4. Os materiais finais, procedimentos, planos de análise, etc.,
da replicação são registrados aqui:

9. 9
Relatando a replicação
30.O tamanho de efeito da replicação é:
2.O intervalo de confiança para o tamanho de efeito da replicação é:
3.O tamanho de efeito da replicação [é/não é] significativamente diferente do
tamanho de efeito original?
4.Julgo que a replicação [foi/não foi] um [sucesso/falha informativa de replicar
um efeito/falha prática de replicar um efeito/inconclusiva] por que:
5.Os especialistas interessados na replicação podem acessar meus dados e
sintaxe aqui:
6.Todas as análises foram reportadas no relato ou estão disponíveis aqui:
7.As limitações de meu estudo de replicação são:

10. 10
Tamanho de efeito

11. 11
Conceito básico
● A maioria das pesquisas reporta a significância estatística dos
resultados obtidos
● Na maioria dos casos, é importante saber o significado dos
resultados; o tamanho do efeito é uma medida quantitativa da
magnitude de um fenômeno
– “Sempre apresente os tamanhos de efeito para desfechos primários
[…]. Devemos ressaltar […] que relatar e interpretar tamanhos de
efeito no contexto de efeitos previamente relatados é essencial para a
boa pesquisa” (Wilkinson, L., & Task Force on Statistical Inference
(1999). Statistical methods in psychology journals: Guidelines and
explanations. American Psychologist, 54, 594 – 604)

12. 12
Diferentes medidas para diferentes efeitos

13. 13
d de Cohen
Tamanho do efeitod
Pequeno 0,2 – 0,3
Médio 0,4 – 0,7
Grande ≥ 0,8

14. 14
η²
S²2
é a variância do grupo experimental
S²total
é a variância dos dois grupos

15. 15
f² de Cohen
Tamanho do efeitof²
Pequeno 0,02
Médio 0,15
Grande 0,35

16. 16
O método experimental

17. 17
O que é um experimento
● Método para estabelecer relações causais
● Pelo menos duas características básicas: variáveis dependentes e variáveis
independentes
● Variável dependente: resposta medida que depende do sujeito
● Variável independente: variável manipulada que é controlada pelo experimentador
● De maneira importante, um experimento deve apresentar pelo menos dois valores
(níveis) da variável independente
– Esses níveis podem variar em termos quantitativos ou qualitativos

18. 18
Vantagens dos experimentos
● Controle de variáveis estranhas
– “Em um experimento ideal, nenhum fator (variável) exceto
aquele sendo estudado permite-se influenciar o desfecho; no
jargão da psicologia experimental, dize-se que esses fatores
são controlados”
● Assim, se todos os fatores com exceção daquele sendo
estudado são mantidos constantes, podemos concluir
logicamente que quaisquer diferenças no desfecho são
causadas pela manipulação da variável independente

19. 19
Métodos experimentais e semi-experimentais
● O método experimental tem a vantagem de estabelecer controle sobre as variáveis e,
portanto, estabelecer relações de associação com interferência (causais)
● O método experimental tem menor validade ecológica e pode ser mais vulnerável à reatividade
– Uma medida é reativa se a consciência de estar sendo submetido a uma mensuração mudar o
comportamento de um indivíduo
– Uma medida é reativa se a consciência de estar sendo submetido a uma mensuração mudar o
comportamento de um indivíduo
● Experimentos de campo: Manipulação da variável independente em ambiente natural
– Maior validade ecológica; Menor controle sobre as covariáveis
● Considerações éticas também podem favorecer um estudo correlacional/observacional
– Delineamento ex post facto: Alocação a grupos formados com base em diferenças da
amostra, ao invés de alocação randômica método semi-experimental→

20. 20
Conceito de variável
● “Qualquer evento, situação ou comportamento que tem pelo menos
dois valores” (Cozby, p. 83)
● “Uma quantidade ou qualidade que varia entre pessoas ou situações”
(Price, 2016)
● Podem ser
– Quantitativas – Apresentam valores
● Desempenho em tarefa cognitiva, escore em um teste de inteligência, comprimento de
palavras, tempo de reação, &c.
– Qualitativas – Apresentam níveis/categorias
● Gênero, Etnia, Estado civil, Tratamento, &c

21. 21
Tipos de variáveis em Psicologia
● Variáveis situacionais: Descrevem as características de uma
situação ou ambiente
● Variáveis de resposta: Respostas ou comportamentos do indivíduo /
participante / sujeito
● Variáveis do participante: Diferenças individuais e idiossincrasias do
participante que podem ou não influir nos resultados
● Variáveis intervenientes: Processos psicológicos que medeiam os
efeitos de uma variável situacional sobre uma resposta particular

22. 22
Dois exemplos
● Darley e Latané (1968): Comportamento de ajuda numa situação de
emergência é menos provável quando há maior número de espectadores.
Variável interveniente: Difusão de responsabilidade
● Tolman & Hoznik (1930): Animais que recebem recompensas toda vez que
chegam ao final de um labirinto diminuem o número de erros em função
do número de tentativas. Variável interveniente: Aprendizagem
● .
Número de
espectadores
Diluição de
responsabilidade
Comportamento
de ajuda
Número de
tentativas
Aprendizagem Erros

23. 23
Relação com definição operacional
● Variáveis intervenientes são estudadas através de definições operacionais, “definição de
uma variável em termos das operações ou técnicas que o pesquisador usa para medi-la ou
manipulá-la” (Cozby, p. 83)
● De um ponto de vista realista, variáveis intervenientes não tem existência independente
em relação às variáveis observáveis – são interpretações de fatos
● “A tarefa de definir operacionalmente uma variável força o cientista a discutir conceitos
abstratos em termos concretos”
● O método utilizado para a pesquisa depende intimamente da operacionalização; “Há uma
variedade de métodos, cada um deles com vantagens e desvantagens. Os pesquisadores
precisam decidir qual deve ser usado, em função do problema a ser estudado, dos
objetivos da pesquisa e de outras considerações, tais como ética e custo.”

24. 24
Dois exemplos
● Agressão pode ser definida operacionalmente como (Cozby):
– O número ou a duração de choques aplicados numa pessoa
– O número de vezes que uma criança esmurra um palhaço de brinquedo inflável
– O número de vezes que uma criança briga com outra no recreio
– As estatísticas de homicídio obtidas de registros de ocorrências policiais
– Um escore numa escala para avaliar agressividade
– O número de vezes que um jogador é atingido por um “carrinho” durante um jogo de
beisebol
● O estresse pode ser definido operacionalmente como:
– O nível de cortisol circulante em uma amostra de sangue ou saliva
– Respostas emocionais em contexto de fala pública
– Respostas comportamentais e fisiológicas após estresse de contenção em animais
– Escore na Escala de Estresse Percebido
– Escore no Inventário de Sintomas de Stress

25. 25
Exercício
● Em trios, operacionalizar as seguintes variáveis:
1) Ódio
2) Amor
3) Fome

26. 26
Variáveis intervenientes e raciocínio circular
● Como explanações sobre o comportamento, as variáveis
intervenientes podem levar a um erro lógico, o raciocínio
circular
– Explicar algo em termos de si mesmo, sem ir além dos fatos
originais
● Para evitar o raciocínio circular, é importante dispor de pelo
menos duas definições operacionais correlacionadas do
mesmo estado interno

27. 27
Um exemplo
● Dois animais recebem uma recompensa (alimento) quando
chegam ao final de um labirinto
● Os dois animais são expostos ao mesmo número de
tentativas, e a velocidade com a qual completam a tarefa é
estatisticamente igual
● Um dia, observa-se que um dos animais completou o
labirinto muito mais rápido do que o outro. Por quê?

28. 28
Um exemplo
● A diferença no desempenho dos dois animais poderia ser explicada em termos de
motivação, definida operacionalmente como um estado interno que faz com que um
organismo se desloque até um objetivo
– Poderíamos dizer que o animal que se deslocou mais rápido está com mais “fome” do
que o animal que se deslocou mais lentamente
● Não há problema em definir “fome” em termos da velocidade com que o animal se
desloca até o objetivo, mas usar a “fome” como explicação da diferença nas
velocidades é circular
● Uma segunda definição operacional de “fome” é necessária para “quebrar o ciclo”
– P. ex., é possível que o animal mais rápido estivesse privado de alimento por mais
tempo do que o animal mais lento; “horas de privação” poderiam ser usadas como
definição operacional de fome

29. 29
Relações espúrias e afirmações causais
● Relação em que dois eventos ou variáveis não apresentam relação causal, mas podem ser erroneamente
interpretadas como tal
●
É mais fácil detectar relações espúrias em pesquisas experimentais Utilização de variáveis de controle→
e método comparativo
● Em pesquisas não-experimentais, relações espúrias podem ser causadas pelo problema da terceira
variável

30. 30
Controle experimental e randomização
● Formas de reduzir a ambiguidade na interpretação dos dados
● Controle de variáveis estranhas: Todas as variáveis são
mantidas constantes entre os grupos, variando somente a
variável de interesse
● Randomização: Alocação aleatória de participantes em grupos
experimentais
– Assegura que alguma terceira variável não-controlada tenha a
mesma probabilidade de afetar grupos experimentais

31. 31
Variáveis dependentes e variáveis
independentes
● Variável independente - “x”
– Em relação de causa (direta ou indireta) da variável dependente
– Manipulada em um desenho experimental
– Em estudos não-experimentais, é a variável preditora
● Variável dependente - “y”
– Variável de “efeito”
– Variável de “resposta” ou “medida”
– Em estudos não-experimentais, é a variável de resultado
● Em pesquisas de associação com interferência, a inferência é causal – VI causa a VD
– Via de regra, o estudo experimental do comportamento não busca causas necessárias
e suficientes, mas à compreensão de uma “'rede causal' na qual diferentes variáveis
estão envolvidas num padrão complexo de causa e efeito” (Cozby, p. 97)

32. 32
Exercício
● Considere a hipótese de que o estresse no trabalho causa conflito
familiar em casa
– Que tipo de relação é proposta entre as variáveis?
– Identifique variáveis independentes e dependentes na formulação da
hipótese
– Como você poderia investigar essa hipótese usando o método
experimental?
– De que formas essa hipótese poderia ser investigada usando métodos
não-experimentais?
– Que fatores um pesquisador deve considerar ao decidir se irá usar o
método experimental ou métodos não-experimentais para estudar as
relações entre estresse no trabalho e conflito familiar?

33. 33
Conceitos iniciais para o delineamento
experimental
● Tratamento é uma denominação genérica para designar qualquer método, elemento,
ou material cujo efeito desejamos medir e comparar – Equivale à variável
independente
● Experimento ou ensaio é um trabalho previamente planejado, que segue
determinados princípios básicos (controle, randomização, &c), no qual se faz a
comparação dos efeitos dos tratamentos
● Unidade experimental é a unidade na qual o tratamento é aplicado (um indivíduo,
um grupo, &c)
● Delineamento experimental é o plano utilizado para realizar o experimento; implica
na maneira como os diferentes tratamentos deverão ser distribuídos nas unidades
experimentais e como serão analisados os dados a serem obtidos

34. 34
Variáveis confundidas e validade interna
● Boa parte da pesquisa experimental em Psicologia busca examinar a efetividade
de um programa ou tratamento, ou saber se uma manipulação causa um
resultado/efeito
● Para que possamos estabelecer inferências causais, necessitamos de (Cook &
Campbell, 1979):
● Covariação – Mudanças na causa presumida devem estar relacionadas a mudanças no efeito
presumido
● Precedência temporal – A causa presumida deve ocorrer antes do efeito presumido
● Ausência de explicações alternativas plausíveis – A causa presumida deve ser a única
explanação razoável para as mudanças observadas.
● Em Psicologia, entretanto, a terceira condição é a mais difícil de ser alcançada

35. 35
Variáveis confundidas e validade interna
● Se os efeitos de duas variáveis independentes estão
entrelaçados, não podemos determinar qual delas é
responsável pelo efeito observado
● Variáveis confundidas introduzem uma explicação
alternativa para o efeito observado que impede a análise
causal – ou seja, reduzem a validade interna

36. 36
Minimizando as ameaças à validade interna
● A melhor forma de eliminar explicações alternativas plausíveis é um bom
delineamento experimental
● Outras maneiras auxiliares de minimizar (Trochim e Land, 1982)
1) Por argumento: Argumentar que uma ameaça em potencial não se aplica
à situação (inútil por si só)
2) Por mensuração ou observação: Medir ou observar outras variáveis, na
ausência do tratamento, para descartá-las
3) Por análise: Realizar análises estatísticas mais complexas (p. ex., com
pseudo-tratamentos, ANCOVA) para eliminar o efeito de variáveis
4) Por ação preventiva: Intervenções usadas para diminuir o efeito de
atitudes que possam interferir (efeito de grupo); usar controle de
qualidade; usar métodos de auditoria

37. 37
Experimentos mal-planejados ilustram ameaças à
validade interna
● Estudo de caso instantâneo (Campbell & Stanley, 1966): Ausência de
grupos de controle ou de comparação
● Delineamento pré-teste/Pós-teste sem grupo de comparação:
Participantes submetidos a uma medida antes e depois do tratamento
.

38. 38
Ameaças à validade interna (Campbell & Stanley,
1963)
● História: Eventos diferentes do tratamento influenciam o resultado
● Morte de celebridade por câncer de pulmão entre a primeira e a segunda
medida; efeito da interação, mas não do programa de intervenção; preço
do cigarro sobe; proibição de uso; &c
● Maturação: Mudanças psicológicas que ocorrem nos participantes durante
o estudo mas não estão relacionadas ao tratamento
● Pessoas ficam mais preocupadas com a saúde conforme envelhecem
● Teste: A exposição a um pré-teste ou avaliações da intervenção
influenciam o desempenho no pós-teste
●
Registrar diariamente o número de cigarros pode ser suficiente para reduzir o hábito

39. 39
Ameaças à validade interna (Campbell & Stanley,
1963)
● Desgaste do instrumento: Os instrumentos ou condições de testagem
são inconsistentes; os observadores mudam; ou o pré-teste e o pós-
teste não são equivalentes, criando a ilusão de mudança
● No início da tarefa, os participantes podem estar muito motivados para
registar todos os cigarros que fumam, mas na época do pós-teste podem estar
cansados da tarefa
● Regressão em direção à média: Escores muito altos ou muito baixos
tendem a regredir à média durante o pós-teste
● Erros de mensuração durante a seleção podem selecionar artificialmente
participantes que estavam fumando muito na época, mas que normalmente
não o fazem

40. 40
Experimentos mal-planejados ilustram
ameaças à validade interna
● Delineamento com grupo de controle não-equivalente: Utiliza
grupo de controle separado, mas os participantes/sujeitos não
são equivalentes
● A diferença entre os sujeitos torna-se uma variável confundida
● Diferenças de Seleção: Existência de diferenças sistemáticas
nas características dos sujeitos em diferentes tratamentos
● Ex: no estudo sobre o fumo, os participantes no grupo que passa pela
intervenção podem ter sido voluntários, e o grupo controle seria
composto de fumantes que não se voluntariaram

41. 41
Outras ameaças à validade interna (Campbell &
Stanley, 1963)
● Mesmo com o uso de grupos de controle, algumas
dificuldades podem surgir
● Desgaste: Mortalidade ou desistência dos participantes
● Fumantes mais pesados poderiam abandonar o experimento, e
no final somente fumantes mais leves permaneceriam,
confundindo a causa
● Difusão dos tratamentos: A implementação de um
tratamento influencia os sujeitos em outro tratamento

42. 42
Experimentos bem planejados
● 3 passos importantes para o bom planejamento dos
experimentos:
1) Definir claramente os objetivos: Registrar precisamente o que
você quer testar com o experimento
2) Definir uma estratégia: Registrar precisamente como você pode
alcançar o objetivo. Magnitude e estrutura do experimento
(quantos tratamentos? Quantas replicações? Qual a unidade
experimental? Como os resultado serão analisados?
3) Definir os detalhes operacionais: Como o experimento será
realizado na prática? Em que ordem os passos serão realizados? Os
tratamentos serão randomizados? O experimento poderá ser
realizado em um dia? Haverá intervalo? &c

43. 43
Experimentos bem planejados
● O delineamento experimental mais simples possível tem
duas variáveis, VI (tratamento) e VD
● O tratamento apresenta dois níveis: um grupo experimental
e um grupo de controle
● Participantes/sujeitos devem ser alocados aleatoriamente, para
reduzir o efeito de variáveis estranhas
● Grupos devem ser equivalentes
● Controle experimental sobre variáveis estranhas

44. 44
Características do controle
● A forma mais simples de estabelecer grupos de controle é não expor um grupo ao
tratamento
● Controle negativo: Uso de grupos onde espera-se que o fenômeno não apareça (sem
exposição ao tratamento, exposição a engodo, placebo, &c) efeito nulo/negativo→
● Se o efeito do controle negativo for positivo, uma variável confundida está em ação
● Controle positivo: Uso de grupos onde espera-se que o fenômeno apareça (“padrão-
ouro”, intervenções de efeito conhecido, &c)
● Se o efeito do controle positivo for negativo, há algo errado com o o procedimento, que deve ser
replicado
● Outros usos do controle: controle de qualidade, controle interno, &c

45. 45
Delineamento com pós-teste apenas
● Dois grupos equivalentes; introdução do tratamento;
mensuração do efeito do tratamento sobre a VD

46. 46
Delineamento com pré-teste e pós-teste
● Aplicação de um pré-teste (mensuração de VD) antes de introduzir a manipulação experimental
● Aumenta a certeza da equivalência entre os grupos
● Desnecessária com alocação aleatória quando a amostra tem tamanho adequado
● Pode ser usado para identificar valores extremos em uma amostra
● Para evitar viés de seleção, somente sujeitos com valores extremos devem ser usados, e devem ser alocados aleatoriamente entre os
tratamentos
● Se há possibilidade de desgaste/atrito (abandono do experimento), usar um pré-teste permite
investigar se os níveis pré-intervenção afetam o atrito
● O pré-teste pode sensibilizar os participantes em relação à medida, alterando o resultado do
tratamento
● Soluções: Mascaramento, delineamento de quatro grupos de Solomon

47. 47
Delineamento de quatro grupos de Solomon
● As comparações A e A1 avaliam a mudança dentro dos
grupos; se houve mudança em A1, o efeito não se deve
ao tratamento
● A comparação B avalia a qualidade da alocação aleatória
e o efeito do atrito
● A comparação C avalia o efeito geral do tratamento
● As comparações D e F permitem determinar se o pré-
teste influencia os resultados
– Se a ≠ entre os grupos C e D difere da ≠ entre os grupos A e
B
– Se há ≠ entre os grupos A e C
● A comparação E permite determinar efeitos de história,
maturação ou desgaste
● A comparação G permite determinar se o pré-teste afeta
o efeito de forma independente (i.e., sem tratamento)

48. 48
Desvantagens do delineamento de quatro grupos
● Demanda muitos recursos de tempo, espaço e equipamentos
● Multiplicação de unidades experimentais aumenta
enormemente o tamanho da amostra
● A análise estatística é extremamente complexa