Ψ
Psicologia Experimental
Aula 4
Delineamento experimental básico
Prof. Dr. Caio Maximino
Ψ
Objetivos da aula
● Conceituar delineamento experimental
● Analisar criticamente a relação entre as variáveis confundidas e
a validade interna, e enumerar as “ameaças” à validade interna
● Descrever algumas características do delineamento
experimental adequado e inadequado
● Analisar as vantagens e desvantagens dos métodos de
alocação de sujeitos/participantes
● Analisar as vantagens e desvantagens da utilização de
medidas repetidas
Ψ
Conceitos importantes
● Tratamento é uma denominação genérica para designar qualquer
método, elemento, ou material cujo efeito desejamos medir e
comparar – Equivale à variável independente
● Experimento ou ensaio é um trabalho previamente planejado, que
segue determinados princípios básicos (controle, randomização, &c),
no qual se faz a comparação dos efeitos dos tratamentos
● Unidade experimental é a unidade na qual o tratamento é aplicado
(um indivíduo, um grupo, &c)
● Delineamento experimental é o plano utilizado para realizar o
experimento; implica na maneira como os diferentes tratamentos
deverão ser distribuídos nas unidades experimentais e como serão
analisados os dados a serem obtidos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Breve história dos delineamentos
experimentais
● O primeiro “ensaio clínico sistematizado” foi feito em 1747,
quando James Lind, trabalhando como médico no barco
HMS Salisbury, comparou diferentes remédios para
escorbuto
● Charles Sanders Peirce, em Illustrations of the Logic of
Science (1877-1878) e A Theory of Probable Inference
(1883), delineou uma teoria sobre a inferência estatística
que introduziu o conceito de alocação aleatória
– Forte impacto na Psicologia e na Educação
●
Wald, Chernoff, Zacks – uso de sequências de experimentos
cujo delineamento depende do resultado do experimento
prévio
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Princípios do delineamento
definidos por Ronald Fisher
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● The Arrangement of Field Experiments (1926) e The
Design of Experiments (1935) – aplicações dos
métodos estatísticos à agricultura
● Comparação: Nos campos em que não há um
padrão metrológico, a comparação entre
tratamentos (incluindo controle) é favorecida
● Randomização: Alocação aleatória de unidades
experimentais a grupos
● Replicação estatística: Como as mensurações
são sujeitas à variação e à incerteza, são repetidas;
experimentos inteiros podem ser repetidos
● Blocagem: Arranjo das unidades experimentais em
unidades que são similares entre si
● Ortogonalidade: Ausência de correlação entre VIs
● Utilização de experimentos fatoriais:
Combinação de Vis em um único experimento
Ψ
Variáveis confundidas e validade
interna
● Boa parte da pesquisa experimental em Psicologia busca
examinar a efetividade de um programa ou tratamento, ou saber
se uma manipulação causa um resultado/efeito
● Para que possamos estabelecer inferências causais, necessitamos
de (Cook & Campbell, 1979):
– Covariação – Mudanças na causa presumida devem estar relacionadas
a mudanças no efeito presumido
– Precedência temporal – A causa presumida deve ocorrer antes do
efeito presumido
– Ausência de explicações alternativas plausíveis – A causa presumida
deve ser a única explanação razoável para as mudanças observadas.
● Em Psicologia, entretanto, a terceira condição é a mais difícil de ser
alcançada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Variáveis confundidas e
validade interna
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Se os efeitos de duas variáveis
independentes estão entrelaçados, não
podemos determinar qual delas é
responsável pelo efeito observado
● Variáveis confundidas introduzem uma
explicação alternativa para o efeito
observado que impede a análise causal –
ou seja, reduzem a validade interna
Ψ
Minimizando as ameaças à
validade interna
● A melhor forma de eliminar explicações alternativas
plausíveis é um bom delineamento experimental
●
Outras maneiras auxiliares de minimizar (Trochim e Land,
1982)
1) Por argumento: Argumentar que uma ameaça em potencial não se
aplica à situação (inútil por si só)
2) Por mensuração ou observação: Medir ou observar outras
variáveis, na ausência do tratamento, para descartá-las
3) Por análise: Realizar análises estatísticas mais complexas (p. ex.,
com pseudo-tratamentos, ANCOVA) para eliminar o efeito de
variáveis
4) Por ação preventiva: Intervenções usadas para diminuir o efeito
de atitudes que possam interferir (efeito de grupo); usar controle
de qualidade; usar métodos de auditoria
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Experimentos mal-planejados
ilustram ameaças à validade interna
● Estudo de caso instantâneo (Campbell &
Stanley, 1966): Ausência de grupos de
controle ou de comparação
● Delineamento pré-teste/Pós-teste sem
grupo de comparação: Participantes
submetidos a uma medida antes e depois
do tratamento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Ameaças à validade interna
(Campbell & Stanley, 1963)
● História: Eventos diferentes do tratamento influenciam o
resultado
– Morte de celebridade por câncer de pulmão entre a primeira e a
segunda medida; efeito da interação, mas não do programa de
intervenção; preço do cigarro sobe; proibição de uso; &c
● Maturação: Mudanças psicológicas que ocorrem nos
participantes durante o estudo mas não estão relacionadas ao
tratamento
– Pessoas ficam mais preocupadas com a saúde conforme envelhecem
● Teste: A exposição a um pré-teste ou avaliações da intervenção
influenciam o desempenho no pós-teste
– Registrar diariamente o número de cigarros pode ser suficiente para
reduzir o hábito
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Ameaças à validade interna
(Campbell & Stanley, 1963)
● Desgaste do instrumento: Os instrumentos ou
condições de testagem são inconsistentes; os
observadores mudam; ou o pré-teste e o pós-teste não
são equivalentes, criando a ilusão de mudança
– No início da tarefa, os participantes podem estar muito
motivados para registar todos os cigarros que fumam, mas na
época do pós-teste podem estar cansados da tarefa
● Regressão em direção à média: Escores muito altos
ou muito baixos tendem a regredir à média durante o
pós-teste
– Erros de mensuração durante a seleção podem selecionar
artificialmente participantes que estavam fumando muito na
época, mas que normalmente não o fazem
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Experimentos mal-planejados
ilustram ameaças à validade interna
● Delineamento com grupo de controle não-equivalente:
Utiliza grupo de controle separado, mas os
participantes/sujeitos não são equivalentes
● A diferença entre os sujeitos torna-se uma variável
confundida
● Diferenças de Seleção: Existência de diferenças
sistemáticas nas características dos sujeitos em
diferentes tratamentos
– Ex: no estudo sobre o fumo, os participantes no grupo que
passa pela intervenção podem ter sido voluntários, e o grupo
controle seria composto de fumantes que não se voluntariaram
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Outras ameaças à validade interna
(Campbell & Stanley, 1963)
● Mesmo com o uso de grupos de controle, algumas
dificuldades podem surgir
● Atrito: Mortalidade ou desistência dos participantes
– Fumantes mais pesados poderiam abandonar o
experimento, e no final somente fumantes mais leves
permaneceriam, confundindo a causa
● Difusão dos tratamentos: A implementação de um
tratamento influencia os sujeitos em outro tratamento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Experimentos bem planejados
● 3 passos importantes para o bom planejamento
dos experimentos:
1) Definir claramente os objetivos: Registrar precisamente
o que você quer testar com o experimento
2) Definir uma estratégia: Registrar precisamente como
você pode alcançar o objetivo. Magnitude e estrutura do
experimento (quantos tratamentos? Quantas replicações?
Qual a unidade experimental? Como os resultado serão
analisados?
3) Definir os detalhes operacionais: Como o experimento
será realizado na prática? Em que ordem os passos
serão realizados? Os tratamentos serão randomizados? O
experimento poderá ser realizado em um dia? Haverá
intervalo? &c
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Características essenciais do bom
delineamento experimental
(Trochim e Land, 1982)
1) Baseado em teoria: Boas estratégias de pesquisa refletem as teorias que
estão investigando;
●
Ex.: se a teoria prevê que um tratamento deve alterar uma medida e não outra, incluir ambas no delineamento é
importante
2) Situacional: Reflete o contexto da investigação
●
Ex.: o estudo da rivalidade entre grupos pode ser melhorado pelo uso de grupos de comparação que não estão em
contato direto com o grupo original
3) Factível: Pode ser implementado facilmente, com planejamento adequado da
sequência e intervalo entre eventos, antecipação de problemas, e adição de
grupos ou medidas adicionais que corrigem explicitamente esses problemas
●
Ex.: uso de medidas pré-teste para verificar efeitos sobre o atrito
4) Redundante: Flexibilidade resultante da duplicação de características
essenciais
● Ex.:Replicações múltiplas de um tratamento em contextos diferentes
5) Eficiente: Equilíbrio entre redundância e a simplicidade, através da utilização
de outras estratégias para eliminar ameaças à validade
●
Ex: Usar testes estatísticos com pseudo-variáveis ou covariáveis
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Experimentos bem planejados
● O delineamento experimental mais simples
possível tem duas variáveis, VI (tratamento) e
VD
● O tratamento apresenta dois níveis: um grupo
experimental e um grupo de controle
– Participantes/sujeitos devem ser alocados
aleatoriamente, para reduzir o efeito de variáveis
estranhas
– Grupos devem ser equivalentes
– Controle experimental sobre variáveis estranhas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Características do controle
● A forma mais simples de estabelecer grupos de controle é não
expor um grupo ao tratamento
● Controle negativo: Uso de grupos onde espera-se que o fenômeno
não apareça (sem exposição ao tratamento, exposição a engodo,
placebo, &c) → efeito nulo/negativo
– Se o efeito do controle negativo for positivo, uma variável confundida está
em ação
● Controle positivo: Uso de grupos onde espera-se que o fenômeno
apareça (“padrão-ouro”, intervenções de efeito conhecido, &c)
– Se o efeito do controle positivo for negativo, há algo errado com o o
procedimento, que deve ser replicado
● Outros usos do controle: controle de qualidade, controle interno, &c
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Delineamento com
pós-teste apenas
● Dois grupos equivalentes; introdução do
tratamento; mensuração do efeito do
tratamento sobre a VD
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Delineamento com
pré-teste e pós-teste
●
Aplicação de um pré-teste (mensuração de VD) antes de introduzir a
manipulação experimental
●
Aumenta a certeza da equivalência entre os grupos
– Desnecessária com alocação aleatória quando a amostra tem tamanho adequado
● Pode ser usado para identificar valores extremos em uma amostra
– Para evitar viés de seleção, somente sujeitos com valores extremos devem ser
usados, e devem ser alocados aleatoriamente entre os tratamentos
●
Se há possibilidade de desgaste/atrito (abandono do experimento), usar um
pré-teste permite investigar se os níveis pré-intervenção afetam o atrito
● O pré-teste pode sensibilizar os participantes em relação à medida,
alterando o resultado do tratamento
– Soluções: Mascaramento, delineamento de quatro grupos de Solomon
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Exercício 1 (Cozby, 2004)
● Chefes da polícia militar, responsáveis por diferentes bairros
de Marabá, selecionaram dois policiais para participar de um
programa destinado a reduzir preconceito, aumentando a
sensibilidade em relação a diferenças raciais e étnicas entre
grupos e questões da comunidade. O programa de
treinamento foi realizado toda sexta-feira pela manhã durante
três meses. Na primeira reunião e na última, os policiais
responderam a um questionário para medir preconceito. Para
avaliar a eficácia do programa, comparou-se o escore médio
de preconceito na primeira reunião com o escore na última
reunião, e esse escore de fato diminuiu após o programa.
(a) Que tipo de delineamento é esse?
(b) Que problemas específicos surgem se concluirmos que o
programa de treinamento foi responsável pela redução do
preconceito?
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Delineamento de quatro
grupos de Solomon
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
●
As comparações A e A1 avaliam a mudança
dentro dos grupos; se houve mudança em A1, o
efeito não se deve ao tratamento
●
A comparação B avalia a qualidade da alocação
aleatória e o efeito do atrito
●
A comparação C avalia o efeito geral do
tratamento
●
As comparações D e F permitem determinar se o
pré-teste influencia os resultados
– Se a ≠ entre os grupos C e D difere da ≠ entre os
grupos A e B
– Se há ≠ entre os grupos A e C
● A comparação E permite determinar efeitos de
história, maturação ou desgaste
● A comparação G permite determinar se o pré-
teste afeta o efeito de forma independente (i.e.,
sem tratamento)
Ψ
Desvantagens do delineamento de
quatro grupos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Demanda muitos recursos de tempo,
espaço e equipamentos
● Multiplicação de unidades experimentais
aumenta enormemente o tamanho da
amostra
● A análise estatística é extremamente
complexa
Ψ
Expandindo o delineamento básico
● Expansão no tempo: Inclusão de observações antes (pré-teste)
ou depois do tratamento (análise da estabilidade do efeito);
inclusão de tratamentos (delineamentos ABAB)
● Expansão no tratamento: Delineamentos ABAB;
particionamento do tratamento em níveis
● Expansão nas observações: Incluir medidas similares (validade
convergente); incluir medidas de controle negativo (validade
discriminante); incluir medidas de memória do estado pré-teste
● Expansão nos grupos: Adição de grupos extras para diminuir
ameaças à validade (dados normatizados, grupos de coorte,
controle positivo)
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Unidades experimentais e pseudo-
replicação
● A unidade experimental é a unidade na qual o
tratamento é aplicado
● Cada vez que o tratamento é aplicado, obtemos uma
replicação
● Nem sempre a unidade experimental é o participante;
p. ex., se aplicamos uma intervenção a uma classe
de alunos, esta é a unidade experimental, e não cada
aluno individual
– Se tratamos cada unidade da amostra como se fosse uma
unidade experimental, fazemos uma pseudo-replicação
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Tipos de pseudo-replicação
(Hurlbert, 1984)
● Simples: Só existe uma unidade experimental por tratamento
– Impossibilidade de separar a variabilidade causada pelo tratamento
e a variabilidade intrínseca da unidade experimental
● Temporal: As unidades experimentais diferem
significativamente no momento da aplicação do tratamento
● Sacrificial: Os tratamentos foram replicados, mas ou os
dados são agregados antes da análise, ou a análise trata
sub-amostras como replicações
● Implícita: Caracterização de sub-amostras sem análise
estatística (comparação entre distribuições)
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Alocação
● Uma vez definida a unidade experimental,
ela deverá ser alocada aos diferentes
tratamentos
● Existem duas formas básicas: distribuição
aleatória de participantes a somente um
grupo (delineamento com grupos
independentes), e distribuição a mais de
um grupo (delineamento com medidas
repetidas).
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Delineamentos com grupos
independentes
● Unidades experimentais diferentes são
designadas para cada uma das
condições/tratamentos
● A alocação casualizada pode ser
completa ou emparelhada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Alocação aleatória simples
● Distribuição / alocação randômica
/ aleatória / casual simples, ou
delineamento inteiramente
casualizado
● Unidades experimentais
destinadas a cada tratamento de
forma inteiramente aleatória
● Leva em conta apenas os
princípios de replicação e
randomização
● Impede vieses sistemáticos,
garante equivalência se a
amostra tiver tamanho adequado
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
●
Exige que o material experimental seja
semelhante e que as condições de
estudo sejam completamente uniformes
●
Os aspectos que devem ser
considerados na semelhança entre as
U.E. são aqueles que interferem nas
respostas das mesmas aos tratamentos
●
Geralmente é mais utilizado em
experimentos nos quais as condições
experimentais podem ser bastante
controladas (por exemplo em
laboratórios)
●
Recomendado em situações onde se
corre risco de perder repetições durante
o experimento.
Ψ
Delineamento em blocos
casualizados
●
O procedimento de emparelhamento ou blocagem garante a uniformidade
dos grupos e o controle experimental
● Levam em consideração os princípios de replicação, randomização e
blocagem
● Quando não há certeza na homogeneidade das condições experimentais,
deve-se estabelecer sub-ambientes homogêneos (blocos)
● Cada bloco inclui todos os tratamentos; dentro de cada bloco, os
tratamentos são distribuídos aleatoriamente
● P. ex., um psicólogo quer comparar o efeito de uma intervenção clínica
em adultos e crianças. Definiu que a intervenção seria o tratamento e a
faixa de idade (adultos e crianças) os blocos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Alocação aleatória emparelhada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Distribuição / alocação randômica / aleatória / casual emparelhada
● Variação do delineamento em blocos casualizados
● A variável de emparelhamento costuma ser uma característica
fortemente relacionada à VD
●
Primeiro mensura-se a variável de emparelhamento para cada
unidade experimental; o pesquisador então emparelha valores
semelhantes, e as unidades experimentais de cada par então são
alocadas aleatoriamente para cada tratamento
●
Aumenta a capacidade para detectar efeitos do tratamento, dado
que é possível explicar as diferenças individuais nas respostas
Ψ
Exercício 2 (Cozby, 2004)
● Planeje um experimento para testar a hipótese de que salas
de aula separadas por gênero favorecem a aprendizagem
de matemática por adolescentes do sexo feminino.
● Defina operacionalmente as variáveis independente e
dependente
● Seu experimento deve ter dois grupos e usar alocação de
distribuição randômica emparelhada; justifique sua seleção
da variável de emparelhamento
● Defenda sua opção por um delineamento com pós-teste
apenas ou por um delineamento com pré-teste/pós-teste
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Delineamentos com
medidas repetidas
● Participantes passam por repetidas
mensurações da VD
● Pode ou não incluir a apresentação de
mais de uma VI antes de cada VD;
– Quando existe mais de um tratamento, os
delineamentos mais comuns são ABA e ABC
– Outros delineamentos: multi-elementos;
linhas de base múltiplas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Exemplo 1
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Vantagens e desvantagens
●
Necessita de menos participantes, dado que cada um passa por todas as
condições
●
Útil quando
– Se quer determinar a efetividade relativa de mais de um tratamento sobre uma
mesma VD
– Dados de linha de base (pré-teste) estão ausentes ou são instáveis
– Os tratamentos diferem suficientemente entre si
– Os participantes conseguem discriminar entre os níveis ou tratamentos
● Desvantagens:
– Ausência de controle de variáveis estranhas; efeitos são julgados um em relação ao
outro, e não em termos absolutos
– Não é apropriado para analisar comportamento que é aprendido em estágios
– Não é apropriado para testar efeitos de tratamentos contínuos ou com efeitos de
longo prazo (p. ex., intervenções terapêuticas)
– Efeito de sequência – a ordem de apresentação dos tratamentos afeta a VD
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Tipos de efeitos de sequência
● Associados à passagem do tempo:
– Efeito de prática: Melhora do desempenho
resultante da prática repetida numa tarefa,
independente do efeito do tratamento
– Efeito de fadiga: Piora do desempenho resultante
de cansaço, tédio ou distração
● Associados ao efeito dos tratamentos
(“carryover”)
– Efeito de contraste: A resposta ao segundo
tratamento é alterada por comparação com a
primeira
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Contrabalanceamento:
Contrabalanceamento completo
● Todas as ordens possíveis de
apresentação das condições são incluídas
no experimento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Contrabalanceamento:
Quadrados latinos
● Conjunto limitado de ordens de apresentação que garante que (1) cada tratamento
apareça em cada posição possível e (2) cada tratamento preceda e siga cada
tratamento uma vez
● Constrói-se uma matriz n x n, com n diferentes tratamentos de tal maneira que
ocorram no máximo uma vez em cada linha ou coluna
●
A ordem para a primeira linha é determinada da seguinte forma, onde U é o último
tratamento:
– A, B, U, U-1 , D, U-2, E...
– A, B, F, C, E, D
●
A ordem para a segunda linha é determinada aumentando a letra em cada posição
da primeira linha
– B, C, A, D, E, F
● Após terminar todas as linhas, atribuir aleatoriamente cada um dos tratamentos a
cada letra
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Contrabalanceamento:
Blocos randomizados
● Quando variações do tratamento são
repetidas, podem ser blocadas
– Ex.: Se quero testar a memória de durações
em função da modalidade sensorial, cada
modalidade pode ser um bloco
● O efeito da ordem de apresentação dos
blocos deve ser controlado por
randomização
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Ψ
Manipulando o intervalo de tempo
entre tratamentos
● Além de contrabalançar a ordem dos
tratamentos, também é preciso escolher
cuidadosamente o intervalo de tempo entre
apresentações e as atividades possíveis
entre tratamentos
– Período de descanso pode se contrapor à
fadiga; realizar uma tarefa não-relacionada pode
diminuir efeito de contraste
● A introdução de intervalos prolongados de
tempo pode criar efeitos de atrito/mortalidade
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

Delineamento experimental básico

  • 1.
    Ψ Psicologia Experimental Aula 4 Delineamentoexperimental básico Prof. Dr. Caio Maximino
  • 2.
    Ψ Objetivos da aula ●Conceituar delineamento experimental ● Analisar criticamente a relação entre as variáveis confundidas e a validade interna, e enumerar as “ameaças” à validade interna ● Descrever algumas características do delineamento experimental adequado e inadequado ● Analisar as vantagens e desvantagens dos métodos de alocação de sujeitos/participantes ● Analisar as vantagens e desvantagens da utilização de medidas repetidas
  • 3.
    Ψ Conceitos importantes ● Tratamentoé uma denominação genérica para designar qualquer método, elemento, ou material cujo efeito desejamos medir e comparar – Equivale à variável independente ● Experimento ou ensaio é um trabalho previamente planejado, que segue determinados princípios básicos (controle, randomização, &c), no qual se faz a comparação dos efeitos dos tratamentos ● Unidade experimental é a unidade na qual o tratamento é aplicado (um indivíduo, um grupo, &c) ● Delineamento experimental é o plano utilizado para realizar o experimento; implica na maneira como os diferentes tratamentos deverão ser distribuídos nas unidades experimentais e como serão analisados os dados a serem obtidos Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 4.
    Ψ Breve história dosdelineamentos experimentais ● O primeiro “ensaio clínico sistematizado” foi feito em 1747, quando James Lind, trabalhando como médico no barco HMS Salisbury, comparou diferentes remédios para escorbuto ● Charles Sanders Peirce, em Illustrations of the Logic of Science (1877-1878) e A Theory of Probable Inference (1883), delineou uma teoria sobre a inferência estatística que introduziu o conceito de alocação aleatória – Forte impacto na Psicologia e na Educação ● Wald, Chernoff, Zacks – uso de sequências de experimentos cujo delineamento depende do resultado do experimento prévio Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 5.
    Ψ Princípios do delineamento definidospor Ronald Fisher Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas ● The Arrangement of Field Experiments (1926) e The Design of Experiments (1935) – aplicações dos métodos estatísticos à agricultura ● Comparação: Nos campos em que não há um padrão metrológico, a comparação entre tratamentos (incluindo controle) é favorecida ● Randomização: Alocação aleatória de unidades experimentais a grupos ● Replicação estatística: Como as mensurações são sujeitas à variação e à incerteza, são repetidas; experimentos inteiros podem ser repetidos ● Blocagem: Arranjo das unidades experimentais em unidades que são similares entre si ● Ortogonalidade: Ausência de correlação entre VIs ● Utilização de experimentos fatoriais: Combinação de Vis em um único experimento
  • 6.
    Ψ Variáveis confundidas evalidade interna ● Boa parte da pesquisa experimental em Psicologia busca examinar a efetividade de um programa ou tratamento, ou saber se uma manipulação causa um resultado/efeito ● Para que possamos estabelecer inferências causais, necessitamos de (Cook & Campbell, 1979): – Covariação – Mudanças na causa presumida devem estar relacionadas a mudanças no efeito presumido – Precedência temporal – A causa presumida deve ocorrer antes do efeito presumido – Ausência de explicações alternativas plausíveis – A causa presumida deve ser a única explanação razoável para as mudanças observadas. ● Em Psicologia, entretanto, a terceira condição é a mais difícil de ser alcançada Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 7.
    Ψ Variáveis confundidas e validadeinterna Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas ● Se os efeitos de duas variáveis independentes estão entrelaçados, não podemos determinar qual delas é responsável pelo efeito observado ● Variáveis confundidas introduzem uma explicação alternativa para o efeito observado que impede a análise causal – ou seja, reduzem a validade interna
  • 8.
    Ψ Minimizando as ameaçasà validade interna ● A melhor forma de eliminar explicações alternativas plausíveis é um bom delineamento experimental ● Outras maneiras auxiliares de minimizar (Trochim e Land, 1982) 1) Por argumento: Argumentar que uma ameaça em potencial não se aplica à situação (inútil por si só) 2) Por mensuração ou observação: Medir ou observar outras variáveis, na ausência do tratamento, para descartá-las 3) Por análise: Realizar análises estatísticas mais complexas (p. ex., com pseudo-tratamentos, ANCOVA) para eliminar o efeito de variáveis 4) Por ação preventiva: Intervenções usadas para diminuir o efeito de atitudes que possam interferir (efeito de grupo); usar controle de qualidade; usar métodos de auditoria Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 9.
    Ψ Experimentos mal-planejados ilustram ameaçasà validade interna ● Estudo de caso instantâneo (Campbell & Stanley, 1966): Ausência de grupos de controle ou de comparação ● Delineamento pré-teste/Pós-teste sem grupo de comparação: Participantes submetidos a uma medida antes e depois do tratamento Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 10.
    Ψ Ameaças à validadeinterna (Campbell & Stanley, 1963) ● História: Eventos diferentes do tratamento influenciam o resultado – Morte de celebridade por câncer de pulmão entre a primeira e a segunda medida; efeito da interação, mas não do programa de intervenção; preço do cigarro sobe; proibição de uso; &c ● Maturação: Mudanças psicológicas que ocorrem nos participantes durante o estudo mas não estão relacionadas ao tratamento – Pessoas ficam mais preocupadas com a saúde conforme envelhecem ● Teste: A exposição a um pré-teste ou avaliações da intervenção influenciam o desempenho no pós-teste – Registrar diariamente o número de cigarros pode ser suficiente para reduzir o hábito Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 11.
    Ψ Ameaças à validadeinterna (Campbell & Stanley, 1963) ● Desgaste do instrumento: Os instrumentos ou condições de testagem são inconsistentes; os observadores mudam; ou o pré-teste e o pós-teste não são equivalentes, criando a ilusão de mudança – No início da tarefa, os participantes podem estar muito motivados para registar todos os cigarros que fumam, mas na época do pós-teste podem estar cansados da tarefa ● Regressão em direção à média: Escores muito altos ou muito baixos tendem a regredir à média durante o pós-teste – Erros de mensuração durante a seleção podem selecionar artificialmente participantes que estavam fumando muito na época, mas que normalmente não o fazem Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 12.
    Ψ Experimentos mal-planejados ilustram ameaçasà validade interna ● Delineamento com grupo de controle não-equivalente: Utiliza grupo de controle separado, mas os participantes/sujeitos não são equivalentes ● A diferença entre os sujeitos torna-se uma variável confundida ● Diferenças de Seleção: Existência de diferenças sistemáticas nas características dos sujeitos em diferentes tratamentos – Ex: no estudo sobre o fumo, os participantes no grupo que passa pela intervenção podem ter sido voluntários, e o grupo controle seria composto de fumantes que não se voluntariaram Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 13.
    Ψ Outras ameaças àvalidade interna (Campbell & Stanley, 1963) ● Mesmo com o uso de grupos de controle, algumas dificuldades podem surgir ● Atrito: Mortalidade ou desistência dos participantes – Fumantes mais pesados poderiam abandonar o experimento, e no final somente fumantes mais leves permaneceriam, confundindo a causa ● Difusão dos tratamentos: A implementação de um tratamento influencia os sujeitos em outro tratamento Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 14.
    Ψ Experimentos bem planejados ●3 passos importantes para o bom planejamento dos experimentos: 1) Definir claramente os objetivos: Registrar precisamente o que você quer testar com o experimento 2) Definir uma estratégia: Registrar precisamente como você pode alcançar o objetivo. Magnitude e estrutura do experimento (quantos tratamentos? Quantas replicações? Qual a unidade experimental? Como os resultado serão analisados? 3) Definir os detalhes operacionais: Como o experimento será realizado na prática? Em que ordem os passos serão realizados? Os tratamentos serão randomizados? O experimento poderá ser realizado em um dia? Haverá intervalo? &c Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 15.
    Ψ Características essenciais dobom delineamento experimental (Trochim e Land, 1982) 1) Baseado em teoria: Boas estratégias de pesquisa refletem as teorias que estão investigando; ● Ex.: se a teoria prevê que um tratamento deve alterar uma medida e não outra, incluir ambas no delineamento é importante 2) Situacional: Reflete o contexto da investigação ● Ex.: o estudo da rivalidade entre grupos pode ser melhorado pelo uso de grupos de comparação que não estão em contato direto com o grupo original 3) Factível: Pode ser implementado facilmente, com planejamento adequado da sequência e intervalo entre eventos, antecipação de problemas, e adição de grupos ou medidas adicionais que corrigem explicitamente esses problemas ● Ex.: uso de medidas pré-teste para verificar efeitos sobre o atrito 4) Redundante: Flexibilidade resultante da duplicação de características essenciais ● Ex.:Replicações múltiplas de um tratamento em contextos diferentes 5) Eficiente: Equilíbrio entre redundância e a simplicidade, através da utilização de outras estratégias para eliminar ameaças à validade ● Ex: Usar testes estatísticos com pseudo-variáveis ou covariáveis Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 16.
    Ψ Experimentos bem planejados ●O delineamento experimental mais simples possível tem duas variáveis, VI (tratamento) e VD ● O tratamento apresenta dois níveis: um grupo experimental e um grupo de controle – Participantes/sujeitos devem ser alocados aleatoriamente, para reduzir o efeito de variáveis estranhas – Grupos devem ser equivalentes – Controle experimental sobre variáveis estranhas Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 17.
    Ψ Características do controle ●A forma mais simples de estabelecer grupos de controle é não expor um grupo ao tratamento ● Controle negativo: Uso de grupos onde espera-se que o fenômeno não apareça (sem exposição ao tratamento, exposição a engodo, placebo, &c) → efeito nulo/negativo – Se o efeito do controle negativo for positivo, uma variável confundida está em ação ● Controle positivo: Uso de grupos onde espera-se que o fenômeno apareça (“padrão-ouro”, intervenções de efeito conhecido, &c) – Se o efeito do controle positivo for negativo, há algo errado com o o procedimento, que deve ser replicado ● Outros usos do controle: controle de qualidade, controle interno, &c Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 18.
    Ψ Delineamento com pós-teste apenas ●Dois grupos equivalentes; introdução do tratamento; mensuração do efeito do tratamento sobre a VD Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 19.
    Ψ Delineamento com pré-teste epós-teste ● Aplicação de um pré-teste (mensuração de VD) antes de introduzir a manipulação experimental ● Aumenta a certeza da equivalência entre os grupos – Desnecessária com alocação aleatória quando a amostra tem tamanho adequado ● Pode ser usado para identificar valores extremos em uma amostra – Para evitar viés de seleção, somente sujeitos com valores extremos devem ser usados, e devem ser alocados aleatoriamente entre os tratamentos ● Se há possibilidade de desgaste/atrito (abandono do experimento), usar um pré-teste permite investigar se os níveis pré-intervenção afetam o atrito ● O pré-teste pode sensibilizar os participantes em relação à medida, alterando o resultado do tratamento – Soluções: Mascaramento, delineamento de quatro grupos de Solomon Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 20.
    Ψ Exercício 1 (Cozby,2004) ● Chefes da polícia militar, responsáveis por diferentes bairros de Marabá, selecionaram dois policiais para participar de um programa destinado a reduzir preconceito, aumentando a sensibilidade em relação a diferenças raciais e étnicas entre grupos e questões da comunidade. O programa de treinamento foi realizado toda sexta-feira pela manhã durante três meses. Na primeira reunião e na última, os policiais responderam a um questionário para medir preconceito. Para avaliar a eficácia do programa, comparou-se o escore médio de preconceito na primeira reunião com o escore na última reunião, e esse escore de fato diminuiu após o programa. (a) Que tipo de delineamento é esse? (b) Que problemas específicos surgem se concluirmos que o programa de treinamento foi responsável pela redução do preconceito? Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 21.
    Ψ Delineamento de quatro gruposde Solomon Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas ● As comparações A e A1 avaliam a mudança dentro dos grupos; se houve mudança em A1, o efeito não se deve ao tratamento ● A comparação B avalia a qualidade da alocação aleatória e o efeito do atrito ● A comparação C avalia o efeito geral do tratamento ● As comparações D e F permitem determinar se o pré-teste influencia os resultados – Se a ≠ entre os grupos C e D difere da ≠ entre os grupos A e B – Se há ≠ entre os grupos A e C ● A comparação E permite determinar efeitos de história, maturação ou desgaste ● A comparação G permite determinar se o pré- teste afeta o efeito de forma independente (i.e., sem tratamento)
  • 22.
    Ψ Desvantagens do delineamentode quatro grupos Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas ● Demanda muitos recursos de tempo, espaço e equipamentos ● Multiplicação de unidades experimentais aumenta enormemente o tamanho da amostra ● A análise estatística é extremamente complexa
  • 23.
    Ψ Expandindo o delineamentobásico ● Expansão no tempo: Inclusão de observações antes (pré-teste) ou depois do tratamento (análise da estabilidade do efeito); inclusão de tratamentos (delineamentos ABAB) ● Expansão no tratamento: Delineamentos ABAB; particionamento do tratamento em níveis ● Expansão nas observações: Incluir medidas similares (validade convergente); incluir medidas de controle negativo (validade discriminante); incluir medidas de memória do estado pré-teste ● Expansão nos grupos: Adição de grupos extras para diminuir ameaças à validade (dados normatizados, grupos de coorte, controle positivo) Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 24.
    Ψ Unidades experimentais epseudo- replicação ● A unidade experimental é a unidade na qual o tratamento é aplicado ● Cada vez que o tratamento é aplicado, obtemos uma replicação ● Nem sempre a unidade experimental é o participante; p. ex., se aplicamos uma intervenção a uma classe de alunos, esta é a unidade experimental, e não cada aluno individual – Se tratamos cada unidade da amostra como se fosse uma unidade experimental, fazemos uma pseudo-replicação Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 25.
    Ψ Tipos de pseudo-replicação (Hurlbert,1984) ● Simples: Só existe uma unidade experimental por tratamento – Impossibilidade de separar a variabilidade causada pelo tratamento e a variabilidade intrínseca da unidade experimental ● Temporal: As unidades experimentais diferem significativamente no momento da aplicação do tratamento ● Sacrificial: Os tratamentos foram replicados, mas ou os dados são agregados antes da análise, ou a análise trata sub-amostras como replicações ● Implícita: Caracterização de sub-amostras sem análise estatística (comparação entre distribuições) Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 26.
    Ψ Alocação ● Uma vezdefinida a unidade experimental, ela deverá ser alocada aos diferentes tratamentos ● Existem duas formas básicas: distribuição aleatória de participantes a somente um grupo (delineamento com grupos independentes), e distribuição a mais de um grupo (delineamento com medidas repetidas). Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 27.
    Ψ Delineamentos com grupos independentes ●Unidades experimentais diferentes são designadas para cada uma das condições/tratamentos ● A alocação casualizada pode ser completa ou emparelhada Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 28.
    Ψ Alocação aleatória simples ●Distribuição / alocação randômica / aleatória / casual simples, ou delineamento inteiramente casualizado ● Unidades experimentais destinadas a cada tratamento de forma inteiramente aleatória ● Leva em conta apenas os princípios de replicação e randomização ● Impede vieses sistemáticos, garante equivalência se a amostra tiver tamanho adequado Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas ● Exige que o material experimental seja semelhante e que as condições de estudo sejam completamente uniformes ● Os aspectos que devem ser considerados na semelhança entre as U.E. são aqueles que interferem nas respostas das mesmas aos tratamentos ● Geralmente é mais utilizado em experimentos nos quais as condições experimentais podem ser bastante controladas (por exemplo em laboratórios) ● Recomendado em situações onde se corre risco de perder repetições durante o experimento.
  • 29.
    Ψ Delineamento em blocos casualizados ● Oprocedimento de emparelhamento ou blocagem garante a uniformidade dos grupos e o controle experimental ● Levam em consideração os princípios de replicação, randomização e blocagem ● Quando não há certeza na homogeneidade das condições experimentais, deve-se estabelecer sub-ambientes homogêneos (blocos) ● Cada bloco inclui todos os tratamentos; dentro de cada bloco, os tratamentos são distribuídos aleatoriamente ● P. ex., um psicólogo quer comparar o efeito de uma intervenção clínica em adultos e crianças. Definiu que a intervenção seria o tratamento e a faixa de idade (adultos e crianças) os blocos Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 30.
    Ψ Alocação aleatória emparelhada Delineamento evalidade Qualidade do planejamento Alocação Medidas repetidas ● Distribuição / alocação randômica / aleatória / casual emparelhada ● Variação do delineamento em blocos casualizados ● A variável de emparelhamento costuma ser uma característica fortemente relacionada à VD ● Primeiro mensura-se a variável de emparelhamento para cada unidade experimental; o pesquisador então emparelha valores semelhantes, e as unidades experimentais de cada par então são alocadas aleatoriamente para cada tratamento ● Aumenta a capacidade para detectar efeitos do tratamento, dado que é possível explicar as diferenças individuais nas respostas
  • 31.
    Ψ Exercício 2 (Cozby,2004) ● Planeje um experimento para testar a hipótese de que salas de aula separadas por gênero favorecem a aprendizagem de matemática por adolescentes do sexo feminino. ● Defina operacionalmente as variáveis independente e dependente ● Seu experimento deve ter dois grupos e usar alocação de distribuição randômica emparelhada; justifique sua seleção da variável de emparelhamento ● Defenda sua opção por um delineamento com pós-teste apenas ou por um delineamento com pré-teste/pós-teste Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 32.
    Ψ Delineamentos com medidas repetidas ●Participantes passam por repetidas mensurações da VD ● Pode ou não incluir a apresentação de mais de uma VI antes de cada VD; – Quando existe mais de um tratamento, os delineamentos mais comuns são ABA e ABC – Outros delineamentos: multi-elementos; linhas de base múltiplas Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 33.
    Ψ Exemplo 1 Delineamento e validade Qualidadedo planejamento Alocação Medidas repetidas
  • 34.
    Ψ Vantagens e desvantagens ● Necessitade menos participantes, dado que cada um passa por todas as condições ● Útil quando – Se quer determinar a efetividade relativa de mais de um tratamento sobre uma mesma VD – Dados de linha de base (pré-teste) estão ausentes ou são instáveis – Os tratamentos diferem suficientemente entre si – Os participantes conseguem discriminar entre os níveis ou tratamentos ● Desvantagens: – Ausência de controle de variáveis estranhas; efeitos são julgados um em relação ao outro, e não em termos absolutos – Não é apropriado para analisar comportamento que é aprendido em estágios – Não é apropriado para testar efeitos de tratamentos contínuos ou com efeitos de longo prazo (p. ex., intervenções terapêuticas) – Efeito de sequência – a ordem de apresentação dos tratamentos afeta a VD Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 35.
    Ψ Tipos de efeitosde sequência ● Associados à passagem do tempo: – Efeito de prática: Melhora do desempenho resultante da prática repetida numa tarefa, independente do efeito do tratamento – Efeito de fadiga: Piora do desempenho resultante de cansaço, tédio ou distração ● Associados ao efeito dos tratamentos (“carryover”) – Efeito de contraste: A resposta ao segundo tratamento é alterada por comparação com a primeira Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 36.
    Ψ Contrabalanceamento: Contrabalanceamento completo ● Todasas ordens possíveis de apresentação das condições são incluídas no experimento Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 37.
    Ψ Contrabalanceamento: Quadrados latinos ● Conjuntolimitado de ordens de apresentação que garante que (1) cada tratamento apareça em cada posição possível e (2) cada tratamento preceda e siga cada tratamento uma vez ● Constrói-se uma matriz n x n, com n diferentes tratamentos de tal maneira que ocorram no máximo uma vez em cada linha ou coluna ● A ordem para a primeira linha é determinada da seguinte forma, onde U é o último tratamento: – A, B, U, U-1 , D, U-2, E... – A, B, F, C, E, D ● A ordem para a segunda linha é determinada aumentando a letra em cada posição da primeira linha – B, C, A, D, E, F ● Após terminar todas as linhas, atribuir aleatoriamente cada um dos tratamentos a cada letra Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 38.
    Ψ Contrabalanceamento: Blocos randomizados ● Quandovariações do tratamento são repetidas, podem ser blocadas – Ex.: Se quero testar a memória de durações em função da modalidade sensorial, cada modalidade pode ser um bloco ● O efeito da ordem de apresentação dos blocos deve ser controlado por randomização Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas
  • 39.
    Ψ Manipulando o intervalode tempo entre tratamentos ● Além de contrabalançar a ordem dos tratamentos, também é preciso escolher cuidadosamente o intervalo de tempo entre apresentações e as atividades possíveis entre tratamentos – Período de descanso pode se contrapor à fadiga; realizar uma tarefa não-relacionada pode diminuir efeito de contraste ● A introdução de intervalos prolongados de tempo pode criar efeitos de atrito/mortalidade Delineamento e validade Qualidade do planejamento Alocação Medidas repetidas