Introdução à Metodologia e Design
          Experimental




  Professor Márcio Leitão UFPB
       profleitao@gmail.com
  http://www.cchla.ufpb.br/laprol/
Temas de Pesquisa no LAPROL:
• Processamento Linguístico em adultos sem patologia

• Processamento Linguístico em aprendizes de L2

• Processamento Linguístico e Patologias relacionadas à
  linguagem
• Aquisição da Linguagem na perspectiva do
  Processamento Linguístico

   Processamento morfológico, processamento sintático e processamento
  da correferência
Leonardo Da Vinci
                já dizia...
 “Vós, investigadores, não deveis confiar em autores que,
  apenas pelo emprego da imaginação, se fazem
  intérpretes entre a natureza e o Homem, mas somente
  naqueles que exercitam seu intelecto com resultados de
  experimentos”.
                                         Leonardo da Vinci
Porque fazer experimentos?
 Porque queremos estudar os processos mentais e não os produtos.
 Porque muitas variáveis estão envolvidas no processamento da
    linguagem e os experimentos são capazes de garantir com bastante
    eficácia o controle de determinadas variáveis e a manipulação
    precisa de outras.
   Porque é interessante dividir para avançar, se tentarmos abarcar o
    todo sem entender cada parte, corremos o risco de não
    entendermos nada.
   Porque queremos estudar processos que são inconscientes e
    automáticos.
   Porque esses processos acontecem em milésimos de segundo
    (ms).
   Porque temos que ter procedimentos que capturem esses
    processos e, por isso, precisamos colocar a linguagem no
    microscópio.
   Porque, como em outras ciências, precisamos de precisão.
Passos para construção de um
               experimento
 Escolha do fenômeno lingüístico de interesse
 Identificar a viabilidade desse fenômeno ser testado
    experimentalmente
   Quais as técnicas experimentais disponíveis?
   Qual delas seria a mais eficaz e a de mais fácil implementação?
   ON-LINE
   Leitura auto-monitorada
   Audição auto-monitorada
   Priming (auditivo, visual, ou inter-modal)
   Eye-tracking
   EEG
   OFF-LINE (controlado)
   Questionário
   Julgamento de compatibilidade semântica
   Julgamento de gramaticalidade
VARIÁVEIS DO EXPERIMENTO

Variável independente: Diz respeito aos fatores que serão
manipulados no experimento.
Variável dependente: Diz respeito ao que vai ser aferido no
experimento.
Geralmente manipulamos uma variável independente para ver se
obtemos algum efeito na variável dependente.
Criamos hipóteses sobre esses possíveis efeitos.
Controle de variáveis irrelevantes – são chamadas assim as
variáveis que não têm um papel importante na proposta principal
do experimento. Para que não influenciem no resultado devem ser
controladas, geralmente, criando-se procedimentos padronizados
(mesmo local, mesmo equipamento, mesmas instruções, mesma
prática antes do experimento, homogeneidade dos sujeitos:
escolaridade, idade, sexo…)
É impossível eliminar todas as variabilidades individuais, por isso
usamos os testes estatísticos.
Condições e Hipóteses
 Condições experimentais – Dizem respeito ao tipo de estímulos
  gerado a partir da variável independente manipulada. Cada tipo
  de estímulo é uma condição experimental.
 Condição de controle – Diz respeito a uma condição sem a
  manipulação da variável independente que pode ser comparada
  com a condição experimental.
 Sempre temos uma determinada hipótese sobre o fenômeno que
  vamos testar e sobre os efeitos que a manipulação da variável
  independente vai gerar. Essa é a hipótese experimental.
 A hipótese de que a manipulação não vai gerar efeito algum é a
  nossa hipótese nula, ou seja, sempre estamos fazendo o
  experimento para tentar rejeitar a hipótese nula.
EXEMPLO DE EXPERIMENTO
Tema: Processamento da correferência na posição de sujeito
Pesquisadora: Karla Lima de Queiroz (mestranda)
Propósito do experimento: estudar a eficiência em termos de processamento
de diferentes formas de retomada anafórica.
Técnica escolhida: Leitura automonitorada
Variável independente: tipo de retomada anafórica
Variável dependente: tempo de leitura das retomadas
condições experimentais:
NR (retomada com nome repetido)
Bia/ leu/ o artigo/ de física/ e depois/ Bia/ atentamente/ respondeu/ o
questionário.
PR (retomada com o pronome lexical)
Bia/ leu/ o artigo/ de física/ e depois/ Ela/ atentamente/ respondeu/ o
questionário.
O que foi controlado nos estímulos: tamanho do nome próprio, número de
sílabas (12) entre o sujeito e a retomada anafórica, alémdo número de sílabas
(5-6) do advérbio posterior à retomada.
Hopótese Experimental: Pronomes são lidos e processados mais rapidamente
do que nomes repetidos em retomadas anafóricas.
Hipótese nula: não há diferença entre retomadas com PR e com NR.
Um pouco de números
 Qual deve ser o número de vezes que o sujeito do
  experimento deve ser exposto a cada condição?

 Se usa como padrão no mínimo 4 vezes por condição.
 Qual deve ser o número de distratoras?
 Se usa como padrão a proporção mínima 2:1, ou seja,
  no mínimo duas distratoras para cada frase
  experimental.
Exemplos de frases experimentais
   1a) Lia / assistiu / o filme / na sala / e depois / Lia / relaxadamente / dormiu / no sofá.
   1b) Lia / assistiu / o filme / na sala / e depois / ela / relaxadamente / dormiu / no sofá.
   2a) Isa / passou / o vestido / de seda / e depois / Isa / cuidadosamente / guardou / no armário.
   2b) Isa / passou / o vestido / de seda / e depois / ela / cuidadosamente / guardou / no armário.
   3a) Bia / leu / o artigo / de física / e depois / Bia / atentamente / respondeu / o questionário.
   3b) Bia / leu / o artigo / de física / e depois / ela / atentamente / respondeu / o questionário.
   4a) Ana / recebeu / o salário / do mês / e depois / Ana / responsavelmente / pagou / as dívidas.
   4b) Ana / recebeu / o salário / do mês / e depois / ela / responsavelmente / pagou / as dívidas.
   5a) Eva / escreveu / o postal / da França / e depois / Eva / saudosamente / enviou / para a
    família.
   5b) Eva / escreveu / o postal / da França / e depois / ela / saudosamente / enviou / para a família.
   6a) Ugo / comprou / a tela / na galeria / e depois / Ugo / vantajosamente / vendeu / no leilão.
   6b) Ugo / comprou / a tela / na galeria / e depois / ele / vantajosamente / vendeu / no leilão.
   7a) Oto / fez / a prova / de doutorado / e depois / Oto / ansiosamente / esperou / o resultado.
   7b) Oto / fez / a prova / de doutorado / e depois / ele / ansiosamente / esperou / o resultado.
   8a) Ivo / apagou / a vela / do bolo / e depois / Ivo / festivamente / comemorou / com os amigos.
   8b) Ivo / apagou / a vela / do bolo / e depois / ele / festivamente / comemorou / com os amigos.
   9a) Rui / regou / as plantas / da sacada / e depois / Rui / carinhosamente / alimentou / os
    animais.
   9b) Rui / regou / as plantas / da sacada / e depois / ele / carinhosamente / alimentou / os animais.
   10a) Léo / vestiu / a farda / da escola / e depois / Léo / pacientemente / esperou / o ônibus.
   10b) Léo / vestiu / a farda / da escola / e depois / ele / pacientemente / esperou / o ônibus.
Quadrado Latino
 Um quadrado latino de ordem n é uma matrizn × n
  preenchida com n diferentes símbolos de tal maneira
  que ocorrem no máximo uma vez em cada linha ou
  coluna. Aqui seguem um exemplo:
                       1    2 3
                       2    3 1
                       3    1 2
Design entre sujeitos usando
      o quadrado Latino

          Exp1               Exp2



NR        1a, 2a, 3a, 4a, 5a 6a, 7a, 8a, 9a, 10ª

PR        6b, 7b, 8b, 9b, 1b, 2b, 3b, 4b, 5b
          10b
Programando o Experimento
 No LAPROL-UFPB utilizamos o programa Psyscope que
  só roda em plataforma Macintosh.

Veremos como se faz a programação básica aqui no
  minicurso.
Controles na aplicação de
           experimentos on-line
 A sala ou ambiente do experimento deve ser confortável
  com o mínimo de interferências externas.

 Antes do experimento, cada sujeito tem que fazer uma
  prática da tarefa até que se observe familiaridade.

 Depois que o sujeito está familiarizado, deve-se deixá-lo
  sozinho para que ele fique à vontade.
Depois da aplicação do
             Experimento
 Os dados são coletados, são TRATADOS e depois passam pelo
    pacote estatístico adequado.
   A estatística é primordial para que os resultados possam ser
    validados.
   A estatística nos permite dizer se os efeitos obtidos com a
    manipulação da variável independente (ex. tipo de retomada) e
    observados pela aferição da variável dependente (tempo de
    leitura) aconteceram ou não aleatoriamente.
   O resultado estatístico sempre tem como final um valor
    probabilístico ou p-valor, que representa a chance percentual de
    rejeitarmos a hipótese nula.
   Em psicolingüística para que o p-valor tenha um nível de
    significância considerado válido tem que ser menor do que 0,05
    (p<0,05).
Tarefa 01
 Leia o texto de Mitchell (2004) - On-line methods in
  language processing: Introduction and historical review.
 Depois explicite resumidamente as vantagens e
  desvantagens da utilização das técnicas on-line
  abordadas por Mitchell, explicitando os argumentos
  favoráveis ou não para cada uma delas.
Exercício a partir do texto
                 colocado no site
 Elabore um resumo do artigo Leitão (2008), levando em conta as questões
    seguintes:
   · Qual é o objeto/o tema de investigação da pesquisa?
   · Com base na literatura apresentada na introdução, que hipótese foi
    inicialmente
   formulada para explicar o fenômeno investigado?
   · Para cada experimento apresentado, especifique:
   - o(s) objetivo(s);
   - os participantes;
   - as variáveis independentes (manipuladas);
   - as condições experimentais;
   - a técnica experimental e o procedimento;
   - a(s) variável(is) dependente(s);
   - os resultados e as conclusões.
   · Quais são as conclusões gerais da pesquisa?

Slides leitaogelne

  • 1.
    Introdução à Metodologiae Design Experimental Professor Márcio Leitão UFPB profleitao@gmail.com http://www.cchla.ufpb.br/laprol/
  • 2.
    Temas de Pesquisano LAPROL: • Processamento Linguístico em adultos sem patologia • Processamento Linguístico em aprendizes de L2 • Processamento Linguístico e Patologias relacionadas à linguagem • Aquisição da Linguagem na perspectiva do Processamento Linguístico Processamento morfológico, processamento sintático e processamento da correferência
  • 3.
    Leonardo Da Vinci já dizia...  “Vós, investigadores, não deveis confiar em autores que, apenas pelo emprego da imaginação, se fazem intérpretes entre a natureza e o Homem, mas somente naqueles que exercitam seu intelecto com resultados de experimentos”.  Leonardo da Vinci
  • 4.
    Porque fazer experimentos? Porque queremos estudar os processos mentais e não os produtos.  Porque muitas variáveis estão envolvidas no processamento da linguagem e os experimentos são capazes de garantir com bastante eficácia o controle de determinadas variáveis e a manipulação precisa de outras.  Porque é interessante dividir para avançar, se tentarmos abarcar o todo sem entender cada parte, corremos o risco de não entendermos nada.  Porque queremos estudar processos que são inconscientes e automáticos.  Porque esses processos acontecem em milésimos de segundo (ms).  Porque temos que ter procedimentos que capturem esses processos e, por isso, precisamos colocar a linguagem no microscópio.  Porque, como em outras ciências, precisamos de precisão.
  • 5.
    Passos para construçãode um experimento  Escolha do fenômeno lingüístico de interesse  Identificar a viabilidade desse fenômeno ser testado experimentalmente  Quais as técnicas experimentais disponíveis?  Qual delas seria a mais eficaz e a de mais fácil implementação?  ON-LINE  Leitura auto-monitorada  Audição auto-monitorada  Priming (auditivo, visual, ou inter-modal)  Eye-tracking  EEG  OFF-LINE (controlado)  Questionário  Julgamento de compatibilidade semântica  Julgamento de gramaticalidade
  • 6.
    VARIÁVEIS DO EXPERIMENTO Variávelindependente: Diz respeito aos fatores que serão manipulados no experimento. Variável dependente: Diz respeito ao que vai ser aferido no experimento. Geralmente manipulamos uma variável independente para ver se obtemos algum efeito na variável dependente. Criamos hipóteses sobre esses possíveis efeitos. Controle de variáveis irrelevantes – são chamadas assim as variáveis que não têm um papel importante na proposta principal do experimento. Para que não influenciem no resultado devem ser controladas, geralmente, criando-se procedimentos padronizados (mesmo local, mesmo equipamento, mesmas instruções, mesma prática antes do experimento, homogeneidade dos sujeitos: escolaridade, idade, sexo…) É impossível eliminar todas as variabilidades individuais, por isso usamos os testes estatísticos.
  • 7.
    Condições e Hipóteses Condições experimentais – Dizem respeito ao tipo de estímulos gerado a partir da variável independente manipulada. Cada tipo de estímulo é uma condição experimental.  Condição de controle – Diz respeito a uma condição sem a manipulação da variável independente que pode ser comparada com a condição experimental.  Sempre temos uma determinada hipótese sobre o fenômeno que vamos testar e sobre os efeitos que a manipulação da variável independente vai gerar. Essa é a hipótese experimental.  A hipótese de que a manipulação não vai gerar efeito algum é a nossa hipótese nula, ou seja, sempre estamos fazendo o experimento para tentar rejeitar a hipótese nula.
  • 8.
    EXEMPLO DE EXPERIMENTO Tema:Processamento da correferência na posição de sujeito Pesquisadora: Karla Lima de Queiroz (mestranda) Propósito do experimento: estudar a eficiência em termos de processamento de diferentes formas de retomada anafórica. Técnica escolhida: Leitura automonitorada Variável independente: tipo de retomada anafórica Variável dependente: tempo de leitura das retomadas condições experimentais: NR (retomada com nome repetido) Bia/ leu/ o artigo/ de física/ e depois/ Bia/ atentamente/ respondeu/ o questionário. PR (retomada com o pronome lexical) Bia/ leu/ o artigo/ de física/ e depois/ Ela/ atentamente/ respondeu/ o questionário. O que foi controlado nos estímulos: tamanho do nome próprio, número de sílabas (12) entre o sujeito e a retomada anafórica, alémdo número de sílabas (5-6) do advérbio posterior à retomada. Hopótese Experimental: Pronomes são lidos e processados mais rapidamente do que nomes repetidos em retomadas anafóricas. Hipótese nula: não há diferença entre retomadas com PR e com NR.
  • 9.
    Um pouco denúmeros  Qual deve ser o número de vezes que o sujeito do experimento deve ser exposto a cada condição?  Se usa como padrão no mínimo 4 vezes por condição.  Qual deve ser o número de distratoras?  Se usa como padrão a proporção mínima 2:1, ou seja, no mínimo duas distratoras para cada frase experimental.
  • 10.
    Exemplos de frasesexperimentais  1a) Lia / assistiu / o filme / na sala / e depois / Lia / relaxadamente / dormiu / no sofá.  1b) Lia / assistiu / o filme / na sala / e depois / ela / relaxadamente / dormiu / no sofá.  2a) Isa / passou / o vestido / de seda / e depois / Isa / cuidadosamente / guardou / no armário.  2b) Isa / passou / o vestido / de seda / e depois / ela / cuidadosamente / guardou / no armário.  3a) Bia / leu / o artigo / de física / e depois / Bia / atentamente / respondeu / o questionário.  3b) Bia / leu / o artigo / de física / e depois / ela / atentamente / respondeu / o questionário.  4a) Ana / recebeu / o salário / do mês / e depois / Ana / responsavelmente / pagou / as dívidas.  4b) Ana / recebeu / o salário / do mês / e depois / ela / responsavelmente / pagou / as dívidas.  5a) Eva / escreveu / o postal / da França / e depois / Eva / saudosamente / enviou / para a família.  5b) Eva / escreveu / o postal / da França / e depois / ela / saudosamente / enviou / para a família.  6a) Ugo / comprou / a tela / na galeria / e depois / Ugo / vantajosamente / vendeu / no leilão.  6b) Ugo / comprou / a tela / na galeria / e depois / ele / vantajosamente / vendeu / no leilão.  7a) Oto / fez / a prova / de doutorado / e depois / Oto / ansiosamente / esperou / o resultado.  7b) Oto / fez / a prova / de doutorado / e depois / ele / ansiosamente / esperou / o resultado.  8a) Ivo / apagou / a vela / do bolo / e depois / Ivo / festivamente / comemorou / com os amigos.  8b) Ivo / apagou / a vela / do bolo / e depois / ele / festivamente / comemorou / com os amigos.  9a) Rui / regou / as plantas / da sacada / e depois / Rui / carinhosamente / alimentou / os animais.  9b) Rui / regou / as plantas / da sacada / e depois / ele / carinhosamente / alimentou / os animais.  10a) Léo / vestiu / a farda / da escola / e depois / Léo / pacientemente / esperou / o ônibus.  10b) Léo / vestiu / a farda / da escola / e depois / ele / pacientemente / esperou / o ônibus.
  • 11.
    Quadrado Latino  Umquadrado latino de ordem n é uma matrizn × n preenchida com n diferentes símbolos de tal maneira que ocorrem no máximo uma vez em cada linha ou coluna. Aqui seguem um exemplo:  1 2 3  2 3 1  3 1 2
  • 12.
    Design entre sujeitosusando o quadrado Latino Exp1 Exp2 NR 1a, 2a, 3a, 4a, 5a 6a, 7a, 8a, 9a, 10ª PR 6b, 7b, 8b, 9b, 1b, 2b, 3b, 4b, 5b 10b
  • 13.
    Programando o Experimento No LAPROL-UFPB utilizamos o programa Psyscope que só roda em plataforma Macintosh. Veremos como se faz a programação básica aqui no minicurso.
  • 14.
    Controles na aplicaçãode experimentos on-line  A sala ou ambiente do experimento deve ser confortável com o mínimo de interferências externas.  Antes do experimento, cada sujeito tem que fazer uma prática da tarefa até que se observe familiaridade.  Depois que o sujeito está familiarizado, deve-se deixá-lo sozinho para que ele fique à vontade.
  • 15.
    Depois da aplicaçãodo Experimento  Os dados são coletados, são TRATADOS e depois passam pelo pacote estatístico adequado.  A estatística é primordial para que os resultados possam ser validados.  A estatística nos permite dizer se os efeitos obtidos com a manipulação da variável independente (ex. tipo de retomada) e observados pela aferição da variável dependente (tempo de leitura) aconteceram ou não aleatoriamente.  O resultado estatístico sempre tem como final um valor probabilístico ou p-valor, que representa a chance percentual de rejeitarmos a hipótese nula.  Em psicolingüística para que o p-valor tenha um nível de significância considerado válido tem que ser menor do que 0,05 (p<0,05).
  • 16.
    Tarefa 01  Leiao texto de Mitchell (2004) - On-line methods in language processing: Introduction and historical review.  Depois explicite resumidamente as vantagens e desvantagens da utilização das técnicas on-line abordadas por Mitchell, explicitando os argumentos favoráveis ou não para cada uma delas.
  • 17.
    Exercício a partirdo texto colocado no site  Elabore um resumo do artigo Leitão (2008), levando em conta as questões seguintes:  · Qual é o objeto/o tema de investigação da pesquisa?  · Com base na literatura apresentada na introdução, que hipótese foi inicialmente  formulada para explicar o fenômeno investigado?  · Para cada experimento apresentado, especifique:  - o(s) objetivo(s);  - os participantes;  - as variáveis independentes (manipuladas);  - as condições experimentais;  - a técnica experimental e o procedimento;  - a(s) variável(is) dependente(s);  - os resultados e as conclusões.  · Quais são as conclusões gerais da pesquisa?