Pesquisa com métodos quantitativos



                Prof. Dr. Ivan Luiz Marques Ricarte

                                 Outubro 2012



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Pesquisa quantitativa


 Associada a princípios filosóficos pós-positivistas
 • Determinismo: questões e hipóteses de pesquisa serão
   respondidas pela análise de relação entre variáveis
 • Reducionismo: teoria pode ser testada pela observação de
   poucas variáveis
 • Objetivismo: dados podem ser obtidos por medidas ou
   observações empíricas
 • Interpretacionismo: instrumentos de medidas válidos e
   confiáveis levarão a interpretações significantes dos dados


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
     pesquisa quantitativa (1)

Determinismo: questões e hipóteses de pesquisa serão
respondidas pela análise de relação entre variáveis


Creswell trabalha com uma apresentação gradual, em etapas:

• O problema de pesquisa

• O propósito da pesquisa

• Questões ou hipóteses da pesquisa

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Problema e propósito


Problema de pesquisa                    Propósito da pesquisa
 Identificar origem (qual a             O propósito deste
    motivação)                          [experimento/levantamento]
                                        será verificar a teoria [...] que
 Estabelecer contexto                   relaciona [ Vi ] com [ Vd ] para
   (qual a teoria de base)              [participantes] em [local]. A
                                        variável independente [Vi ] é
 Defender relevância da                 definida como [...]. A variável
   pesquisa (qual a                     dependente [ Vd ] é definida
   lacuna)                              como [...].

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Questões ou hipóteses


 Pesquisa quantitativa é guiada por questões ou por
    hipóteses que relacionam as variáveis:

 • Questões de pesquisa quantitativa
     – São questões sobre o relacionamento entre variáveis

 • Hipóteses de pesquisa
     – São predições sobre o relacionamento entre variáveis, que
        poderão ser testadas com procedimentos estatísticos

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de hipóteses


 Hipótese nula
 • Predição de que não há relacionamento ou diferença entre
    grupos por conta da variável
 Hipótese alternativa
 • Direcional: prevê aumento (ou diminuição) de efeito
    associado à variável, com base em estudos anteriores
 • Não direcional: prevê diferença, sem estabelecer
    especificamente qual tipo de diferença
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
     pesquisa quantitativa (2)


             Reducionismo: teoria pode ser testada pela
                 observação de poucas variáveis



     Estudos quantitativos partem da especificação das
     hipóteses de pesquisa envolvendo essas variáveis,
     com base nessa teoria



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis


     Variável: algo que muda, que pode assumir
         diferentes valores


     Variáveis na pesquisa quantitativa podem ser
         representadas numericamente
     • Escala contínua ou categórica



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de variáveis


 Principais tipos de variáveis
 • Variável independente: podemos alterar seu valor
 • Variável dependente: podemos medir seu valor


 Variáveis demográficas (idade, nível educacional, renda familiar)
 são, em geral, variáveis moderadoras do estudo e não devem (a
 não ser que o estudo seja sobre esses aspectos) serem usadas
 como variáveis independentes ou dependentes

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
     pesquisa quantitativa (3)


          Objetivismo: dados podem ser obtidos por
             medidas ou observações empíricas



 Métodos de coleta de dados na pesquisa quantitativa:

 • Levantamentos

 • Experimentos

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Mecanismos de
             coleta de dados

 Levantamento (Survey)
 • Descrever numericamente tendências ou opiniões de
    uma amostra de uma população
 Experimental
 • Verificar o impacto de uma intervenção ou tratamento
    em um resultado observado, mantendo sob controle
    outros fatores que poderiam influenciar o desenlace


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
     pesquisa quantitativa (4)

    Interpretacionismo: instrumentos de medidas válidos e
  confiáveis levarão a interpretações significantes dos dados


  Grande quantidade de dados coletados:

  • Permitir análises estatísticas

  • Permitir generalização das conclusões a partir do
   observado nas amostras

  • Forma de validação do estudo
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Métodos da pesquisa quantitativa

   Levantamentos


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Justificativa para
             levantamento

 • Na proposta de pesquisa, é preciso justificar a
   escolha para realizar a coleta por meio de um
   levantamento
     – Qual é o objetivo do levantamento?
     – Por que levantamento é a forma recomendada de
       coleta nesse caso?
     – A coleta será transversal (num único momento) ou
       longitudinal (coleta ao longo do período)?
     – Qual será a forma de coleta?

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Formas de coleta


 • Questionários auto-administrados

 • Entrevistas

 • Revisão de registros estruturados para a coleta
    de dados

 • Observações estruturadas


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
População


 Qual a população que é alvo do estudo?

 • O conjunto universo do estudo

 Qual o tamanho da população?

 Como os indivíduos da população podem ser
    identificados?


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
População e amostra


 Se o tamanho da população é tal que não permite que
    todos os seus indivíduos sejam medidos ou
    observados, o estudo deve ser realizado com um
    subconjunto da população

     – Amostra




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Amostra


 • Como será selecionada a amostra:
     – Amostragem simples (diretamente de toda a
        população) ou a partir de grupos (clusters)?
     – Seleção aleatória ou por conveniência?
     – Amostra estratificada? Por quais características?
     – Qual o tamanho da amostra? Qual procedimento
        utilizado para selecionar esse tamanho?

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra


 • Afetada por
     – Intervalo de confiança
          • Qual a margem de erro dos resultados obtidos

     – Nível de confiança
          • Quão certo você pode estar de seus resultados

 Com esse tamanho de amostra, tenho [NivConf]% de segurança que o
    valor desta variável é X ± [IntConf]%

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra


Impacto do tamanho da população nesses valores:

• Apenas se a população é pequena

• Para populações acima de 50.000, o tamanho da amostra
   não impacta no nível e no intervalo de confiança

    – Desde que as amostras sejam aleatórias




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra


 • População “infinita” (maior que 50.000):
                                 2
                             Z       p         1 p
                     SS                    2
                                       C
     onde
        SS         Tamanho da amostra
        Z          Valor Z para o nível de confiança desejado (tabelado)
        C          Intervalo de confiança
        p          Probabilidade da resposta (.5 no pior caso)

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra


 • População finita (menor que 50.000):
                                           SS
                          NSS
                                           SS 1
                                     1
                                            pop
     onde

        NSS        Tamanho ajustado da amostra

        SS         Tamanho da amostra para população infinita

        pop        Tamanho da população

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Valor Z


 Probabilidade de que uma amostra caia dentro de
   uma certa distribuição
     – Tabelada a partir da distribuição de probabilidade
       normal cumulativa
     – Valores típicos:

                       Nível de confiança             Valor Z
                              0,90                     1,645
                              0,95                     1,960
                              0,99                     2,576
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Exemplos


 • Nível de confiança 95%, margem de erro 4%
     – População  50.000: amostra de 600 participantes
     – População 10.000: 566 participantes
     – População 1.000: 376 participantes
 • Nível de confiança 99%, margem de erro 2%
     – População  50.000: 4.148 participantes
     – População 10.000: 2.932 participantes
     – População 1.000: 806 participantes

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentação


 Proposta da pesquisa também deve incluir informação
    sobre o instrumento usado na coleta
 • O questionário foi desenvolvido para esta pesquisa ou
    foi adaptado de ou utilizado em outro estudo?
 • Se veio em parte ou integralmente de outro estudo:
     – Obteve autorização para usar neste estudo?
     – Houve validação do questionário?
     – Qual a confiabilidade relatada do questionário?

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentação


 Indique as seções que o questionário conterá
 • Dados demográficos, questões de comportamento,
   atitude, factuais
 Indique os tipos de escalas que serão utilizados
 • Contínuas (em quantos níveis), categóricas
 Indique os planos para testes piloto ou de campo
 • Número de participantes, como os seus comentários
   serão incorporados

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis no estudo


 Como as variáveis do estudo (descritas na introdução e
    hipóteses da pesquisa) estão relacionadas a questões
    específicas do instrumento?

 • Relacionar variáveis com questões/hipóteses de
    pesquisa e com itens do levantamento




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Análise e interpretação
          dos dados

 Informe quantos participantes retornaram e quantos não
    retornaram o instrumento preenchido
 Discuta o método pelo qual o viés de resposta será
   determinado
     Efeito dos não respondentes
 Discuta o plano para a análise descritiva dos dados para
   todas variáveis independentes e dependentes
     Médias, desvios padrões e faixas de valores


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Análise e interpretação
            dos dados

 • Identifique que procedimentos e programas
    estatísticos serão usados para testar as principais
    hipóteses do estudo
     – Depende do número de variáveis, tipos de escalas para
        variáveis independentes e dependentes, distribuição de
        valores das variáveis
 • Discuta como serão apresentados os resultados
     – Tabelas, gráficos?

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Métodos da pesquisa quantitativa

   Experimentos


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Objetivo de um estudo
           experimental

 Testar o impacto de uma intervenção (ou tratamento) em
    um desenlace, controlando todos os demais fatores que
    poderiam influenciar nesse desenlace




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis no estudo
             experimental

 • Identificar claramente as variáveis independentes
     – Pelo menos uma variável (associada à intervenção)

     – Outras variáveis que não são manipuladas no experimento

 • Identificar variáveis dependentes
     – Pelo menos uma variável (associada ao desenlace)




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Componentes do método
        experimental

 • Participantes

 • Materiais

 • Procedimentos

 • Medidas
     – Descrições sobre esses quatro aspectos devem estar presentes
        no projeto de pesquisa experimental



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Participantes


 Quem são os participantes do estudo?

 Qual população eles representam?

 Como são selecionados?

 Como são alocados a grupos?

 Que características dos participantes podem influenciar no desenlace?

 Qual o número de participantes em cada grupo?
    Como esse número foi definido?



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho do grupo


 Depende de três fatores (análise de potência):

 • Nível de significância estatística (α)
     – Probabilidade de erro tipo 1 (falso positivo)

 • Potência desejada (π)
     – Probabilidade de não ocorrer erro tipo 2 (falso negativo, prob. β)

 • Magnitude do efeito
     – Diferença desejada entre valores médios dos dois grupos dividido pelo
        desvio padrão (d de Cohen)


IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Exemplo


 • Valor convencional é α=0,05

 • Tamanho de cada grupo:
          π     0,25   0,50   0,60   0,70   0,80   0,90   0,95   0,99
          d
          0,2   84     193    246    310    393    526    651    920
          0,5   14     32     40     50     64     85     105    148
          0,8   6      13     16     20     26     34     42     58




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentos e materiais


 • Instrumentos
     – Usados para avaliações pré-teste e pós-teste
     – Como foram validados? Qual sua confiabilidade? Quem os
        desenvolveu? Tem autorização para utilizá-los?

 • Materiais
     – Usados na intervenção experimental
     – Foram testados em algum piloto? Treinamento para sua
        aplicação é necessário?

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de procedimentos
          experimentais

 Pré-experimental: grupo analisado sem comparação com grupo
    de controle
 Experimento real: dois grupos (tratamento e controle) com
    participantes alocados aleatoriamente
 Quase experimento: dois grupos, mas participantes não
    aleatoriamente alocados aos grupos
 Sujeito único: observação de um único (ou poucos) sujeito de
    pesquisa ao longo do tempo

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Medidas


 O que será medido para cada tipo de variável

 Variáveis independentes além da intervenção

 • Medidas, mas não manipuladas no experimento

 • Podem ser estatisticamente controladas (por exemplo,
    distribuição similar nos grupos)

 Variáveis dependentes

 • Medidas usuais incluem direção e/ou magnitude de mudança

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Procedimentos: notação


 Símbolos ao longo de uma linha temporal (duração do
    experimento), da esquerda para a direita:
 • X: Exposição à intervenção
 • O: Observação do efeito (medida)
 • R: Atribuição aleatória
 • Linha horizontal entre linhas temporais: grupos não
    equalizados por alocação aleatória

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
       pré-experimentais


 Exposição de um grupo a uma intervenção, seguida por
    uma medida (one-shot case study)
     Grupo A     X------------------O

 Medida pré-teste, intervenção e medida pós-teste para um
    grupo (one-group pre-test-post-test design)
     Grupo A     O1-------X-------O2



IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
       pré-experimentais


 Comparação entre grupos não equivalentes após intervenção
     Grupo A    X------------------O

     Grupo B    --------------------O

 Comparação de intervenções alternativas entre grupos não
    equivalentes
     Grupo A    X1--------------O

     Grupo B    X2--------------O

 * Grupos equivalentes: alocação aleatória dos membros

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
     quase experimentais


 Comparação com grupo de controle não equivalente
     Grupo A    O---------X--------O
     Grupo B    O-------------------O

 Série temporal interrompida, único grupo
     Grupo A    O---O---O---X---O---O---O

 Série temporal interrompida com grupo de controle (não alocado
    aleatoriamente)
     Grupo A    O---O---O---X---O---O---O
     Grupo B    O---O---O---O---O---O---O

IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
      experimentais reais


 Pré-teste, pós-teste com grupo de controle
     Grupo A    R-----O----X----O

     Grupo B    R-----O----------O



 Apenas pós-teste com grupo de controle
     Grupo A    R------X------O

     Grupo B    R--------------O




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimento
 experimental com único sujeito


 Desenho A-B-A

 • Múltiplas observações para um único indivíduo (baseline)

 • Aplicação da intervenção ou tratamento

 • Interrupção do tratamento seguida de novas observações


     O---O---O---O---X---X---X---O---O---O---O---O




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Referências


 • Creswell, capítulos 7 e 8

 • Livros de estatística




IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte

Pesquisa com métodos quantitativos

  • 1.
    Pesquisa com métodosquantitativos Prof. Dr. Ivan Luiz Marques Ricarte Outubro 2012 IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 2.
    Pesquisa quantitativa Associadaa princípios filosóficos pós-positivistas • Determinismo: questões e hipóteses de pesquisa serão respondidas pela análise de relação entre variáveis • Reducionismo: teoria pode ser testada pela observação de poucas variáveis • Objetivismo: dados podem ser obtidos por medidas ou observações empíricas • Interpretacionismo: instrumentos de medidas válidos e confiáveis levarão a interpretações significantes dos dados IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 3.
    Características da pesquisa quantitativa (1) Determinismo: questões e hipóteses de pesquisa serão respondidas pela análise de relação entre variáveis Creswell trabalha com uma apresentação gradual, em etapas: • O problema de pesquisa • O propósito da pesquisa • Questões ou hipóteses da pesquisa IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 4.
    Problema e propósito Problemade pesquisa Propósito da pesquisa Identificar origem (qual a O propósito deste motivação) [experimento/levantamento] será verificar a teoria [...] que Estabelecer contexto relaciona [ Vi ] com [ Vd ] para (qual a teoria de base) [participantes] em [local]. A variável independente [Vi ] é Defender relevância da definida como [...]. A variável pesquisa (qual a dependente [ Vd ] é definida lacuna) como [...]. IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 5.
    Questões ou hipóteses Pesquisa quantitativa é guiada por questões ou por hipóteses que relacionam as variáveis: • Questões de pesquisa quantitativa – São questões sobre o relacionamento entre variáveis • Hipóteses de pesquisa – São predições sobre o relacionamento entre variáveis, que poderão ser testadas com procedimentos estatísticos IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 6.
    Tipos de hipóteses Hipótese nula • Predição de que não há relacionamento ou diferença entre grupos por conta da variável Hipótese alternativa • Direcional: prevê aumento (ou diminuição) de efeito associado à variável, com base em estudos anteriores • Não direcional: prevê diferença, sem estabelecer especificamente qual tipo de diferença IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 7.
    Características da pesquisa quantitativa (2) Reducionismo: teoria pode ser testada pela observação de poucas variáveis Estudos quantitativos partem da especificação das hipóteses de pesquisa envolvendo essas variáveis, com base nessa teoria IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 8.
    Variáveis Variável: algo que muda, que pode assumir diferentes valores Variáveis na pesquisa quantitativa podem ser representadas numericamente • Escala contínua ou categórica IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 9.
    Tipos de variáveis Principais tipos de variáveis • Variável independente: podemos alterar seu valor • Variável dependente: podemos medir seu valor Variáveis demográficas (idade, nível educacional, renda familiar) são, em geral, variáveis moderadoras do estudo e não devem (a não ser que o estudo seja sobre esses aspectos) serem usadas como variáveis independentes ou dependentes IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 10.
    Características da pesquisa quantitativa (3) Objetivismo: dados podem ser obtidos por medidas ou observações empíricas Métodos de coleta de dados na pesquisa quantitativa: • Levantamentos • Experimentos IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 11.
    Mecanismos de coleta de dados Levantamento (Survey) • Descrever numericamente tendências ou opiniões de uma amostra de uma população Experimental • Verificar o impacto de uma intervenção ou tratamento em um resultado observado, mantendo sob controle outros fatores que poderiam influenciar o desenlace IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 12.
    Características da pesquisa quantitativa (4) Interpretacionismo: instrumentos de medidas válidos e confiáveis levarão a interpretações significantes dos dados Grande quantidade de dados coletados: • Permitir análises estatísticas • Permitir generalização das conclusões a partir do observado nas amostras • Forma de validação do estudo IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 13.
    Métodos da pesquisaquantitativa Levantamentos IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 14.
    Justificativa para levantamento • Na proposta de pesquisa, é preciso justificar a escolha para realizar a coleta por meio de um levantamento – Qual é o objetivo do levantamento? – Por que levantamento é a forma recomendada de coleta nesse caso? – A coleta será transversal (num único momento) ou longitudinal (coleta ao longo do período)? – Qual será a forma de coleta? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 15.
    Formas de coleta • Questionários auto-administrados • Entrevistas • Revisão de registros estruturados para a coleta de dados • Observações estruturadas IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 16.
    População Qual apopulação que é alvo do estudo? • O conjunto universo do estudo Qual o tamanho da população? Como os indivíduos da população podem ser identificados? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 17.
    População e amostra Se o tamanho da população é tal que não permite que todos os seus indivíduos sejam medidos ou observados, o estudo deve ser realizado com um subconjunto da população – Amostra IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 18.
    Amostra • Comoserá selecionada a amostra: – Amostragem simples (diretamente de toda a população) ou a partir de grupos (clusters)? – Seleção aleatória ou por conveniência? – Amostra estratificada? Por quais características? – Qual o tamanho da amostra? Qual procedimento utilizado para selecionar esse tamanho? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 19.
    Tamanho da amostra • Afetada por – Intervalo de confiança • Qual a margem de erro dos resultados obtidos – Nível de confiança • Quão certo você pode estar de seus resultados Com esse tamanho de amostra, tenho [NivConf]% de segurança que o valor desta variável é X ± [IntConf]% IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 20.
    Tamanho da amostra Impactodo tamanho da população nesses valores: • Apenas se a população é pequena • Para populações acima de 50.000, o tamanho da amostra não impacta no nível e no intervalo de confiança – Desde que as amostras sejam aleatórias IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 21.
    Tamanho da amostra • População “infinita” (maior que 50.000): 2 Z p 1 p SS 2 C onde SS Tamanho da amostra Z Valor Z para o nível de confiança desejado (tabelado) C Intervalo de confiança p Probabilidade da resposta (.5 no pior caso) IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 22.
    Tamanho da amostra • População finita (menor que 50.000): SS NSS SS 1 1 pop onde NSS Tamanho ajustado da amostra SS Tamanho da amostra para população infinita pop Tamanho da população IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 23.
    Valor Z Probabilidadede que uma amostra caia dentro de uma certa distribuição – Tabelada a partir da distribuição de probabilidade normal cumulativa – Valores típicos: Nível de confiança Valor Z 0,90 1,645 0,95 1,960 0,99 2,576 IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 24.
    Exemplos • Nívelde confiança 95%, margem de erro 4% – População  50.000: amostra de 600 participantes – População 10.000: 566 participantes – População 1.000: 376 participantes • Nível de confiança 99%, margem de erro 2% – População  50.000: 4.148 participantes – População 10.000: 2.932 participantes – População 1.000: 806 participantes IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 25.
    Instrumentação Proposta dapesquisa também deve incluir informação sobre o instrumento usado na coleta • O questionário foi desenvolvido para esta pesquisa ou foi adaptado de ou utilizado em outro estudo? • Se veio em parte ou integralmente de outro estudo: – Obteve autorização para usar neste estudo? – Houve validação do questionário? – Qual a confiabilidade relatada do questionário? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 26.
    Instrumentação Indique asseções que o questionário conterá • Dados demográficos, questões de comportamento, atitude, factuais Indique os tipos de escalas que serão utilizados • Contínuas (em quantos níveis), categóricas Indique os planos para testes piloto ou de campo • Número de participantes, como os seus comentários serão incorporados IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 27.
    Variáveis no estudo Como as variáveis do estudo (descritas na introdução e hipóteses da pesquisa) estão relacionadas a questões específicas do instrumento? • Relacionar variáveis com questões/hipóteses de pesquisa e com itens do levantamento IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 28.
    Análise e interpretação dos dados Informe quantos participantes retornaram e quantos não retornaram o instrumento preenchido Discuta o método pelo qual o viés de resposta será determinado Efeito dos não respondentes Discuta o plano para a análise descritiva dos dados para todas variáveis independentes e dependentes Médias, desvios padrões e faixas de valores IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 29.
    Análise e interpretação dos dados • Identifique que procedimentos e programas estatísticos serão usados para testar as principais hipóteses do estudo – Depende do número de variáveis, tipos de escalas para variáveis independentes e dependentes, distribuição de valores das variáveis • Discuta como serão apresentados os resultados – Tabelas, gráficos? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 30.
    Métodos da pesquisaquantitativa Experimentos IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 31.
    Objetivo de umestudo experimental Testar o impacto de uma intervenção (ou tratamento) em um desenlace, controlando todos os demais fatores que poderiam influenciar nesse desenlace IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 32.
    Variáveis no estudo experimental • Identificar claramente as variáveis independentes – Pelo menos uma variável (associada à intervenção) – Outras variáveis que não são manipuladas no experimento • Identificar variáveis dependentes – Pelo menos uma variável (associada ao desenlace) IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 33.
    Componentes do método experimental • Participantes • Materiais • Procedimentos • Medidas – Descrições sobre esses quatro aspectos devem estar presentes no projeto de pesquisa experimental IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 34.
    Participantes Quem sãoos participantes do estudo? Qual população eles representam? Como são selecionados? Como são alocados a grupos? Que características dos participantes podem influenciar no desenlace? Qual o número de participantes em cada grupo? Como esse número foi definido? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 35.
    Tamanho do grupo Depende de três fatores (análise de potência): • Nível de significância estatística (α) – Probabilidade de erro tipo 1 (falso positivo) • Potência desejada (π) – Probabilidade de não ocorrer erro tipo 2 (falso negativo, prob. β) • Magnitude do efeito – Diferença desejada entre valores médios dos dois grupos dividido pelo desvio padrão (d de Cohen) IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 36.
    Exemplo • Valorconvencional é α=0,05 • Tamanho de cada grupo: π 0,25 0,50 0,60 0,70 0,80 0,90 0,95 0,99 d 0,2 84 193 246 310 393 526 651 920 0,5 14 32 40 50 64 85 105 148 0,8 6 13 16 20 26 34 42 58 IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 37.
    Instrumentos e materiais • Instrumentos – Usados para avaliações pré-teste e pós-teste – Como foram validados? Qual sua confiabilidade? Quem os desenvolveu? Tem autorização para utilizá-los? • Materiais – Usados na intervenção experimental – Foram testados em algum piloto? Treinamento para sua aplicação é necessário? IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 38.
    Tipos de procedimentos experimentais Pré-experimental: grupo analisado sem comparação com grupo de controle Experimento real: dois grupos (tratamento e controle) com participantes alocados aleatoriamente Quase experimento: dois grupos, mas participantes não aleatoriamente alocados aos grupos Sujeito único: observação de um único (ou poucos) sujeito de pesquisa ao longo do tempo IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 39.
    Medidas O queserá medido para cada tipo de variável Variáveis independentes além da intervenção • Medidas, mas não manipuladas no experimento • Podem ser estatisticamente controladas (por exemplo, distribuição similar nos grupos) Variáveis dependentes • Medidas usuais incluem direção e/ou magnitude de mudança IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 40.
    Procedimentos: notação Símbolosao longo de uma linha temporal (duração do experimento), da esquerda para a direita: • X: Exposição à intervenção • O: Observação do efeito (medida) • R: Atribuição aleatória • Linha horizontal entre linhas temporais: grupos não equalizados por alocação aleatória IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 41.
    Representação de procedimentos pré-experimentais Exposição de um grupo a uma intervenção, seguida por uma medida (one-shot case study) Grupo A X------------------O Medida pré-teste, intervenção e medida pós-teste para um grupo (one-group pre-test-post-test design) Grupo A O1-------X-------O2 IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 42.
    Representação de procedimentos pré-experimentais Comparação entre grupos não equivalentes após intervenção Grupo A X------------------O Grupo B --------------------O Comparação de intervenções alternativas entre grupos não equivalentes Grupo A X1--------------O Grupo B X2--------------O * Grupos equivalentes: alocação aleatória dos membros IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 43.
    Representação de procedimentos quase experimentais Comparação com grupo de controle não equivalente Grupo A O---------X--------O Grupo B O-------------------O Série temporal interrompida, único grupo Grupo A O---O---O---X---O---O---O Série temporal interrompida com grupo de controle (não alocado aleatoriamente) Grupo A O---O---O---X---O---O---O Grupo B O---O---O---O---O---O---O IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 44.
    Representação de procedimentos experimentais reais Pré-teste, pós-teste com grupo de controle Grupo A R-----O----X----O Grupo B R-----O----------O Apenas pós-teste com grupo de controle Grupo A R------X------O Grupo B R--------------O IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 45.
    Representação de procedimento experimental com único sujeito Desenho A-B-A • Múltiplas observações para um único indivíduo (baseline) • Aplicação da intervenção ou tratamento • Interrupção do tratamento seguida de novas observações O---O---O---O---X---X---X---O---O---O---O---O IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
  • 46.
    Referências • Creswell,capítulos 7 e 8 • Livros de estatística IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte