Metodologia da Pesquisa Científica
Aula 07: Táticas para Projeto de Experimentos
Professor: Alexandre Duarte
Web: http://a...
Louis Pasteur e a geração espontânea
Louis Pasteur e a geração espontânea
Louis Pasteur e a geração espontânea
Louis Pasteur e a geração espontânea
Louis Pasteur e a geração espontânea
Tipos de Hipóteses
• Existencial: Uma entidade ou fenômeno existe
• Composicional: Uma entidade ou fenômeno é
composta por...
Condições para inferência causal
• Correlação
• Direção
• Eliminação de
potencias
causas comuns
A B
A B
C
Eliminando causas comuns
• Controle: mantenha potencias causas comuns constantes
de forma que elas não possam afetar o res...
Exemplo: Avaliando um sistema de RI
• A Google conduziu recentemente um estudo laboratorial
para avaliar a satisfação de s...
Modelos causais alternativos
Docs mais
longos
Melhor
classificação
Maior
satisfação
Modelos causais alternativos
Docs mais
longos
Melhor
classificação
Maior
satisfação
Os desafios do projeto experimental
• Encontrar dependências causais entre as variáveis que
caracterizam o algoritmo, tare...
CONFOUNDING
Duas ou mais variáveis são ditas confounded
se elas variam juntas de uma forma que torna
impossível determinar...
Vantagens do projeto experimental em
Ciência da Computação
• Recuperação de estado: em vários cenários é possível
recriar ...
Desafios do projeto experimental em
Ciência da Computação
• Espaços amostrais muito grandes: sendo a “ciência do
artificia...
Terminologia
• Unidades (ou Sujeitos/Subjects)
– Entidades sujeito dos experimentos
• Tratamentos
– A experiência propriam...
Terminologia: Unidades ou “Subjects”
• Tipicamente, uma pessoa, um ecossistema, um pedaço
de chão ou alguma outra entidade...
Terminologia: Tratamento
• Tipicamente, uma situação, estresse ambiental, pesticida,
tipo de semente, ou alguma outra muda...
Validade experimental
• Validade por conclusão estatística
– Existe alguma correlação entre o tratamento e o
resultado
• V...
Ameaças à validade estatística
• Baixo poder estatístico
– Amostra de tamanho insuficiente para identificar
associações es...
Ameaças à validade interna
• Seleção
– Seleção não aleatória das unidades pode introduzir causas
comuns
• História
– Alter...
Ameaças à validade interna
• Atrito
– Perda ou descarte de sujeitos ao longo do
experimento
• Instrumentação
– Alteração n...
Ameaças à validade interna: Seleção
• A distribuição das unidades que passarão pelo tratamento
pode representar um efeito ...
Ameaças à validade interna: História
• A história de execução do experimento pode
influenciar a variável dependente
• Exem...
Ameaças à validade interna:
Maturação
• O amadurecimento ao longo do experimento é um
fator de confounding
• Exemplo:
– Co...
Ameaças à validade interna: Regressão
• Regressão em direção à média: tendência de casos com
valores extremos se moverem e...
Ameaças à validade interna: Atrito
• Perda ou descarte de sujeitos durante a execução do
experimento
• Exemplos:
– Durante...
Ameaças à validade interna:
Instrumentação
• A medição em si pode ser um fator de confounding.
• Exemplo:
– Sem o conhecim...
Ameaças à validade externa
• Interação da relação causal com
– Unidades
– Variações do tratamento
– Resultados
– Configura...
Ameaças à validade externa
• Exemplos
– Todos os experimentos de teste do nosso novo
protocolo e troca de mensagens foram ...
PROJETOS FATORIAIS
São projetos experimentais onde duas ou
mais variáveis independentes são variadas
sistematicamente para...
Projetos fatoriais
Dicas para projetos fatoriais
• Use um número pequeno de níveis para cada variável
independente
• Use um número pequeno de...
Próximos SlideShares
Carregando em…5
×

Táticas para Projeto de Experimentos

465 visualizações

Publicada em

Dicas e táticas para condução e validação de projetos experimentais

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
465
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
8
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Detecção do problema
    Veja com ceticismo projetos onde a unidades recebem diferentes tratamentos mas não são selecionadas aleatoriamente
  • Táticas para Projeto de Experimentos

    1. 1. Metodologia da Pesquisa Científica Aula 07: Táticas para Projeto de Experimentos Professor: Alexandre Duarte Web: http://alexandre.ci.ufpb.br/ensino/mpc
    2. 2. Louis Pasteur e a geração espontânea
    3. 3. Louis Pasteur e a geração espontânea
    4. 4. Louis Pasteur e a geração espontânea
    5. 5. Louis Pasteur e a geração espontânea
    6. 6. Louis Pasteur e a geração espontânea
    7. 7. Tipos de Hipóteses • Existencial: Uma entidade ou fenômeno existe • Composicional: Uma entidade ou fenômeno é composta por um número de componentes • Correlacional: Existe uma associação específica entre duas grandezas quantificáveis • Causal: Um determinado comportamento possui um mecanismo causador/explicador
    8. 8. Condições para inferência causal • Correlação • Direção • Eliminação de potencias causas comuns A B A B C
    9. 9. Eliminando causas comuns • Controle: mantenha potencias causas comuns constantes de forma que elas não possam afetar o resultado (Bacon, 1620) • Randomização: Varia de forma aleatória os níveis de potenciais causas comuns de forma que elas não possam afetar sistematicamente o resultado (Fisher, 1925) • Modelagem: Meça, modele e remova matematicamente o os efeitos de potenciais causas comuns (Rubin 1974; Spirtes, Glymour & Scheines 1993; Pearl 2000)
    10. 10. Exemplo: Avaliando um sistema de RI • A Google conduziu recentemente um estudo laboratorial para avaliar a satisfação de seus usuários com os resultados das buscas – Pesquisadores conceberam a hipótese de que documentos mais longos tem a classificados de forma mais precisa do que documentos mais curtos porque os seus tópicos podem ser estimados com maior precisão – Para testar o efeito causas eles dividiram aleatoriamente os usuários em dois grupos (A e B). O grupo A recebeu resultados de buscas sem qualquer alteração. O grupo B recebeu resultados alterados sistematicamente para favorecer documentos mais longos. • O grupo B reportou uma taxa de satisfação significativamente mais alta do que o grupo A • O que podemos concluir deste experimento?
    11. 11. Modelos causais alternativos Docs mais longos Melhor classificação Maior satisfação
    12. 12. Modelos causais alternativos Docs mais longos Melhor classificação Maior satisfação
    13. 13. Os desafios do projeto experimental • Encontrar dependências causais entre as variáveis que caracterizam o algoritmo, tarefa e ambiente... • Quando – Múltiplas variáveis influenciam o comportamento – Interações ocorrem entre os efeitos das variáveis independentes – Há confounding factors entre as variáveis dependentes e independentes – Existem variáveis ocultas – As amostras de dados têm tamanho limitado
    14. 14. CONFOUNDING Duas ou mais variáveis são ditas confounded se elas variam juntas de uma forma que torna impossível determinar qual variável é responsável pelo efeito observado
    15. 15. Vantagens do projeto experimental em Ciência da Computação • Recuperação de estado: em vários cenários é possível recriar estados arbitrários. Portanto, podemos reutilizar os mesmo “subjects” e isso diminui a necessidade de projetos aleatórios • Grandes amostras: vários experimentos na área podem criar amostras extremamente grandes. Portanto, dependemos menos de análise estatística para amostras reduzidas • Exceções – Experimentos com humanos/usuários (ex. Engenharia de software) – Experimentos in-place em infraestruturas específicas (ex. monitoramento de redes)
    16. 16. Desafios do projeto experimental em Ciência da Computação • Espaços amostrais muito grandes: sendo a “ciência do artificial” temos poucas limitações naturais sobre os objetivos de estudo. Desta forma, geralmente temos mais potenciais variáveis independentes e dependentes • Sistemas extremamente complexos: muitas vezes não fica claro como conjuntos de variáveis independentes devem ser variadas e quais variáveis dependentes devem ser medidas • Expectativa de controle: observadores externos acreditam que o controle sobre o comportamento torna inferências causais mais simples do que elas realmente são.
    17. 17. Terminologia • Unidades (ou Sujeitos/Subjects) – Entidades sujeito dos experimentos • Tratamentos – A experiência propriamente dita • Resultados – O resultado das experiências – Em computação são medidas do comportamento (ex. Precisão e cobertura) • Configuração – A situação específica em que a experiência é realiza e os resultados observados – Em computação representa os aspectos ambientais imutáveis
    18. 18. Terminologia: Unidades ou “Subjects” • Tipicamente, uma pessoa, um ecossistema, um pedaço de chão ou alguma outra entidade que recebe um tratamento • Em Computação: uma entidade observada em uma amostra que interage com um algoritmo ou sistema em avaliação para produzir um comportamento – O usuário de uma ferramenta de engenharia de software – Uma consulta submetida a um sistema de RI – A rede na qual um protocolo de roteamento é aplicado – Um conjunto de dados analisado por um algoritmo de aprendizagem de máquina
    19. 19. Terminologia: Tratamento • Tipicamente, uma situação, estresse ambiental, pesticida, tipo de semente, ou alguma outra mudança aplicada a uma unidade pelo experimentador • Em Computação: uma ou mais variações de um algoritmo, sistema ou ambiente aplicados a uma unidade – Diferentes métricas de similaridade em um sistema de RI – Diferentes protocolos de roteamento aplicados em uma rede – Diferentes algoritmos de aprendizagem aplicados em um conjunto de dados • Tratamentos representam variáveis independentes (aquelas cujo valor podemos manipular explicitamente)
    20. 20. Validade experimental • Validade por conclusão estatística – Existe alguma correlação entre o tratamento e o resultado • Validade interna – A correlação observada reflete de fato um relacionamento causal entre tratamento e resultado • Validade externa – As relações causais inferidas podem ser generalizadas para outras unidades, tratamentos e resultados
    21. 21. Ameaças à validade estatística • Baixo poder estatístico – Amostra de tamanho insuficiente para identificar associações estatísticas reais – Medições não confiáveis • Alta variância ou medição tendenciosa • Implementação não-confiável do tratamento – Variação não-intencional no funcionamento do tratamento • Variação externa na configuração – Alteração não-intencional no ambiente experimental
    22. 22. Ameaças à validade interna • Seleção – Seleção não aleatória das unidades pode introduzir causas comuns • História – Alterações externas em confounding com o tratamento • Maturação – Alterações internas em confounding com o tratamento • Regressão – A escolha de casos extremos leva a alterações que aparentam ser efeitos do tratamento mas são na verdade artefatos da própria seleção
    23. 23. Ameaças à validade interna • Atrito – Perda ou descarte de sujeitos ao longo do experimento • Instrumentação – Alteração não intencional no ambiente de medição
    24. 24. Ameaças à validade interna: Seleção • A distribuição das unidades que passarão pelo tratamento pode representar um efeito confounding • Exemplo: – Avaliamos nossa ferramenta comparando o código escrito por duas turmas do mesmo curso de engenharia de software ministradas no mesmo semestre onde uma das turmas usou a ferramenta e a outra não. • Sintoma: – Projetos experimentais onde os sujeitos recebem tratamentos diferentes mas não são selecionados aleatoriamente
    25. 25. Ameaças à validade interna: História • A história de execução do experimento pode influenciar a variável dependente • Exemplo: – Comparamos a acurácia da recuperação solicitando aos usuários que escrevessem suas próprias consultas e as submetessem ao Google. Depois eles escreveram consultas e submeteram ao nosso sistema. • Sintoma: – Fluxo de informação entre os tratamentos
    26. 26. Ameaças à validade interna: Maturação • O amadurecimento ao longo do experimento é um fator de confounding • Exemplo: – Comparamos nossos resultados com os de Smith e Jones (2003). Replicamos a avaliação deles utilizando uma massa de dados atual coletada de um sistema real. • Sintoma: – Resultados comparando tratamentos aplicados em momentos muito distantes no tempo
    27. 27. Ameaças à validade interna: Regressão • Regressão em direção à média: tendência de casos com valores extremos se moverem em direção à média em rodadas subsequentes devido a variações meramente aleatórias • Exemplo: – Selecionamos conjuntos de dados onde o algoritmo existente se comportou de forma extremamente ruim e então comparamos seu desempenho com o nosso algoritmo • Sintoma: – Projetos experimentais que focam valores extremos
    28. 28. Ameaças à validade interna: Atrito • Perda ou descarte de sujeitos durante a execução do experimento • Exemplos: – Durante a avaliação dos sistemas nossa solução travou com algumas entradas, que foram excluídas dos resultados finais. – Alguns estudantes desistiram do curso onde nossa ferramenta foi avaliada. Os resultados desses estudantes foram desconsiderados na avaliação final. • Sintoma: – Grandes perdas de sujeitos ou perdas desbalanceadas entre os diferentes grupos
    29. 29. Ameaças à validade interna: Instrumentação • A medição em si pode ser um fator de confounding. • Exemplo: – Sem o conhecimento os usuários, sua velocidade de codificação na IDE padrão foi gravada durante um mês. No meio deste período, sua velocidade também foi gravada com uma outra IDE em um ambiente laboratorial • Sintomas: – Técnicas de medição divergentes – Potencial para medições tendenciosas – Fluxo de informação entre os tratamentos
    30. 30. Ameaças à validade externa • Interação da relação causal com – Unidades – Variações do tratamento – Resultados – Configurações • Mediação dependente do contexto – Uma variável que media a relação causal pode não estar presente em outros contextos
    31. 31. Ameaças à validade externa • Exemplos – Todos os experimentos de teste do nosso novo protocolo e troca de mensagens foram realizados utilizando redes construídas de acordo com o algoritmo de Watts e Strogatz para redes de mundo pequeno. – Avaliamos nosso novo algoritmo de classificação utilizando 15 conjuntos de dados escolhidos aleatoriamente no repositório da UCI
    32. 32. PROJETOS FATORIAIS São projetos experimentais onde duas ou mais variáveis independentes são variadas sistematicamente para cobrir todas as possíveis combinações de valores.
    33. 33. Projetos fatoriais
    34. 34. Dicas para projetos fatoriais • Use um número pequeno de níveis para cada variável independente • Use um número pequeno de repetições para cada ponto no hipercubo fatorial • Use projetos-piloto para identificar – Efeitos principais: O comportamento de muitos sistemas computacionais é dominado por algumas poucas variáveis independentes (regra dos “95/5”) – Focar em determinar estas primeiro. – Intervalo de variação: Muitas variáveis independentes só produzem efeitos interessantes em uma faixa especifica de variação – focar em determinar tais faixas – Interações: Exame a interação entre as duas ou três variáveis independentes mais forte • Itere

    ×