Introdução ao Projeto de Experimentos

556 visualizações

Publicada em

Introdução ao projeto de experimentos fatoriais.

Publicada em: Educação
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
556
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
34
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Introdução ao Projeto de Experimentos

  1. 1. PROJETO DE EXPERIMENTOS Alexandre Duarte - http://alexandre.ci.ufpb.br/ensino/iad
  2. 2. OBJETIVOS • Apresentar a terminologia básica de um projeto de experimento • Descrever o processo de elaboração de um projeto de experimentos • Apresentar os tipos mais comuns de projetos de experimento
  3. 3. PRA QUE SERVE UM PROJETO DE EXPERIMENTO? • Comparar quantitativamente • Sistemas • Algoritmos • Protótipos • Modelos • etc
  4. 4. TERMINOLOGIA • Replicação: significa (re-)executar o experimento com uma configuração específica de níveis para cada um dos fatores • Ajuda a identificar o impacto de erros experimentais • Interação: ocorre quando o efeito de um fator depende do nível de um outro fator
  5. 5. TERMINOLOGIA • Variável resposta: o que se desejar medir • Fatores: variáveis de entrada do experimento • O que pode ser controlado pelo experimentador • Níveis: valores específicos que podem ser atribuídos a cada fator • Contínuos, discretos ou categóricos
  6. 6. PERGUNTAS BÁSICAS • Você conhece as métricas? • Você conhece os fatores? • Você conhece os níveis?
  7. 7. VOCÊ SABE COMO PROJETAR UM EXPERIMENTO QUE COMPROVE OU REFUTE AS SUAS HIPÓTESES DE PESQUISA?
  8. 8. OBJETIVOS DE UM PROJETO DE EXPERIMENTO • Obter a maior quantidade possível de informação sobre o objeto em estudo • Reduzir o trabalho/esforço de experimentação • Tipicamente significa rodar o menor número de experimentos possível • Realizar mais experimentos não é bom (gasta-se tempo e recursos) principalmente se for você o responsável por realizá-lo • Facilitar a análise dos dados coletados
  9. 9. REPLICAÇÕES EXPERIMENTAIS • O objeto em estudo será avaliado utilizando vários níveis de diferentes fatores • Um execução com uma configuração particular de níveis recebe o nome de replicação • Em geral, é necessário executar uma mesma replicarão várias vezes para permitir a validação e verificação estatística dos resultados
  10. 10. INTERAÇÃO ENTRE FATORES • Alguns fatores têm efeitos completamente independentes um do outro • Exemplo: Duplique o nível de um fator e reduzirá o valor da variável resposta à metade, independente dos demais fatores • Mas os efeitos de alguns fatores dependem de outros fatores • Fatores inter-atuantes • A presença de fatores inter-atuantes complica o projeto experimental
  11. 11. ERROS COMUNS • Ignorar o erro experimental • Existência de parâmetros não controlados (não são fatores) • Não isolamento dos efeitos de diferentes fatores • Ignorar as interações entre os fatores • Projetos que requerem um número excessivo de experimentos • O que é um número excessivo ?
  12. 12. TIPOS DE PROJETOS DE EXPERIMENTO • Projeto simples • Projeto fatorial completo • Projeto fatorial fracionado
  13. 13. PROJETO SIMPLES • Varie um fator de cada vez • Assume que os fatores não interagem • Usualmente requer mais esforço do que se pensa • Tente evitar este tipo de projeto
  14. 14. PROJETO FATORIAL COMPLETO • Testa todas as combinações possíveis para os níveis dos fatores • Captura informação completa sobre a interação entre os fatores • É, no entanto, um trabalho enorme!!! • Principalmente quando envolve fatores com muitos níveis diferentes.
  15. 15. REDUZINDO O TRABALHO COM UM PROJETO FATORIAL COMPLETO • Reduza o número de níveis por fator • Geralmente é uma boa opção • Especialmente quando se sabe quais são os fatores mais importantes • Usar mais níveis para fatores mais relevantes • Reduza o número de fatores • Simplifica o modelo experimental • Cuidado para não remover fatores importantes
  16. 16. PROJETO FATORIAL FRACIONADO • Mede apenas uma combinação de níveis de fatores • O projeto precisa ser cuidadosamente planejado para capturar melhor qualquer interação que possa existir • Menos trabalho porém pode apresentar maior imprecisão • Muito útil quando se sabe a priori que alguns fatores não interagem
  17. 17. PROJETO FATORIAL 2K • Usado para determinar os efeitos de K fatores com 2 níveis cada • Em geral, este tipo de projeto é utilizado de maneira preliminar, antes de um estudo mais detalhado • Cada fator é representado por seus níveis máximo e mínimo • Pode oferecer “insights" sobre as interações entre os vários fatores
  18. 18. EFEITOS UNIDIRECIONAIS • Efeitos que variam em uma única direção a medida que variamos o nível de um fator • Se essa característica é conhecia a priori, um projeto fatorai 2k nos níveis máximo e mínimo pode ser ainda mais útil • Pode demonstrar claramente quando um fator tem efeito significativo no experimento
  19. 19. PROJETO FATORIAL 22 • Dois fatores com dois níveis cada um • Tipo mais simples de projeto de experimento fatorial • Exemplo para ilustrar a construção de um experimento 2k
  20. 20. EXEMPLO • Queremos avaliar o desempenho de uma máquina de busca composta por N servidores; • Podemos utilizar vários algoritmos de escalonamento para distribuir as consultas • O objetivo é completar as consultas no menor tempo possível
  21. 21. FATORES E NÍVEIS • Primeiro fator: número de núcleos de processamento • Varia entre 8 e 64 • Segundo fator: algoritmos de escalonamento • Varia entre aleatório e round-robin • Outros fatores existem mas serão ignorados neste exemplo
  22. 22. DEFININDO AS VARIÁVEIS XA = -1 se 8 servidores 1 se 64 servidores XB = -1 se escalonamento aleatório 1 se round-robin
  23. 23. DADOS AMOSTRAIS • Execução única de uma mesma carga de consultas nas duas configurações resultado nos seguintes tempos de execução 8 serv. (-1) 64 serv. (1) Aleatório (-1) 820 217 Round Robin (1) 776 197
  24. 24. MODELO DE REGRESSÃO Experimento I A B y 1 1 -1 -1 y1 = 820 2 1 1 -1 y2 = 217 3 1 -1 1 y3 = 766 4 1 1 1 y4 = 197
  25. 25. MODELO DE REGRESSÃO • y = q0 + qAxA + qBxB + qABxAxB • 820 = q0 - qA - qB + qAB • 217 = q0 + qA - qB - qAB • 776 = q0 - qA + qB - qAB • 197 = q0 + qA + qB + qAB
  26. 26. SOLUCIONANDO PARA OS QI'S • q0 = (y1 + y2 + y3 + y4) / 4 • qA = (-y1 + y2 - y3 + y4) / 4 • qB = (-y1 - y2 + y3 + y4) / 4 • qAB = (y1 - y2 - y3 + y4) / 4
  27. 27. SOLUÇÃO DAS EQUAÇÕES • q0 = (820 + 217 + 776 + 197) / 4 = 502.5 • qA = (-820 + 217 - 776 + 197) / 4 = -295.5 • qB = (-820 - 217 + 776 + 197) / 4 = -16 • qAB = (820 - 217 - 776 + 197) / 4 • Assim, y = 502.5 - 295.5xA - 16xB + 6xAxB
  28. 28. SOLUÇÃO DAS EQUAÇÕES • y = 502.5 - 295.5xA - 16xB + 6xAxB • O número de servidores (A) tem maior impacto no tempo de resposta, e faz uma diferença de +-295.5
  29. 29. CALCULANDO A VARIAÇÃO • Calcule a variância amostral de y • Numerador é o SST (variação total) • Outra fórmula, SST = 22qA2 + 22qB2 + 22qAB2 • Podemos utilizar isso para entender as causas da variação
  30. 30. TERMOS NO SST • 22qA2 é parte da variação explicada pelo efeito de A (SSA) • 22qB2 é parte da variação explicada pelo efeito de B (SSB) • 22qAB2 é parte da variação explicada pelo efeito da interação de A e B (SSAB)
  31. 31. CALCULANDO A VARIAÇÃO • SSA = 349281 • SSB = 1024 • SSAB = 144 • SST = 350449 • Podemos agora calcular a fração da variação total devida a cata fator
  32. 32. FRAÇÕES DA VARIAÇÃO • Fração explicada por A: 99.67% • Fração explicada por B: 0.29% • Fração explica pela interação entre A e B: 0.04% • Quase toda a variação no resultado é consequência do número de servidores. O escalonamento tem um efeito desprezível na performance do sistema.
  33. 33. PROJETO FATORIAL 2K • Usado para analisar os efeitos de k fatores, cada um com 2 níveis • Projetos 22 são um caso especial
  34. 34. EXEMPLO • No projeto de um sistema, os três fatores de maior impacto e que precisam ser estudados são : tamanho do cache, tamanho da memória, e se 1 ou 2 processadores serão usados. Fator Nível -1 Nível I A: Tamanho da memória 1 GB 4 GB B: Tamanho do Cache 128 KB 256 KB C: # Processadores 1 2
  35. 35. EXEMPLO • O projeto 23 e o desempenho medido em MIPS é mostrado na tabela abaixo 1 GB 4 GB Cache (KB) 1 Proc. 2 Proc. 1 Proc. 2 Proc. 128 14 46 22 58 256 10 50 34 86
  36. 36. SOLUÇÃO I A B C Y 1 -1 -1 -1 14 1 1 -1 -1 22 1 -1 1 -1 10 1 1 1 -1 34 1 -1 -1 1 46 1 1 -1 1 58 1 -1 1 1 50 1 1 1 1 86
  37. 37. SOLUÇÃO I A B C AB AC BC ABC Y 1 -1 -1 -1 1 1 1 -1 14 1 1 -1 -1 -1 -1 1 1 22 1 -1 1 -1 -1 1 -1 1 10 1 1 1 -1 1 -1 -1 -1 34 1 -1 -1 1 1 -1 -1 1 46 1 1 -1 1 -1 1 -1 -1 58 1 -1 1 1 -1 -1 1 -1 50 1 1 1 1 1 1 1 1 86
  38. 38. SOLUÇÃO I A B C AB AC BC ABC Y 1 -1 -1 -1 1 1 1 -1 14 1 1 -1 -1 -1 -1 1 1 22 1 -1 1 -1 -1 1 -1 1 10 1 1 1 -1 1 -1 -1 -1 34 1 -1 -1 1 1 -1 -1 1 46 1 1 -1 1 -1 1 -1 -1 58 1 -1 1 1 -1 -1 1 -1 50 1 1 1 1 1 1 1 1 86 320 80 40 160 40 16 24 8 Total 40 10 5 20 5 2 3 1 Total/8
  39. 39. SOLUÇÃO I A B C AB AC BC ABC Y 1 -1 -1 -1 1 1 1 -1 14 1 1 -1 -1 -1 -1 1 1 22 1 -1 1 -1 -1 1 -1 1 10 1 1 1 -1 1 -1 -1 -1 34 1 -1 -1 1 1 -1 -1 1 46 1 1 -1 1 -1 1 -1 -1 58 1 -1 1 1 -1 -1 1 -1 50 1 1 1 1 1 1 1 1 86 320 80 40 160 40 16 24 8 Total 40 10 5 20 5 2 3 1 Total/8 Média qA qB qC qAB qAC qBC qABC
  40. 40. SOLUÇÃO 40 10 5 20 5 2 3 1 Total/8 Média qA qB qC qAB qAC qBC qABC SST = 23 (qA2+qB2+qC2+qAB2+qAC2+qBC2+qABC2) SST = 8(102+52+202+52+22+32+12) SST = 800 + 200 + 3200 + 200 +32 + 72 + 8 = 4512
  41. 41. SOLUÇÃO • A porção de variação explicada por cada fator e suas internações são: • A: 800/4512 = 18% • B: 200/4512 = 4% • C: 3200/4512 = 71% • AB: 200/4512 = 4% • AC: 32/4512 = 1% • BC: 72/4512 = 2% • ABC: 8/4515 = 0% (pode ser ignorado)
  42. 42. PROJETOS FATORIAIS 2KR • Projetos fatoriais 2k não permitem estimar os erros experimentais já que nenhum experimento é repetido • Se cada um dos 2k experimentos forem repetidos r vezes, teremos 2kr observações • Poderemos estimar erros experimentais • Nos permite calcular o % da variação devido aos erros experimentais
  43. 43. PROJETOS FATORIAIS 22R • Assume o modelo genérico: • y = q0 + qAxA + qBxB + qABxAxB + e • Computar os efeitos (coeficientes) de forma similar aos projetos 2k
  44. 44. EXEMPLO Um sistema foi avaliado considerando 2 fatores (A e B) cada um deles com dois níveis. Cada experimento foi repetido 3 vezes e os resultados são mostrados na tabela abaixo I A B AB y Média(y) 1 -1 -1 1 (15, 18, 12) 15 1 1 -1 -1 (45, 48, 51) 48 1 -1 1 -1 (25, 28, 19) 24 1 1 1 1 (75, 75, 81) 77 164 86 38 20 Total 41 21.5 9.5 5 Total/4 q0 qA qB qAB
  45. 45. ESTIMANDO ERROS EXPERIMENTAIS I A B AB y Média(y) e 1 -1 -1 1 (15, 18, 12) 15 (0, 3,-3) 1 1 -1 -1 (45, 48, 51) 48 (-3, 0, 3) 1 -1 1 -1 (25, 28, 19) 24 (1, 4, -5) 1 1 1 1 (75, 75, 81) 77 (-2, -2, 4) SSE = 0 + 9 + 9 + 9 + 0 + 9 + 1 +16 + 25 +4 +4 +16 = 102
  46. 46. EXPLICANDO A VARIAÇÃO • SST = SSA + SSB + SSAB + SSE • SSA = 22rqA2 • SSB = 22rqB2 • SSAB = 22rqAB2
  47. 47. EXPLICANDO A VARIAÇÃO • SSA = 22rqA2 = 4*3*(21.5)2 = 5547 • SSB = 22rqB2 = 4*4*(9.5)2 = 1083 • SSAB = 22rqAB2 = 4*3*(5)2 = 300 • SST =5547 + 1083 + 300 + 102 = 7032
  48. 48. EXPLICANDO A VARIAÇÃO • O fator A explica 5547/7032 = 78.9% da variação • O fator B explica 1083/7032 = 15.4% • A interação entre A e B explica 300/7032 = 4.3% • Os demais 1.4% são inexplicados e atribuídos a erros experimentais

×