2. OBJETIVOS
• Apresentar a terminologia básica de um projeto
de experimento
• Descrever o processo de elaboração de um
projeto de experimentos
• Apresentar os tipos mais comuns de projetos de
experimento
3. PRA QUE SERVE UM PROJETO
DE EXPERIMENTO?
• Comparar quantitativamente
• Sistemas
• Algoritmos
• Protótipos
• Modelos
• etc
4. TERMINOLOGIA
• Replicação: significa (re-)executar o experimento
com uma configuração específica de níveis para cada
um dos fatores
• Ajuda a identificar o impacto de erros
experimentais
• Interação: ocorre quando o efeito de um fator
depende do nível de um outro fator
5. TERMINOLOGIA
• Variável resposta: o que se desejar medir
• Fatores: variáveis de entrada do experimento
• O que pode ser controlado pelo experimentador
• Níveis: valores específicos que podem ser atribuídos a
cada fator
• Contínuos, discretos ou categóricos
6. PERGUNTAS BÁSICAS
• Você conhece as métricas?
• Você conhece os fatores?
• Você conhece os níveis?
7. VOCÊ SABE COMO PROJETAR UM
EXPERIMENTO QUE COMPROVE OU
REFUTE AS SUAS HIPÓTESES DE
PESQUISA?
8. OBJETIVOS DE UM PROJETO
DE EXPERIMENTO
• Obter a maior quantidade possível de informação sobre o objeto em
estudo
• Reduzir o trabalho/esforço de experimentação
• Tipicamente significa rodar o menor número de experimentos
possível
• Realizar mais experimentos não é bom (gasta-se tempo e recursos)
principalmente se for você o responsável por realizá-lo
• Facilitar a análise dos dados coletados
9. REPLICAÇÕES EXPERIMENTAIS
• O objeto em estudo será avaliado utilizando vários
níveis de diferentes fatores
• Um execução com uma configuração particular de
níveis recebe o nome de replicação
• Em geral, é necessário executar uma mesma replicarão
várias vezes para permitir a validação e verificação
estatística dos resultados
10. INTERAÇÃO ENTRE FATORES
• Alguns fatores têm efeitos completamente independentes um do
outro
• Exemplo: Duplique o nível de um fator e reduzirá o valor da
variável resposta à metade, independente dos demais fatores
• Mas os efeitos de alguns fatores dependem de outros fatores
• Fatores inter-atuantes
• A presença de fatores inter-atuantes complica o projeto experimental
11. ERROS COMUNS
• Ignorar o erro experimental
• Existência de parâmetros não controlados (não são fatores)
• Não isolamento dos efeitos de diferentes fatores
• Ignorar as interações entre os fatores
• Projetos que requerem um número excessivo de experimentos
• O que é um número excessivo ?
12. TIPOS DE PROJETOS DE
EXPERIMENTO
• Projeto simples
• Projeto fatorial completo
• Projeto fatorial fracionado
13. PROJETO SIMPLES
• Varie um fator de cada vez
• Assume que os fatores não interagem
• Usualmente requer mais esforço do que se pensa
• Tente evitar este tipo de projeto
14. PROJETO FATORIAL
COMPLETO
• Testa todas as combinações possíveis para os níveis dos
fatores
• Captura informação completa sobre a interação entre os
fatores
• É, no entanto, um trabalho enorme!!!
• Principalmente quando envolve fatores com muitos
níveis diferentes.
15. REDUZINDO O TRABALHO COM
UM PROJETO FATORIAL COMPLETO
• Reduza o número de níveis por fator
• Geralmente é uma boa opção
• Especialmente quando se sabe quais são os fatores mais importantes
• Usar mais níveis para fatores mais relevantes
• Reduza o número de fatores
• Simplifica o modelo experimental
• Cuidado para não remover fatores importantes
16. PROJETO FATORIAL
FRACIONADO
• Mede apenas uma combinação de níveis de fatores
• O projeto precisa ser cuidadosamente planejado para
capturar melhor qualquer interação que possa existir
• Menos trabalho porém pode apresentar maior imprecisão
• Muito útil quando se sabe a priori que alguns fatores não
interagem
17. PROJETO FATORIAL 2K
• Usado para determinar os efeitos de K fatores com 2 níveis
cada
• Em geral, este tipo de projeto é utilizado de maneira preliminar,
antes de um estudo mais detalhado
• Cada fator é representado por seus níveis máximo e mínimo
• Pode oferecer “insights" sobre as interações entre os vários
fatores
18. EFEITOS UNIDIRECIONAIS
• Efeitos que variam em uma única direção a medida
que variamos o nível de um fator
• Se essa característica é conhecia a priori, um projeto
fatorai 2k nos níveis máximo e mínimo pode ser ainda
mais útil
• Pode demonstrar claramente quando um fator tem
efeito significativo no experimento
19. PROJETO FATORIAL 22
• Dois fatores com dois níveis cada um
• Tipo mais simples de projeto de experimento
fatorial
• Exemplo para ilustrar a construção de um
experimento 2k
20. EXEMPLO
• Queremos avaliar o desempenho de uma máquina
de busca composta por N servidores;
• Podemos utilizar vários algoritmos de
escalonamento para distribuir as consultas
• O objetivo é completar as consultas no menor
tempo possível
21. FATORES E NÍVEIS
• Primeiro fator: número de núcleos de processamento
• Varia entre 8 e 64
• Segundo fator: algoritmos de escalonamento
• Varia entre aleatório e round-robin
• Outros fatores existem mas serão ignorados neste
exemplo
22. DEFININDO AS VARIÁVEIS
XA = -1 se 8 servidores
1 se 64 servidores
XB = -1 se escalonamento aleatório
1 se round-robin
23. DADOS AMOSTRAIS
• Execução única de uma mesma carga de consultas
nas duas configurações resultado nos seguintes
tempos de execução
8 serv. (-1) 64 serv. (1)
Aleatório (-1) 820 217
Round Robin
(1) 776 197
24. MODELO DE REGRESSÃO
Experimento I A B y
1 1 -1 -1 y1 = 820
2 1 1 -1 y2 = 217
3 1 -1 1 y3 = 766
4 1 1 1 y4 = 197
25. MODELO DE REGRESSÃO
• y = q0 + qAxA + qBxB + qABxAxB
• 820 = q0 - qA - qB + qAB
• 217 = q0 + qA - qB - qAB
• 776 = q0 - qA + qB - qAB
• 197 = q0 + qA + qB + qAB
28. SOLUÇÃO DAS EQUAÇÕES
• y = 502.5 - 295.5xA - 16xB + 6xAxB
• O número de servidores (A) tem maior impacto
no tempo de resposta, e faz uma diferença de
+-295.5
29. CALCULANDO A VARIAÇÃO
• Calcule a variância amostral de y
• Numerador é o SST (variação total)
• Outra fórmula, SST = 22qA2 + 22qB2 + 22qAB2
• Podemos utilizar isso para entender as causas da
variação
30. TERMOS NO SST
• 22qA2 é parte da variação explicada pelo efeito de
A (SSA)
• 22qB2 é parte da variação explicada pelo efeito de
B (SSB)
• 22qAB2 é parte da variação explicada pelo efeito da
interação de A e B (SSAB)
31. CALCULANDO A VARIAÇÃO
• SSA = 349281
• SSB = 1024
• SSAB = 144
• SST = 350449
• Podemos agora calcular a fração da variação total devida
a cata fator
32. FRAÇÕES DA VARIAÇÃO
• Fração explicada por A: 99.67%
• Fração explicada por B: 0.29%
• Fração explica pela interação entre A e B: 0.04%
• Quase toda a variação no resultado é consequência
do número de servidores. O escalonamento tem um
efeito desprezível na performance do sistema.
33. PROJETO FATORIAL 2K
• Usado para analisar os efeitos de k fatores, cada
um com 2 níveis
• Projetos 22 são um caso especial
34. EXEMPLO
• No projeto de um sistema, os três fatores de
maior impacto e que precisam ser estudados são :
tamanho do cache, tamanho da memória, e se 1
ou 2 processadores serão usados.
Fator Nível -1 Nível I
A: Tamanho da memória 1 GB 4 GB
B: Tamanho do Cache 128 KB 256 KB
C: # Processadores 1 2
35. EXEMPLO
• O projeto 23 e o desempenho medido em MIPS é
mostrado na tabela abaixo
1 GB 4 GB
Cache (KB) 1 Proc. 2 Proc. 1 Proc. 2 Proc.
128 14 46 22 58
256 10 50 34 86
36. SOLUÇÃO
I A B C Y
1 -1 -1 -1 14
1 1 -1 -1 22
1 -1 1 -1 10
1 1 1 -1 34
1 -1 -1 1 46
1 1 -1 1 58
1 -1 1 1 50
1 1 1 1 86
41. SOLUÇÃO
• A porção de variação explicada por cada fator e suas internações são:
• A: 800/4512 = 18%
• B: 200/4512 = 4%
• C: 3200/4512 = 71%
• AB: 200/4512 = 4%
• AC: 32/4512 = 1%
• BC: 72/4512 = 2%
• ABC: 8/4515 = 0% (pode ser ignorado)
42. PROJETOS FATORIAIS 2KR
• Projetos fatoriais 2k não permitem estimar os erros
experimentais já que nenhum experimento é repetido
• Se cada um dos 2k experimentos forem repetidos r vezes,
teremos 2kr observações
• Poderemos estimar erros experimentais
• Nos permite calcular o % da variação devido aos erros
experimentais
43. PROJETOS FATORIAIS 22R
• Assume o modelo genérico:
• y = q0 + qAxA + qBxB + qABxAxB + e
• Computar os efeitos (coeficientes) de forma similar
aos projetos 2k
44. EXEMPLO
Um sistema foi avaliado considerando 2 fatores (A e B) cada
um deles com dois níveis. Cada experimento foi repetido 3
vezes e os resultados são mostrados na tabela abaixo
I A B AB y Média(y)
1 -1 -1 1 (15, 18, 12) 15
1 1 -1 -1 (45, 48, 51) 48
1 -1 1 -1 (25, 28, 19) 24
1 1 1 1 (75, 75, 81) 77
164 86 38 20 Total
41 21.5 9.5 5 Total/4
q0 qA qB qAB
48. EXPLICANDO A VARIAÇÃO
• O fator A explica 5547/7032 = 78.9% da variação
• O fator B explica 1083/7032 = 15.4%
• A interação entre A e B explica 300/7032 = 4.3%
• Os demais 1.4% são inexplicados e atribuídos a
erros experimentais