1) O documento apresenta um curso sobre avaliação de desempenho de serviços na web. 2) É discutido o que é um SLA e como definir suas métricas e níveis de serviço. 3) São revisados protocolos e modelos de interação para serviços na web como HTTP e o modelo cliente-servidor.

1. AVALIAÇÃO
DE
DESEMPENHO
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

2. APRESENTAÇÃO
Rafael Sommerfeld
Consultor : 25 anos em Tecnologia da Informação
Formação em Gestão de Ambientes Internet
MBA de Marketing pela FGV
Experiência : Ambev, Animus, Dominal, Dedalus,
Metrored, Ibam, Skol, ...
Treinamentos : Bndes, Embratel, FGV, Unesa, etc.
Publicação de livros e artigos especializados
rafasommer@hotmail.com
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

3. E VOCES ??
APRESENTEM-SE
Nome
Área / Função
Expectativas com o curso
Hobby
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

4. BIBLIOGRAFIA
PLANEJAMENTO DE CAPACIDADE
PARA SERVIÇOS NA WEB
Métricas, Modelos e Métodos
Daniel A.Menascé
Virgilio A.F. Almeida
Editora Campus, 2003
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

5. NOSSO
OBJETIVO
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

6. AVALIAÇÃO DE DESEMPENHO
Plano de Aula
- SLA
- Protocolos e modelos de interação para serviços na Web
- Quando o desempenho da Web é um problema
- Conceitos Básicos de Desempenho
- Aspectos do desempenho de serviços na Web
- Planejando a Capacidade dos Serviços na Web
- Modelo de Carga
- Modelo de Desempenho
- Modelo de Custo
- Benchmarks e testes de desempenho
- Disponibilidade dos serviços na Web
- Medição do Desempenho
- Conclusão
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

7. SLA
SERVICE LEVEL
AGREEMENT
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

8. SLA
SERVICE LEVEL AGREEMENT
O QUE É
Este “Acordo do nível de serviço” é um contrato
entre duas partes que especifica performance e
qualidade de um serviço.
Determina o que acontece quando as métricas
não são atendidas.
É o instrumento formal para cobrança/prestação
de contas dos níveis de serviços contratados.
SLA não é somente externo. Várias empresas
atualmente utilizam SLA interno.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

9. SLA
SERVICE LEVEL AGREEMENT
Quem Precisa
Análise de Risco
Avaliação de custo de indisponibilidade em relação ao
negócio
Definir claramente os limites suportados com relação
aos serviços necessários
Deve ser definido na fase do projeto
Considerar processos e responsabilidade da
própria empresa
Melhor SLA = Maior custo
Maior SLA = Maior comprometimento das partes
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

10. SLA
SERVICE LEVEL AGREEMENT
Definindo o tipo de serviço
Web Site
E-mail / workflow
Banco de Dados
ERP
Rede
Infra-Estrutura
Backup-Restore
Comunicação
Administração
Operação
Suporte
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

11. SLA
SERVICE LEVEL AGREEMENT
Detalhando o Serviço
Arquitetura de Software e Hardware para suportar
o serviço :
Redundância
Replicação / Duplicação
Homologação
Arquitetura de redes Lan e Wan
Índices de desempenho
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

12. SLA
SERVICE LEVEL AGREEMENT
Definindo o Escopo
Identificar dependências externas
Aplicação
Acessos a sistemas externos
Comunicação
SLA de terceiros
Fatores não controláveis
Taxa de transferência / latência via internet
Erro na aplicação
Outros ...
Definindo acordo operacional (responsabilidades,
quem faz o que quando)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

13. SLA
SERVICE LEVEL AGREEMENT
Definindo o acesso ao serviço
Via Internet
Sem garantia de desempenho
Insegura
SLA de terceiros
Via linha privada
Com garantia de desempenho
“segura”
Via VPN / Internet
Sem garantia de desempenho
“segura”
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

14. SLA
SERVICE LEVEL AGREEMENT
Definindo as Métricas
O que medir ?
Definir acessos/transações de referência
Definir métricas
Tempo de resposta (segundos)
Disponibilidade (percentual)
Taxa de backup/recovery (GB/s)
Tempo de atendimento (minutos)
Taxa de transferência (Kbps)
Como Medir ?
Através de acesso externo
Logs de aplicações
Ferramentas de gerenciamento
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

15. SLA
SERVICE LEVEL AGREEMENT
Definindo os níveis de Serviço
Baseados nas métricas estabelecidas
Separação por serviço/sub-serviço
Indicar máximo total e por ocorrência
Exemplo : Disponibilidade
Número máximo de paradas x tempo por parada
Max. De indisponibilidade no período de referência
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

16. SLA
SERVICE LEVEL AGREEMENT
Condições Gerais
Penalidades em caso de não cumprimento
Definir faixas de desconto/penalidade por quebra de SLA
Definir condições especiais. Ex.: Lucros cessantes
Prazo de referência e medição (mês, ano, etc.)
Disponibilidades diferentes para prazos diferentes
4 horas/mês = 99,44%
4 horas/ano = 99,95%
Definir condições para serviços/níveis adicionais
Período de correção/observação após mudança
(reenquadramento)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

17. SLA
SERVICE LEVEL AGREEMENT
Contrapartida do Cliente
Seguir procedimentos
Respeitar prazos
Respeitar limites dos processos
Contribuir para a segurança
Programar e informar alterações de sistemas
Contribuir para a estabilidade do ambiente
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

18. SLA
SERVICE LEVEL AGREEMENT
SLM – Service Level Management
É todo o processo de gerenciamento do acordo
definido no SLA.
É a definição de procedimentos, ações e
procedimentos para garantia da execução do SLA
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

19. PROTOCOLOS E MODELOS
DE INTERAÇÃO PARA
SERVIÇOS NA WEB
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

20. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Redes
A evolução dos ambientes em TI
O paradigma Cliente-Servidor
LAN (local) e WAN (wide)
Arpanet, originada em 1970
A origem da Internet (1983) divisão da Arpanet e
Milnet (militar).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

21. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolos
A comunicação entre 2 computadores ou 2
processos por uma rede de computadores é
controlada por um conjunto de regras, chamado
PROTOCOLO.
Suas principais funções são : endereçamento,
roteamento, detecção e recuperação de erro,
controle de sequência e controle do fluxo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

22. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolos
Camada de NFS
Sessão HTTP FTP SMTP TELNET DNS SNMP
RPC
Camada de TCP UDP
transporte
Camada de IP
Rede
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

23. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolo cliente servidor
Processo Cliente Processo Servidor
Requisição
Resposta
TCP TCP
IP IP
Camada de Camada de
Link de dados Link de dados
- Estações - Servidor (++)
- Faz requisições - Executa funcionalidades
- Executa parte da - Não iniciam uma transação,
aplicação aguardando requisições
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

24. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Servidores e Processos
1
1 1
2
2 2
Fila Servidor Fila N
N de N de
Requisições Requisições
threads do
clientes clientes servidor
Servidor com Único Processo Servidor com Diversos Processos
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

25. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Estudo de caso 1 - Bits, Bytes e Tempos...
1 Byte = Código de 0 a 255, representado por 8 bits
1 Kbyte = 1.024 bytes
1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte
Links de conexão, normalmente se medem em kbps
ou mbps (kilobits e megabits) por segundo
Para achar as taxas a partir de conversão de bytes,
deve-se sempre multiplicar por 8 (byte -> bit)
Quantos segundos consumirá a transferência de 50
figuras de 10 Kb em um link de 128kbps ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

26. PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Estudo de caso 1 - Bits, Bytes e Tempos...
1 Byte = Código de 0 a 255, representado por 8 bits
1 Kbyte = 1.024 bytes
1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte
Links de conexão, normalmente se medem em kbps
ou mbps (kilobits e megabits) por segundo
Para achar as taxas a partir de conversão de bytes,
deve-se sempre multiplicar por 8 (byte -> bit)
Quantos segundos consumirá a transferência de 50
figuras de 10 Kb em um link de 128kbps ?
= 31,25 segundos (50 x 10 x 8) / 128
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

27. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

28. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Cenário
A web é um organismo vivo, em constante expansão
Principais fatores para crescimento dos serviços web :
Migração de serviços tradicionais para Internet
Criação de novos serviços virtuais
Benefícios de escala e custo
Acessibilidade
Categorias : Colaboração
Informativas
Comunidades on Line
Interativas
Portais
Transacional
Fluxo de Trabalho
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

29. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
Planejamento de aumento progressivo de carga 10, 20 e 30%
Consulta é a transação crítica
4 a 6 segundos perda de 60% transações
Mais de 6 segundos perda de 95% transações
Comissão por transação = R$ 360
Atual + Atual + Atual +
Planejamento de Capacidade Atual 10% 20% 30%
Consultas por dia 92.448 101.693 110.938 120.182
Tempo de Resposta (s) 2,9 3,8 5,7 11,3
Perda nas vendas (%) 0 0
Vendas por dia (afetada) 4.622 5.084
Receita diária não afetada (em R$ 1.000) 1.664 1.830
Receitas diárias afetadas (em R$ 1.000) 1.664 1.830
Receita diária perdida (em R$ 1.000) - -
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

30. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
O web site suportará o aumento de carga e preservará o
tempo de resposta abaixo dos quatro segundos ?
Se não suportar, em que ponto sua capacidade estará
saturada e por que ?
Quantos reais podem ser perdidos diariamente se o web site
saturar quando a carga aumentar ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

31. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
Planejamento de aumento progressivo de carga 10, 20 e 30%
Consulta é a transação crítica
4 a 6 segundos perda de 60% transações
Mais de 6 segundos perda de 95% transações
Comissão por transação = R$ 360
Atual + Atual + Atual +
Planejamento de Capacidade Atual 10% 20% 30%
Consultas por dia 92.448 101.693 110.938 120.182
Tempo de Resposta (s) 2,9 3,8 5,7 11,3
Perda nas vendas (%) 0 0 60 95
Vendas por dia (afetada) 4.622 5.084 2.219 300
Receita diária não afetada (em R$ 1.000) 1.664 1.830 1.997 2.163
Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 799 108
Receita diária perdida (em R$ 1.000) - - 1.198 2.055
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

32. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
O web site suportará o aumento de carga e preservará o
tempo de resposta abaixo dos quatro segundos ?
Não
Se não suportar, em que ponto sua capacidade estará
saturada e por que ?
Com 20% de aumento da carga. Pois a consulta ultrapassa 4
segundos e provoca desistência dos clientes.
Quantos reais podem ser perdidos diariamente se o web site
saturar quando a carga aumentar ?
Após 30% de crescimento haverá perdas de mais de R$ 2
milhões
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

33. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Migração de Mainframe para ambiente cliente
servidor
500.000 veículos disponíveis
3.500 lojas espalhadas pelo território nacional
360.000 reservas/dia
60% das reservas ocorrem em um período de
pico de 12 horas (216.000 reservas)
Reservas por hora no pico = 18.000
Reservas por segundo no pico = 5
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

34. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Motivos para a migração :
Redução de custos de manutenção do
mainframe
Criar uma aplicação mais fácil para o usuário
Inserção de interface gráfica para aumento da
produtividade
Melhorar a satisfação do cliente.
Expectativas
Os projetistas do novo ambiente precisam
garantir no mínimo o mesmo desempenho da
plataforma anterior...
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

35. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Que perguntas responder ?
Que tipo de servidores devem ser usados nas lojas ?
Número e tipo de processador, número e tipo de disco,
sistema operacional, etc.
Deve ser utilizado um software de monitoramento de
transações ?
Que tipo de servidores e sistemas de armazenamento
serão usados na central de reservas ? Tipo e numero de
processadores, quantidade de memória, número e tipo de
discos, banco de dados, sistema operacional.
Quais tecnologias de rede contemplarão o projeto ? Quais
os tamanhos necessários ?
Cuidados com as “simpatias” pessoais...
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

36. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Ambiente desejado
Lojas de entrega de carros
Loja Loja
Estações Estações
de de
trabalho trabalho
dos dos
atendentes atendentes
Servidor Servidor
Central de
Reserva
Estações de Carros
de
trabalho
dos REDE
agentes
de reserva REMOTA
(WAN)
Servidor de BD
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

37. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
A Central de Reservas lida com 2 tipos de transações :
Reservas e Pedidos de Assistência
Tempo médio não deve exceder a 2 e 3 segundos
Nas lojas, as 2 transações não devem exceder 3 segundos
Com base na distribuição abaixo, identifique os
componentes na estrutura :
Desmembramento do tempo de resposta para transações de reserva enviadas pelas lojas
Porcentagem
Componente do tempo de resposta do total (%)
Estação de trabalho do cliente nas lojas de aluguel de carro 5
LAN nas lojas de aluguel de carros 5
Servidor de aplicação na loja de aluguel de carros 25
Rede Remota 10
LAN na central de reservas 4
Servidor de banco de dados na central de reservas 51
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

38. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Distribuição do tempo de resposta por recurso na transação
Lojas de entrega de carros
5% Loja Loja
Estações Estações
de
trabalho
5% de
trabalho
dos dos
atendentes atendentes
25%Servidor Servidor
Central de
Reserva
Estações de Carros
de
trabalho
dos
4% GARGALO
REDE
agentes
de reserva 10% é o componente
REMOTA
51% onde a transação
(WAN)
Servidor de BD gasta a maior parte
do seu tempo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

39. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
GARGALO
É o componente onde a transação
gasta a maior parte do seu tempo.
As melhorias no tempo de resposta são
limitadas pelo tempo gasto no gargalo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

40. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
O aumento no tempo de resposta não é linear com o
aumento de carga
Quando qualquer dos níveis de serviço for violado diz-se
que a capacidade do sistema atingiu o ponto de Saturação.
Ao identificar que haverá saturação, deve-se justificar em
que componente ela ocorre e que ação deve ser tomada
Tempos de resposta(s) para diversos valores de carga
Carga Carga Carga Carga
Transação atual atual + 5% atual + 10% atual + 15%
Reserva na loja 1,28 1,67 2,45 5,06
Assistência na estrada 0,64 0,87 1,37 3,20
Entrega de carro 0,64 0,76 0,94 1,23
Reserva por telefone 0,85 1,16 1,82 4,24
Carga = taxa média de chegada da transação em tps (transações p/segundo)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

41. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Tempo de resposta Versus Carga
6,00
5,00
Tempo de Resposta (s)
4,00
3,00
2,00
1,00
0,00
Carga atual Carga atual + 5% Carga atual + 10% Carga atual + 15%
Carga (tps)
Reserva na loja Assistência na estrada Entrega de carro Reserva por telefone
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

42. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Conceito de Planejamento de Capacidade
Processo de prever quando os níveis futuros de
carga saturarão o sistema e determinar o modo
mais econômico de adiar a saturação do sistema
ao máximo possível
A previsão precisa considerar a evolução da carga
de trabalho, devido às aplicações existentes e
novas, e os níveis de serviços desejados
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

43. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
O que pode ocasionar a falta do Planejamento
de Capacidade
Indisponibilidade do serviço
Desempenho abaixo do necessário para operar
Perdas financeiras (Ex. Us$ 6,5 milhões por hora
nas transações em cartões de crédito)
Insatisfação dos clientes
Atinge a imagem da empresa
Demora para recuperação. Os procedimentos de
expansão nem sempre são rápidos.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

44. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 4 – Intranet de uma empresa
60.000 funcionários, interligados pela intranet, que permite
treinamento, rh, despesas de viagem, help desk (atendimento de
dúvidas) e notícias.
Help Desk é a principal aplicação
10% dos funcionários enviam uma requisição ao Help Desk, em
média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de
14:00 as 16:00 hs.
A empresa deseja mudar o SO dos desktops e isso deve dobrar
o tempo de resposta.
(60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico
Qual número de requisições/segundo atual no pico ?
Quais possíveis alternativas de upgrade do ambiente ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

45. QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 4 – Intranet de uma empresa
60.000 funcionários, interligados pela intranet, que permite
treinamento, rh, despesas de viagem, help desk (atendimento de
dúvidas) e notícias.
Help Desk é a principal aplicação
10% dos funcionários enviam uma requisição ao Help Desk, em
média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de
14:00 as 16:00 hs.
A empresa deseja mudar o SO dos desktops e isso deve dobrar
o tempo de resposta.
(60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico
Qual número de requisições/segundo atual no pico ?
(4.200 / 4 / 3.600) = 0,29 requisições/segundo
Quais possíveis alternativas de upgrade do ambiente ?
Troca de CPU, Inclusão de mais CPU´s, colocação de mais discos,
divisão de carga de trabalho, entre outras.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

46. CONCEITOS BÁSICOS
DE DESEMPENHO
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

47. CONCEITOS BÁSICOS
DE DESEMPENHO
Introdução
A Infraestrutura que suporta a Internet se compõe
de diferentes tipos de hardware : servidores,
estações, dispositivos de armazenamento, Lans,
Wans, balanceadores de carga e roteadores.
Os vários tipos de processos de software
compartilham esses recursos, gerando filas.
Uma requisição na web gasta parte de seu tempo
recebendo serviços dos recursos e outra parte
nestas filas.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

48. CONCEITOS BÁSICOS
DE DESEMPENHO
Filas e Disputa
A representação a seguir mostra um recurso
enfileirando pedidos. O circulo representa um
recurso (disco, rede, roteador, processador, etc)
Fila de
Recurso
Espera
Fila de
Ao lado, um exemplo de Espera
fila para recursos múltiplos. N recursos
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

49. CONCEITOS BÁSICOS
DE DESEMPENHO
Desmembramento do tempo de resposta
Tempo de Resposta
Tempo de Rede Tempo do Web Site
Tempo de
Latência Transmissão
Tempo de Serviço Tempo de Fila
CPU Discos LANs CPU Discos LANs
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

50. CONCEITOS BÁSICOS
DE DESEMPENHO
A idéia geral do tempo de resposta
Tempo de resposta é todo o tempo da transação
web. Se compõe de tempo de rede e tempo no
web site.
Tempo de transmissão é o total do tempo de
transferência dos bytes trocados entre o navegador
e o web site.
O tempo gasto por um pedido aguardando para ter
acesso a um recurso é tempo de espera.
Tempo de serviço é o período de tempo durante o
qual um pedido está recebendo serviço de um
recurso.
Um mesmo pedido pode visitar um recurso várias
vezes (ex. I/O de disco, acesso a CPU).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

51. CONCEITOS BÁSICOS
DE DESEMPENHO
Comparando tempos de Serviços por recurso
Discos – tempo relativamente alto comparado à
memória real. Sistemas de armazenamento
replicáveis.
Processadores – Grande desempenho, porém
elevado nível de requisição.
Redes – a composição das diferentes topologias e
tecnologias utilizadas irão determinar a flutuação do
desempenho (vide quadro seguinte).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

52. CONCEITOS BÁSICOS
DE DESEMPENHO
Diferentes Tempos de redes envolvidos
Lan 3 :
Token Ring
Cliente
16 Mbps
Roteador 1 Roteador 2
Lan 2 :
FDDI
100 Mbps
Lan 2 :
Ethernet
10 Mbps
Servidor Web
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

53. CONCEITOS BÁSICOS
DE DESEMPENHO
Medidas de desempenho nos sistemas Web
Tempo de Resposta – medida de desempenho de
interesse para o usuário.
Taxa de Processamento – mais interessante aos
administradores de sistemas, reflete o número de
transações realizadas por unidade de tempo (em
servidores web, normalmente é HTTPos/s).
Disponibilidade – reflete a fração de tempo que um
site está em operação (manutenções programadas,
paradas por falha,etc.).
Custo – reflete custos envolvidos por unidade de
processamento (ex. TPC-C).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

54. ASPECTOS DO
DESEMPENHO DE
SERVIÇOS NA WEB
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

55. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Fatores de impacto no desempenho
Imprevisibilidade no crescimento de determinados
recursos.
Variação do tamanho (e carga) dos objetos
utilizados em diferentes páginas/sites.
Existência de grande número de robôs de coleta e
teste na rede.
Seis tópicos a examinar analisando desempenho :
conteúdo, software do servidor, hardware,
aplicação, largura de banda da rede e infra-
estrutura.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

56. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Servidores Web
Os servidores são a peça principal no
cenário da Internet.
Servidor de web
Servidor de transação
Servidor proxy
Servidor de cache
Servidor de gateway sem fio
Servidores espelhados
Servidores de e-mail
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

57. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Elementos de um servidor Web
Servidor
HTTP (sessão) Conteúdo :
Conteúdo :
- HTML
TCP (transp) / - Gráficos
IP (rede) • HTML
- Áudio
• Gráficos
Sistema - Vídeo
• Áudio
Operacional - Outros
• Vídeo
• Outros
HARDWARE
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

58. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
De Servidores a Serviços
Os usuários não enxergam servidores, e sim
serviços na Internet
Os serviços podem ser ativados através de
um requerimento de um browser, ou mesmo
de uma aplicação específica
Um serviço pode ser composto de diferentes
tarefas executadas em diversos servidores
O conjunto de servidores relacionados a um
serviço estará diretamente relacionado ao
desempenho daquele serviço.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

59. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Percepção do Desempenho (lembrando)
Usuário : Tempo de resposta Rápido !
Gerente : Alta capacidade de
processamento e Disponibilidade
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

60. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Mais Medições
Tempo de Resposta
Taxa de Processamento
Disponibilidade
Custo
Erros por segundo
Visitantes por dia
Visitantes exclusivos
Hits
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

61. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Qualidade de Serviço
Gargalos de tráfego
Performance de servidores
Largura de banda
Conexão entre redes
Performance do armazenamento ...
O usuário não enxerga nada disso
Ele apenas quer o serviço
RÁPIDO E DISPONÍVEL 7 x 24
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

62. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Onde a qualidade está ameaçada ?
Obtendo Endereço Apanhar Endereço
Conectando Conectar
Pedido Web
Processando Processar
Transmitindo Transmissão/Latência
Componentes do atraso da Web
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

63. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Anatomia de uma transação Web
Navegador
Usuário Final Cliente Rede Servidor
Clique
Tempo de residência no servidor
Retorno
do cache
Dados
Exibição
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

64. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Gargalos
À Medida que o número de clientes e
servidores aumenta, o desempenho total é
restrito pelo desempenho de alguns
componentes, entre o cliente e servidor.
Os componentes que limitam o desempenho
do sistema são chamados de Gargalos.
Identificar logo o gargalo é uma etapa
importante da análise de desempenho.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

65. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 5 – Treinamento On line
Uma indústria de produtos químicos dissemina
imagens de estruturas moleculares via intranet.
Cada classe tem 100 funcionários e 80% estão
ativos simultaneamente.
Realiza-se uma média de 100 transações por hora,
com uma média de 5 imagens por transação. Cada
imagem tem tamanho médio de 25.600 bytes.
Uma banda de 1 Mb atenderia ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

66. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 5 – Treinamento On line
Uma indústria de produtos químicos dissemina
imagens de estruturas moleculares via intranet.
Cada classe tem 100 funcionários e 80% estão
ativos simultaneamente.
Realiza-se uma média de 100 transações por hora,
com uma média de 5 imagens por transação. Cada
imagem tem tamanho médio de 25.600 bytes.
Uma banda de 1 Mb atenderia ?
Não
(100 x 0,80) x 100/3600 x (5 x 25.600 x 8) = 2,28 Mbps
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

67. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Infra-Estrutura da Web
Usuário BACKBONE Servidores
final ISP WEB
Última Provedores de backbone,
milha Caching, Redes de distribuição de
Telefone, Balanceamento de Carga, conteúdo,
DSL, Gerenciamento de MAEs e NAPs,
Cabo largura de banda Proxy de Caching,
Satélite
Casa e
Trabalho
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

68. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquiteturas de Servidor
Servidor Web (http)
Servidor de Aplicação
Servidor de Banco de Dados
Servidor de Streaming
...
Servidores específicos
(proprietários/appliances)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

69. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquitetura de Servidor Simples
Internet
Roteador Firewall Servidor
Web
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

70. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquitetura de Servidores em Múltiplas camadas
REDE 1 REDE 2 REDE 3 REDE 4
Zona
Desmilitarizada
(DMZ)
Internet
Balanceador Servidores
de Carga
Servidores Servidores de Banco de Dados
Web de Aplicação Ex. Mainframes
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

71. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Balanceamento de Carga
Permite escalabilidade progressiva
Permitem crescimento horizontal
Normalmente menor custo de expansão
Disponibilizam redundância
Diminuem percepção de falhas
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

72. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Largura de Banda e Latência
Largura de Banda ou taxa de transferência :
é a taxa na qual os dados são transferidos
através da rede (tamanho do cano !)
Latência ou Retardo : tempo de transferência
do dado (bit), do cliente até o servidor.
Uma lan típica, dentro de um prédio tem latência
de 1 ms.
A latência aumenta com o maior número de
pontos a trafegar na web e com a distância.
Quanto mais perto o acesso, menor latência.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

73. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 6 – Web Site Publicações
Um web site de publicações eletrônicas está
dimensionando a capacidade do link
Com base nos logs de acesso, observou-se que a
média diária era de 1.000.000 de operações HTTP
por dia.
O tamanho médio de cada foi de 10.000 bytes.
Qual largura de banda é necessária ?
Se durante 2 horas, no horário de pico o volume dobrar ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

74. ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 6 – Web Site Publicações
Um web site de publicações eletrônicas está
dimensionando a capacidade do link
Com base nos logs de acesso, observou-se que a
média diária era de 1.000.000 de operações HTTP
por dia.
O tamanho médio de cada foi de 10.000 bytes.
Qual largura de banda é necessária ?
1.000.000 / (24x60x60) x (10.000x8) = 926 Kbps
segundos do dia tamanho em bits
Se durante 2 horas, no horário de pico o volume dobrar ?
926 x 2 = 1.852 Kbps (não se dilui o máximo ao longo do dia)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !

75. PLANEJANDO A
CAPACIDADE DOS
SERVIÇOS NA WEB
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

76. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Capacidade Adequada
Acordos de por exemplo, tempo de resposta <8s
Clientes nível de serviço
(SLA)
por exemplo, servidor
Tecnologias NT, BD Oracle Capacidade
Gerência e padrões
adequada
especificados
Restrições
de custo por exemplo, custo inicial < $ 5,5 milhões
custo manutenção < $ 1,6 milhão/ano
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

77. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Capacidade Adequada
Dizemos que um sistema Web possui
capacidade adequada se os SLAs forem
continuamente atendidos para uma
tecnologia e padrões especificados, e se os
serviços forem fornecidos dentro das
restrições de custos.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

78. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Uma metodologia de planejamento de capacidade
Conhecimento do ambiente
Desenvolvimento Caracterização
de um da carga de trabalho
modelo de custo
Validação & Calibragem Modelo de carga
do modelo de carga de trabalho de trabalho
Previsão da carga de trabalho
Modelo de custo
Desenvolvimento do modelo
de desempenho/disponibilidade
Modelo de
Calibragem do modelo
Previsão Desempenho e
de desempenho/disponibilidade disponibilidade
de
Custo Previsão de desempenho
& disponibilidade
Análise de custo/
Desempenho & Disponibilidade
Plano de Configuração Plano de Pessoal
Plano de Investimento
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

79. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Conhecimento do Ambiente
Descobrir que tipo de Hardware (cliente e
servidores), Software (sistemas operacionais,
aplicações e interfaces), conectividade de rede
e protocolos de rede estão presentes no ambiente.
Identificar períodos de pico de uso, estruturas de
gerenciamento e SLA´s.
Se realizará através de reuniões com usuários,
auditorias, questionários, help-desk, documentos de
planejamento, entrevistas e demais técnicas de
levantamento.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

80. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Elementos do Conhecimento do Ambiente
Elemento Descrição
Plataforma do Cliente Quantidade e tipo
Plataforma do Servidor Quantidade, tipo, configuração e função
Middleware Tipo (por exemplo, monitores de TP)
SGBD Tipos
Serviços/Aplicações Principais serviços na Web e aplicações aceitos
Conectividade de rede Diagrama de conectividade da rede, mostrando todas as LAN´s,
WAN´s, tecnologias de rede, roteadores, servidores, balanceadores de
carga, firewalls e número de clientes por segmento de LAN
Protocolos de rede Lista de protocolos utilizados
Padrões de uso Períodos de pico (por exemplo, hora do dia, dia da semana, semana
do mês, mês do ano)
Acordos de nível de serviço SLA´s existentes para serviços na Web (quando não existirem SLA´s
formais, os padrões do setor podem ser usados)
Gerência e suporte da LAN Estrutura de suporte da gerência da LAN, tamanho, habilidade e
atendimento aos usuários
Procedimentos de aquisição Elementos do processo de aquisição, mecanismos de justificativa
para aquisições, limites de gastos, mecanismos de autorização e
duração do ciclo de aquisição.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

81. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Carga de Trabalho
Descrever com precisão a carga de trabalho global do
sistema, em termos de seus componentes principais.
Os componentes principais se decompõe em componentes
básicos, que se caracterizam pela intensidade da carga
(IC) ou demanda de serviço (DS).
Carga de Trabalho Global
Componente 1 da carga de trabalho Componente N da carga de trabalho
(por exemplo, transações C/S) (por exemplo, acesso à Web)
Componente Componente Componente Componente
básico 1.1 básico 1.m básico n.1 básico n.k
(por exemplo, (por exemplo, (por exemplo, (por exemplo,
Transações Transações Treinamento Uso de motores
de pessoal) de vendas) corporativo) de busca)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

82. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Exemplos de componentes de carga de trabalho
Tipo de
Componente básico e parâmetros parâmetro
Transação de Vendas
Número de transações enviadas por cliente IC
Número de clientes IC
Número total de I/Os ao BD de vendas DS
Utilização de CPU no servidor de BD DS IC =
Tamanho médio da mensagem enviada/recebida pelo servidor de BD DS Intensidade
Treinamento Baseado na Web de carga
Número médio de sessões de treinamento/dia IC
Tamanho médio do arquivo de vídeo por sessão DS
Tamanho médio dos documentos HTTP obtidos DS
Tamanho médio dos arquivos de imagem obtidos/sessão DS
Número médio de documentos obtidos/sessão DS DS =
Utilização média de CPU do servidor Web DS Demanda
Processamento de Correio de serviço
Número de mensagens recebidas por dia por cliente IC
Número de mensagens enviadas por dia por cliente IC
Número de clientes IC
Tamanho médio da mensagem DS
Utilização de CPU pelo Mail Server DS
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

83. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Validando modelos de carga de trabalho
Ao construir um modelo são feitas abstrações.
Deve-se realizar uma execução de carga de
trabalho sintética, que permita identificar se o
modelo está com distorção aceitável.
Caso a margem não esteja de 10 a 30% deve-
se submeter o modelo a um ajuste (ou
calibragem) visando a validação do modelo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

84. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelos de Desempenho
A previsão do desempenho é o processo de estimar as
medições de desempenho de um sistema de
computador para determinado conjunto de parâmetros :
Parâmetros do sistema : Características que impactam no
desempenho (balanceamento de carga, protocolos, numero de
conexões simultaneas, capacidades do BD)
Parâmetros do recurso : Caracteristicas próprias do recurso,
que afetam o desempenho (tempo de disco, latência de rede,
performance de CPU)
Parâmetros da carga de trabalho
IC (Intensidade da Carga) – carga imposta em unidades de
trabalho que disputam recursos do sistema
DS (Demanda de serviço) – tempo de serviço exigido por cada
componente em cada recurso.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

85. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelos de Desempenho
A previsão do desempenho exige o uso de modelos, que podem
ser :
Simulação : programas de computador que imitam o comportamento
de um sistema à medida que as transações fluem pelos diversos
recursos simulados.
Analítico : conjunto de fórmulas e/ou algoritmos de cálculo usados
para gerar medições de desempenho a partir de parâmetros do
modelo.
À medida que mais elementos do modelo são representados com
maiores detalhes, a precisão do modelo aumenta.
Modelo aproximado : Modelo detalhado :
Pouco esforço na Precisão do modelo de desempenho grande esforço na
coleta de dados coleta de dados
Baixa Precisão Alta Precisão
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

86. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Estudo de Caso 7 – Precisão de Modelos de
Desempenho Qual dos 2 apresenta maior precisão ?
Rede de Filas Rede de Filas Servidor Web Corporativo
de alto nível detalhada
Discos
Servidor Web
Corporativo CPU´s
Internet
Internet
Servidor de Servidor de e-mail
E-mail
Discos
CPU´s
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

87. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Validando um Modelo de Desempenho
Um modelo será válido se as medições apresentadas pelo
modelo se aproximarem das medições realizadas em tempo
real.
Modelo
Sistema
de
Real
desempenho
Medições Cálculos
Valores MEDIDOS para tempos Valores CALCULADOS para tempos
de respostas, taxa de de respostas, taxa de
processamento, utilizações, etc. processamento, utilizações, etc.
Aceitável ?
Calibragem
do modelo
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

88. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelo de Disponibilidade
Os modelos de disponibilidade oferecem um
meio de previsão da disponibilidade de um
serviço na Web, com base na configuração de
infra-estrutura utilizada e considerando a
confiabilidade intrínseca dos componentes
utilizados.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

89. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelo de Custo
Uma metodologia de planejamento de capacidade deve sempre
considerar as principais origens do custo.
Ao analisar os custos envolvidos em serviços Web, deve-se
considerar também a possibilidade de aumento de tráfego em
canais existentes, como suporte telefônico.
Custos iniciais serão provenientes da montagem inicial da
estrutura.
Custos operacionais estão associados a manutenção e
ampliação da base de hardware, software, links de comunicação,
pessoal, treinamento, consultoria e outros.
As medições de custo relativas se dão em moeda por alguma
medida de capacidade do sistema (ex. reais por navegação por
minuto, dólares/consulta/segundo.)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

90. PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Análise de Custo/Desempenho
Os modelos de custos e desempenho podem ser
usados para avaliar diversos cenários e configurações :
Deveríamos espelhar o web site para balancear a carga,
reduzir o tráfego na rede e melhorar o desempenho ?
Deveríamos substituir os servidores web existentes por outros
mais rápidos ?
Deveríamos usar uma rede de distribuição de conteúdo para
oferecer imagens ?
Deveríamos usar serviços de hospedagem de terceiros ?
Para cada cenário, podemos prever qual será o
desempenho de cada componente básico da carga de
trabalho global e quais são os custos para o cenário.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

91. BENCHMARKS
E TESTES DE
DESEMPENHO
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

92. BENCHMARKS E TESTES DE
DESEMPENHO
INTRODUÇÃO
A melhor maneira de estudar desempenho
é executar a carga de trabalho real e medir
os resultados.
Benchmarking é o principal método para
medir o desempenho de uma máquina
física real.
É a execução de um conjunto de
programas representativos em diferentes
computadores e redes, medindo seus
resultados.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

93. BENCHMARKS E TESTES DE
DESEMPENHO
NATUREZA DOS BENCHMARKS
Tempo e Velocidade são as medidas básicas de
desempenho.
O que um determinado benchmark está realmente
testando ?
Até que ponto o benchmark é semelhante à carga de
trabalho do ambiente do usuário ?
O que o benchmark está realmente medindo ?
Benchmarks são boas ferramentas para
comparação de sistemas, ao invés de ferramentas
precisas para dimensionar ou planejar a
capacidade de determinado serviço.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

94. BENCHMARKS E TESTES DE
DESEMPENHO
HIERARQUIA DE BENCHMARKS
Dividem-se em 2 categorias :
Granularidade grande (ex. Medição de e-
commerce)
Benchmarks detalhados (ex. Velocidade de CPU)
Hierarquias :
Operações Básicas (+ - x / )
Benchmark de “brinquedo” (hanói, etc)
Kernels (operações de cpu, parte de código real)
Programas reais (pacotes de benchmark – SPEC
e TPC)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

95. BENCHMARKS E TESTES DE
DESEMPENHO
HIERARQUIA DE BENCHMARKS
Sistemas
Programas Benchmark de Operações
Kernels
“brinquedo” básicas
de
reais computador
Medições de
Desempenho
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

96. BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS COMUNS
Grupos de usuários e pesquisas na web são boas
fontes de informação atualizadas sobre vários tipos
de benchmarks
Para ser útil, um benchmark precisa ser :
Relevante : ofereça medidas de desempenho significativas
no domínio de problema específico
Inteligível : simples e fáceis de entender
Escalável : aplicáveis a grande variedade de sistemas, em
custo, desempenho e configuração
Aceitável : resultados imparciais, reconhecidos por
usuários e fornecedores.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

97. BENCHMARKS E TESTES DE
DESEMPENHO
SPEC (www.spec.org)
SYSTEM PERFORMANCE EVALUATION
CORPORATION
Organização de fornecedores da indústria
de informática, que desenvolve testes de
desempenho padronizados (benchmarks)
e publica resultados das análises.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

98. BENCHMARKS E TESTES DE
DESEMPENHO
Membros (SPEC)
3DLabs * Advanced Micro Devices * Apple Computer,
Inc. * ATI Research * Azul Systems, Inc. * BEA
Systems * Borland * Bull S.A. * Dell * EMC * Exanet *
Freescale Semiconductor, Inc. * Fujitsu Limited *
Fujitsu Siemens * Hewlett-Packard * Hitachi Data
Systems * Hitachi Ltd. * IBM * Intel * ION Computer
Systems * Johnson & Johnson * Microsoft * Mirapoint *
NEC - Japan * Network Appliance * Novell * NVIDIA *
Openwave Systems * Oracle * Panasas * PathScale *
The Portland Group * S3 Graphics Co., Ltd. * SAP AG *
ServerWorks * SGI * Sun Microsystems * Super Micro
Computer, Inc. * Sybase * Unisys * Verisign * Veritas
Software * Zeus Technology *
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

99. BENCHMARKS E TESTES DE
DESEMPENHO
TPC (www.tpc.org)
TRANSACTION PROCESSING
PERFORMANCE COUNCIL
Corporação não-lucrativa, fundada para
definir benchmarks de processamento de
transações, banco de dados e comércio
eletrônico.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

100. BENCHMARKS E TESTES DE
DESEMPENHO
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

101. BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARK DE CPU SPEC
Projetado para medições de desempenho
com cargas, em diferentes sistemas
SPECxxxx, onde xxxx = geração
2 pacotes : int (calculos c/inteiros) e fp
(ponto flutuante)
Concentra-se em desempenho do
processador e arquitetura de memória.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

102. BENCHMARKS E TESTES DE
DESEMPENHO
CARGA DE TRABALHO P/SPECint
Compactação
Roteamento de circuito FPGA (Field Programmable Gate Array(
Compilador C
Otimização combinatória
Jogo : xadrez
Processamento de textos
Visualização do computador
Linguagem PERL
Teoria de grupo, interpretador
Banco de dados orientado a objeto
Compactação
Simulador de lugar e rota
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

103. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 7 : USANDO SPECint
Um fornecedor anuncia um novo servidor web
com processador e memória mais eficiente
Afirma que com o novo servidor teremos melhora
de 60% na performance
Avaliando os resultados SPECint publicados,
temos respectivamente 363 e 489 SPECint para o
antigo e novo servidor
Qual o ganho de performance SPECint ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

104. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 7 : USANDO SPECint
Um fornecedor anuncia um novo servidor web
com processador e memória mais eficiente
Afirma que com o novo servidor teremos melhora
de 60% na performance
Avaliando os resultados SPECint publicados,
temos respectivamente 363 e 489 SPECint para o
antigo e novo servidor
Qual o ganho de performance SPECint ?
489 / 363 = 1,35 ou 35%
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

105. BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS DE SERVIDORES WEB
3 mais utilizados :
Webstone
SPEC-Web
SURGE (Scalable URL Reference Generator)
Simulam clientes web.
Geram requisições ao servidor de acordo com
carga de trabalho especificada, recebem
respostas e coletam as medições
Importante lembrar que os benchmarks web
apresentados utilizam ambiente de rede interna,
diferente do mundo real na internet
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

106. BENCHMARKS E TESTES DE
DESEMPENHO
SPECWEB99
Projetado para medir capacidade de um sistema
de atuar como servidor Web
Mede o número máximo de conexões simultäneas
Carga de trabalho padrão inclui HTML estática e
dinâmica, e suporte para HTTP 1.1
Para Unix ou NT
Executa em vários clientes enviando requisições
http e armazenando respostas
Consolida respostas em cliente principal
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

107. BENCHMARKS E TESTES DE
DESEMPENHO
SPECWEB99 – Carga de Trabalho
Distribuição de requisições da carga
Requisição %
GET estático 70,00
GET dinâmico padrão 12,45
GET dinâmico padrão (CGI) 0,15
GET dinâmico personalizado 12,60
POST dinâmico 4,80
Tamanho de arquivo por classe e frequencia
Classe Tam.Arquivo (KB) % de acesso
0 0-1 35
1 1-10 50
2 10-100 14
3 100-1.000 1
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

108. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 8 – EMPRESA DE MÍDIA
Empresa de mídia planeja reformular portal
Administrador do sistema pretende utilizar SPECweb para
estimar sistema que atenda carga inicial prevista
Imagina-se como número de usuários simultaneos 10.000
Cada usuário (cliente) oscila entre 2 estados : apresentando
resultados (pensando) e esperando pela resposta (execução
da requisição)
Aceitaram 4 segundos como tempo de resposta e 3
segundos como tempo de reflexão
QUAL TAXA DE PROCESSAMENTO REQUERIDA ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

109. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 8 – EMPRESA DE MÍDIA
Empresa de mídia planeja reformular portal
Administrador do sistema pretende utilizar SPECweb para
estimar sistema que atenda carga inicial prevista
Imagina-se como número de usuários simultaneos 10.000
Cada usuário (cliente) oscila entre 2 estados : apresentando
resultados (pensando) e esperando pela resposta (execução
da requisição)
Aceitaram 4 segundos como tempo de resposta e 3
segundos como tempo de reflexão
QUAL TAXA DE PROCESSAMENTO REQUERIDA ?
Taxa de Processamento =
Clientes Simultaneos / (Tempo Resposta + Tempo de Reflexão)
Taxa de Processamento = 10.000 / (4 + 3) = 1.429 reqs./segundo
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

110. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)
Agora deseja-se estimar o número médio de
conexões simultâneas geradas pelos 10.000
clientes simultâneos.
Considera-se que o tempo de resposta é = tempo
de rede + tempo no website.
Estima-se o tempo de rede em 1,2s.
O tempo de website não deve ultrapassar 2,8 (4 – 1,2).
Qual o número médio de conexões simultâneas?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

111. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)
Agora deseja-se estimar o número médio de
conexões simultâneas geradas pelos 10.000
clientes simultâneos.
Considera-se que o tempo de resposta é = tempo
de rede + tempo no website.
Estima-se o tempo de rede em 1,2s.
O tempo de website não deve ultrapassar 2,8 (4 – 1,2).
Qual o número médio de conexões simultâneas?
Conexões Simultâneas =
Requisições por Segundo x (Tempo de Resposta – Tempo de Rede)
1.429 x (4 – 1,2) = 1.429 x 2,8 = 4.001
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

112. BENCHMARKS E TESTES DE
DESEMPENHO
ANALISANDO O ESTUDO DE CASO
Examinando os resultados do benchmark
SPECweb, pode-se encontrar um sistema
que atenda aos requisitos de carga, ou
seja :
Número de conexões maior que 4.001
Taxa de Processamento maior que 1.429
requisições por segundo
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

113. BENCHMARKS E TESTES DE
DESEMPENHO
WEBSTONE
Benchmark Cliente-Servidor configurável para
HTTP. Usa parâmetros de carga e processa
clientes, gerando tráfego HTTP.
Projetado para medir a taxa de processamento
máxima do servidor e o tempo de resposta médio
para conexão com o servidor.
Um processo mestre gera uma série de processos
cliente, que geram as requisições HTTP. Ao
término, o processo mestre consolida as
informações de resumo de desempenho.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

114. BENCHMARKS E TESTES DE
DESEMPENHO
WEBSTONE – Carga de Trabalho
4 Conjuntos de cargas sintéticas modelam as
cargas de trabalhos reais. Parametros são :
Número de clientes que solicitam páginas : A velocidade
de solicitação de páginas no tempo que o servidor
retorna (tempo de pensar = zero).
Tipo de Página : tamanho de arquivo e frequência de
acesso. Composição que indica probabilidade de
acesso.
Número de páginas disponíveis no servidor teste
Número de máquinas cliente.
Principais resultados : Taxa de processamento e
latência
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

115. BENCHMARKS E TESTES DE
DESEMPENHO
WEBSTONE – Resultados Típicos
Métrica Valor
Número Webstone 456
Número total de clientes 24
Número total de páginas recuperadas do servidor 4.567
Número total de erros 0
Número total de conexões com o servidor 12.099
Tempo médio por conexão (s) 0,0039
Tempo máximo por conexão (s) 0,0370
Quantidade total de bytes movidos 129.108.600
Taxa de processamento médio (bytes/s) 215.181
Tempo médio de resposta (s) 1,181
Tempo máximo de resposta (s) 18,488
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

116. BENCHMARKS E TESTES DE
DESEMPENHO
SURGE
Um componente-chave de benchmark é a carga
de trabalho. 2 técnicas são utilizadas :
carga de trabalho real (amostragem)
modelos matemáticos para representar características
de carga
SURGE se baseia nas 2 técnicas
Um usuário é definido como um processo em loop
que alterna entre fazer requisição HTTP e
permanecer ocioso.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

117. BENCHMARKS E TESTES DE
DESEMPENHO
SURGE (Características da carga de trabalho)
Tamanhos de arquivo : distribuição de tamanho da coleção
de arquivos armazenados no servidor
Tamanhos de requisição : podem ser diferentes dos
tamanhos de arquivo, devido à diferente popularidade
Popularidade : distribuição das requisições baseadas em
cada arquivo
Referências embutidas : um objeto web é normalmente
composto por diversos outros
Localidade Temporal : probabilidade de novo acesso a um
determinado objeto acessado anteriormente
Tempos OFF : tempos ociosos, entre requisições. Pensar do
usuário e análise e formatação do browser.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

118. BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS DO SISTEMA
Medem o sistema inteiro : processador, I/O, redes,
banco de dados, compilador, sistema operacional
Exemplo : Família TPC
TPC divide-se em :
TPC-C : OLTP (on line transaction processing)
TPC-W : E-commerce
TPC-H e TPC-R : simulam um sistema de suporte à
decisão com grandes volumes de dados, sincronizado
com bancos de dados de produção on-line. Utilizam
consultas aleatórias, altamente complexas, projetadas
para responder a algumas questões de negócios do
mundo real, incluindo perguntas sobre preços e
promoções, oferta e demanda, lucro e receita e
participação de mercado.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

119. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-C
Benchmark padrão do setor de processamento de
transação on-line
Modela uma aplicação que gerencia requisições
para um fornecedor de atacado
Carga de trabalho divide-se em :
Nova requisição (45%)
Pagamento (43%)
Remessa (4%)
Estado da Requisição (4%)
Nível de estoque (4%)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

120. BENCHMARKS E TESTES DE
DESEMPENHO
Exemplo de Resultados do TPC-C
Informação do Sistema Resultado
Empresa X
Sistema Y
Processadores 4
Armazenamento total 2,61 Terabytes
SGBD Microsoft SQL
Sistema operacional Windows NT
Monitor de Transação Microsoft COM +
Custo total do sistema US$ 445.747
Taxa de processamento do TPC-C (tpmC) 34.600
Preço/desempenho $ 12,89
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

121. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-C
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

122. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-C
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

123. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 10 – Companhia de Seguros
Um gestor de TI de uma cia. de seguros quer
fazer upgrade no software de banco de dados,
visando atingir melhoria de performance de 30%.
Buscanco nos benchmark TPC encontra que as
taxas TPC-C dos softwares novo e antigo são,
respectivamente 30.000 e 36.000.
Haverá ganho desejado de 30% na migração ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

124. BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 10 – Companhia de Seguros
Um gestor de TI de uma cia. de seguros quer
fazer upgrade no software de banco de dados,
visando atingir melhoria de performance de 30%.
Buscanco nos benchmark TPC encontra que as
taxas TPC-C dos softwares novo e antigo são,
respectivamente 30.000 e 36.000.
Haverá ganho desejado de 30% na migração ?
Percentual melhoria =
Taxa novo software / taxa software antigo
30.000 / 36.000 = 1,2 ou seja 20% de melhoria
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!

125. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
Trata da avaliação de sites que oferecem
suporte a atividades de e-business
Modelo de uma loja que vende produtos e
serviços pela internet
A métrica de performance é expressa em
Interações da Web por segundo (WIPS –
Web interactions per second)
Número de itens no catalogo define
escala: 10.000, 100.000, 1.000.000 e
10.000.000 itens.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

126. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
Classifica as interações web em 2 categorias :
Navegar (navegação e pesquisa) : home, navegar,
selecionar, detalhe do produto e pesquisar.
Pedir (pedido de produto) : carrinho, login, pedido de
compra, confirmação de compra, pesquisa de pedido e
exibição de pedido.
Especifica 3 diferentes perfis de sessão :
Mistura de navegação : 95 % Navegar e 5% Pedir
Mistura de compra : 80% Navegar e 20% Pedir
Mistura de requisição : 50% Navegar e 50% Pedir
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

127. BENCHMARKS E TESTES DE
DESEMPENHO
Resultados do TPC-W
Informação do Sistema Resultado
Empresa X
Sistema Y
Escala 10.000
Processadores 4
SGBD Microsoft SQL
Sistema operacional Windows NT
Servidor HTTP Microsoft IIS
Balanceador de Carga MS Windows DNS Server
Motor de busca MS SQL Server FT Search
Custo total do sistema US$ 211.214
Desempenho do TPC-W 3.130
Preço/desempenho US$ 67,50
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

128. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W (Resultados)
Existem 2 tipos de métricas de desempenho
Métrica de Taxa de Processamento
WIPS : número médio de interações web por segundo em
sessões do tipo Compra. wips@scale_factor (onde fator
de escala é o número de itens no catálogo)
WIPSb : número médio de interações nas sessões do tipo
Navegar.
WIPSo : número médio de interações nas sessões do tipo
Pedir.
Métrica de custo/taxa de processamento ($Wips) :
Razão entre o Custo total do sistema em teste e o
número de wips medido durante um intervalo de compra.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

129. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

130. BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

131. BENCHMARKS E TESTES DE
DESEMPENHO
TESTE DE DESEMPENHO
Finalidade principal : entender o
desempenho do serviço sob condições de
determinada carga de trabalho
Podem ser usados em todos estágios de
desenvolvimento de serviços web, antes
de entrar em operação
Chave é simular o ambiente de produção e
cenários de carga de trabalho, o mais
próximo do mundo real.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

132. BENCHMARKS E TESTES DE
DESEMPENHO
TIPOS DE TESTES DE DESEMPENHO
Teste de CARGA : cria-se uma carga de
trabalho simulada, imitando a operação
normal estimada
Teste de ESFORÇO : focaliza os cenários
do pior caso e utiliza uma carga mais
pesada do que o esperado
Teste de PICO : teste sob condições muito
específicas, quando a carga é muitas
vezes maior que a média.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

133. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Definir objetivos do teste : Grande influência em custos e
ambiente esforço no projeto de teste. Exemplos :
Especificar Determinar capacidade do servidor web
o plano de teste Descobrir número máximo de usuários simultâneos em
Definir a carga de um serviço web aceita
Trabalho do teste Determinar a capacidade da aplicação
Configurar o Identificar engarrafamentos na infra-estrutura
ambiente de teste
Identificar impacto da rede sobre tempo percebido pelo
Executar os testes usuário final
Descobrir capacidade do servidor de BD
Analisar os
Identificar as funções Web mais caras
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

134. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Entender o ambiente : Descobrir o que compõe o cenário :
ambiente Tipo de infra-estrutura (servidores e serviços de
Especificar terceiros)
o plano de teste Software (sistema operacional middleware e
Definir a carga de aplicações)
Trabalho do teste Conectividade de rede e protocolos estão presentes no
Configurar o ambiente
ambiente de teste Períodos de picos e SLA´s
Executar os testes Entender a natureza da carga de trabalho e dos
serviços oferecidos pelo sistema em teste
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

135. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Especificar o plano de teste : Identificar quais serviços na
ambiente Web e funções devem ser testadas. Deve conter :
Especificar Expectativas da equipe
o plano de teste Cenários de carga de trabalho (otimista, pessimista)
Definir a carga de Verificação de SLA
Trabalho do teste
Garantir o uso da mesma infra-estrutura do ambiente
Configurar o de produção
ambiente de teste
Determinar como as variáveis de entrada são
Executar os testes controladas ou alteradas
Determinar o grau desejado de confiança nas
Analisar os medições
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

136. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Especificando a carga de trabalho do teste : planejar um
ambiente cenário de aplicação que sejam típicas do serviço na web.
Especificar Ex. Comportamento dos usuários. Geração de scripts
o plano de teste com perfis diferentes por grupo
Definir a carga de Compradores ocasionais e frequentes
Trabalho do teste O primeiro grupo representa clientes que
Configurar o usam lojas web para pesquisa de novos
ambiente de teste produtos e tarifas, mas na maioria das vezes
não compram pela web
Executar os testes
O segundo grupo com clientes com grande
Analisar os probabilidade de comprar se achar produto
resultados que lhes interesse.
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

137. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Configurar o ambiente de teste : uma instalação de teste foi
ambiente disponibilizada, para permitir a execução dos testes, antes
Especificar da distribuição. Uma ferramenta de teste de esforço foi
o plano de teste selecionada para permitir a simulação de usuários. Entre
Definir a carga de
os requisitos para teste do sistema é preciso verificar o
Trabalho do teste seguinte :
Licença do fornecedor de teste de carga para o
Configurar o
ambiente de teste número de usuarios simultaneos a serem testados
Ferramentas de monitoração de desempenho para
Executar os testes servidores web, servidores de aplicação, sistema de
banco de dados e redes.
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

138. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Executar os testes :
ambiente Executar o plano de teste especificado
Especificar Submeter os scripts de teste pré-definidos
o plano de teste
Ajustar os testes com base nos resultados da última
Definir a carga de rodada de testes realizados (calibragem do teste)
Trabalho do teste
Configurar o
ambiente de teste
Executar os testes
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

139. BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Analisar os resultados do teste :
ambiente Examinar tendências versus objetivo do teste
Especificar Relacionar medições de desempenho
o plano de teste
Desenvolver recomendações à gerência
Definir a carga de
Avaliar tempos de respostas, buscando identificar
Trabalho do teste
problemas de desempenho específicos
Configurar o
ambiente de teste
Executar os testes
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

140. DISPONIBILIDADE
DOS SERVIÇOS
NA WEB
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld