Avaliação de desempenho

25.721 visualizações

Publicada em

Plano de Aula do professor Rafael Sommerfeld, na cadeira "Avaliação de Desempenho" no curso de Pós-Graduação em Gestão da TI - Univ. Castelo Branco - CEF - 2005 - Baseado na obra "Planejamento de Capacidade para Serviços na Web" (Daniel A.Menascé
Virgilio A.F. Almeida)

2 comentários
7 gostaram
Estatísticas
Notas
Sem downloads
Visualizações
Visualizações totais
25.721
No SlideShare
0
A partir de incorporações
0
Número de incorporações
89
Ações
Compartilhamentos
0
Downloads
593
Comentários
2
Gostaram
7
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Avaliação de desempenho

  1. 1. AVALIAÇÃO DE DESEMPENHO PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  2. 2. APRESENTAÇÃO Rafael Sommerfeld Consultor : 25 anos em Tecnologia da Informação Formação em Gestão de Ambientes Internet MBA de Marketing pela FGV Experiência : Ambev, Animus, Dominal, Dedalus, Metrored, Ibam, Skol, ... Treinamentos : Bndes, Embratel, FGV, Unesa, etc. Publicação de livros e artigos especializados rafasommer@hotmail.com PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  3. 3. E VOCES ?? APRESENTEM-SE Nome Área / Função Expectativas com o curso Hobby PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  4. 4. BIBLIOGRAFIA PLANEJAMENTO DE CAPACIDADE PARA SERVIÇOS NA WEB Métricas, Modelos e Métodos Daniel A.Menascé Virgilio A.F. Almeida Editora Campus, 2003 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  5. 5. NOSSO OBJETIVO PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  6. 6. AVALIAÇÃO DE DESEMPENHO Plano de Aula - SLA - Protocolos e modelos de interação para serviços na Web - Quando o desempenho da Web é um problema - Conceitos Básicos de Desempenho - Aspectos do desempenho de serviços na Web - Planejando a Capacidade dos Serviços na Web - Modelo de Carga - Modelo de Desempenho - Modelo de Custo - Benchmarks e testes de desempenho - Disponibilidade dos serviços na Web - Medição do Desempenho - Conclusão PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  7. 7. SLA SERVICE LEVEL AGREEMENT PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  8. 8. SLA SERVICE LEVEL AGREEMENT O QUE É Este “Acordo do nível de serviço” é um contrato entre duas partes que especifica performance e qualidade de um serviço. Determina o que acontece quando as métricas não são atendidas. É o instrumento formal para cobrança/prestação de contas dos níveis de serviços contratados. SLA não é somente externo. Várias empresas atualmente utilizam SLA interno. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  9. 9. SLA SERVICE LEVEL AGREEMENT Quem Precisa Análise de Risco Avaliação de custo de indisponibilidade em relação ao negócio Definir claramente os limites suportados com relação aos serviços necessários Deve ser definido na fase do projeto Considerar processos e responsabilidade da própria empresa Melhor SLA = Maior custo Maior SLA = Maior comprometimento das partes PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  10. 10. SLA SERVICE LEVEL AGREEMENT Definindo o tipo de serviço Web Site E-mail / workflow Banco de Dados ERP Rede Infra-Estrutura Backup-Restore Comunicação Administração Operação Suporte PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  11. 11. SLA SERVICE LEVEL AGREEMENT Detalhando o Serviço Arquitetura de Software e Hardware para suportar o serviço : Redundância Replicação / Duplicação Homologação Arquitetura de redes Lan e Wan Índices de desempenho PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  12. 12. SLA SERVICE LEVEL AGREEMENT Definindo o Escopo Identificar dependências externas Aplicação Acessos a sistemas externos Comunicação SLA de terceiros Fatores não controláveis Taxa de transferência / latência via internet Erro na aplicação Outros ... Definindo acordo operacional (responsabilidades, quem faz o que quando) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  13. 13. SLA SERVICE LEVEL AGREEMENT Definindo o acesso ao serviço Via Internet Sem garantia de desempenho Insegura SLA de terceiros Via linha privada Com garantia de desempenho “segura” Via VPN / Internet Sem garantia de desempenho “segura” PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  14. 14. SLA SERVICE LEVEL AGREEMENT Definindo as Métricas O que medir ? Definir acessos/transações de referência Definir métricas Tempo de resposta (segundos) Disponibilidade (percentual) Taxa de backup/recovery (GB/s) Tempo de atendimento (minutos) Taxa de transferência (Kbps) Como Medir ? Através de acesso externo Logs de aplicações Ferramentas de gerenciamento PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  15. 15. SLA SERVICE LEVEL AGREEMENT Definindo os níveis de Serviço Baseados nas métricas estabelecidas Separação por serviço/sub-serviço Indicar máximo total e por ocorrência Exemplo : Disponibilidade Número máximo de paradas x tempo por parada Max. De indisponibilidade no período de referência PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  16. 16. SLA SERVICE LEVEL AGREEMENT Condições Gerais Penalidades em caso de não cumprimento Definir faixas de desconto/penalidade por quebra de SLA Definir condições especiais. Ex.: Lucros cessantes Prazo de referência e medição (mês, ano, etc.) Disponibilidades diferentes para prazos diferentes 4 horas/mês = 99,44% 4 horas/ano = 99,95% Definir condições para serviços/níveis adicionais Período de correção/observação após mudança (reenquadramento) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  17. 17. SLA SERVICE LEVEL AGREEMENT Contrapartida do Cliente Seguir procedimentos Respeitar prazos Respeitar limites dos processos Contribuir para a segurança Programar e informar alterações de sistemas Contribuir para a estabilidade do ambiente PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  18. 18. SLA SERVICE LEVEL AGREEMENT SLM – Service Level Management É todo o processo de gerenciamento do acordo definido no SLA. É a definição de procedimentos, ações e procedimentos para garantia da execução do SLA PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  19. 19. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  20. 20. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Redes A evolução dos ambientes em TI O paradigma Cliente-Servidor LAN (local) e WAN (wide) Arpanet, originada em 1970 A origem da Internet (1983) divisão da Arpanet e Milnet (militar). PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  21. 21. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Protocolos A comunicação entre 2 computadores ou 2 processos por uma rede de computadores é controlada por um conjunto de regras, chamado PROTOCOLO. Suas principais funções são : endereçamento, roteamento, detecção e recuperação de erro, controle de sequência e controle do fluxo. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  22. 22. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Protocolos Camada de NFS Sessão HTTP FTP SMTP TELNET DNS SNMP RPC Camada de TCP UDP transporte Camada de IP Rede PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  23. 23. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Protocolo cliente servidor Processo Cliente Processo Servidor Requisição Resposta TCP TCP IP IP Camada de Camada de Link de dados Link de dados - Estações - Servidor (++) - Faz requisições - Executa funcionalidades - Executa parte da - Não iniciam uma transação, aplicação aguardando requisições PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  24. 24. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Servidores e Processos 1 1 1 2 2 2 Fila Servidor Fila N N de N de Requisições Requisições threads do clientes clientes servidor Servidor com Único Processo Servidor com Diversos Processos PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  25. 25. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Estudo de caso 1 - Bits, Bytes e Tempos... 1 Byte = Código de 0 a 255, representado por 8 bits 1 Kbyte = 1.024 bytes 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte Links de conexão, normalmente se medem em kbps ou mbps (kilobits e megabits) por segundo Para achar as taxas a partir de conversão de bytes, deve-se sempre multiplicar por 8 (byte -> bit) Quantos segundos consumirá a transferência de 50 figuras de 10 Kb em um link de 128kbps ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  26. 26. PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB Estudo de caso 1 - Bits, Bytes e Tempos... 1 Byte = Código de 0 a 255, representado por 8 bits 1 Kbyte = 1.024 bytes 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte Links de conexão, normalmente se medem em kbps ou mbps (kilobits e megabits) por segundo Para achar as taxas a partir de conversão de bytes, deve-se sempre multiplicar por 8 (byte -> bit) Quantos segundos consumirá a transferência de 50 figuras de 10 Kb em um link de 128kbps ? = 31,25 segundos (50 x 10 x 8) / 128 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  27. 27. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  28. 28. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Cenário A web é um organismo vivo, em constante expansão Principais fatores para crescimento dos serviços web : Migração de serviços tradicionais para Internet Criação de novos serviços virtuais Benefícios de escala e custo Acessibilidade Categorias : Colaboração Informativas Comunidades on Line Interativas Portais Transacional Fluxo de Trabalho PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  29. 29. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 2 – Revenda de Carro Planejamento de aumento progressivo de carga 10, 20 e 30% Consulta é a transação crítica 4 a 6 segundos perda de 60% transações Mais de 6 segundos perda de 95% transações Comissão por transação = R$ 360 Atual + Atual + Atual + Planejamento de Capacidade Atual 10% 20% 30% Consultas por dia 92.448 101.693 110.938 120.182 Tempo de Resposta (s) 2,9 3,8 5,7 11,3 Perda nas vendas (%) 0 0 Vendas por dia (afetada) 4.622 5.084 Receita diária não afetada (em R$ 1.000) 1.664 1.830 Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 Receita diária perdida (em R$ 1.000) - - PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  30. 30. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 2 – Revenda de Carro O web site suportará o aumento de carga e preservará o tempo de resposta abaixo dos quatro segundos ? Se não suportar, em que ponto sua capacidade estará saturada e por que ? Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  31. 31. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 2 – Revenda de Carro Planejamento de aumento progressivo de carga 10, 20 e 30% Consulta é a transação crítica 4 a 6 segundos perda de 60% transações Mais de 6 segundos perda de 95% transações Comissão por transação = R$ 360 Atual + Atual + Atual + Planejamento de Capacidade Atual 10% 20% 30% Consultas por dia 92.448 101.693 110.938 120.182 Tempo de Resposta (s) 2,9 3,8 5,7 11,3 Perda nas vendas (%) 0 0 60 95 Vendas por dia (afetada) 4.622 5.084 2.219 300 Receita diária não afetada (em R$ 1.000) 1.664 1.830 1.997 2.163 Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 799 108 Receita diária perdida (em R$ 1.000) - - 1.198 2.055 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  32. 32. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 2 – Revenda de Carro O web site suportará o aumento de carga e preservará o tempo de resposta abaixo dos quatro segundos ? Não Se não suportar, em que ponto sua capacidade estará saturada e por que ? Com 20% de aumento da carga. Pois a consulta ultrapassa 4 segundos e provoca desistência dos clientes. Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ? Após 30% de crescimento haverá perdas de mais de R$ 2 milhões PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  33. 33. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos Migração de Mainframe para ambiente cliente servidor 500.000 veículos disponíveis 3.500 lojas espalhadas pelo território nacional 360.000 reservas/dia 60% das reservas ocorrem em um período de pico de 12 horas (216.000 reservas) Reservas por hora no pico = 18.000 Reservas por segundo no pico = 5 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  34. 34. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos Motivos para a migração : Redução de custos de manutenção do mainframe Criar uma aplicação mais fácil para o usuário Inserção de interface gráfica para aumento da produtividade Melhorar a satisfação do cliente. Expectativas Os projetistas do novo ambiente precisam garantir no mínimo o mesmo desempenho da plataforma anterior... PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  35. 35. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos Que perguntas responder ? Que tipo de servidores devem ser usados nas lojas ? Número e tipo de processador, número e tipo de disco, sistema operacional, etc. Deve ser utilizado um software de monitoramento de transações ? Que tipo de servidores e sistemas de armazenamento serão usados na central de reservas ? Tipo e numero de processadores, quantidade de memória, número e tipo de discos, banco de dados, sistema operacional. Quais tecnologias de rede contemplarão o projeto ? Quais os tamanhos necessários ? Cuidados com as “simpatias” pessoais... PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  36. 36. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos Ambiente desejado Lojas de entrega de carros Loja Loja Estações Estações de de trabalho trabalho dos dos atendentes atendentes Servidor Servidor Central de Reserva Estações de Carros de trabalho dos REDE agentes de reserva REMOTA (WAN) Servidor de BD PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  37. 37. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos A Central de Reservas lida com 2 tipos de transações : Reservas e Pedidos de Assistência Tempo médio não deve exceder a 2 e 3 segundos Nas lojas, as 2 transações não devem exceder 3 segundos Com base na distribuição abaixo, identifique os componentes na estrutura : Desmembramento do tempo de resposta para transações de reserva enviadas pelas lojas Porcentagem Componente do tempo de resposta do total (%) Estação de trabalho do cliente nas lojas de aluguel de carro 5 LAN nas lojas de aluguel de carros 5 Servidor de aplicação na loja de aluguel de carros 25 Rede Remota 10 LAN na central de reservas 4 Servidor de banco de dados na central de reservas 51 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  38. 38. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos Distribuição do tempo de resposta por recurso na transação Lojas de entrega de carros 5% Loja Loja Estações Estações de trabalho 5% de trabalho dos dos atendentes atendentes 25%Servidor Servidor Central de Reserva Estações de Carros de trabalho dos 4% GARGALO REDE agentes de reserva 10% é o componente REMOTA 51% onde a transação (WAN) Servidor de BD gasta a maior parte do seu tempo. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  39. 39. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA GARGALO É o componente onde a transação gasta a maior parte do seu tempo. As melhorias no tempo de resposta são limitadas pelo tempo gasto no gargalo. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  40. 40. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 3 – Locadora de Veículos O aumento no tempo de resposta não é linear com o aumento de carga Quando qualquer dos níveis de serviço for violado diz-se que a capacidade do sistema atingiu o ponto de Saturação. Ao identificar que haverá saturação, deve-se justificar em que componente ela ocorre e que ação deve ser tomada Tempos de resposta(s) para diversos valores de carga Carga Carga Carga Carga Transação atual atual + 5% atual + 10% atual + 15% Reserva na loja 1,28 1,67 2,45 5,06 Assistência na estrada 0,64 0,87 1,37 3,20 Entrega de carro 0,64 0,76 0,94 1,23 Reserva por telefone 0,85 1,16 1,82 4,24 Carga = taxa média de chegada da transação em tps (transações p/segundo) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  41. 41. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Tempo de resposta Versus Carga 6,00 5,00 Tempo de Resposta (s) 4,00 3,00 2,00 1,00 0,00 Carga atual Carga atual + 5% Carga atual + 10% Carga atual + 15% Carga (tps) Reserva na loja Assistência na estrada Entrega de carro Reserva por telefone PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  42. 42. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Conceito de Planejamento de Capacidade Processo de prever quando os níveis futuros de carga saturarão o sistema e determinar o modo mais econômico de adiar a saturação do sistema ao máximo possível A previsão precisa considerar a evolução da carga de trabalho, devido às aplicações existentes e novas, e os níveis de serviços desejados PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  43. 43. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA O que pode ocasionar a falta do Planejamento de Capacidade Indisponibilidade do serviço Desempenho abaixo do necessário para operar Perdas financeiras (Ex. Us$ 6,5 milhões por hora nas transações em cartões de crédito) Insatisfação dos clientes Atinge a imagem da empresa Demora para recuperação. Os procedimentos de expansão nem sempre são rápidos. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  44. 44. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 4 – Intranet de uma empresa 60.000 funcionários, interligados pela intranet, que permite treinamento, rh, despesas de viagem, help desk (atendimento de dúvidas) e notícias. Help Desk é a principal aplicação 10% dos funcionários enviam uma requisição ao Help Desk, em média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de 14:00 as 16:00 hs. A empresa deseja mudar o SO dos desktops e isso deve dobrar o tempo de resposta. (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico Qual número de requisições/segundo atual no pico ? Quais possíveis alternativas de upgrade do ambiente ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  45. 45. QUANDO O DESEMPENHO DA WEB É UM PROBLEMA Estudo de Caso 4 – Intranet de uma empresa 60.000 funcionários, interligados pela intranet, que permite treinamento, rh, despesas de viagem, help desk (atendimento de dúvidas) e notícias. Help Desk é a principal aplicação 10% dos funcionários enviam uma requisição ao Help Desk, em média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de 14:00 as 16:00 hs. A empresa deseja mudar o SO dos desktops e isso deve dobrar o tempo de resposta. (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico Qual número de requisições/segundo atual no pico ? (4.200 / 4 / 3.600) = 0,29 requisições/segundo Quais possíveis alternativas de upgrade do ambiente ? Troca de CPU, Inclusão de mais CPU´s, colocação de mais discos, divisão de carga de trabalho, entre outras. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  46. 46. CONCEITOS BÁSICOS DE DESEMPENHO PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  47. 47. CONCEITOS BÁSICOS DE DESEMPENHO Introdução A Infraestrutura que suporta a Internet se compõe de diferentes tipos de hardware : servidores, estações, dispositivos de armazenamento, Lans, Wans, balanceadores de carga e roteadores. Os vários tipos de processos de software compartilham esses recursos, gerando filas. Uma requisição na web gasta parte de seu tempo recebendo serviços dos recursos e outra parte nestas filas. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  48. 48. CONCEITOS BÁSICOS DE DESEMPENHO Filas e Disputa A representação a seguir mostra um recurso enfileirando pedidos. O circulo representa um recurso (disco, rede, roteador, processador, etc) Fila de Recurso Espera Fila de Ao lado, um exemplo de Espera fila para recursos múltiplos. N recursos PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  49. 49. CONCEITOS BÁSICOS DE DESEMPENHO Desmembramento do tempo de resposta Tempo de Resposta Tempo de Rede Tempo do Web Site Tempo de Latência Transmissão Tempo de Serviço Tempo de Fila CPU Discos LANs CPU Discos LANs PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  50. 50. CONCEITOS BÁSICOS DE DESEMPENHO A idéia geral do tempo de resposta Tempo de resposta é todo o tempo da transação web. Se compõe de tempo de rede e tempo no web site. Tempo de transmissão é o total do tempo de transferência dos bytes trocados entre o navegador e o web site. O tempo gasto por um pedido aguardando para ter acesso a um recurso é tempo de espera. Tempo de serviço é o período de tempo durante o qual um pedido está recebendo serviço de um recurso. Um mesmo pedido pode visitar um recurso várias vezes (ex. I/O de disco, acesso a CPU). PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  51. 51. CONCEITOS BÁSICOS DE DESEMPENHO Comparando tempos de Serviços por recurso Discos – tempo relativamente alto comparado à memória real. Sistemas de armazenamento replicáveis. Processadores – Grande desempenho, porém elevado nível de requisição. Redes – a composição das diferentes topologias e tecnologias utilizadas irão determinar a flutuação do desempenho (vide quadro seguinte). PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  52. 52. CONCEITOS BÁSICOS DE DESEMPENHO Diferentes Tempos de redes envolvidos Lan 3 : Token Ring Cliente 16 Mbps Roteador 1 Roteador 2 Lan 2 : FDDI 100 Mbps Lan 2 : Ethernet 10 Mbps Servidor Web PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  53. 53. CONCEITOS BÁSICOS DE DESEMPENHO Medidas de desempenho nos sistemas Web Tempo de Resposta – medida de desempenho de interesse para o usuário. Taxa de Processamento – mais interessante aos administradores de sistemas, reflete o número de transações realizadas por unidade de tempo (em servidores web, normalmente é HTTPos/s). Disponibilidade – reflete a fração de tempo que um site está em operação (manutenções programadas, paradas por falha,etc.). Custo – reflete custos envolvidos por unidade de processamento (ex. TPC-C). PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  54. 54. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  55. 55. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Fatores de impacto no desempenho Imprevisibilidade no crescimento de determinados recursos. Variação do tamanho (e carga) dos objetos utilizados em diferentes páginas/sites. Existência de grande número de robôs de coleta e teste na rede. Seis tópicos a examinar analisando desempenho : conteúdo, software do servidor, hardware, aplicação, largura de banda da rede e infra- estrutura. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  56. 56. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Servidores Web Os servidores são a peça principal no cenário da Internet. Servidor de web Servidor de transação Servidor proxy Servidor de cache Servidor de gateway sem fio Servidores espelhados Servidores de e-mail PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  57. 57. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Elementos de um servidor Web Servidor HTTP (sessão) Conteúdo : Conteúdo : - HTML TCP (transp) / - Gráficos IP (rede) • HTML - Áudio • Gráficos Sistema - Vídeo • Áudio Operacional - Outros • Vídeo • Outros HARDWARE PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  58. 58. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB De Servidores a Serviços Os usuários não enxergam servidores, e sim serviços na Internet Os serviços podem ser ativados através de um requerimento de um browser, ou mesmo de uma aplicação específica Um serviço pode ser composto de diferentes tarefas executadas em diversos servidores O conjunto de servidores relacionados a um serviço estará diretamente relacionado ao desempenho daquele serviço. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  59. 59. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Percepção do Desempenho (lembrando) Usuário : Tempo de resposta Rápido ! Gerente : Alta capacidade de processamento e Disponibilidade PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  60. 60. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Mais Medições Tempo de Resposta Taxa de Processamento Disponibilidade Custo Erros por segundo Visitantes por dia Visitantes exclusivos Hits PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  61. 61. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Qualidade de Serviço Gargalos de tráfego Performance de servidores Largura de banda Conexão entre redes Performance do armazenamento ... O usuário não enxerga nada disso Ele apenas quer o serviço RÁPIDO E DISPONÍVEL 7 x 24 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  62. 62. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Onde a qualidade está ameaçada ? Obtendo Endereço Apanhar Endereço Conectando Conectar Pedido Web Processando Processar Transmitindo Transmissão/Latência Componentes do atraso da Web PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  63. 63. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Anatomia de uma transação Web Navegador Usuário Final Cliente Rede Servidor Clique Tempo de residência no servidor Retorno do cache Dados Exibição PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  64. 64. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Gargalos À Medida que o número de clientes e servidores aumenta, o desempenho total é restrito pelo desempenho de alguns componentes, entre o cliente e servidor. Os componentes que limitam o desempenho do sistema são chamados de Gargalos. Identificar logo o gargalo é uma etapa importante da análise de desempenho. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  65. 65. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Estudo de Caso 5 – Treinamento On line Uma indústria de produtos químicos dissemina imagens de estruturas moleculares via intranet. Cada classe tem 100 funcionários e 80% estão ativos simultaneamente. Realiza-se uma média de 100 transações por hora, com uma média de 5 imagens por transação. Cada imagem tem tamanho médio de 25.600 bytes. Uma banda de 1 Mb atenderia ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  66. 66. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Estudo de Caso 5 – Treinamento On line Uma indústria de produtos químicos dissemina imagens de estruturas moleculares via intranet. Cada classe tem 100 funcionários e 80% estão ativos simultaneamente. Realiza-se uma média de 100 transações por hora, com uma média de 5 imagens por transação. Cada imagem tem tamanho médio de 25.600 bytes. Uma banda de 1 Mb atenderia ? Não (100 x 0,80) x 100/3600 x (5 x 25.600 x 8) = 2,28 Mbps PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  67. 67. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Infra-Estrutura da Web Usuário BACKBONE Servidores final ISP WEB Última Provedores de backbone, milha Caching, Redes de distribuição de Telefone, Balanceamento de Carga, conteúdo, DSL, Gerenciamento de MAEs e NAPs, Cabo largura de banda Proxy de Caching, Satélite Casa e Trabalho PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  68. 68. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Arquiteturas de Servidor Servidor Web (http) Servidor de Aplicação Servidor de Banco de Dados Servidor de Streaming ... Servidores específicos (proprietários/appliances) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  69. 69. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Arquitetura de Servidor Simples Internet Roteador Firewall Servidor Web PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  70. 70. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Arquitetura de Servidores em Múltiplas camadas REDE 1 REDE 2 REDE 3 REDE 4 Zona Desmilitarizada (DMZ) Internet Balanceador Servidores de Carga Servidores Servidores de Banco de Dados Web de Aplicação Ex. Mainframes PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  71. 71. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Balanceamento de Carga Permite escalabilidade progressiva Permitem crescimento horizontal Normalmente menor custo de expansão Disponibilizam redundância Diminuem percepção de falhas PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  72. 72. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Largura de Banda e Latência Largura de Banda ou taxa de transferência : é a taxa na qual os dados são transferidos através da rede (tamanho do cano !) Latência ou Retardo : tempo de transferência do dado (bit), do cliente até o servidor. Uma lan típica, dentro de um prédio tem latência de 1 ms. A latência aumenta com o maior número de pontos a trafegar na web e com a distância. Quanto mais perto o acesso, menor latência. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  73. 73. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Estudo de Caso 6 – Web Site Publicações Um web site de publicações eletrônicas está dimensionando a capacidade do link Com base nos logs de acesso, observou-se que a média diária era de 1.000.000 de operações HTTP por dia. O tamanho médio de cada foi de 10.000 bytes. Qual largura de banda é necessária ? Se durante 2 horas, no horário de pico o volume dobrar ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  74. 74. ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB Estudo de Caso 6 – Web Site Publicações Um web site de publicações eletrônicas está dimensionando a capacidade do link Com base nos logs de acesso, observou-se que a média diária era de 1.000.000 de operações HTTP por dia. O tamanho médio de cada foi de 10.000 bytes. Qual largura de banda é necessária ? 1.000.000 / (24x60x60) x (10.000x8) = 926 Kbps segundos do dia tamanho em bits Se durante 2 horas, no horário de pico o volume dobrar ? 926 x 2 = 1.852 Kbps (não se dilui o máximo ao longo do dia) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  75. 75. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  76. 76. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Capacidade Adequada Acordos de por exemplo, tempo de resposta <8s Clientes nível de serviço (SLA) por exemplo, servidor Tecnologias NT, BD Oracle Capacidade Gerência e padrões adequada especificados Restrições de custo por exemplo, custo inicial < $ 5,5 milhões custo manutenção < $ 1,6 milhão/ano PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  77. 77. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Capacidade Adequada Dizemos que um sistema Web possui capacidade adequada se os SLAs forem continuamente atendidos para uma tecnologia e padrões especificados, e se os serviços forem fornecidos dentro das restrições de custos. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  78. 78. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Uma metodologia de planejamento de capacidade Conhecimento do ambiente Desenvolvimento Caracterização de um da carga de trabalho modelo de custo Validação & Calibragem Modelo de carga do modelo de carga de trabalho de trabalho Previsão da carga de trabalho Modelo de custo Desenvolvimento do modelo de desempenho/disponibilidade Modelo de Calibragem do modelo Previsão Desempenho e de desempenho/disponibilidade disponibilidade de Custo Previsão de desempenho & disponibilidade Análise de custo/ Desempenho & Disponibilidade Plano de Configuração Plano de Pessoal Plano de Investimento PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  79. 79. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Conhecimento do Ambiente Descobrir que tipo de Hardware (cliente e servidores), Software (sistemas operacionais, aplicações e interfaces), conectividade de rede e protocolos de rede estão presentes no ambiente. Identificar períodos de pico de uso, estruturas de gerenciamento e SLA´s. Se realizará através de reuniões com usuários, auditorias, questionários, help-desk, documentos de planejamento, entrevistas e demais técnicas de levantamento. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  80. 80. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Elementos do Conhecimento do Ambiente Elemento Descrição Plataforma do Cliente Quantidade e tipo Plataforma do Servidor Quantidade, tipo, configuração e função Middleware Tipo (por exemplo, monitores de TP) SGBD Tipos Serviços/Aplicações Principais serviços na Web e aplicações aceitos Conectividade de rede Diagrama de conectividade da rede, mostrando todas as LAN´s, WAN´s, tecnologias de rede, roteadores, servidores, balanceadores de carga, firewalls e número de clientes por segmento de LAN Protocolos de rede Lista de protocolos utilizados Padrões de uso Períodos de pico (por exemplo, hora do dia, dia da semana, semana do mês, mês do ano) Acordos de nível de serviço SLA´s existentes para serviços na Web (quando não existirem SLA´s formais, os padrões do setor podem ser usados) Gerência e suporte da LAN Estrutura de suporte da gerência da LAN, tamanho, habilidade e atendimento aos usuários Procedimentos de aquisição Elementos do processo de aquisição, mecanismos de justificativa para aquisições, limites de gastos, mecanismos de autorização e duração do ciclo de aquisição. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  81. 81. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Carga de Trabalho Descrever com precisão a carga de trabalho global do sistema, em termos de seus componentes principais. Os componentes principais se decompõe em componentes básicos, que se caracterizam pela intensidade da carga (IC) ou demanda de serviço (DS). Carga de Trabalho Global Componente 1 da carga de trabalho Componente N da carga de trabalho (por exemplo, transações C/S) (por exemplo, acesso à Web) Componente Componente Componente Componente básico 1.1 básico 1.m básico n.1 básico n.k (por exemplo, (por exemplo, (por exemplo, (por exemplo, Transações Transações Treinamento Uso de motores de pessoal) de vendas) corporativo) de busca) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  82. 82. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Exemplos de componentes de carga de trabalho Tipo de Componente básico e parâmetros parâmetro Transação de Vendas Número de transações enviadas por cliente IC Número de clientes IC Número total de I/Os ao BD de vendas DS Utilização de CPU no servidor de BD DS IC = Tamanho médio da mensagem enviada/recebida pelo servidor de BD DS Intensidade Treinamento Baseado na Web de carga Número médio de sessões de treinamento/dia IC Tamanho médio do arquivo de vídeo por sessão DS Tamanho médio dos documentos HTTP obtidos DS Tamanho médio dos arquivos de imagem obtidos/sessão DS Número médio de documentos obtidos/sessão DS DS = Utilização média de CPU do servidor Web DS Demanda Processamento de Correio de serviço Número de mensagens recebidas por dia por cliente IC Número de mensagens enviadas por dia por cliente IC Número de clientes IC Tamanho médio da mensagem DS Utilização de CPU pelo Mail Server DS PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  83. 83. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Validando modelos de carga de trabalho Ao construir um modelo são feitas abstrações. Deve-se realizar uma execução de carga de trabalho sintética, que permita identificar se o modelo está com distorção aceitável. Caso a margem não esteja de 10 a 30% deve- se submeter o modelo a um ajuste (ou calibragem) visando a validação do modelo. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  84. 84. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Modelos de Desempenho A previsão do desempenho é o processo de estimar as medições de desempenho de um sistema de computador para determinado conjunto de parâmetros : Parâmetros do sistema : Características que impactam no desempenho (balanceamento de carga, protocolos, numero de conexões simultaneas, capacidades do BD) Parâmetros do recurso : Caracteristicas próprias do recurso, que afetam o desempenho (tempo de disco, latência de rede, performance de CPU) Parâmetros da carga de trabalho IC (Intensidade da Carga) – carga imposta em unidades de trabalho que disputam recursos do sistema DS (Demanda de serviço) – tempo de serviço exigido por cada componente em cada recurso. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  85. 85. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Modelos de Desempenho A previsão do desempenho exige o uso de modelos, que podem ser : Simulação : programas de computador que imitam o comportamento de um sistema à medida que as transações fluem pelos diversos recursos simulados. Analítico : conjunto de fórmulas e/ou algoritmos de cálculo usados para gerar medições de desempenho a partir de parâmetros do modelo. À medida que mais elementos do modelo são representados com maiores detalhes, a precisão do modelo aumenta. Modelo aproximado : Modelo detalhado : Pouco esforço na Precisão do modelo de desempenho grande esforço na coleta de dados coleta de dados Baixa Precisão Alta Precisão PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  86. 86. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Estudo de Caso 7 – Precisão de Modelos de Desempenho Qual dos 2 apresenta maior precisão ? Rede de Filas Rede de Filas Servidor Web Corporativo de alto nível detalhada Discos Servidor Web Corporativo CPU´s Internet Internet Servidor de Servidor de e-mail E-mail Discos CPU´s PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  87. 87. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Validando um Modelo de Desempenho Um modelo será válido se as medições apresentadas pelo modelo se aproximarem das medições realizadas em tempo real. Modelo Sistema de Real desempenho Medições Cálculos Valores MEDIDOS para tempos Valores CALCULADOS para tempos de respostas, taxa de de respostas, taxa de processamento, utilizações, etc. processamento, utilizações, etc. Aceitável ? Calibragem do modelo PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  88. 88. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Modelo de Disponibilidade Os modelos de disponibilidade oferecem um meio de previsão da disponibilidade de um serviço na Web, com base na configuração de infra-estrutura utilizada e considerando a confiabilidade intrínseca dos componentes utilizados. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  89. 89. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Modelo de Custo Uma metodologia de planejamento de capacidade deve sempre considerar as principais origens do custo. Ao analisar os custos envolvidos em serviços Web, deve-se considerar também a possibilidade de aumento de tráfego em canais existentes, como suporte telefônico. Custos iniciais serão provenientes da montagem inicial da estrutura. Custos operacionais estão associados a manutenção e ampliação da base de hardware, software, links de comunicação, pessoal, treinamento, consultoria e outros. As medições de custo relativas se dão em moeda por alguma medida de capacidade do sistema (ex. reais por navegação por minuto, dólares/consulta/segundo.) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  90. 90. PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB Análise de Custo/Desempenho Os modelos de custos e desempenho podem ser usados para avaliar diversos cenários e configurações : Deveríamos espelhar o web site para balancear a carga, reduzir o tráfego na rede e melhorar o desempenho ? Deveríamos substituir os servidores web existentes por outros mais rápidos ? Deveríamos usar uma rede de distribuição de conteúdo para oferecer imagens ? Deveríamos usar serviços de hospedagem de terceiros ? Para cada cenário, podemos prever qual será o desempenho de cada componente básico da carga de trabalho global e quais são os custos para o cenário. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  91. 91. BENCHMARKS E TESTES DE DESEMPENHO PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  92. 92. BENCHMARKS E TESTES DE DESEMPENHO INTRODUÇÃO A melhor maneira de estudar desempenho é executar a carga de trabalho real e medir os resultados. Benchmarking é o principal método para medir o desempenho de uma máquina física real. É a execução de um conjunto de programas representativos em diferentes computadores e redes, medindo seus resultados. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  93. 93. BENCHMARKS E TESTES DE DESEMPENHO NATUREZA DOS BENCHMARKS Tempo e Velocidade são as medidas básicas de desempenho. O que um determinado benchmark está realmente testando ? Até que ponto o benchmark é semelhante à carga de trabalho do ambiente do usuário ? O que o benchmark está realmente medindo ? Benchmarks são boas ferramentas para comparação de sistemas, ao invés de ferramentas precisas para dimensionar ou planejar a capacidade de determinado serviço. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  94. 94. BENCHMARKS E TESTES DE DESEMPENHO HIERARQUIA DE BENCHMARKS Dividem-se em 2 categorias : Granularidade grande (ex. Medição de e- commerce) Benchmarks detalhados (ex. Velocidade de CPU) Hierarquias : Operações Básicas (+ - x / ) Benchmark de “brinquedo” (hanói, etc) Kernels (operações de cpu, parte de código real) Programas reais (pacotes de benchmark – SPEC e TPC) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  95. 95. BENCHMARKS E TESTES DE DESEMPENHO HIERARQUIA DE BENCHMARKS Sistemas Programas Benchmark de Operações Kernels “brinquedo” básicas de reais computador Medições de Desempenho PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  96. 96. BENCHMARKS E TESTES DE DESEMPENHO BENCHMARKS COMUNS Grupos de usuários e pesquisas na web são boas fontes de informação atualizadas sobre vários tipos de benchmarks Para ser útil, um benchmark precisa ser : Relevante : ofereça medidas de desempenho significativas no domínio de problema específico Inteligível : simples e fáceis de entender Escalável : aplicáveis a grande variedade de sistemas, em custo, desempenho e configuração Aceitável : resultados imparciais, reconhecidos por usuários e fornecedores. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  97. 97. BENCHMARKS E TESTES DE DESEMPENHO SPEC (www.spec.org) SYSTEM PERFORMANCE EVALUATION CORPORATION Organização de fornecedores da indústria de informática, que desenvolve testes de desempenho padronizados (benchmarks) e publica resultados das análises. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  98. 98. BENCHMARKS E TESTES DE DESEMPENHO Membros (SPEC) 3DLabs * Advanced Micro Devices * Apple Computer, Inc. * ATI Research * Azul Systems, Inc. * BEA Systems * Borland * Bull S.A. * Dell * EMC * Exanet * Freescale Semiconductor, Inc. * Fujitsu Limited * Fujitsu Siemens * Hewlett-Packard * Hitachi Data Systems * Hitachi Ltd. * IBM * Intel * ION Computer Systems * Johnson & Johnson * Microsoft * Mirapoint * NEC - Japan * Network Appliance * Novell * NVIDIA * Openwave Systems * Oracle * Panasas * PathScale * The Portland Group * S3 Graphics Co., Ltd. * SAP AG * ServerWorks * SGI * Sun Microsystems * Super Micro Computer, Inc. * Sybase * Unisys * Verisign * Veritas Software * Zeus Technology * PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  99. 99. BENCHMARKS E TESTES DE DESEMPENHO TPC (www.tpc.org) TRANSACTION PROCESSING PERFORMANCE COUNCIL Corporação não-lucrativa, fundada para definir benchmarks de processamento de transações, banco de dados e comércio eletrônico. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  100. 100. BENCHMARKS E TESTES DE DESEMPENHO PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  101. 101. BENCHMARKS E TESTES DE DESEMPENHO BENCHMARK DE CPU SPEC Projetado para medições de desempenho com cargas, em diferentes sistemas SPECxxxx, onde xxxx = geração 2 pacotes : int (calculos c/inteiros) e fp (ponto flutuante) Concentra-se em desempenho do processador e arquitetura de memória. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  102. 102. BENCHMARKS E TESTES DE DESEMPENHO CARGA DE TRABALHO P/SPECint Compactação Roteamento de circuito FPGA (Field Programmable Gate Array( Compilador C Otimização combinatória Jogo : xadrez Processamento de textos Visualização do computador Linguagem PERL Teoria de grupo, interpretador Banco de dados orientado a objeto Compactação Simulador de lugar e rota PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  103. 103. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 7 : USANDO SPECint Um fornecedor anuncia um novo servidor web com processador e memória mais eficiente Afirma que com o novo servidor teremos melhora de 60% na performance Avaliando os resultados SPECint publicados, temos respectivamente 363 e 489 SPECint para o antigo e novo servidor Qual o ganho de performance SPECint ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  104. 104. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 7 : USANDO SPECint Um fornecedor anuncia um novo servidor web com processador e memória mais eficiente Afirma que com o novo servidor teremos melhora de 60% na performance Avaliando os resultados SPECint publicados, temos respectivamente 363 e 489 SPECint para o antigo e novo servidor Qual o ganho de performance SPECint ? 489 / 363 = 1,35 ou 35% PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  105. 105. BENCHMARKS E TESTES DE DESEMPENHO BENCHMARKS DE SERVIDORES WEB 3 mais utilizados : Webstone SPEC-Web SURGE (Scalable URL Reference Generator) Simulam clientes web. Geram requisições ao servidor de acordo com carga de trabalho especificada, recebem respostas e coletam as medições Importante lembrar que os benchmarks web apresentados utilizam ambiente de rede interna, diferente do mundo real na internet PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  106. 106. BENCHMARKS E TESTES DE DESEMPENHO SPECWEB99 Projetado para medir capacidade de um sistema de atuar como servidor Web Mede o número máximo de conexões simultäneas Carga de trabalho padrão inclui HTML estática e dinâmica, e suporte para HTTP 1.1 Para Unix ou NT Executa em vários clientes enviando requisições http e armazenando respostas Consolida respostas em cliente principal PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  107. 107. BENCHMARKS E TESTES DE DESEMPENHO SPECWEB99 – Carga de Trabalho Distribuição de requisições da carga Requisição % GET estático 70,00 GET dinâmico padrão 12,45 GET dinâmico padrão (CGI) 0,15 GET dinâmico personalizado 12,60 POST dinâmico 4,80 Tamanho de arquivo por classe e frequencia Classe Tam.Arquivo (KB) % de acesso 0 0-1 35 1 1-10 50 2 10-100 14 3 100-1.000 1 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  108. 108. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 8 – EMPRESA DE MÍDIA Empresa de mídia planeja reformular portal Administrador do sistema pretende utilizar SPECweb para estimar sistema que atenda carga inicial prevista Imagina-se como número de usuários simultaneos 10.000 Cada usuário (cliente) oscila entre 2 estados : apresentando resultados (pensando) e esperando pela resposta (execução da requisição) Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexão QUAL TAXA DE PROCESSAMENTO REQUERIDA ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  109. 109. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 8 – EMPRESA DE MÍDIA Empresa de mídia planeja reformular portal Administrador do sistema pretende utilizar SPECweb para estimar sistema que atenda carga inicial prevista Imagina-se como número de usuários simultaneos 10.000 Cada usuário (cliente) oscila entre 2 estados : apresentando resultados (pensando) e esperando pela resposta (execução da requisição) Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexão QUAL TAXA DE PROCESSAMENTO REQUERIDA ? Taxa de Processamento = Clientes Simultaneos / (Tempo Resposta + Tempo de Reflexão) Taxa de Processamento = 10.000 / (4 + 3) = 1.429 reqs./segundo PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  110. 110. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2) Agora deseja-se estimar o número médio de conexões simultâneas geradas pelos 10.000 clientes simultâneos. Considera-se que o tempo de resposta é = tempo de rede + tempo no website. Estima-se o tempo de rede em 1,2s. O tempo de website não deve ultrapassar 2,8 (4 – 1,2). Qual o número médio de conexões simultâneas? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  111. 111. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2) Agora deseja-se estimar o número médio de conexões simultâneas geradas pelos 10.000 clientes simultâneos. Considera-se que o tempo de resposta é = tempo de rede + tempo no website. Estima-se o tempo de rede em 1,2s. O tempo de website não deve ultrapassar 2,8 (4 – 1,2). Qual o número médio de conexões simultâneas? Conexões Simultâneas = Requisições por Segundo x (Tempo de Resposta – Tempo de Rede) 1.429 x (4 – 1,2) = 1.429 x 2,8 = 4.001 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  112. 112. BENCHMARKS E TESTES DE DESEMPENHO ANALISANDO O ESTUDO DE CASO Examinando os resultados do benchmark SPECweb, pode-se encontrar um sistema que atenda aos requisitos de carga, ou seja : Número de conexões maior que 4.001 Taxa de Processamento maior que 1.429 requisições por segundo PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  113. 113. BENCHMARKS E TESTES DE DESEMPENHO WEBSTONE Benchmark Cliente-Servidor configurável para HTTP. Usa parâmetros de carga e processa clientes, gerando tráfego HTTP. Projetado para medir a taxa de processamento máxima do servidor e o tempo de resposta médio para conexão com o servidor. Um processo mestre gera uma série de processos cliente, que geram as requisições HTTP. Ao término, o processo mestre consolida as informações de resumo de desempenho. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  114. 114. BENCHMARKS E TESTES DE DESEMPENHO WEBSTONE – Carga de Trabalho 4 Conjuntos de cargas sintéticas modelam as cargas de trabalhos reais. Parametros são : Número de clientes que solicitam páginas : A velocidade de solicitação de páginas no tempo que o servidor retorna (tempo de pensar = zero). Tipo de Página : tamanho de arquivo e frequência de acesso. Composição que indica probabilidade de acesso. Número de páginas disponíveis no servidor teste Número de máquinas cliente. Principais resultados : Taxa de processamento e latência PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  115. 115. BENCHMARKS E TESTES DE DESEMPENHO WEBSTONE – Resultados Típicos Métrica Valor Número Webstone 456 Número total de clientes 24 Número total de páginas recuperadas do servidor 4.567 Número total de erros 0 Número total de conexões com o servidor 12.099 Tempo médio por conexão (s) 0,0039 Tempo máximo por conexão (s) 0,0370 Quantidade total de bytes movidos 129.108.600 Taxa de processamento médio (bytes/s) 215.181 Tempo médio de resposta (s) 1,181 Tempo máximo de resposta (s) 18,488 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  116. 116. BENCHMARKS E TESTES DE DESEMPENHO SURGE Um componente-chave de benchmark é a carga de trabalho. 2 técnicas são utilizadas : carga de trabalho real (amostragem) modelos matemáticos para representar características de carga SURGE se baseia nas 2 técnicas Um usuário é definido como um processo em loop que alterna entre fazer requisição HTTP e permanecer ocioso. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  117. 117. BENCHMARKS E TESTES DE DESEMPENHO SURGE (Características da carga de trabalho) Tamanhos de arquivo : distribuição de tamanho da coleção de arquivos armazenados no servidor Tamanhos de requisição : podem ser diferentes dos tamanhos de arquivo, devido à diferente popularidade Popularidade : distribuição das requisições baseadas em cada arquivo Referências embutidas : um objeto web é normalmente composto por diversos outros Localidade Temporal : probabilidade de novo acesso a um determinado objeto acessado anteriormente Tempos OFF : tempos ociosos, entre requisições. Pensar do usuário e análise e formatação do browser. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  118. 118. BENCHMARKS E TESTES DE DESEMPENHO BENCHMARKS DO SISTEMA Medem o sistema inteiro : processador, I/O, redes, banco de dados, compilador, sistema operacional Exemplo : Família TPC TPC divide-se em : TPC-C : OLTP (on line transaction processing) TPC-W : E-commerce TPC-H e TPC-R : simulam um sistema de suporte à decisão com grandes volumes de dados, sincronizado com bancos de dados de produção on-line. Utilizam consultas aleatórias, altamente complexas, projetadas para responder a algumas questões de negócios do mundo real, incluindo perguntas sobre preços e promoções, oferta e demanda, lucro e receita e participação de mercado. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  119. 119. BENCHMARKS E TESTES DE DESEMPENHO TPC-C Benchmark padrão do setor de processamento de transação on-line Modela uma aplicação que gerencia requisições para um fornecedor de atacado Carga de trabalho divide-se em : Nova requisição (45%) Pagamento (43%) Remessa (4%) Estado da Requisição (4%) Nível de estoque (4%) PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  120. 120. BENCHMARKS E TESTES DE DESEMPENHO Exemplo de Resultados do TPC-C Informação do Sistema Resultado Empresa X Sistema Y Processadores 4 Armazenamento total 2,61 Terabytes SGBD Microsoft SQL Sistema operacional Windows NT Monitor de Transação Microsoft COM + Custo total do sistema US$ 445.747 Taxa de processamento do TPC-C (tpmC) 34.600 Preço/desempenho $ 12,89 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  121. 121. BENCHMARKS E TESTES DE DESEMPENHO TPC-C PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  122. 122. BENCHMARKS E TESTES DE DESEMPENHO TPC-C PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  123. 123. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 10 – Companhia de Seguros Um gestor de TI de uma cia. de seguros quer fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%. Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo são, respectivamente 30.000 e 36.000. Haverá ganho desejado de 30% na migração ? PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  124. 124. BENCHMARKS E TESTES DE DESEMPENHO ESTUDO DE CASO 10 – Companhia de Seguros Um gestor de TI de uma cia. de seguros quer fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%. Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo são, respectivamente 30.000 e 36.000. Haverá ganho desejado de 30% na migração ? Percentual melhoria = Taxa novo software / taxa software antigo 30.000 / 36.000 = 1,2 ou seja 20% de melhoria PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
  125. 125. BENCHMARKS E TESTES DE DESEMPENHO TPC-W Trata da avaliação de sites que oferecem suporte a atividades de e-business Modelo de uma loja que vende produtos e serviços pela internet A métrica de performance é expressa em Interações da Web por segundo (WIPS – Web interactions per second) Número de itens no catalogo define escala: 10.000, 100.000, 1.000.000 e 10.000.000 itens. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  126. 126. BENCHMARKS E TESTES DE DESEMPENHO TPC-W Classifica as interações web em 2 categorias : Navegar (navegação e pesquisa) : home, navegar, selecionar, detalhe do produto e pesquisar. Pedir (pedido de produto) : carrinho, login, pedido de compra, confirmação de compra, pesquisa de pedido e exibição de pedido. Especifica 3 diferentes perfis de sessão : Mistura de navegação : 95 % Navegar e 5% Pedir Mistura de compra : 80% Navegar e 20% Pedir Mistura de requisição : 50% Navegar e 50% Pedir PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  127. 127. BENCHMARKS E TESTES DE DESEMPENHO Resultados do TPC-W Informação do Sistema Resultado Empresa X Sistema Y Escala 10.000 Processadores 4 SGBD Microsoft SQL Sistema operacional Windows NT Servidor HTTP Microsoft IIS Balanceador de Carga MS Windows DNS Server Motor de busca MS SQL Server FT Search Custo total do sistema US$ 211.214 Desempenho do TPC-W 3.130 Preço/desempenho US$ 67,50 PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  128. 128. BENCHMARKS E TESTES DE DESEMPENHO TPC-W (Resultados) Existem 2 tipos de métricas de desempenho Métrica de Taxa de Processamento WIPS : número médio de interações web por segundo em sessões do tipo Compra. wips@scale_factor (onde fator de escala é o número de itens no catálogo) WIPSb : número médio de interações nas sessões do tipo Navegar. WIPSo : número médio de interações nas sessões do tipo Pedir. Métrica de custo/taxa de processamento ($Wips) : Razão entre o Custo total do sistema em teste e o número de wips medido durante um intervalo de compra. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  129. 129. BENCHMARKS E TESTES DE DESEMPENHO TPC-W PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  130. 130. BENCHMARKS E TESTES DE DESEMPENHO TPC-W PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  131. 131. BENCHMARKS E TESTES DE DESEMPENHO TESTE DE DESEMPENHO Finalidade principal : entender o desempenho do serviço sob condições de determinada carga de trabalho Podem ser usados em todos estágios de desenvolvimento de serviços web, antes de entrar em operação Chave é simular o ambiente de produção e cenários de carga de trabalho, o mais próximo do mundo real. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  132. 132. BENCHMARKS E TESTES DE DESEMPENHO TIPOS DE TESTES DE DESEMPENHO Teste de CARGA : cria-se uma carga de trabalho simulada, imitando a operação normal estimada Teste de ESFORÇO : focaliza os cenários do pior caso e utiliza uma carga mais pesada do que o esperado Teste de PICO : teste sob condições muito específicas, quando a carga é muitas vezes maior que a média. PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  133. 133. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Definir objetivos do teste : Grande influência em custos e ambiente esforço no projeto de teste. Exemplos : Especificar Determinar capacidade do servidor web o plano de teste Descobrir número máximo de usuários simultâneos em Definir a carga de um serviço web aceita Trabalho do teste Determinar a capacidade da aplicação Configurar o Identificar engarrafamentos na infra-estrutura ambiente de teste Identificar impacto da rede sobre tempo percebido pelo Executar os testes usuário final Descobrir capacidade do servidor de BD Analisar os Identificar as funções Web mais caras resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  134. 134. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Entender o ambiente : Descobrir o que compõe o cenário : ambiente Tipo de infra-estrutura (servidores e serviços de Especificar terceiros) o plano de teste Software (sistema operacional middleware e Definir a carga de aplicações) Trabalho do teste Conectividade de rede e protocolos estão presentes no Configurar o ambiente ambiente de teste Períodos de picos e SLA´s Executar os testes Entender a natureza da carga de trabalho e dos serviços oferecidos pelo sistema em teste Analisar os resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  135. 135. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Especificar o plano de teste : Identificar quais serviços na ambiente Web e funções devem ser testadas. Deve conter : Especificar Expectativas da equipe o plano de teste Cenários de carga de trabalho (otimista, pessimista) Definir a carga de Verificação de SLA Trabalho do teste Garantir o uso da mesma infra-estrutura do ambiente Configurar o de produção ambiente de teste Determinar como as variáveis de entrada são Executar os testes controladas ou alteradas Determinar o grau desejado de confiança nas Analisar os medições resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  136. 136. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Especificando a carga de trabalho do teste : planejar um ambiente cenário de aplicação que sejam típicas do serviço na web. Especificar Ex. Comportamento dos usuários. Geração de scripts o plano de teste com perfis diferentes por grupo Definir a carga de Compradores ocasionais e frequentes Trabalho do teste O primeiro grupo representa clientes que Configurar o usam lojas web para pesquisa de novos ambiente de teste produtos e tarifas, mas na maioria das vezes não compram pela web Executar os testes O segundo grupo com clientes com grande Analisar os probabilidade de comprar se achar produto resultados que lhes interesse. do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  137. 137. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Configurar o ambiente de teste : uma instalação de teste foi ambiente disponibilizada, para permitir a execução dos testes, antes Especificar da distribuição. Uma ferramenta de teste de esforço foi o plano de teste selecionada para permitir a simulação de usuários. Entre Definir a carga de os requisitos para teste do sistema é preciso verificar o Trabalho do teste seguinte : Licença do fornecedor de teste de carga para o Configurar o ambiente de teste número de usuarios simultaneos a serem testados Ferramentas de monitoração de desempenho para Executar os testes servidores web, servidores de aplicação, sistema de banco de dados e redes. Analisar os resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  138. 138. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Executar os testes : ambiente Executar o plano de teste especificado Especificar Submeter os scripts de teste pré-definidos o plano de teste Ajustar os testes com base nos resultados da última Definir a carga de rodada de testes realizados (calibragem do teste) Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  139. 139. BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos do teste DE DESEMPENHO Entender o Analisar os resultados do teste : ambiente Examinar tendências versus objetivo do teste Especificar Relacionar medições de desempenho o plano de teste Desenvolver recomendações à gerência Definir a carga de Avaliar tempos de respostas, buscando identificar Trabalho do teste problemas de desempenho específicos Configurar o ambiente de teste Executar os testes Analisar os resultados do teste PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
  140. 140. DISPONIBILIDADE DOS SERVIÇOS NA WEB PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

×