Este artigo tem por objetivo detalhar de uma maneira prática e atualizada os diferentes tipos de teste de desempenho citados na literatura mundial, convergindo com a literatura técnica brasileira. Além disto, também é descrito ao longo deste artigo com detalhes o planejamento, execução e análise dos resultados de um teste de desempenho utilizando de uma das técnicas brevemente explanadas aplicado em uma arquitetura E-commerce hipotética, utilizando uma ferramenta de apoio e a melhor forma de utiliza-la para criar scripts automatizados para este tipo de testes.

1. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Falando de testes de
desempenho
Evandro Grezeli
egrezeli@gmail.com
Maio/2015

2. Sobre
Entusiasta em assuntos que tangem a desempenho
de aplicação
10 anos de experiência com desenvolvimento de software Java e
otimização de sistemas em baixa plataforma
Manutenção e desenvolvimento de componentes para o Jmeter
Colunista no site http://jmeter.com.br
Especialista em capacidade e desempenho na maior companhia de
meios de pagamento do Brasil

3. Agenda
Parte 1: Teoria e Conceitos
Importância de testes de desempenho
O conceito do tempo de resposta
Reconhecimento do Ambiente
Tipos de testes de desempenho
Metodologia e Planejamento
Parte 2: Caixa de Ferramentas

4. Parte 1:
Teoria e Conceitos

5. Teste de Desempenho:
Cenário Antigo
No passado, a tarefa de efetuar testes em software era
considerada secundária
Os testes eram feitos pelos desenvolvedores
Os usuários eram envolvidos para aprovar o resultado dos
testes ou para gerar massa de dados

6. Teste de Desempenho:
Cenário Atual
Empresas tem visto a atividade de testes como prioritária
para a maior qualidade de suas aplicações
Não testar o software pode gerar perdas financeiras e de
imagem irreparáveis
Complexidade das aplicações, que estão cada vez mais
distribuídas

7. Teste de Desempenho:
Sua importância
Newport Group diz:
52% das aplicações Web falham ao escalar
60% delas não possuem um ciclo formal de teste de
desempenho
25% das que são testadas utilizam alguma ferramenta específica
IDC Research diz:
Menos do que 20% de aplicações J2EE atendem o SLA
esperado em ambiente produtivo;

8. Teste de Desempenho:
Sua importância
Processo de avaliar um sistema ou um componente de um
sistema para verificar se ele satisfaz os requisitos
especificados ou identificar diferenças entre resultados
esperados e obtidos” . [ANSI/IEEE Standard 729, 1983]
Teste de Software é o processo com o intuito de encontrar
erros em um programa ou sistema em execução [MYERS, 2004]

9. Teste de Desempenho:
Sua importância
Garantir um tempo de resposta dentro dos padrões aceitáveis para
evitar o abandono do site ou aplicação em função de tempos de
respostas inaceitáveis.
Garantir o uptime (alta disponibilidade) de aplicações e serviços de
missão crítica.
Evitar o fracasso dos projetos em virtude de problemas de desempenho e
escalabilidade.
Garantir os investimentos de TI por meio de previsão da
escalabilidade e performance da aplicação.

10. Teste de Desempenho:
O conceito do tempo de resposta
Mas afinal, o que é o tempo de resposta???
Tempo da rede Tempo do Serviço
Latência
Tempo da
transmissão
Tempo do
Hardware
Tempo da
Aplicação
CPU Disco LAN CPU Disco LAN
Tempo de resposta
Daniel A. MEnsacé, Virgilio A. F. Almeida: Planejamento de Capacidade para serviços na Web: Métricas, modelos e métodos. (2003)

11. Teste de Desempenho:
O conceito do tempo de resposta
Conceitos diferentes de tempo de resposta ao longo dos anos
Fonte Response time in man-computer conversational transactions,
Miller, R. B. (1968) Zona Research, 1999: 8-Seconds rule,
através de estatísticas aponta um estudo
de tempo de desistência do usuário
Fonte How Fast does a website need to be? Scott
Barber, 2004
Akamai, 09/2009: 47% das pessoas
esperam que uma página na internet abra
em até 2 segundos, 40% abandona a
página caso não abra em até 3 segundos
NÃO HÁ UM
CONSENSO!

12. Teste de Desempenho:
O conceito do tempo de resposta
Maneira mais efetiva de definir o que é um bom tempo de resposta é
medindo o throughput esperado.
Throughput: Medida de trabalho com sucesso(processado) por unidade
de tempo
Exemplos:
• Quantidade de clientes por minuto;
• Quantidade de páginas abertas por segundo;
• Quantidade de bytes transferidos entre o servidor e o cliente
por segundo;
• Quantidade de requisições processadas pelo servidor por
segundo;

13. Teste de Desempenho:
Reconhecimento do ambiente
Mapear o ambiente a ser testado auxilia a identificar:
 Potencias pontos de gargalos;
 “Áreas cegas”
 Caminho complete da transação (estrutura)
“É bem simples, uma camada de apresentação, processa na aplicação e
persiste no banco de dados...”

14. Camada de
Apresentação
Camada de
Aplicação
Camada de
Banco de
Dados
Gargalo de desempenho pode
estar em qualquer lugar!!!
Teste de Desempenho:
Reconhecimento do ambiente

15. Teste de Desempenho:
Tipos de testes
Levar até o limite
a infraestrutura
e ou o sistema
Teste de Stress
Executar uma carga
constante conhecida
para avaliar
infraestrutura e ou
sistema
Teste de Carga
Executar uma carga muitas
vezes maior do que a média
e em pequeno espaços de
tempo
Teste de Pico
Executar uma carga
constante conhecida
por um período maior
do que o habitual
Endurance test
Levar até o limite uma
única camada da
aplicação, medindo
sua vazão e seu
tempo de resposta
Component test
TESTE DE DESEMPENHO

16. Teste de Desempenho:
Metodologia
Definir os objetivos do teste
Entender o ambiente
Especificar o plano de teste
Definir a carga de trabalho do teste
Configurar o ambiente de teste
Executar os testes
Analisar os resultados do teste

17. Teste de Desempenho:
Metodologia
Roteiro inicial de Perguntas a se pensar:
1)Qual a quantidade de usuários concorrentes esperados em
situações normais e de pico?
2)Quais são as páginas mais visitadas ou tarefas comumente
realizadas pelos usuários?
3)Qual o tempo de resposta aceitável para tais tarefas em situações
normais e de pico?
4)Qual a carga de usuários máxima aceitável antes que o tempo de
resposta degrade a um ponto inaceitável?

18. Teste de Desempenho:
Metodologia
Workload (também conhecido como session, activity profile ou Web
Site Usage Signature) determina como os usuários utilizam a
aplicação.
Por meio do workload, podemos obter o seguinte tipo de informação a
respeito da utilização da aplicação:
 O tipo de páginas visitadas;
 O tempo gasto em cada página;
 Os caminhos percorridos pelos usuários;
 Percentual de abandono da aplicação;

19. Teste de Desempenho:
Metodologia
Exemplo de definição de workload para um cenário de teste
HomePage
Pesquisa por nome (30%)
Pesquisa por best seller (50%)
Pesquisa por ficção (20%)
Ajuda (10%)
Review (25%)
Enquete (5%)
Compra (75%)
Sair (25%)

20. Teste de Desempenho:
Usuários virtuais
Realizar um teste de desempenho com usuários reais
 Difícil de coordenar
 Atividades não são repetítiveis
 Suscetíveis a erros
 Não escalável
 Exige espaçao e infra-estrutura
 Relatórios/Métricas não são confiáveis
Testadores
de Verdade

21. Teste de Desempenho:
Usuários virtuais
Realizar um teste de desempenho com ferramentas específicas
 Fácil de coordenar
 Atividades são repetítiveis
 Error-Free
 Escalável
 Não Exige espaçao e infra-estrutura*
 Relatórios/Métricas são confiáveis
Virtual
Users

22. Teste de Desempenho:
Tempo de pensar
User Sleep Time (think time) faz os Virtual Users se comportarem
como se fossem usuários reais. Por meio do User Sleep time, são
injetados atrasos e paradas variáveis nos testes para simular cargas
de utilização mais realistas.

23. Teste de Desempenho:
Tempo de pensar
Durante a definição do User Sleep Time, devemos considerar que,
mesmo os usuários reais navegam com maior ou menor
velocidade de acordo com a sua familiaridade com o site.
Usuário
Lento
Servidor
Usuário
Rápido

24. Parte 2:
Caixa de Ferramentas

25. Teste de Desempenho:
Caixa de Ferramentas
O que ela tem que oferecer?

26. Teste de Desempenho:
Caixa de Ferramentas
O que o Mercado oferece?
Critérios Gartner: Gerenciamento de testes, criação de testes automatizados
para desempenho, automação de testes funcionais e de regressão

27. Teste de Desempenho:
Caixa de Ferramentas
O que a comunidade oferece?

28. Teste de Desempenho:
Caixa de Ferramentas
Qual é a melhor para mim?
 Entender a necessidade do atual cenário;
 Existirá evolução no processo de testes;
 Calendário anual de testes;
 Tempo x Esforço;
 Orçamento para demandas;

29. Falando de
Testes de Desempenho
Evandro Grezeli
egrezeli@gmail.com
http://br.linkedin.com/pub/evandro-grezeli/6/b88/719/en

30. Teste de Desempenho:
Para saber mais...
Referência bibliográficas:
Myers, Glenford J. The Art of Software Testing. 2ª ed. New Jersey: John Wiley & Sons
Inc, 2004.
Bartié, Alexandre. Garantia de Qualidade de Software. 3ª ed. São Paulo: Campus, 2002.
Pressman, Roger S. Engenharia de Software. 6ª ed. São Paulo: Pearson Makron Books,
2005.
Menascé, Daniel A., Almeida, Virgilio A. F. Planejamento de Capacidade para serviços
na Web: Métricas, modelos e métodos. São Paulo: Campus Elsevier, 2003.
Miller, Robert B. Response time in man-computer conversational transactions. New
York: International Business Machine Corporation, in press.
Almeida, Virgilio, Menascé, Daniel A., Dowdy, Larry W. Performance by Design:
Computer Capacity Planning by Example. New Jersey: Prentice Hall, 2004.
Meier, J. D. et al. Performance Testing Guidance for Web Applications. Redmond:
Microsoft Press, 2007.

31. Teste de Desempenho:
Para saber mais...
Referência web:
Jmeter BR
http://www.jmeter.com.br
Performance Project Planning
http://www.wilsonmar.com/perfplan.aspx
Memory leaks in enterprise java applications
http://www.javaworld.com/javaworld/jw-03-2006/jw-0313-leak.html
Introducing Microsoft Web Application Stress Tool
http://www1bpt.bridgeport.edu/sed/projects/cs597/Fall_2002/jishah/web_application_stress.htm
Load testing web applications using microsoft web application stress tool
http://www.west-wind.com/presentations/webstress/webstress.htm
FAQ – Performance & Load Testing
http://www.sqaforums.com/showflat.php?Cat=0&Number=41861&an=0&page=0
User Experience, not metrics
http://www.ibm.com/developerworks/rational/library/4228.html
Top 25+ Reasons Web Applications don’t scale
http://whitepapers.techrepublic.com.com/abstract.aspx?docid=38871