Apresentação no MeetUp de "Café, testes e pão de queijo" sobre metodologia para projetos de testes de desempenho.

1. Teste de Desempenho,
muito além do jMeter ...
Juliano Santos
Fev/2018

2. Juliano Santos
 Mestre e Bacharel em Ciência da
Computação pela UFMG.
 Trabalho com T.I. desde 1998 e com QA
desde 2003.
 Participei de projetos de Desempenho
para: PBH, Prodemge, Ministério da
Saúde, Fundep, Ânima, Unimed-BH,
Editora Abril, Natura, Qualicorp,
Maxmilhas e Montreal
 Fui sócio/funcador da Base2 Tecnologia e
atuei como QA em empresas no
mercado.
 Lecionei na PUC-Minas, UNA e Fumec na
graduação e pós disciplinas de QA.
 Analista de TI na Unimed-BH –
Governança : Processo e Qualidade
 Gosto de Rock, pedalar, carros
clássicos e nerdices ...

3. Agenda
 Introdução / Motivação
 Metodologia de Testes de Desempenho
 Preparação / Modelagem
 Execução / Experimentos
 Análise de Resultados

4. Teste de ....  Tempo de resposta
 Identificar gargalos
 Carga máxima suportada
 Capacidade de escalabilidade
 Identificar problemas de
concorrência
 ...
Teste
Funcional
Teste de
Desempenho
Teste de
Desempenho

5. Valor está na definição do comportamento!

6. Conceitos : HTTP
 GET : solicita algum recurso.
GET login.html
HTTP/1.1
Host: www.exemplo.com
 POST : envia dados para serem
processados.
POST login.html
...
Data:
- username:juliano@gmail.com
- password:senha123
GET : login
POST : login + usuario, senha
login
home
Cliente Servidor

7. Conceitos : HTTP
 Requisições HTTP
 Tempo de resposta
Instantâneo até 0.1 segundo
BOM até 1 segundo
PERDEU O
USUÁRIO!
Mais de 10
segundos
http://www.profissionaldeecommerce.com.br/
2-segundos-de-carregamento-dos-sites/
https://www.nngroup.com/articles/
response-times-3-important-limits/

8. Metodologia
Preparação / Modelagem
Execução / Experimentos
Análise de Resultados

9. Quando e escopo
 Quando?
 Após os testes funcionais
 Quando existir um ambiente
próximo do real, isolado e
controlado.
 Quando tivermos os requisitos
de carga.
“O sistema tem de ser rápido.”
“O sistema deve ser eficiente.”
“Temos 100 mil usuários no sistema.”
 Escopo
 Não se faz teste de
desempenho em todo o
sistema.
 Relatórios?
 Cadastros?

10. Carga
 Qual o número de usuários
simultâneos no sistema?
 Quantas transações por hora
ou dia são feitas?
 Em geral: 1 robô
corresponde a
10 usuários reais.
X

11. Massa de Testes
 Dados de entrada  Carga do Banco de dados

12. Arquitetura
 Aplicação Web/Mobile
Balanceador
Servidor de
Aplicação
Servidor de
Estáticos
Banco de
Dados
API
Terceiros

13. Monitoramento
 Ferramental de Monitoramento
 Dynatrace, Newrelic,
AppMon (nagios),
meus scripts ...

14. Erros comuns ...
 Não conhecer o perfil de acesso dos usuários
 Não ter um ambiente controlado
 Não monitorar o ambiente
 Gastar $$$ com testes que não te dão segurança do
resultado

15. Metodologia
Preparação / Modelagem
Execução / Experimentos
Análise de Resultados

16. Ferramenta de Execução dos Testes
 Ferramentas
 Gartner Magic Quadrant
 LoadRunner (HP)
 SilkPerformer (MicroFocus)
 Rational Performance Testing
(IBM)
 VSTS (Microsoft)
 ....
 JMeter

17. JMeter

18. JMeter
 Script de Teste Exemplo : Redmine

19. JMeter

20. Criação dos Scripts
Aplicação
Proxy
HTTP(S) Test Script
Recorder

21. Criação dos Scripts

22. Criação dos Scripts

23. Execução dos experimentos
 Regras:
 Variação de um “item” apenas.
 Executar cada experimento
mais de 1 vez
 Ter um tempo fixo para cada
experimento.
 Dicas de execução:
 Primeiro
 1 robô (usuário)
 Executar experimentos com
saltos fixos no número de robôs

24. Execução dos experimentos

25. Execução dos experimentos
Aplicação
Master
Slaves
Linha de
Comando

26. Execução dos experimentos
 Monitoramento
do ambiente

27. Dicas ...
 Simular variando o numero de robôs até a degradação do
tempo de reposta
 Fixar uma quantidade de robôs em um valor “antes” de
degradar e fazer um experimento longo
 Fixar uma quantidade de robôs em um valor “antes” de
degradar e alterar o ambiente: servidores de aplicação
(configuração, quantidade, etc)

28. Metodologia
Preparação / Modelagem
Execução / Experimentos
Análise de Resultados

29. Conceitos
 Amostra é o conjunto de todos os
tempos de reposta de um
experimento
 Percentil de X% (ou linha de X):
temos que X% de todos os valores
da amostra, estão abaixo deste
valor
 JMeter
 Listener: Agregate
Report

30. Análise dos resultados
UVs
#
?
?

31. Análise dos resultados
 Exemplo - Caso da Loja Virtual
 Script de um caso de uso de
pesquisa
 Foram feitos experimentos com
1, 20, 40, 60, 80 e 100 UVs
 Para cada experimento foram
monitorados os servidores de
Banco e de Aplicação.
 A seguir são apresentados os
dados dos clientes e servidores
Loja Virtual

32. Análise dos resultados
 Cliente : UVs x Taxa/Tempo/Erro

33. Análise dos resultados
 Servidor Aplicação 60 UVs : uso % x tempo

34. Análise dos resultados
 Servidor Aplicação 80 UVs : uso % x tempo

35. Análise dos resultados
 Resultados : Cliente e Servidor

36. Análise dos resultados
 Exemplo - Caso da Loja Virtual
 Quando foram simulados 60
UVs o sistema estava
atendendo bem
 Quando foram simulados 80
UVs o sistema teve uma
degradação devido ao uso de
100% da memória RAM e inicio
do uso de SWAP
Loja Virtual
Onde esta consumindo
memória?

37. Análise dos resultados
 Profiling

38. Análise dos resultados
 SQL

39. Dúvidas??

40. Juliano Santos
https://www.linkedin.com/in/julianocsantos/
juliano.csantos@gmail.com

41. Referências
 http://jmeter.apache.org
 https://jmeter-plugins.org/
 https://www.blazemeter.com/jmeter
 Planejamento de Capacidade para Serviços Web. Métricas, modelos e
métodos – Daniel A. Menascé e Virgílio A. F. Almeida