O documento discute como a inteligência artificial pode ser aplicada para melhorar os testes de software, incluindo a geração automática de testes, identificação de testes problemáticos e reconhecimento de elementos de interface do usuário. Também explora como a análise de dados de teste usando clustering pode ajudar a identificar falhas no desempenho do sistema.

1. Inteligência Artificial e Testes
in a Nutshell
Antonio Montanha Júlio de Lima
c/juliodelimasammontanha@gmail.com
@Capco @Capco

2. Um pouco de
contexto…

3. Resolver problemas que não
são fáceis de resolver de
maneira convencional

4. Resolver problemas que não
são fáceis de resolver de
maneira convencional
E a academia e o mercado,
como andam?

5. Criação Automática
de Testes
Academia
Geração de Massa de
Dados de Teste
Identificação de Testes
Flaky

6. EvoSuite
Mercado
applitools
test.ai

7. …, neurônios, redes neurais,
algoritmos genéticos, aprendizado
supervisionado, não supervisionado,
por reforço…

8. …, neurônios, redes neurais,
algoritmos genéticos, aprendizado
supervisionado, não
supervisionado, por reforço…

9. Qualquer informação
serve?

10. Reconhecimento
de padrões
O que você vê aqui?

11. Isso é o que a
máquina vê!
O que você vê aqui?

13. RGB(255, 0, 0)

14. Reconhecimento
automático de elementos
em testes mobile

15. “Ow dev, tem como
você colocar um unique
ID nesse elemento, que
ta difícil viu”
“Cara, mudaram a
tela, vai ter que
mapear tudo de novo”
“Vamos ter que mudar a
linguagem do App, se
prepara para hora extra
para refatorar teste”
“Serio que você
precisa ir em cada
botãozinho cada vez
que vai mapear algo?”

16. +

18. Habilitando o classificador de IA

19. Identificando de forma
convencional
Identificando com IA

20. Identificando de forma
convencional
Identificando com IA

21. "Mas então isso ai é a
solução de todos meus
problemas!"

22. Não, essa é uma
solução para um dos
seus problemas!

23. Machine Learning e
Testes de Performance

24. Analisar dados de resultados de
teste de carga é uma atividade
onerosa, lenta e dependente da
ferramenta de testes que se usa

25. Analisar dados de resultados de
teste de carga é uma atividade
onerosa, lenta e dependente da
ferramenta de testes que se usa
Analisar dados
Logs, Infra ou Requisições

26. INTRODUÇÃO Analisar dados de resultados de teste
de carga é uma atividade onerosa,
lenta e dependente da ferramenta de
testes que se usa. A análise pode ser
baseada na análise de logs da
aplicação, da infraestrutura ou
dos dados obtidos a partir dos
usuários que executam os testes,
como vemos abaixo:

27. Haha!
Essa é fácil!
Foi o tempo de
resposta!
Será?

28. Um teste de carga executado teve
duração total de 1 hora e teve 50
usuários virtuais simultâneos
executando o cenário de login.

29. Dataset composto por 294.554
mil observações (registros) foi o
resultado do teste de carga
executado no Apache JMeter.

30. What!?
294.554 mil resultados do
teste!?
Como identificar falhas aí?

31. elapsed label responseCode dataType success bytes sentBytes grpThreads allThreads URL Latency IdleTime Connect
203 Acessando o site 200 TRUE 7423 375 21 21 null 0 4 0
203 Acessando a página inicial 200 text TRUE 7423 375 21 21 http://10.125.137.26/ 188 0 25
216 Acessando o site 200 TRUE 7423 375 24 24 null 0 0 0
216 Acessando a página inicial 200 text TRUE 7423 375 24 24 http://10.125.137.26/ 198 0 10
234 Acessando o site 200 TRUE 7423 375 25 25 null 0 6 0
234 Acessando a página inicial 200 text TRUE 7423 375 25 25 http://10.125.137.26/ 214 0 15
222 Acessando o site 200 TRUE 7423 375 26 26 null 0 1 0
222 Acessando a página inicial 200 text TRUE 7423 375 26 26 http://10.125.137.26/ 210 0 16
208 Acessando o site 200 TRUE 7423 375 26 26 null 0 2 0
208 Acessando a página inicial 200 text TRUE 7423 375 26 26 http://10.125.137.26/ 196 0 13
239 Acessando o site 200 TRUE 7423 375 31 31 null 0 1 0
239 Acessando a página inicial 200 text TRUE 7423 375 31 31 http://10.125.137.26/ 224 0 12
260 Acessando o site 200 TRUE 7423 375 31 31 null 0 1 0
260 Acessando a página inicial 200 text TRUE 7423 375 31 31 http://10.125.137.26/ 243 0 21
631 Acessando o site 200 TRUE 7423 375 71 71 null 0 3 0
631 Acessando a página inicial 200 text TRUE 7423 375 71 71 http://10.125.137.26/ 615 0 17
526 Fazendo o login 200 TRUE 8168 2932 77 77 null 0 3 0

32. Pré-Processamento
de Dados
i) Registros redundantes foram
removidos, fazendo com que o número
de 294.554 instâncias fosse
reduzido a 196.335;
ii) Os atributos de identificação foram
ignorados e apenas o seguintes foram
utilizados nos experimentos: elapsed,
bytes, sentBytes, Latency e
Connect;
iii) Os dados mencionados foram
normalizados entre a faixa de 0 a 1.

33. K-means
Um algoritmo de
agrupamento
(Clusterização) que tem
o objetivo de identificar
grupos de observações
semelhantes com base na
média.

34. Definimos, empiricamente, que
queremos saber como seria se houvesse
uma separação do dataset em 6 grupos
de informações semelhantes:
Table 1
Cluster Observações Distribuição
0 5472 3%
1 19119 10%)
2 79035 40%)
3 871 0%)
4 48549 25%)
5 43309 22%)
O grupo mais
distante, demonstra
ser observações que
fogem ao padrão,
vou investigá-lo!
Rodando o
K-means

35. responseMessage Quantidade
OK 50
Non HTTP response message:
157.230.233.185:80 failed to respond
761
Non HTTP response message: Connect to
157.230.233.185:80 [/157.230.233.185]
failed: Operation timed out (Connection timed
out)
9
Non HTTP response message: Operation timed
out (Read failed)
1
Non HTTP response message: Socket closed 50
Dado a alta carga de
utilização, o servidor
falhou 761 vezes ao
tentar responder.
Analisando o
Cluster

36. Analisando o
Cluster
Medida Tempo de Resposta
Minimum 4490
Maximum 5454
Mean 4899.352
StdDev 93.515

37. Haha!
Essa é fácil!
Foi o tempo de
resposta!

38. Haha!
Essa é fácil!
Foi o tempo de
resposta!
A
indisponibilidade
do servidor
causou o maior
número de
falhas!

39. Referências
- https://www.joecolantonio.com/7-
innovative-ai-test-automation-tools-future-
third-wave/
- Ahmed E. Hassan e Zhen Ming Jiang
- Jason Arbor e Jonathan Lips

40. Dúvidas?
Antonio Montanha Júlio de Lima
c/juliodelimasammontanha@gmail.com
@Capco @Capco