O documento apresenta os resultados de um mapeamento sistemático da literatura e uma survey sobre práticas de testes ágeis no Porto Digital do Recife. O mapeamento identificou 40 artigos que abordam principalmente testes de unidade, exploratórios e inspeção. A survey apontou que as equipes do Porto Digital utilizam diversas técnicas de teste em todas as fases, percebem benefícios à qualidade e engajamento, e enfrentam desafios como capacitação e cultura organizacional.

1. Agile Testing: Uma Análise da
Prática no Porto Digital do Recife
João Farias { jgfd@cin.ufpe.br }
Alexandre Vasconcelos { almv@cin.ufpe.br }
Ivaldir Farias { ihfj@cin.ufpe.br }

2. Roteiro
• Introdução
• Referencial Teórico
• Mapeamento Sistemático da Literatura no
Brasil
• Survey no Porto Digital do Recife
• Conclusões e Trabalhos Futuros
2

3. • Crescimento das metodologias ágeis
Motivação
3
Fonte: VersionOne [1]
Fonte: Melo e outros [2]

4. • Testes Ágeis: Ainda não estamos maduros
–“89% have adopted
Agile, but only
32% consider
themselves fully
immersed in the
Agile mindset” [3]
Motivação
4
Fonte: Melo e outros [2]

5. • Entender o estado atual para poder melhorar
• Agile Testing no Porto Digital do Recife
–Técnicas
–Benefícios e Dificuldades
Objetivo
5

6. Introdução
• Metodologia
– Mapeamento sistemático da literatura em testes
ágeis no Brasil
– Survey com profissionais do Porto Digital
6

7. Referencial Teórico
Quadrantes de Testes Ágeis
7
Fonte: Crispin e Gregory [4]

8. 8
Fonte: Crispin e Gregory [4]
Referencial Teórico
Quadrantes de Testes Ágeis

9. 9
Fonte: Crispin e Gregory [4]
Referencial Teórico
Quadrantes de Testes Ágeis

10. Mapeamento Sistemático da
Literatura no Brasil
• Objetivo
• Perguntas de Pesquisa
– Pergunta principal: Como testes ágeis são
conduzidos no Brasil?
– Perguntas Secundárias:
• Quais técnicas relativas ao
(Primeiro|Segundo|Terceiro|Quarto) Quadrante de
testes ágeis são usadas?
10

11. Método de Pesquisa
11
Inclusão Exclusion
Estudos que demonstrem a utilização de técnicas de
testes ágeis
Estudos não realizados no Brasil
Estudos primários Estudos secundários ou terciários
Estudos com validação na indústria Estudos limitados à aplicação educacional
Estudos revisados por pares Capítulos de livros, produção artística, patentes, resumos
textos em jornais de notícias ou revistas
Estudos completos publicados em periódicos ou anais de
congressos
Estudos não disponíveis na rede institucional da UFPE
Pesquisas qualitativas ou quantitativas Estudos repetidos sem novas informações

12. 12
Método de Pesquisa
Estratégia de Busca
• Como buscar?
–Busca automática?

13. 13
Método de Pesquisa
Estratégia de Busca
• Como buscar?
–Snowballing de Referências?

14. 14
Método de Pesquisa
Estratégia de Busca
• Como buscar?
–Snowballing de colaborações?
• Heurística: “Um pesquisador de determinado país
tende a colaborar com pesquisadores do mesmo país
e de interesses semelhantes.”

15. 15
Método de Pesquisa
Estratégia de Busca

16. Método de Pesquisa
Estratégia de Busca
16

17. • Como a pesquisa foi realizada
–Lista inicial de pesquisadores
• Goldman e Katayama [5] - 20 pesquisadores
• Pesquisadores selecionados de SBES, SBQS, WAMPS,
WASHES e WTDQS (2012-2016) - 63 pesquisadores
–Fonte de informação: Currículo Lattes
• Uso da ferramenta scriptLattes[6]
–5 interações do procedimento de snowballing
Método de Pesquisa
17

18. Mapeamento Sistemático da
Literatura no Brasil
• Resultados
– Número de trabalhos analisados e selecionados
18

19. Mapeamento Sistemático da
Literatura no Brasil
• Distribuição de trabalhos no tempo e por quadrante
19

20. Resultados
• Grafo de colaboração entre os estados
20

21. Resultados
• Primeiro Quadrante de Testes Ágeis (Q1)
21

22. Resultados
• Filho e outros [7]
22
TDD Non-TDD

23. Resultados
• Segundo Quadrante de Testes Ágeis (Q2)
23

24. Resultados
24
• Inspeção de Usabilidade - Rivero [8]

25. Resultados
• Inspeção de Usabilidade - De Vaz [9]
25

26. Resultados
• Terceiro Quadrante de Testes Ágeis (Q3)
26

27. Resultados
• Falcao e Soares [10]
27
“Despite showing an entertaining
interface... users expressed
disappointment with the device….
users took a long time to perform
simple tasks such as setting the
brush size and select the eraser tool”

28. Resultados
• Quarto Quadrante de Testes Ágeis (Q4)
– Testes de performance
e segurança
• Lucena and Tizzei [11]
“When the software is finally deployed
in the real customer environment one often finds
integration and performance issues which could
be prevented earlier. Late software deployments
also limit useful feedback for the development team
and delays customer return of the investment.”
28

29. Survey no Porto Digital do Recife
• Objetivo
• Método
– População: Porto Digital do Recife
– Principais perguntas:
• Quais técnicas de teste são utilizadas em projetos
ágeis?
• Contexto de uso?
• Benefícios e desafios
29

30. • O Survey
– 35 questões
– 36 respondentes
– Período de coleta: 05/06/2017 - 16/06/2017
Survey no Porto Digital do Recife
30

31. • Características da Amostra
– Experiência em Projetos de Software
Survey no Porto Digital do Recife
31
Em Geral Em Projetos Ágeis

32. • Características da Amostra
– Papéis desempenhados
Survey no Porto Digital do Recife
32

33. • Características da Amostra
– As empresas
Survey no Porto Digital do Recife
33

34. • Características da Amostra
– Projetos e equipes
Survey no Porto Digital do Recife
34

35. • Características da Amostra
– Projetos e equipes
Survey no Porto Digital do Recife
35

36. • Práticas de Testes Ágeis
– Para cada quadrante, perguntou-se:
• Quais técnicas relativas ao quadrante foram utilizadas?
• Qual o papel dos profissionais que exercitaram esses testes?
• Com que frequência esse tipo de teste foi realizado?
• Em que etapa(s) do projeto esse tipo de teste foi realizado?
• Qual contribuição esse tipo de teste trouxe ao projeto?
Survey no Porto Digital do Recife
36

37. • Práticas de Testes Ágeis
– Primeiro Quadrante de Testes Ágeis (Q1)
Survey no Porto Digital do Recife
37
● Papel: Desenvolvedor (86,1%)
● Frequência: Frequentemente (66,7%)
● Etapa: Início (69,4%) e Meio (72,2%)
● Contribuições:
○ “reduzir a quantidade de bugs minor”
○ “diminuindo o tempo/custo
gasto nas fases seguintes do projeto”

38. • Práticas de Testes Ágeis
– Segundo Quadrante de Testes Ágeis (Q2)
Survey no Porto Digital do Recife
38
● Papel: Testador (88,6%)
● Frequência: Frequentemente (69,4%)
● Etapa: Início (57,1%) e Meio (71,4%)
● Contribuições:
○ Diminuir re-trabalho
○ Validar a viabilidade de um projeto
ou funcionalidade antes da
implementação

39. • Práticas de Testes Ágeis
– Terceiro Quadrante de Testes Ágeis (Q3)
Survey no Porto Digital do Recife
39
● Papel: Testador (94,3%)
● Frequência: Frequentemente (88,9%)
● Etapa: Meio (74,3%) e Final (71,4%)

40. • Práticas de Testes Ágeis
– Quarto Quadrante de Testes Ágeis (Q4)
Survey no Porto Digital do Recife
40
● Papel: Testador (85,3%)
● Frequência: Eventualmente (63,9%)
● Etapa: Meio (66,7%) e Final (75,8%)
● Contribuições:
○ “erros encontrados nesta fase
ajudam a melhorar a arquitetura
do projeto o mais cedo possível
ou tomar ações relativas a uma
melhor abordagem para viabilizar
a solução dos problemas.”

41. • Percepções sobre Testes Ágeis
– Sobre a qualidade do produto
• 4 (55,6%) ou 5 (27,8%) -> Muito melhor
– Sobre engajamento do time
• 4 (52,8%) ou 5 (33,3%) -> Muito melhor
– Principais desafios
• Mudança de cultura organizacional (55,6%)
• Colaboração com cliente (52,8%)
• Habilidade técnica (52,8%)
• Gerenciamento de risco (41,7%)
Survey no Porto Digital do Recife
41

42. Conclusão
• Sobre o mapeamento
– 40 artigos
– Benefícios vindouros das técnicas de testes ágeis
• Unitários, TFA e Inspeção -> Mais qualidade do
produto
• Exploratórios, usabilidade e performance -> Garantia
de satisfação dos clientes e usuários
42

43. • Sobre o survey
– Testes ágeis em todas as etapas de
desenvolvimento
– Benefícios relativos a qualidade de produto e ROI
dos stakeholders
– Problemas com capacitação técnica e cultura
organizacional
Conclusão
43

44. • Limitações
– Mapeamento:
• 12% dos artigos não analisados
• Fonte única de dados
– Survey:
• Amostra não probabilística e clusters
Conclusão
44

45. • Trabalhos Futuros
– Analisar eficácia da técnica de snowballing
– Expandir e atualizar o trabalho de Goldman e
Katayama
– Perguntas subjetivas
– Analisar evolução das equipes durante projetos
Conclusão
45

46. 1. VERSION ONE. State of Agile Development Survey, 2016. Disponível em:
<http://stateofagile.versionone.com/>
2. MELO, Claudia O. et al. The evolution of agile software development in Brazil. Journal of the
Brazilian Computer Society, v. 19, n. 4, p. 523, 2013.
3. SAUCE LABS. Testing Trends in 2017: A Survey of Software Professionals. Disponível em:
<https://saucelabs.com/news/sauce-labs-releases-third-annual-state-of-testingsurveyresults>.
Acesso em: 29 jun. 2017.
4. CRISPIN, Lisa; GREGORY, Janet. Agile testing: A practical guide for testers and agile teams. Pearson
Education, 2009.
5. GOLDMAN, Alfredo; KATAYAMA, Eduardo. Retrato da comunidade acadêmica de métodos ágeis
no brasil. In: Workshop Brasileiro de Métodos Ágeis (WBMA 2011). 2011. P.1-10.
6. MENA-CHALCO, Jesús Pascual; JUNIOR, Cesar; MARCONDES, Roberto. ScriptLattes: an open-
source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer
Society, v. 15, n. 4, p. 31-39, 2009.
Referências
46

47. Referências
7. FILHO, Maurício C. et al. Um Estudo de Caso sobre o Aumento de Qualidade de Software em
Projetos de Sistemas de Informação que Utilizam Test Driven Development. In: Simpósio
Brasileiro de Sistemas de Informação (SBSI). 2012.
8. RIVEROS, Luis Jorge Enrique; KAWAKAMI, Guto; CONTE, Tayana Uchoa. Using a Controlled
Experiment to Evaluate Usability Inspection Technologies for Improving the Quality of Mobile
Web Applications Earlier in their Design. In: Software Engineering (SBES), 2014 Brazilian
Symposium on. IEEE. 2014. p. 161-170.
9. VAZ, Verônica T.; CONTE, Tayana; TRAVASSOS, Guilherme H. Empirical Assessments of a tool to
support Web usability inspection. CLEI Electronic Journal, v. 16, n. 3, p. 6-6, F2013.
10. FALCAO, Christianne; LEMOS, Ana Catarina; SOARES, Marcelo. Evaluation of natural user
interface: A usability study based on the leap motion device. In: Conference on Applied Human
Factors and Ergonomics (AHFE 2015). Procedia Manufacturing, v. 3. 2015 p. 5490-5495.
11. LUCENA, Percival; TIZZEI, Leonardo. Applying Software Craftsmanship Practices to a Scrum
Project: an Experience Report. In: Workshop sobre Aspectos Sociais, Humanos e Econômicos de
Software (WASHES 2016), 73-84.
47

48. Agile Testing: Uma Análise da
Prática no Porto Digital do Recife
João Farias { jgfd@cin.ufpe.br }
Alexandre Vasconcelos { almv@cin.ufpe.br }
Ivaldir Farias { ihfj@cin.ufpe.br }