Palestra apresentada no segundo dia da trilha de Testes (Testes II) no TDC 2016 São Paulo, no dia 09/07

1. Globalcode – Open4education
Desmistificando cobertura de
código como métrica de qualidade
Stefan Teixeira
stefanfk@gmail.com / @stefan_teixeira

2. • QA Automation Engineer @ Toptal
• Blogs técnicos: stefanteixeira.com.br (pt-br) /
stefanteixeira.com (en)
• Co-organizador dos meetups DevOps Carioca e Grupo de
Testes Carioca
Contatos:
• E-mail: stefanfk@gmail.com
• Twitter: twitter.com/stefan_teixeira
• LinkedIn: linkedin.com/in/stefanteixeira
• GitHub: github.com/stefanteixeira
• SlideShare: slideshare.net/stefanteixeira
Sobre

3. Cobertura de
código

5. Fundamentos

6. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html

7. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html

8. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html

9. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html

10. http://gotwarlost.github.io/istanbul/public/coverage/lcov-report/istanbul/lib/command/common/run-with-cover.js.html

11. Alguns insights

12. "Test coverage is a useful tool for finding
untested parts of a codebase. Test
coverage is of little use as a numeric
statement of how good your tests are"
(Martin Fowler, ThoughtWorks)

13. http://martinfowler.com/bliki/TestCoverage.html

14. "High coverage numbers are too easy to
reach with low quality testing”
(Martin Fowler, ThoughtWorks)

15. Você pode ter 100% de cobertura
sem NENHUM assert nos testes!

16. Quando parar de
testar?

17. "One sign you are testing too much is if
your tests are slowing you down. If it seems
like a simple change to code causes
excessively long changes to tests, that's a
sign that there's a problem with the tests."
(Martin Fowler, ThoughtWorks)

18. Métricas de código
como metas

19. 💩💩💩💩💩
💩💩💩💩💩
💩💩💩💩💩

20. Utilidade de metas de cobertura de código

21. "Once a metric becomes a target, it
loses its meaning as a measure"
(Goodhart’s Law)

22. “Quando a métrica vira meta,
tudo fica uma 💩”
(CFC, Knowledge21)

23. "The problem is that people optimize their
performance according to how they’re
measured. You can get 85% coverage by
looking at the coverage conditions and
picking the ones that seem easiest to
satisfy…”
(Brian Marick)

24. Efeitos de métricas como meta
• Mutirão de testes

25. Efeitos de métricas como meta
• Mutirão de testes
• Testes só para aumentar
cobertura

26. Efeitos de métricas como meta
• Mutirão de testes
• Testes só para aumentar cobertura
• Testes inúteis: getters, setters,
construtores

28. Meta levando a decisões ruins
• Temos que testar a funcionalidade X

29. Meta levando a decisões ruins
• Temos que testar a funcionalidade X
• Testá-la pela API é muito simples

30. Meta levando a decisões ruins
• Temos que testar a funcionalidade X
• Testá-la pela API é muito simples
• Testá-la com unit tests é muito
complexo

31. Meta levando a decisões ruins
• Temos que testar a funcionalidade X
• Testá-la pela API é muito simples
• Testá-la com unit tests é muito
complexo
E aí, como testar?

32. Resposta
• “Vamos testar com unit tests pra não
sair da meta!"

33. Como saber se
meus testes são
bons?

34. Como saber se meus testes são bons?
• Testes devem cobrir as partes
mais complexas da aplicação

35. Como saber se meus testes são bons?
• Testes devem cobrir as partes
mais complexas da aplicação
• Testes devem efetivamente testar
alguma coisa

36. Complexidade de
código

37. (Algumas) ferramentas

38. Métricas conhecidas
• Complexidade Ciclomática

39. Métricas conhecidas
• Complexidade Ciclomática
• ABCMetric

40. Métricas conhecidas
• Complexidade Ciclomática
• ABCMetric
• LCOM

41. Testes de Mutação

42. (Algumas) ferramentas

43. Testes de Mutação
• Introduz mutações na
implementação

44. Testes de Mutação
• Introduz mutações na
implementação
• Roda os testes

45. Testes de Mutação
• Introduz mutações na
implementação
• Roda os testes
• Falharam?

46. Testes de Mutação
• Introduz mutações na
implementação
• Roda os testes
• Falharam? 👍

47. Testes de Mutação
• Introduz mutações na
implementação
• Roda os testes
• Falharam? 👍
• Passaram??

48. Testes de Mutação
• Introduz mutações na
implementação
• Roda os testes
• Falharam? 👍
• Passaram?? 💩

49. Exemplos de mutações
http://pitest.org/quickstart/mutators/

50. Conclusões

51. Conclusões
• 100% de cobertura != bons testes

52. Conclusões
• 100% de cobertura != bons testes
• Teste as partes mais complexas da
sua aplicação

53. Conclusões
• 100% de cobertura != bons testes
• Teste as partes mais complexas da
sua aplicação
• Use testes de mutação para garantir
que seus testes são eficazes

54. Referências (parte 1)
• Cobertura de código:
• http://pt.slideshare.net/Kevlin/what-we-talk-about-when-we-talk-about-
unit-testing (Palestra Kevlin Henney)
• http://martinfowler.com/bliki/TestCoverage.html
• http://martinfowler.com/bliki/AssertionFreeTesting.html
• http://www.developertesting.com/archives/
month200705/20070504-000425.html (Conto sobre Code Coverage)
• http://www.exampler.com/testing-com/writings/coverage.pdf (Artigo do
Brian Marick sobre Code Coverage)
• Complexidade de código:
• http://blog.caelum.com.br/medindo-a-complexidade-do-seu-codigo/
• http://blog.caelum.com.br/como-medir-a-coesao-lcom/
• http://www.obomprogramador.com/2014/03/lack-of-cohesion-in-
methods-4-lcom4.html
• http://c2.com/cgi/wiki?AbcMetric

55. Referências (parte 2)
• Ferramentas:
• http://www.sonarqube.org/
• https://github.com/es-analysis/plato
• https://github.com/bbatsov/rubocop
• https://codeclimate.com/
• Testes de Mutação:
• http://pitest.org/
• https://github.com/mbj/mutant
• http://visualmutator.github.io/web/
• https://www.npmjs.com/package/grunt-mutation-testing
• https://pypi.python.org/pypi/MutPy/0.4.0
• http://pt.slideshare.net/labianchin/teste-de-mutao

56. Globalcode – Open4education
Stefan Teixeira
@stefan_teixeira
stefanfk@gmail.com
Obrigado!
stefanteixeira.com.br
stefanteixeira.com