O documento discute a importância de testes automatizados para sustentar Continuous Delivery e DevOps. Ele explica os benefícios de testes automatizados, como feedback rápido e menos erros, e discute vários tipos de testes como testes unitários, de serviço, funcionais e de desempenho. Também fornece exemplos de ferramentas para cada tipo de teste.

1. Importância de testes
automatizados para sustentar
Continuous Delivery e DevOps
@samantacicilia

2. Sobre mim
Importância de Testes Automatizados
Quadrante de Testes
Pirâmide de Testes & Antipadrões
Tipos de Teste & Continuous Delivery
Demo
Referências
@samantacicilia

3. Sobre mim
@samantacicilia

5. agiletesters.com.br

6. insideoutproject.com.br

7. Importância de Testes
Automatizados
@samantacicilia

8. Testes automatizados?

9. Testes automatizados?
- Feedback rápido;

10. Testes automatizados?
- Feedback rápido;
- Menos passível de erro de execução;

11. Testes automatizados?
- Feedback rápido;
- Menos passível de erro de execução;
- Executar testes automatizados no decorrer do pipeline ++ qualidade;

12. Testes automatizados?
- Feedback rápido;
- Menos passível de erro de execução;
- Executar testes automatizados no decorrer do pipeline ++ qualidade;
- Melhoria Contínua na Estratégia de Testes;

13. Testes automatizados?
- Feedback rápido;
- Menos passível de erro de execução;
- Executar testes automatizados no decorrer do pipeline ++ qualidade;
- Melhoria Contínua na Estratégia de Testes;
- Testes = especificação executável do comportamento do sistema;

14. Testes automatizados?
- Feedback rápido;
- Menos passível de erro de execução;
- Executar testes automatizados no decorrer do pipeline ++ qualidade;
- Melhoria Contínua na Estratégia de Testes;
- Testes = especificação executável do comportamento do sistema;
- Feedback, Feedback, Feedback;

15. Quadrante de Testes
@samantacicilia

17. Pirâmide de Testes
@samantacicilia

20. Antipadrões
@samantacicilia

23. Tipos de Teste &
Continuous Delivery
@samantacicilia

24. Testes Unitários
@samantacicilia

25. Testes Unitários

26. Testes Unitários
- Feedback extremamente rápido;

27. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);

28. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…

29. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;

30. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;
- Segurança para fazer mudanças (eXtreme Programming);

31. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;
- Segurança para fazer mudanças (eXtreme Programming);
- Qualidade também nos testes unitários!

32. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;
- Segurança para fazer mudanças (eXtreme Programming);
- Qualidade também nos testes unitários!
- Test Driven Development;

33. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;
- Segurança para fazer mudanças (eXtreme Programming);
- Qualidade também nos testes unitários!
- Test Driven Development;
- Design de Código que permita testes;

34. Testes Unitários
- Feedback extremamente rápido;
- 10-minute build (eXtreme Programming);
- Testes de valores limite, diferentes combinações, exceções…
- Cobertura de Código;
- Segurança para fazer mudanças (eXtreme Programming);
- Qualidade também nos testes unitários!
- Test Driven Development;
- Design de Código que permita testes;
- Mocks;

35. Ferramentas
@samantacicilia

36. Links das Ferramentas
- http://junit.org/junit4/
- http://www.nunit.org/
- http://testng.org/doc/index.html
- https://phpunit.de/
- http://jasmine.github.io/
- https://mochajs.org/
- http://robolectric.org/
- http://rspec.info/
- https://docs.python.org/2.7/library/unittest.html

37. Cobertura & Análise Estática

38. Cobertura & Análise Estática
- Verificar qual a % do seu código da aplicação está coberto por testes;

39. Cobertura & Análise Estática
- Verificar qual a % do seu código da aplicação está coberto por testes;
- Analisar seu código de acordo com algumas regras;

40. Cobertura & Análise Estática
- Verificar qual a % do seu código da aplicação está coberto por testes;
- Analisar seu código de acordo com algumas regras;
- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);

41. Cobertura & Análise Estática
- Verificar qual a % do seu código da aplicação está coberto por testes;
- Analisar seu código de acordo com algumas regras;
- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);
- Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e
classes, criação de variáveis desnecessárias…);

42. Cobertura & Análise Estática
- Verificar qual a % do seu código da aplicação está coberto por testes;
- Analisar seu código de acordo com algumas regras;
- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);
- Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e
classes, criação de variáveis desnecessárias…);
- Verificação por bugs (antecipar possíveis problemas);

43. Ferramentas (Cobertura)
@samantacicilia

44. Links das Ferramentas
- https://coverage.readthedocs.io/en/coverage-4.0.3/
- https://github.com/colszowka/simplecov
- http://emma.sourceforge.net/
- https://github.com/jacoco/jacoco
- https://www.ncover.com/
- http://blanketjs.org/
- https://github.com/jonreid/XcodeCoverage
- https://coveralls.io/

45. Ferramentas (Análise)
@samantacicilia

46. Links das Ferramentas
- http://www.sonarqube.org/
- https://codeclimate.com/
- https://github.com/es-analysis/plato
- https://github.com/dafiti/cs
- http://checkstyle.sourceforge.net/
- http://findbugs.sourceforge.net/
- https://www.pylint.org/
- https://stylecop.codeplex.com/

47. Testes de Mutação

48. Testes de Mutação
- Testar seus Testes Unitários;

49. Testes de Mutação
- Testar seus Testes Unitários;
- Ferramenta introduz mutações no seu código e executa os testes unitários;

50. Testes de Mutação
- Testar seus Testes Unitários;
- Ferramenta introduz mutações no seu código e executa os testes unitários;
- Se os testes falharem = OK!

51. Testes de Mutação
- Testar seus Testes Unitários;
- Ferramenta introduz mutações no seu código e executa os testes unitários;
- Se os testes falharem = OK!
- Se os testes passarem = NOK!

52. Testes de Mutação

53. Ferramentas
@samantacicilia

54. Links das Ferramentas
- http://pitest.org/
- https://pypi.python.org/pypi/MutPy
- https://ninjaturtles.codeplex.com/
- http://visualmutator.github.io/web/
- https://github.com/mbj/mutant
- http://jumble.sourceforge.net/

55. Testes de Serviços
@samantacicilia

56. Testes de Serviço

57. Testes de Serviço
- Depois dos Testes de Unidade e antes dos Testes de UI;

58. Testes de Serviço
- Depois dos Testes de Unidade e antes dos Testes de UI;
- Testar seu app + módulos, componentes, banco de dados;

59. Testes de Serviço
- Depois dos Testes de Unidade e antes dos Testes de UI;
- Testar seu app + módulos, componentes, banco de dados;
- Sem interface;

60. Testes de Serviço
- Depois dos Testes de Unidade e antes dos Testes de UI;
- Testar seu app + módulos, componentes, banco de dados;
- Sem interface;
- Stubs;

61. Testes de Serviço
- Integração/Componentes

62. Testes de Serviço
- Integração/Componentes
- Contratos

63. Testes de Serviço
- Integração/Componentes
- Contratos
- API/Webservices

64. Ferramentas
@samantacicilia

65. Links das Ferramentas
- https://www.soapui.org/
- https://github.com/jayway/rest-assured
- http://flask-restless.readthedocs.io/en/stable/
- http://frisbyjs.com/
- https://github.com/visionmedia/supertest
- https://github.com/svanoort/pyresttest
- https://github.com/rest-client/rest-client
- https://github.com/brooklynDev/airborne

66. Testes de UI
@samantacicilia

67. Testes Funcionais

68. Testes Funcionais
- Lentos :(

69. Testes Funcionais
- Lentos :(
- Fluxos principais da aplicação;

70. Testes Funcionais
- Lentos :(
- Fluxos principais da aplicação;
- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

71. Testes Funcionais
- Lentos :(
- Fluxos principais da aplicação;
- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);
- Mobile;

72. Ferramentas
@samantacicilia

73. Links das Ferramentas
- http://www.seleniumhq.org/
- https://github.com/jnicklas/capybara
- http://angular.github.io/protractor/#/
- https://github.com/RobotiumTech/robotium
- http://calaba.sh/
- http://appium.io/

74. Testes de Regressão Visual
- Comparação de Imagens;

75. Testes de Regressão Visual
- Comparação de Imagens;

76. Ferramentas
@samantacicilia

77. Links das Ferramentas
- https://github.com/yahoo/kobold
- https://github.com/Huddle/PhantomCSS
- https://applitools.com/
- https://dpxdt-test.appspot.com/
- https://github.com/BBC-News/wraith
- https://github.com/xebia/VisualReview

78. Testes de Performance

79. Testes de Performance
- Comportamento da aplicação diante de uma carga conhecida;

80. Testes de Performance
- Comportamento da aplicação diante de uma carga conhecida;
- Baselines;

81. Testes de Performance
- Comportamento da aplicação diante de uma carga conhecida;
- Baselines;
- Ter um ambiente para esses testes;

82. Testes de Performance
- Comportamento da aplicação diante de uma carga conhecida;
- Baselines;
- Ter um ambiente para esses testes;
- Definir as métricas;

83. Testes de Performance
- Comportamento da aplicação diante de uma carga conhecida;
- Baselines;
- Ter um ambiente para esses testes;
- Definir as métricas;
- Análise automática???

84. Ferramentas
@samantacicilia

85. Links das Ferramentas
- http://www.radview.com/pt-br/baixe-o-webload/
- https://smartbear.com/product/loadcomplete/overview/
- http://www.neotys.com/neoload/overview
- http://jmeter.apache.org/
- http://grinder.sourceforge.net/
- http://locust.io/
- http://gatling.io/
- https://www.loadui.org/

86. E Continuous Delivery?
@samantacicilia

87. Testes X Estágios

88. Testes X Estágios
- Estágio de Commit:
- Testes Unitários
- Testes de Mutação

89. Testes X Estágios
- Estágio de Commit:
- Testes Unitários
- Testes de Mutação
- Estágio de Aceite (primeiro ambiente):
- Testes de Serviço

90. Testes X Estágios
- Estágio de Commit:
- Testes Unitários
- Testes de Mutação
- Estágio de Aceite (primeiro ambiente):
- Testes de Serviço
- Estágio de Aceite (pré-produção):
- Testes de UI
- Testes de Regressão Visual
- Testes de Performance

91. Ferramentas
@samantacicilia

92. Links das Ferramentas
- https://semaphoreci.com/
- https://travis-ci.org/
- http://circleci.com/
- https://jenkins.io
- https://www.go.cd/
- https://snap-ci.com/

93. Demo
@samantacicilia

94. Ruby:
- Unitário (Rspec)
- Mutação (mutant-rspec)
https://github.com/samycici/mutation_example
@samantacicilia

95. Exemplo 1

96. Exemplo 1

97. Exemplo 1

98. Exemplo 1

99. Exemplo 2

100. Exemplo 2

101. Exemplo 2

102. App em Python usando Flask:
- Unitário (unittest + fixtures)
- Integração (unittest + sqlite)
- API (pyresttest)
- Funcional (selenium)
- Performance (locust.io)
https://github.com/samycici/todoapp-flask
@samantacicilia

103. Referências
@samantacicilia

104. @samantacicilia

105. http://www.guru99.com/mutation-testing.html
http://blog.arkency.com/2015/05/mutation-testing-and-continuous-integration/
http://blog.arkency.com/2015/06/how-good-are-your-ruby-tests-testing-your-tests-with-mutant/
https://blog.blockscore.com/how-to-write-better-code-using-mutation-testing/
http://www.slideshare.net/stefanteixeira/vr-dev-summit-2016-primeiros-passos-em-automao-de-testes
http://pt.slideshare.net/fredoriginal/palestra-de-como-testar-sua-api-rest-no-grupo-de-teste-carioca
https://css-tricks.com/visual-regression-testing-with-phantomcss/
http://www.softwaretestinghelp.com/performance-testing-tools-load-testing-tools/
https://talkingabouttesting.com/2015/08/19/mao-na-massa-com-visual-review-e-protractor/
https://robots.thoughtbot.com/how-to-stub-external-services-in-tests
http://www.devmedia.com.br/como-adotar-a-analise-estatica-de-codigo/32727

107. Contatos
➔ testedesoftware.com
➔ rtstreinamentos.com.br
➔ medium.com/@samantacicilia
➔ Linkedin: Samanta Cicilia
➔ Twitter: @samantacicilia
➔ Slideshare: pt.slideshare.net/samantacicilia/
➔ Email: samycici@gmail.com