O documento discute problemas comuns na automação de testes de má qualidade e como evitá-los. Apresenta técnicas para melhorar a estimativa, automação de testes funcionais e de performance. Propõe a técnica HVTA para aumentar a quantidade de casos de teste automatizados de forma aleatória e independente dos scripts.

1. Automação de Testes de Má Qualidade Como Evitar Leonardo Molinari

2. Técnicas de Testes Funcionais “ Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.” Bruce Lee

3. Agenda Problemas Tradicionais na Automação Problemas de Estimativas Quando a A.T. Funcionais é Ruim Quando a A.T. de Performance é Ruim Técnica Avançada: HVTA Transformando a A.T. Positivamente

4. Teste de Software

5. A Empresa Primeira empresa offshore testing com capital 100% nacional a atuar no disputado mercado norte-americano. Uma das primeiras consultorias brasileiras a implementar com sucesso o conceito de Bureau de testes. Automação de Testes – Pleno domínio das principais soluções de Governança de Testes do mercado e opensource. Atendimento “on demand” para projetos de teste de software Soluções completas de teste Our core business is Software Testing!

6. Produtos e Serviços Fábrica de Testes Solução completa de teste Alocação de Profissionais (Professional Testers!) Profissionais capacitados Automação de Testes Implantação e operacionalização Consultoria Desenvolvimento e operacionalização de Processo de Testes e Quality Assurance – sob medida Treinamentos Formação de profissionais e equipe de teste www.mzpsoft.com.br

7. Cases Base de Clientes ``Blue Chip`` UOL GXS - INTERCHANGE RECALL BORLAND SINDAN AUDATEX Alguns Clientes Scopus Telefônica Task Sistemas Copel Triad Systems Finep Aquários Tlantic SKF Scania GXS T-Systems Caixa MXM Sistemas Avon Parcerias Estratégicas Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata Interadapt TV Globo Itaú Synchro SYS Elucid Montreal Okto

8. Problemas Tradicionais na Automação de Testes Agenda

9. Inovação Fonte: IPEA, 2008

10. Inovação Fonte: Instituto Inovação, 2008

11. Fato Introduzir Testes Automatizados é usar conceitos de Inovação em Testes É introduzir Inovação na Empresa Problema Zero : uma proposta de inovação pode nâo dar certo

12. Desafios Atuais de Teste Manual 4 QA eng -> somente 20% de cobertura de teste; Qualidade Geral Sofre; Trabalho de Teste Manual pode não entregar a tempo; Número excessivo de erros de execução de testes manual; Cronogramas de teste podem ser prejudicados Teste Automatizado Uso Sábio de Automação Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes. Problemas Tradicionais na Automação de Testes

13. Problemas Tradicionais na Automação de Testes QUANTO valerá automação? Depende de sua ambição....

14. Problemas Tradicionais na Automação de Testes QUANDO vale a pena usar automação : Automação de testes precisa ser aprendida corretamente Automação de testes não substitui uma equipe de testes Nem tudo pode ser testado mesmo usando automação Nem tudo que pode ser testado se precisará automatizar Os testes automatizados precisam ser constantemente atualizados Inicialmente a automação custa tempo e dinheiro O planejamento de testes não deve ignorado

15. Problemas Tradicionais na Automação de Testes Oba!!!! Vamos sair automatizando: Cuidado!!!! Perigo! Perigo! Testes são pesados: vale a pena automatizar Teste é pontual: não automatizar; Automatizar não resolve tudo: não é panacéia; Tenha sempre um engenheiro de testes junto!!! Experiência dos testes manuais: use-a!!!

16. Problemas Tradicionais na Automação de Testes O que você pensa que está certo... Qualidade Percebida X Real O bug que o diretor viu… Desenvolvedores não testam Ups… Confiando demais em itens de construídos na aplicação para serem usados nos testes Log Mudando a Interface e esquecendo dos testes automatizados

17. Problemas Tradicionais na Automação de Testes O que você pensa que está certo... Confiar em somente um engenheiro de testes Inibir a Inovação O cronograma já está pronto Testes de regressão devem levar em consideração Acertos de scripts que não funcionam Entender o que já funcionava (script)

18. Problemas de Estimativas de Automação Agenda

19. Problemas de Estimativas de Automação Principais Grandes Falhas: Cuidado!!!! Perigo! Perigo! Fazendo as Perguntas Erradas Arrumando as Atividades Estimadas de forma Errada Falhando ao entender o efeito da multiplicidade Inconsistência nos critérios de medição Não compensar riscos e dependências

20. Problemas de Estimativas de Automação Falhando ao entender o efeito da multiplicidade

21. Problemas de Estimativas de Automação Inconsistência nos critérios de medição Dias? Meses ? Anos? Minutos ?

22. Quando a Automação de Testes Funcionais é Ruim Agenda

23. Quando a Automação de Testes Funcionais é Ruim O que você pensa que está certo... Desenvolver script =/= programação Não modularizar scripts =/= reutilização Ups não testei o script O que o script faz? A ferramenta é uma porcaria Não usou data-driving testing Em vez de pensar primeiro, saiu gravando… Objetivos

24. Quando a Automação de Testes Funcionais é Ruim O que você pensa que está certo... Não investigou como a aplicação funciona primeiro Acha que está bom e que não pode fazer melhor Não estudou corretamente a ferramenta Não foi além da ferramenta Gravou tudo num super-script

25. Quando a Automação de Testes de Performance é Ruim Agenda

26. Quando a Automação de Testes de Performance é Ruim O que você pensa que está certo... Desenvolver script =/= programação Não modularizar scripts =/= reutilização Ups não testei o script O que o script faz? A ferramenta é uma porcaria Não usou data-driving testing Em vez de pensar primeiro, saiu gravando… Objetivos

27. Quando a Automação de Testes de Performance é Ruim O que você pensa que está certo... Não entendeu conceitos de Performance Não investigou como a aplicação funciona Não estudou corretamente a ferramenta Depois dos testes, não analisou: Logs Gráficos Métricas obtidas Não questionou os resultados dos testes

28. Técnica Avançada: HVTA Agenda

29. Técnica Avançada: HVTA HVTA High Volume Test Automation Qtde de Casos de Testes Criados Qtde de Casos de Testes que podem ser gerados

30. Técnica Avançada: HVTA HVTA High Volume Test Automation Perguntas: Quantos testes precisa criar para automatizar tudo? Quantos scripts automatizados você criou? Você já explorou novas situações de teste mesmo a aplicação já estando OK? Você já usou variáveis aleatórias (input) como dados de entradas? Os seus scripts dependem sempre dos meus dados para teste? E se mudarmos?

31. Técnica Avançada: HVTA HVTA High Volume Test Automation Importante: Estratégia de Solução que busca ter dados de teste independente da sua tradicional. Uma nova execução de teste nunca será igual a anterior  Testes Aleatórios Trata do problema: Independente script X dependente script

32. Transformando a Automação de Testes Positivamente Agenda

33. Transformando a Automação de Testes Positivamente Principais Pontos : No planejamento Definir objetivos e concordar com eles Na criação de scripts Crie padrões e guidelines Revise aleatoriamente alguns scripts / pessoa Projete os scripts para reuso Projete scripts manuteníveis Geral Gere relatórios de teste de forma clara Automatize pequenas tarefas. Ex: criação de BD Não esqueça da Gerência de Configuração A.T. ë um projeto dentro de um projeto de testes.

34. Bonus Track

35. Bonus Track Inovação em Testes XE Testes de Performance

36. Prefácio de: Hélio Amauri Sanchez Diretor da MZP

37. Para Pensar... “ Questione ou você será questionado. Não faça nada que nada você fará.” Leonardo Molinari

38. Dúvidas Muito Obrigado !!!! Leonardo Molinari Site da MZP: http://www.mzpsoft.com.br E-mail 1: [email_address] Blog: http://diariodaqualidade.blogspot.com