At Ma Qualidade Molinari V11 Final Version

549 visualizações

Publicada em

Palestra de Leonardo Molinari no evento da ALATS / 2009 em SP.

Publicada em: Tecnologia
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
549
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
5
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

At Ma Qualidade Molinari V11 Final Version

  1. 1. Automação de Testes de Má Qualidade Como Evitar Leonardo Molinari
  2. 2. Técnicas de Testes Funcionais <ul><li>“ Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.” </li></ul><ul><li>Bruce Lee </li></ul>
  3. 3. Agenda <ul><li>Problemas Tradicionais na Automação </li></ul><ul><li>Problemas de Estimativas </li></ul><ul><li>Quando a A.T. Funcionais é Ruim </li></ul><ul><li>Quando a A.T. de Performance é Ruim </li></ul><ul><li>Técnica Avançada: HVTA </li></ul><ul><li>Transformando a A.T. Positivamente </li></ul>
  4. 4. Teste de Software
  5. 5. A Empresa <ul><li>Primeira empresa offshore testing com capital 100% nacional a atuar no disputado mercado norte-americano. </li></ul><ul><li>Uma das primeiras consultorias brasileiras a implementar com sucesso o conceito de Bureau de testes. </li></ul><ul><li>Automação de Testes – Pleno domínio das principais soluções de Governança de Testes do mercado e opensource. </li></ul><ul><li>Atendimento “on demand” para projetos de teste de software </li></ul><ul><li>Soluções completas de teste </li></ul><ul><li>Our core business is Software Testing! </li></ul>
  6. 6. Produtos e Serviços <ul><li>Fábrica de Testes </li></ul><ul><ul><li>Solução completa de teste </li></ul></ul><ul><li>Alocação de Profissionais (Professional Testers!) </li></ul><ul><ul><li>Profissionais capacitados </li></ul></ul><ul><li>Automação de Testes </li></ul><ul><ul><li>Implantação e operacionalização </li></ul></ul><ul><li>Consultoria </li></ul><ul><ul><li>Desenvolvimento e operacionalização de Processo de Testes e Quality Assurance – sob medida </li></ul></ul><ul><li>Treinamentos </li></ul><ul><ul><li>Formação de profissionais e equipe de teste </li></ul></ul><ul><li>www.mzpsoft.com.br </li></ul>
  7. 7. Cases <ul><li>Base de Clientes ``Blue Chip`` </li></ul><ul><ul><li>UOL </li></ul></ul><ul><ul><li>GXS - INTERCHANGE </li></ul></ul><ul><ul><li>RECALL </li></ul></ul><ul><ul><li>BORLAND </li></ul></ul><ul><ul><li>SINDAN </li></ul></ul><ul><ul><li>AUDATEX </li></ul></ul>Alguns Clientes Scopus Telefônica Task Sistemas Copel Triad Systems Finep Aquários Tlantic SKF Scania GXS T-Systems Caixa MXM Sistemas Avon Parcerias Estratégicas Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata Interadapt TV Globo Itaú Synchro SYS Elucid Montreal Okto
  8. 8. <ul><li>Problemas Tradicionais na Automação de Testes </li></ul>Agenda
  9. 9. Inovação Fonte: IPEA, 2008
  10. 10. Inovação Fonte: Instituto Inovação, 2008
  11. 11. Fato <ul><li>Introduzir Testes Automatizados é usar conceitos de Inovação em Testes </li></ul><ul><li>É introduzir Inovação na Empresa </li></ul>Problema Zero : uma proposta de inovação pode nâo dar certo
  12. 12. <ul><li>Desafios Atuais de Teste Manual </li></ul><ul><li>4 QA eng -> somente 20% de cobertura de teste; </li></ul><ul><li>Qualidade Geral Sofre; </li></ul><ul><li>Trabalho de Teste Manual pode não entregar a tempo; </li></ul><ul><li>Número excessivo de erros de execução de testes manual; </li></ul><ul><li>Cronogramas de teste podem ser prejudicados </li></ul>Teste Automatizado <ul><li>Uso Sábio de Automação </li></ul><ul><li>Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes. </li></ul>Problemas Tradicionais na Automação de Testes
  13. 13. Problemas Tradicionais na Automação de Testes <ul><li>QUANTO valerá automação? </li></ul><ul><ul><li>Depende de sua ambição.... </li></ul></ul>
  14. 14. Problemas Tradicionais na Automação de Testes <ul><li>QUANDO vale a pena usar automação : </li></ul><ul><ul><li>Automação de testes precisa ser aprendida corretamente </li></ul></ul><ul><ul><li>Automação de testes não substitui uma equipe de testes </li></ul></ul><ul><ul><li>Nem tudo pode ser testado mesmo usando automação </li></ul></ul><ul><ul><li>Nem tudo que pode ser testado se precisará automatizar </li></ul></ul><ul><ul><li>Os testes automatizados precisam ser constantemente atualizados </li></ul></ul><ul><ul><li>Inicialmente a automação custa tempo e dinheiro </li></ul></ul><ul><ul><li>O planejamento de testes não deve ignorado </li></ul></ul>
  15. 15. Problemas Tradicionais na Automação de Testes <ul><li>Oba!!!! Vamos sair automatizando: </li></ul><ul><ul><li>Cuidado!!!! Perigo! Perigo! </li></ul></ul><ul><ul><ul><li>Testes são pesados: vale a pena automatizar </li></ul></ul></ul><ul><ul><ul><li>Teste é pontual: não automatizar; </li></ul></ul></ul><ul><ul><ul><li>Automatizar não resolve tudo: não é panacéia; </li></ul></ul></ul><ul><ul><ul><li>Tenha sempre um engenheiro de testes junto!!! </li></ul></ul></ul><ul><ul><ul><li>Experiência dos testes manuais: use-a!!! </li></ul></ul></ul>
  16. 16. Problemas Tradicionais na Automação de Testes <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Qualidade Percebida X Real </li></ul></ul><ul><ul><ul><li>O bug que o diretor viu… </li></ul></ul></ul><ul><ul><li>Desenvolvedores não testam </li></ul></ul><ul><ul><ul><li>Ups… </li></ul></ul></ul><ul><ul><li>Confiando demais em itens de construídos na aplicação para serem usados nos testes </li></ul></ul><ul><ul><ul><li>Log </li></ul></ul></ul><ul><ul><li>Mudando a Interface e esquecendo dos testes automatizados </li></ul></ul>
  17. 17. Problemas Tradicionais na Automação de Testes <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Confiar em somente um engenheiro de testes </li></ul></ul><ul><ul><li>Inibir a Inovação </li></ul></ul><ul><ul><li>O cronograma já está pronto </li></ul></ul><ul><ul><li>Testes de regressão devem levar em consideração </li></ul></ul><ul><ul><ul><li>Acertos de scripts que não funcionam </li></ul></ul></ul><ul><ul><ul><li>Entender o que já funcionava (script) </li></ul></ul></ul>
  18. 18. <ul><li>Problemas de Estimativas de Automação </li></ul>Agenda
  19. 19. Problemas de Estimativas de Automação <ul><li>Principais Grandes Falhas: </li></ul><ul><ul><li>Cuidado!!!! Perigo! Perigo! </li></ul></ul><ul><ul><ul><li>Fazendo as Perguntas Erradas </li></ul></ul></ul><ul><ul><ul><li>Arrumando as Atividades Estimadas de forma Errada </li></ul></ul></ul><ul><ul><ul><li>Falhando ao entender o efeito da multiplicidade </li></ul></ul></ul><ul><ul><ul><li>Inconsistência nos critérios de medição </li></ul></ul></ul><ul><ul><ul><li>Não compensar riscos e dependências </li></ul></ul></ul>
  20. 20. Problemas de Estimativas de Automação <ul><ul><ul><li>Falhando ao entender o efeito da multiplicidade </li></ul></ul></ul>
  21. 21. Problemas de Estimativas de Automação <ul><ul><ul><li>Inconsistência nos critérios de medição </li></ul></ul></ul>Dias? Meses ? Anos? Minutos ?
  22. 22. <ul><li>Quando a Automação de Testes Funcionais é Ruim </li></ul>Agenda
  23. 23. Quando a Automação de Testes Funcionais é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Desenvolver script =/= programação </li></ul></ul><ul><ul><li>Não modularizar scripts =/= reutilização </li></ul></ul><ul><ul><li>Ups não testei o script </li></ul></ul><ul><ul><li>O que o script faz? </li></ul></ul><ul><ul><li>A ferramenta é uma porcaria </li></ul></ul><ul><ul><li>Não usou data-driving testing </li></ul></ul><ul><ul><li>Em vez de pensar primeiro, saiu gravando… </li></ul></ul><ul><ul><ul><li>Objetivos </li></ul></ul></ul>
  24. 24. Quando a Automação de Testes Funcionais é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Não investigou como a aplicação funciona primeiro </li></ul></ul><ul><ul><li>Acha que está bom e que não pode fazer melhor </li></ul></ul><ul><ul><li>Não estudou corretamente a ferramenta </li></ul></ul><ul><ul><li>Não foi além da ferramenta </li></ul></ul><ul><ul><li>Gravou tudo num super-script </li></ul></ul>
  25. 25. <ul><li>Quando a Automação de Testes de Performance é Ruim </li></ul>Agenda
  26. 26. Quando a Automação de Testes de Performance é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Desenvolver script =/= programação </li></ul></ul><ul><ul><li>Não modularizar scripts =/= reutilização </li></ul></ul><ul><ul><li>Ups não testei o script </li></ul></ul><ul><ul><li>O que o script faz? </li></ul></ul><ul><ul><li>A ferramenta é uma porcaria </li></ul></ul><ul><ul><li>Não usou data-driving testing </li></ul></ul><ul><ul><li>Em vez de pensar primeiro, saiu gravando… </li></ul></ul><ul><ul><ul><li>Objetivos </li></ul></ul></ul>
  27. 27. Quando a Automação de Testes de Performance é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Não entendeu conceitos de Performance </li></ul></ul><ul><ul><li>Não investigou como a aplicação funciona </li></ul></ul><ul><ul><li>Não estudou corretamente a ferramenta </li></ul></ul><ul><ul><li>Depois dos testes, não analisou: </li></ul></ul><ul><ul><ul><li>Logs </li></ul></ul></ul><ul><ul><ul><li>Gráficos </li></ul></ul></ul><ul><ul><ul><li>Métricas obtidas </li></ul></ul></ul><ul><ul><li>Não questionou os resultados dos testes </li></ul></ul>
  28. 28. <ul><li>Técnica Avançada: HVTA </li></ul>Agenda
  29. 29. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Qtde de Casos de Testes Criados </li></ul></ul></ul><ul><ul><ul><li>Qtde de Casos de Testes que podem ser gerados </li></ul></ul></ul>
  30. 30. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Perguntas: </li></ul></ul></ul><ul><ul><ul><ul><li>Quantos testes precisa criar para automatizar tudo? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Quantos scripts automatizados você criou? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Você já explorou novas situações de teste mesmo a aplicação já estando OK? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Você já usou variáveis aleatórias (input) como dados de entradas? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Os seus scripts dependem sempre dos meus dados para teste? E se mudarmos? </li></ul></ul></ul></ul>
  31. 31. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Importante: </li></ul></ul></ul><ul><ul><ul><ul><li>Estratégia de Solução que busca ter dados de teste independente da sua tradicional. </li></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Uma nova execução de teste nunca será igual a anterior  Testes Aleatórios </li></ul></ul></ul></ul></ul><ul><ul><ul><li>Trata do problema: </li></ul></ul></ul><ul><ul><ul><ul><li>Independente script X dependente script </li></ul></ul></ul></ul>
  32. 32. <ul><li>Transformando a Automação de Testes Positivamente </li></ul>Agenda
  33. 33. Transformando a Automação de Testes Positivamente <ul><li>Principais Pontos : </li></ul><ul><ul><li>No planejamento </li></ul></ul><ul><ul><ul><li>Definir objetivos e concordar com eles </li></ul></ul></ul><ul><ul><li>Na criação de scripts </li></ul></ul><ul><ul><ul><li>Crie padrões e guidelines </li></ul></ul></ul><ul><ul><ul><li>Revise aleatoriamente alguns scripts / pessoa </li></ul></ul></ul><ul><ul><ul><li>Projete os scripts para reuso </li></ul></ul></ul><ul><ul><ul><li>Projete scripts manuteníveis </li></ul></ul></ul><ul><ul><li>Geral </li></ul></ul><ul><ul><ul><li>Gere relatórios de teste de forma clara </li></ul></ul></ul><ul><ul><ul><li>Automatize pequenas tarefas. Ex: criação de BD </li></ul></ul></ul><ul><ul><ul><li>Não esqueça da Gerência de Configuração </li></ul></ul></ul><ul><ul><ul><li>A.T. ë um projeto dentro de um projeto de testes. </li></ul></ul></ul>
  34. 34. <ul><li>Bonus Track </li></ul>
  35. 35. Bonus Track <ul><li>Inovação em Testes </li></ul><ul><li>XE </li></ul><ul><li>Testes de Performance </li></ul>
  36. 36. Prefácio de: Hélio Amauri Sanchez Diretor da MZP
  37. 37. Para Pensar... <ul><li>“ Questione ou você será questionado. Não faça nada que nada você fará.” </li></ul><ul><ul><ul><li>Leonardo Molinari </li></ul></ul></ul>
  38. 38. Dúvidas <ul><li>Muito Obrigado !!!! </li></ul><ul><li>Leonardo Molinari </li></ul><ul><li>Site da MZP: http://www.mzpsoft.com.br </li></ul><ul><li>E-mail 1: [email_address] </li></ul><ul><li>Blog: http://diariodaqualidade.blogspot.com </li></ul>

×