O documento discute os desafios e atividades relacionadas ao teste de software. Os principais desafios incluem: (1) a impossibilidade de testar todas as entradas devido ao número astronômico de casos de teste possíveis; (2) garantir que correções e novas funcionalidades não introduzam novos bugs através de testes de regressão; (3) envolver a equipe de desenvolvimento no processo de teste desde as primeiras fases do projeto. As atividades realizadas em 2014 incluem automação de testes e manutenção de casos de teste

1. Teste de Software
Roberta Coelho

2. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas

3. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas

4. Teste de Software
Uma das técnicas mais utilizadas para garantia
da qualidade pela indústria de SOFTWARE.

5. Teste de Software
Uma das técnicas mais utilizadas para garantia
da qualidade pela indústria de SOFTWARE.
A falta de entendimento sobre a atividade de
testes pode trazer vários problemas...

6. Diálogo entre desenvolvedor e testador
1 dia antes do fechamento da release ...
Ei cara, dá uma passada geral no
SIGAA. Precisei alterar várias
coisas!! Ok…Pra dar uma
“passada geral” vou
precisar de no mínimo
1 ano.
?!

7. Garantindo ausência de defeitos
func(int a, int b, int c)
int: -2.147.483.648 a 2.147.483.647
número de entradas possíveis:
9.903.520.314.283.042.199.192.993.792
Como garantir que esta função
não contém defeitos???

8. No contexto dos SIGs
Um caso de uso possuir geralmente várias telas...
SIGAA - 1858
SIPAC - 1775
SIGRH - 675

9. No contexto dos SIGs
Cada caso de uso possui vários fluxos...
SIGAA - 1858
SIPAC - 1775
SIGRH - 675

10. 10
O número de casos de testes possíveis é
ASTRONÔMICO!!!

11. Já que não podemos testar para todas as
entradas possíveis...

12. Precisamos de dados de teste que aumentem
as chances de revelar defeitos…

13. Incompletude dos Testes
Utilizamos: Testes Exploratórios

14. Enfrentando o desafio
- Guias para TESTE EXPLORATÓRIO
- Critérios de Teste (Treinamento)
- Logs de Erro padronizados

15. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas
Desafio 1: Impossível testar todas as entradas
Desafio 2: Testes de Regressão

16. Desafio 2: Teste de Regressão
A alteração em um caso de uso
pode afetar outros que dependem dele...

17. Desafio 2: Teste de Regressão
Corrigir um Bug pode introduzir vários outros...

18. Desafio 2: Testes de Regressão
Ou seja... não é suficiente testar somente
as funcionalidades adicionadas e alteradas...

19. Desafio 2: Testes de Regressão
Enfrentando o desafio:
- Automação de testes
- Análise de dependência entre
os casos de uso.

20. Benefícios da Automação
Tornar testes de REGRESSÃO mais rápidos.
Reduzir o custo da atividade de testes??
Facilita o teste multi-plataforma.

21. Falsas expectativas sobre
automação de testes

22. Falsas Expectativas
Redução imediata no esforço dedicado testes.
Redução imediata no cronograma.
Ferramentas fáceis de usar.
Testes são fáceis de manter.
Uma única ferramenta pode automatizar todos
tipos de teste.

23. Falsas Expectativas
"NÃO espere que a equipe seja
mais produtiva a CURTO PRAZO!!!"

24. Falsas Expectativas
"NÃO espere que a equipe seja
mais produtiva a CURTO PRAZO!!!"
A maioria dos benefícios da automação não
aparece antes do segundo release.

25. Falsas Expectativas
"NÃO espere que a equipe seja
mais produtiva a CURTO PRAZO!!!"
criação de testes automatizados
X
execução de testes manuais
Esforço de 3 a 10 maior!!

26. Projeto: SIGAutomação
Testes automatizados usando Selenium
SIGAA - 304 classes - 287 classes de teste.
SIGRH - 24 classes - 15 classes de testes
SIGADmin - 45 classes - 42 classes de teste.

27. Cuidados com Testes Automatizados
Um esforço adicional ainda é requerido
para dar manutenção nas classes de teste.

28. Cuidados com Testes Automatizados
Um esforço adicional ainda é requerido
para dar manutenção nas classes de teste.
Módulo EAD
Sucesso: 57
Skip: 27 / Falha: 23
Módulo Lato Sensu:
Sucesso: 40
Skip: 12 / Falha: 15

29. Cuidados com Testes Automatizados
Um esforço adicional ainda é requerido
para dar manutenção nas classes de teste.
• Mudanças nos casos de uso
• Links alterados:
• "Consultar Histórico”  "Emitir Histórico".
• Erro na implementação do teste.
• Erro no sistema.
• Falta de dados de teste.

30. Cuidados com Testes Automatizados
Utilizamos práticas de programação para evitar:
- Código macarrônico
- Sem modularidade
- Sem controle de versões
- Sem documentação
Pois, isto pode levar ao fracasso da
automação!!!
Exemplo Win NT4:
6 milhões de linhas de código e 12 milhões de
linhas de código de teste.

31. Automação de Testes
CUIDADOS COM A AUTOMAÇÃO!!!
Código de testes precisa ser mantido assim como código dos
sistemas.
Planejar e incorporar custo associado a manutenção.
Executar com frequência.
Não substituem testes manuais.

32. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas
Desafio 1: Impossível testar todas as entradas
Desafio 2: Testes de Regressão
Desafio 3: Testes ao longo do processo de desenvolvimento

33. Desafio 3: Teste não é a cobertura do bolo

34. Desafio 3: Teste não é a cobertura do bolo
Se o código não foi projetado pensando em
testes....

35. Desafio 3: Teste não é a cobertura do bolo
Enfrentando o desafio:
A qualidade é um compromisso de TODOS,
não só da equipe de “Controle de
Qualidade”.

36. Desafio 3: Teste não é a cobertura do bolo
Implementação
Testes de
Unidade
Testes de
Integração
Testes de
Sistema
Testes
de Aceitação
Especificação de
Requisitos
Arquitetura
Projeto
Modelo V
Equipe de
Controle de
Qualidade
Equipe de
Desenvol-
vimento

37. Desafio 3: Teste não é a cobertura do bolo
Implementação
Testes de
Unidade
Testes de
Integração
Testes de
Sistema
Testes
de Aceitação
Especificação de
Requisitos
Arquitetura
Projeto
Modelo V
Equipe de
Controle de
Qualidade
Equipe de
Desenvol-
vimento

38. Desafio 3: Teste não é a cobertura do bolo
Implementação
Testes de
Unidade
Testes de
Integração
Testes de
Sistema
Testes
de Aceitação
Especificação de
Requisitos
Arquitetura
Projeto
Modelo V
Equipe de
Controle de
Qualidade
Equipe de
Desenvol-
vimento

39. Porém por mais que se teste...
“O teste pode mostrar a presença de
falhas em um software, mas nunca a sua
ausência.”
Dijkstra

40. Testar a procura de defeitos é como
procurar agulhas num palheiro...
Um paralelo...
Definindo estratégias para aumentar as
chances de encontrar as agulhas...

41. Incompletude dos Testes
Se encontrarmos
agulhas não
podemos garantir
que não sobraram
outras...
Mesmo utilizando critérios e ferramentas
na fase de testes e desenvolvimento...

42. O Suporte também participa do controle de
qualidade - ponto de contato com o usuário
Equipe de Suporte
Não está
funcionando
Dúvida
CI!!
Não está
funcionando
Dúvida
Sugestão
Não está
funcionando
Dúvida
CI!!

43. Não está
funcionando
Dúvida
CI!!
Não está
funcionando
Dúvida
Sugestão
Não está
funcionando
Dúvida
CI!!
Padronizamos logs de falhas reportadas
Permite:
- analisar mensamente as causas
- atacar pontualmente as causas
Equipe de Suporte na Garantia da Qualidade

44. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas
Desafio 1: Impossível testar todas as entradas
Desafio 2: Testes de Regressão
Desafio 3: Testes ao longo do processo de desenvolvimento

45. Atividades Realizadas em 2014
Automação de Testes com Selenium
Testes de Desempenho com JMeter
Iniciativa da Equipe de Desenvolvimento:
JUnit + Power Mock
Migração do Selenium RC para WebDriver
Manutenção dos Casos de Teste
Novos Casos de Teste

46. Atividades Realizadas em 2014
Guias de Desenvolvimento: Como tratar
exceções nos SIGs?
Estudo: Análise das principais causas de CI
Ferramenta implementada: Identificar exceções
não documentadas lançadas por bibliotecas
Exceções não documentadas lançadas por bibliotecas.

47. Agenda
Desafios do Teste de Software
Atividades Realizadas em 2014
Atividades Planejadas
Desafio 1: Incompletude dos Testes
Desafio 2: Testes de Regressão
Desafio 3: Testes ao longo do processo de desenvolvimento

48. Atividades Planejadas
Treinamento em Teste de Software
Continuidade das atividades de manutenção
de casos de teste Selenium.
Ferramenta para geração semi-automática de
Casos de Teste Selenium (Mestrado)
Ferramenta para auxiliar o desenvolvimento
do código de Tratamento de Exceções (Mestrado)

49. Atividades Planejadas
Estudo: Como os defeitos do tipo CI são
solucionados (Mestrado)
Compartilhar desafios, dificuldades e soluções
com os parceiros.

50. Equipe de Testes
João – Pablo – Dalton (coord.) – Raynison – Márcia – Leandro

51. Contato
Roberta Coelho (Profa. Colaboradora)
roberta@dimap.ufrn.br
Dalton Dantas (Coordenador)
dalton@info.ufrn.br

52. 52
Referências

53. Teste de Software
Roberta Coelho