O documento apresenta um plano de treinamento sobre testes funcionais que inclui três dias de aulas. No primeiro dia serão abordados fundamentos de testes e derivação de casos de teste a partir de casos de uso. Nos dias seguintes serão apresentados recursos de uma ferramenta de teste funcional e realizados laboratórios sobre projeto de testes, criação de scripts manuais e automatizados e geração de relatórios.

1. Planejamento e Execução de Testes Funcionais Apresentação Instrutor: Juliana Maria Lopes / Leonardo Grilli Torres

4. Módulo 1: Fundamentos de Testes de Software Juliana Maria Lopes

7. Motivação financeira: perdas devido a erros US$ 1 milhão por minuto Charles Schwab (maior corretora on-line do mundo ) US$ 167 mil por minuto American Express US$ 50 mil por minuto Boeing Quedas do Sistema Queda de 26% no valor das ações Perdas de US$ 3,5 milhões Site fora do ar por 22 horas eBay (Online Marketplace) US$ 1,1 milhão por dia Problemas no sistema de controle de bagagem US$ 50 milhões Erro no sistema mostrando que todos os vôos estavam lotados US$ 20 mil por minuto Sistema SABRE fora do ar por 12 horas American Airlines

8. Motivação financeira: custo da qualidade Fe Fi Encontrar o maior número de erros com o menor retrabalho possível com os testes de regressão 92,9% 7,1% 0% 50% 100% Falhas Externas Falhas Internas

9. Vantagem: menor custo da correção de erros “ O Custo para encontrar e determinar um erro, aumenta exponencialmente com a fase do projeto.” Barry Boehm, criador do Software Economics

14. Motivações normativas: evidências ok Robustez (escalabilidade / performance) ok Integração ok Funcionalidade ok Segurança de Dados ok Autorização ok Autenticação Validação e Testes Requisitos de Conformidade em Tecnologia de Informação

15. Introdução conceitual

16. Histórico: o 1 º Bug http://www. history . navy . mil/photos/images/h96000/h96566kc . htm O primeiro "Bug" de Computador Uma traça foi encontrada enroscada próxima ao Relay #70, Painel F, da Máquina Calculadora Mark II Aiken enquanto ela estava sendo testada na Universidade de Harvard, em 9 de Setembro de 1945. Os operadores afixaram a traça no diário de operação, com a frase: "O primeiro caso real de um bug encontrado". Eles descreveram o processo como tendo "debugado" a máquina, o que introduziu o termo "debugar um programa de computador". Desde 1988, o diário, com a traça colada, está no Museu do Computador do Centro de Guerra Naval em Dahlgren, Virgina, USA.

18. O que é Teste? Uma investigação técnica executada para revelar informações relacionadas à “ qualidade” do produto Sob teste O Teste Funcional tem Por meta a verificação e Aceitação dos dados, do Processamento, da resposta A este processamento e a implementação Apropriada das regras De negócio

24. Os focos da disciplina de testes Quality Control encontrar falhas Quality Assurance prevenir falhas Quality by Design evitar falhas

25. Quality Control (QC) Especificação de Requisitos Análise do projeto Desenho do projeto codificação Testes de unidade Testes de integração Testes de Sistema Teste de Aceitação Validação Validação Validação Quality Control encontrar falhas

26. Quality Control Testes de unidade Testes de integração Testes de sistema Testes formais conduzidos para determinar se um sistema satisfaz ou não os critérios de aceitação e que possibilita ao cliente/usuário determinar se aceita ou não o sistema Testes de aceitação do usuário Explora a menor unidade do projeto, procurando identificar erros de lógica e de implementação em cada módulo separadamente Descobrir erros associados às interfaces entre os módulos quando esses são integrados para construir a estrutura do software que foi estabelecida na fase de projeto Identificar erros de função e características de desempenho que não estejam de acordo com a especificação

27. Técnicas de testes Técnicas de testes Visão Fontes de informação Métodos entradas saídas Caixa preta Caixa branca Domínio do problema Requisitos Especificações de projeto Dados de análise de defeitos Diagramas de projeto Detalhes de projeto Código fonte Grafos de fluxo de controle Complexidade ciclomática Particionamento de classe de equivalência Análise de valores limites Diagrama de estados Grafos de causa e efeito Statement testing Branch testing Path testing Data flow testing Mutation testing Loop testing Testes Funcionais no Processo de Software

34. Módulo 2: O processo de Testes de Software Juliana Maria Lopes

35. A disciplina de Validação e Testes Framework de Desenvolvimento de Sistemas

36. Papéis, Atividades e Artefatos de Teste Gerente de Testes Plano de Testes Responsável Por Aceitar Missão de Avaliação Identificar Motivadores de Teste Obter comprometimento de Testabilidade Avaliar e defender a Qualidade Avaliar e aprimorar os esforços de Teste Resumo de Avaliação de Testes

37. Papéis, Atividades e Artefatos de Teste Analista de Testes Lista de Idéias de Teste Responsável Por Identificar os Objetivos do Teste Identificar Idéias para os Testes Definir os Detalhes do Teste Definir Avaliação e Rastreamento de Necessidades Determinar Resultados de Teste Casos de Teste Verificar Mudanças na Construção Modelo de Análise de Carga de Trabalho Dados de Teste Resultados de Teste

38. Papéis, Atividades e Artefatos de Teste Projetista de Testes Arquitetura de Automação de Teste Responsável Por Definir a Abordagem do Teste Definir as Configurações do Ambiente de Testes Identificar Mecanismos de Testes Estruturar a Implementação dos Testes Definir Elementos de Testes Especificação de Interface de Teste Desenvolver Diretrizes de Teste Configuração de Ambiente de Teste Suíte de Teste Diretrizes de Teste

39. Papéis, Atividades e Artefatos de Teste Testador Scripts de Teste Responsável Por Implementar Testes Implementar Suíte de Testes Executar Suíte de Testes Analisar Falhas do Teste Log de Teste

40. Workflow da Disciplina de Testes Definir Missão de Avaliação Verificar Enfoque do Teste Validar Estabilidade da Construção [Outra Técnica] Testar e Avaliar Avaliar Missão de Aceitação Aprimorar Ativos de Testes [Outro Ciclo de Teste]

49. Testes Funcionais

50. Testes Funcionais: Definição Uma maneira de avaliar o comportamento de um produto de software sem que o funcionamento interno do que está sendo testado seja conhecido pelo testador. Entrada Saída Programa Casos de Testes Resultados esperados

52. Estratégia de Testes Funcionais

53. Estratégia de Testes Funcionais Código Testes Funcionais X Testes Funcionais no Processo de Software Casos de Uso

54. Técnicas de Testes no Framework

55. Escopo Atual do Framework Requisitos Gerência de Configuração (SCM) Análise & Desenho Construção Validação & Testes Implantação Documentação Gerência de Projetos Disciplinas Principais Disciplinas de Apoio Abordagem por Caso de Uso MSVisual Studio/ WSAD/TSO/ISPF Java 4GL(VAGen) COBOL Plataforma Distribuída Mainframe Plataforma Distribuída Mainframe Análise Estruturada Análise OO

56. Estratégia de Testes Requisitos A/D Construção Testes Implantação Testes Estruturais Repositório Requisitos Casos de Testes Funcionais Código

58. Estratégia de Testes Requisitos A/D Construção Testes Implantação Construção codificação Tunning Testes Unidade Debug e Testes Estruturais Testes Estruturais Testes Estruturais Analista Programador

59. Estratégia de Testes Requisitos A/D Construção Testes Implantação Teste Testes Internos Correção Testes Aceitação Registro de Defeitos Testes Estruturais Testes Funcionais Testes de Carga Analista de Sistemas

60. Derivação de Especificação Caos de Uso Código Testes Funcionais Próximos Passos x Casos de Testes

61. Sistema de Rastreamento de Defeitos Instrumento de gerência de projetos Registra Líder de Projeto Equipe de Testes Gerencia Desenvolvedor Fixa Cancelado Em Solução Resolvido Fechado Adiado Aberto Ciclo de vida de Defeitos Base de defeitos

63. Derivação de Especificação Cenário 1 Cenário 2 Cenário N Derivação de Casos de Uso em Casos de Testes Caso de Uso

66. Análise de Valores Limites Técnicas de Testes Funcionais 4 Classe Válida Classe Inválida 3 5 7 Classe Válida Classe Inválida 6 8 4 7 Classe Válida Classe Inválida Classe Inválida

68. Derivando Casos de Uso em Casos de Testes

70. Casos de uso são parte da UML 1967 Foundations of OO (Nygaard, Goldberg, Meyer, Stroustrup, Harel, Wirfs-Brock, Reenskaug,…) UML 1.1 (OMG Standard) UML 1.3 ( extensibility ) UML 1.4 ( action semantics ) UML 1.5 1996 1997 1998 2001 1Q-2003 3Q-2003 UML 2.0 (MDA) Evolução da UML Origem dos casos de uso Jacobson Booch Rumbaugh

74. Exemplo de estilo de descrição de fluxo básico Estruture os fluxos em passos Numere o título de cada passo Descreva os passos (1-3 sentenças) Não referencie fluxos alternativos no fluxo principal

75. Exemplo de descrição de fluxo alternativo Informe o passo onde o fluxo alternativo inicia Caso de Uso: Registro em cursos Informe o que causa o início do fluxo Informe o que acontece Informe onde o fluxo termina Fluxos alternativos devem tratar apenas uma condição

78. Cenário 1 Cenário 2 Cenário N Casos de Teste são derivados a partir de casos de uso (relembrando...) Caso de Uso

79. Derivação de caso de uso em caso de teste Ação do Ator Passo Caso de Uso Caso de Teste Resposta do Sistema Ponto de Verificação

86. Encontrando condições e resultados esperados

87. Examplo de matriz de casos de teste – Registro em curso Cada linha é um caso de teste Nota: V = Valido I = Inválido

91. Exemplo de Matriz com valores

94. Módulo 3: Suíte de Testes Funcionais IBM Rational Functional Test Luís Felipe Cipriani

98. Abordagem do Framework Software de Qualidade Ferramentas Processo B O A S P R Á T I C A s

100. Integração das ferramentas Rational Testes Estruturais Repositório: Projeto Rational Course.dll People.dll Course User Register.exe Billing.exe Billing System

104. Criando um novo projeto 1 2 3

105. Configurando o projeto

107. Gerenciando usuários e grupos de testes Para adicionar grupos: Insert > New User > New Group Para modificar grupos existentes: Right-click > Properties

110. Gerenciando Planos de Testes no IBM Rational TestManager

112. Entradas e atividades do planejamento e projeto de testes Test Case Definir Missão Identificar Motivadores Identificar Alvos Definir avaliação e rastreabilidades Definir abordagem de teste Identificar opiniões Definir Detalhes Definir ambiente e configurações Obter compromisso com a testabilidade Especificações de sistema Requisitos Pedidos de alteração Lista de riscos Plano de Iteração Especificações de Projeto Modelos de casos de uso Test Plan Test-Ideas List Test Automation Architecture

115. TestManager: Plataforma central para gerência de testes Gerência de Resultados Pass Fail Relatórios integrados Scripts GUI e VU Scripts Java ou Basic Scripts para outros S.O. Projeto Iterações de teste Configurações Planos Casos Teste Entradas de Testes Rational TestManager Adapters Input Execution Adapters

116. Planejamento orientado à Casos de Testes Caso de Teste O que motiva os testes? Entradas de Testes Implementações Configurações Onde será testado? Quando será testado? Iterações Como será conduzido? 

117. Planejamento Visual Casos de Testes Pastas de Testes Plano de Teste Configurações

120. Visão de Entrada de Testes View > Test Inputs

121. Definindo Iterações, Configurações e Computadores Define computadores que serão executados os testes Define iterações de para o plano de testes Define configurações das aplicações de teste Define atributos de configuração

122. Adicionando Configurações e atributos Tools > Manage > Configurations > New

123. Adicionando Computadores Tools > Manage > Computers > New

125. Construindo um plano de testes no TestManager File > New Test Plan Nome do plano de teste Descrição (opcional) proprietário (opcional)

126. Associando documentos externos a Planos de Testes Associa um documento externo

127. Criando pasta de casos de testes Selecione Insert Test Case Folder Selecione o plano de teste na janela Test Plan, e clique com o botão direito do mouse

128. Criando Casos de Teste Selecione a pasta de caso de teste, e clique com o botão direito Selecione Insert Test Case

129. Duas visões de Casos de Testes

130. Associando entradas, iterações, e configurações

131. Casos de Testes configurados

132. Casos de Testes Suspeitos Entrada 1 Entrada 2 Entrada 1 Entrada 2 Alteração significante Marcado como suspeito Associação Associação Caso de Teste A  Caso de Teste B  Caso de Teste C  Caso de Teste A  Caso de Teste B  Caso de Teste C 

133. Visualizando o status de Casos de Teste Casos de Testes suspeitos

134. Alterando status de Suspeita Altera o status suspeito

147. Detalhando casos de testes no TestManager Impressão Clique para mudar para passos ou ponto de verificação Em iterações iniciais, detalhe o caso de teste em alto-nível

148. Detalhando casos de testes no TestManager (cont.)

149. Associando documentos externos a casos de testes

152. Criando um relatório de distribuição de casos de teste Reports > New Selecione um item sobre o qual será a distribuição Selecione o formato da exibição

157. Módulo 4: Desenvolvimento de Scripts de Testes IBM Rational Robot Luís Felipe Cipriani

160. A evolução de um teste Identificar Motivaçõesdo teste Identificar os alvos do teste Identificar idéias de teste Caso de Teste Detalhar o s testes Scripts Automáticos Test Suite Implementar Teste Scripts Manuais

162. Criando Scripts Manuais no Rational ManualTest File > New Test Script > Manual

163. Associando uma implementação manual à um caso de teste Clique para escolher um script já existente como implementação

164. Gerando scripts manuais à partir de casos de testes

165. Ícones de implementação Caso de Testes sem implementação associada Casos de testes com implementação manual Casos de testes configurados com scripts automáticos e herdados de um caso de teste pai

170. Rational Robot Permite a gravação e execução de scripts de testes automáticos que navegam pela aplicação e testa o estado dos objetos por meio dos pontos de verificação

172. Gravação orientada a objetos visuais Objetos Buttons Menu Edit box Tree view Window region Window Label ComboBox

176. Fluxo de gravação e execução de scripts Configure o ambiente de teste Insira Pontos de Verificação Configure opções de gravação Inicie a gravação Execute ações dos usuários Reconfigure o ambiente Create verification points Configure opções de execução Execute o script de teste Insira pontos de controle Finalize a gravação Visualize e analise os resultados

178. Opções de gravação do Robot Tools > GUI Record Options

179. Iniciando a gravação de scripts GUI Nome do script Opções de gravação Record GUI Test Script button on toolbar or File > Record GUI

180. Execução das ações do usuário Pausa na gravação GUI Record toolbar Grava suas ações de interação com a aplicação

182. Finalizando a gravação Termina a gravação Gera o script SQABasic

184. Fluxo de gravação e execução de scripts Configure o ambiente de teste Insira Pontos de Verificação Configure opções de gravação Inicie a gravação Execute ações dos usuários Reconfigure o ambiente Create verification points Configure opções de execução Execute o script de teste Insira pontos de controle Finalize a gravação Visualize e analise os resultados

185. Pontos de verificação do Rational Robot Imagem de janela Alfanuméricos Clipboard Scan no site Web Propriedade de objetos Comparação de arquivos Existência de arquivos Existência de módulos Existência de janela Menu Objeto de dados Região de imagem Comparação de site web

187. GUI Insert Toolbar: Pontos de Verificação Propriedades de objetos Alfanumérico Objeto de dados Menu Clipboard Região de imagem Imagem de janela Existência de janela Scan de site web Comparação de site web Display GUI Insert Toolbar

188. Selecionando o objeto de teste Arraste o Object Finder sobre o objeto e libere o botão no mouse ou Clique em Browse para selecionar o objeto à partir de uma lista de todos os objetos no desktop

190. Exemplo de Ponto de Verificação: Menu Seleção das células de teste Método de identificação Descrição de seleções Método de Verificação

192. Fluxo de gravação e execução de scripts Configure o ambiente de teste Insira Pontos de Verificação Configure opções de gravação Inicie a gravação Execute ações dos usuários Reconfigure o ambiente Create verification points Configure opções de execução Execute o script de teste Insira pontos de controle Finalize a gravação Visualize e analise os resultados

196. Fluxo de gravação e execução de scripts Configure o ambiente de teste Insira Pontos de Verificação Configure opções de gravação Inicie a gravação Execute ações dos usuários Reconfigure o ambiente Create verification points Configure opções de execução Execute o script de teste Insira pontos de controle Finalize a gravação Visualize e analise os resultados

201. Shell Scripts Execução Test Script 1 Test Script 2 Test Script 3 Test Script 4 Shell Script Test Script 1 Test Script 2 Test Script 3 Test Script 4

204. O comando CallScript Os s hell scripts adicionam comandos CallScript ou Adicione manualmente o comando CallScript Insert > Call Script

207. Módulo 5: Desenvolvimento de Scripts Automatizados: Pontos de Verificação, Datapools IBM Rational Robot Luís Felipe Cipriani

209. Pontos de verificação Clique para expandir a GUI Insert toolbar Object Properties Alphanumeric Object Data Menu Clipboard Region Image Window Image Window Existence Web Site Scan Web Site Compare

210. Estado de espera e resultados esperados Nome do ponto de verificação Configuração do estados de espera Insert > Verification Point > Verification Point Type Especificação do resultado esperado

211. Selecionando o objeto de teste Arraste a ferramenta Object Finder sobre objeto e libere o botão do mouse ou Clique browse para selecionar o objeto na lista de todos os objetos visuais no desktop

212. A lista de objetos Duplo clique para expandir o objeto Duplo-clique para retrair o objeto Retorna ao método de seleção Object Finder A cor do objeto selecionado será invertida na aplicação Exibe os objetos escondidos no desktop

215. Objetos “filhos”

218. Resultados da Edit List

221. Verificando dados em Grids

222. O ponto de verificação Data Grid Grid de dados para seleção das células que serão testadas Método de identificação Descrição da seleção Método de verificação

225. Métodos de identificação

226. Selecionando conjunto de dados

227. Valores chaves

232. Comparador de propriedades de objetos Lista de diferenças Propriedades do objeto comparado Hierarquia de objetos

233. Comparador de imagens

235. Comparações em Grid Lista de diferenças Comparador de menu Grid de valores do menu

236. Comparador de texto

242. Tipos de dados Tipos de dados padrão e tipos de dados customizados

246. Gerenciando Datapools Tools > Manage > Datapools

250. Módulo 6: Executando e avaliando os testes IBM Rational Robot

255. Passos para o testes de regressão Configurar Ambiente Criação Testes/ Suites Executar os Testes Recuperar os testes interrompidos Verificar os resultados esperados Investigar os resultados esperados Defeitos logados

264. Executandos os scripts no TestManager File > Run Test Script > Type of Script Computadores onde os scripts executarão Clique para alterar o computador Onde os resultados serão gravados Clique para alterar onde os resultados serão gravados

266. Propriedades de um script de teste Visualizar uma baseline capturado pelo ponto de verificação

267. Running Test Cases from TestManager File > Run Test Case ou Botão-direito

268. Executando um caso de testes no TestManager (cont.) Casos de testes que serão executados Adicione casos de teste na lista Ignora as configurações de sistema – executa os casos de testes nos computadores disponíveis Computador onde o caso de testes será executado Clique Change para alterar o computador Onde os resultados serão gravados Clique para alterar onde os resultados serão gravados

269. Executando uma implementação manual Executa os passos no Rational ManualTest, e grava os resultados dos passos e pontos de verificação

270. Visualizando os resultados de casos de teste Log de resultados de casos de teste

271. Visualizando os resultados de casos de testes Detalhe dos logs de resultados dos casos de testes