Ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas

Implantação de Fábrica de Teste:
desafios, resultados e melhores práticas

Welington Costa Monteiro – Out/2011

Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantando a Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas

Apresentação
O palestrante
 Gerente da Fábrica de Software da Prodemge
 Consultor de aquisição habilitado pelo MPS.BR
 Especialista em Qualidade de Software com certificações pela
ALATS e ISQTB
 15 anos de experiência na área de TI
 Graduado em Ciência da Computação
 Pós-graduação em Gerência de Tecnologia da Informação


Apresentação
A Prodemge
Companhia de economia
mista, apoia as ações estratégicas
da administração pública mineira
na área de TIC - Tecnologia da
Informação e Comunicação.

1ª maior empresa de TIC de
Minas Gerais em faturamento
(ranking Assespro-MG 2008)


Apresentação
A Prodemge – Produtos e Serviços
Data Center
Finanças
Sistemas de Informação

Gestão
Armazéns de Informações

Serviços de Infraestrutura Segurança Pública

Serviços de Rede Orçamento e
Planejamento
Gestão de Conteúdo
Gestão de conteúdo
Recursos Humanos
Certificação Digital


Apresentação
A Prodemge – DDS
Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)

Diretoria de Desenvolvimento de Sistemas

SSC SSD SSO SAS

GSC GSH GSS GPS

GSA GSM GSO GPR

GST GFS


Apresentação
A Prodemge – A Fábrica de Software

Gerência de Fábrica de Software

Fábrica Fábrica de Fábrica de Núcleo de
Web Código Teste Subcontratação

 A GFS foi criada há quase 4 anos e tem 50 colaboradores. Nos próximos 4 meses, terá
160 colaboradores.
 É segmentada em 3 áreas e um núcleo de subcontratação (núcleo administrativo)
 Atende as demais gerências da empresa (especificação) na construção e testes
sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de
sítios, intranets e portais corporativos


Apresentação
A Prodemge – A Fábrica de Teste

Gerência de Fábrica de Software

Fábrica Fábrica de Fábrica de Núcleo de
Web Código Teste Subcontratação

 A Fábrica de teste está implantada há quase 2 anos
 Conta atualmente com 20 profissionais, sendo 50% estagiários . Previsão de mais 15
profissionais nos próximos 4 meses;
Capacidade média mensal de 900 PF (2011)
 5 profissionais certificados CFTL e 1 profissional certificado CBTS
 1 profissional habilitado como consultor de implementação do MPT.BR (22.10)


Agenda
• Apresentação
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Conclusão

O cenário inicial dos testes
“Eu já vi este bug antes” – Déjà vu

“A aplicação estava funcionando na versão anterior” – Síndrome do
Casamento

“Eu sempre fiz deste jeito” – Síndrome da Gabriela

“Este bug não é bug! ” – Ser ou não ser ?

“ Não temos tempo para testar tudo mesmo” - Deus Deadline

“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico



Não existia equipe • Os testes eram baseados apenas nos requisitos funcionais, e
de teste de forma superficial pelo fato de não ter métricas para
planejar os prazos de testes.
independente

• A ausência de uma atividade de teste para avaliar o
Problemas de funcionamento básico da aplicação não era realizado. Desta
manutenção das forma no caso de aplicações compiladas, a posterior
manutenção era comprometida pelas “bibliotecas
aplicações esquecidas”

• Em virtude do desenvolvimento interativo
Incompatibilidade incremental, ocorriam inúmeros falsos defeitos em virtudes
das versões do banco de dados não estarem compatíveis, ou
de versões de BD seja, foi utilizada a versão X para a construção e a X’ para os
testes.



Inexistência da •Os casos de testes eram elaborados de forma
exploratória, sem utilizar metodologias específicas de testes
Documentação de e isto onerava e muito o prazo do projeto, em virtude da
Teste responsabilidade ser da equipe de especificação.

Falta de
• Dificuldade de entendimento e de reprodução dos erros, o
padronização no que gerava um grande atraso na correção dos defeitos
relato de defeitos

Ineficiência e baixa • Não existia um processo de testes completo, era apenas
uma atividade descrita no processo de desenvolvimento, e
cobertura dos que era executada após o codificação da aplicação.
A execução era somente manual;
testes


Desafios
A empresa buscava na área de desenvolvimento
 Maior agilidade no processo
 Cumprir 100% dos prazos acordados
 Melhorar a qualidade do software construído
 E o cliente?

SIMPLIFICAR O PROCESSO:

Usuário interage com o sistema
Sistema


Desafios
Paradoxo: Simplificar os processos existentes e
Implantar um novo processo de qualidade ?
Qual seria a melhor alternativa?

Os testes
deveriam ser
automáticos

Desafios
Cinco principais ações:

1. Buscar um patrocinador para o projeto de Fábrica de
Teste na empresa, com teria por objetivo atender as
demandas de projetos de plataforma baixa da
Prodemge;

2. Interiorizar a importância dos testes em todo o
processo de desenvolvimento e não apenas como uma
parte do ciclo do mesmo;


Desafios
Cinco principais ações:

3. Implantar um processo de testes compatível com o
processo de desenvolvimento da empresa;

4. Ter capacidade de atendimento de todas as demandas
de plataforma baixa das áreas;

5. Demonstrar o ROI da implantação da fábrica de teste;


Implantação da Fábrica de Teste
Doze passos para a implantação:

1. Definição de terminologias

2. Identificação dos serviços a serem prestados

3. Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade

4. Especialização dos papéis da equipe

5. Elaboração do processo completo e detalhado



8. Elaboração de Guias para a execução dos procedimentos para
execução das atividades

9. Definição de um ambientes de testes compatível com o
ambiente de homologação

10.Avaliação de ferramentas disponíveis no mercado


11. Elaboração de documentos administrativos para controle
(solicitação, parecer, etc)

12. Definição de indicadores para busca contínua da melhoria do
processo


Definição de Terminologias

GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS
EM TESTE DE SOFTWARE
(55 páginas)

Versão 1.3br (01 de Julho de 2007)
Produzido pelo “Glossary Working Party”
International Software Testing Qualification Board

Editor Erik van Veenendaal (Holanda)
Notificação do Detentor dos Direitos Autorais

Este documento poderá ser copiado na íntegra ou em
parte desde de que haja menção à sua fonte.


Identificação dos serviços a serem prestados

Fábrica de Teste Teste Área de Teste de
Unitário Integrado Segurança Segurança
Software

Checklist de Elaboração
Fábrica de Checklist de Área de Teste de
Casos de de Casos de
Teste ERSw Produção Desempenho
Testes Testes

Inspeção de Smoke Teste Automação Teste de Teste de
Código Fonte Test Funcional de Teste Stress Carga

Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade

Métrica de Produtividade: PF
Taxa de entrega: 90%

Exemplo de cálculo:
Elaboração de casos de testes

Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski


Especialização dos papéis da equipe
Gerente de
Testes

Coordenador de
Testes

Teste Líder

Analistas de Arquiteto de Testadores Automatizadores
Testes Testes


Elaboração do processo detalhado


Elaboração de guias de procedimentos para a
execução das atividades

- Guia para Elaboração de Casos de Testes
- Guia de Configuração de Ambiente
- Guia para Inspeção de Código Fonte
- Guia do Smoke Test
- Guia dos Testes Funcionais
(Padronização de relato de defeito / Testes exploratórios)

- Guia para Automação de Testes


Definição de um ambiente de testes compatível com
o ambiente de homologação


Avaliação das ferramentas disponíveis no mercado


Elaboração de documentos administrativos para
controle

- Solicitação de Testes
- Parecer Smoke Test
- Parecer Teste Funcional
- Check-list ERSw
- Check-list Casos de Testes


Definição de indicadores para busca contínua da
melhoria do processo
INDICADOR IMPACTO DA FÁBRICA DE TESTE
Qualidade Maior volume de casos de testes

Prazo Menor tempo de execução dos testes

Custo Menor custo de execução dos testes

Eficácia Maior precisão na detecção de defeitos

Confiabilidade Menor volume de defeitos “não-procedentes”

Produtividade Maior volume de testes gerenciados pelos Analistas

Restrição Menor ciclo de estabilização dos sistemas de negócio

Maturidade Evolução e amadurecimento da cultura de testes


Resultados
Na prática
• Aplicações mais estáveis (melhora da qualidade do
produto)

• Diminuição significativa dos defeitos no ambiente de
produção (redução de custos)

• Melhora significativa dos artefatos entregues para o
desenvolvimento dentro dos padrões estabelecidos pelo
processo (Ponto de controle de qualidade)


Resultados
Na prática
• Redução das dúvidas dos desenvolvedores em virtude
dos relatos dos incidentes (tempo de correção dos defeitos)

• Geração de script de testes funcionais para testes de
desempenho (Integração e otimização do processo entre
áreas)

• Automação de aplicações críticas (redução drástica de
retrabalho)


Resultados
Exemplo de projeto
Projeto em plataforma baixa : 400 PF aproximadamente

Percentual de incidentes encontrados por área

9%
Área de Testes
28%
Área de Especificação
63% (Negócio)
Cliente


Resultados
O grande resultado

A Fábrica de Teste tornou-se
fundamental na proposta de
melhoria contínua de qualidade de
software da PRODEMGE.

Melhores práticas
1. Não testarás sem documentação

2. Honrarás os casos de testes

3. Validarás o banco de dados

4. Realizarás a inspeção de código

5. Controlarás o ambiente de testes

6. Registrarás todos os incidentes

7. Não marretarás os dados dos testes

8. Evitarás reteste manual

9. Nem tudo automatizarás

10.O processo sempre seguirás


Próximos passos
- Avaliação do MPT.BR (melhoria de processo)

- Adoção da métrica de Ponto de Teste (esforço e cobertura)

- Aquisição de um suíte de teste (integração)

- Execução de teste automatizado programado (sistemas críticos)

- Edital de contratação de fábrica de testes (sazonalidade)

- Teste de Baseado em Risco (estratégia de teste)

- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)

- Teste de Acessibilidade (ampliar atuação)


Agenda
• Apresentação
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Conclusão

Conclusão

“Não se pode enxertar qualidade em um
produto de software mal construído
apenas com teste, mas também não é
possível construir um produto com
qualidade sem teste e análise”

Mauro Pezzè e Michal Young


OBRIGADO !
Welington Costa Monteiro
wmonteiro@prodemge.gov.br
(31) 3915-4467

welingtonmonteiro


Ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (7)

Semelhante a Ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas

Semelhante a Ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas (20)

Ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas