X Simpósio Brasileiro de Qualidade de Software – X SBQS                        Instituto Nokia de Tecnologia              ...
Agenda       Introdução       Contexto do Ambiente       Processo de Teste           Processo Manual           Proces...
Introdução       “Sistema que extrai, limpa, organiza e fornece dados de        uma determianda origem para uma base de d...
Agenda       Introdução       Contexto do Ambiente       Processo de Teste           Processo Manual           Proces...
Contexto do Ambiente       Maintenance Monitoring Tool – MMT             Reunir e organizar dados sobre o ciclo de vida ...
Contexto do Ambiente       Instituto Nokia de Tecnologia – INdT           É uma instituição independente e sem fins lucr...
Contexto do Ambiente       SCRUM            Metodologia ágil e flexível, centrada no trabalho em             equipe;    ...
Agenda       Introdução       Contexto do Ambiente       Processo de Teste           Processo Manual           Proces...
Processo de Teste Manual       Processo de Teste de DW no PM&T;           V&V de dados feita manualmente apenas na etapa...
Processo de Teste Iterativo e Automatizado    Artefatos principais: Plano de Teste, Especificação de     Casos de Teste e...
Processo de Teste Iterativo e Automatizado    Ciclo de cada Sprint:        Estudo no Data Manager para automaçao de test...
Agenda    Introdução    Contexto do Ambiente    Processo de Teste        Processo Manual        Processo Iterativo e ...
Execução – Estratégia de Execução    Processo de Teste de DW no PM&T;        V&V de dados feita a cada processo de ETL f...
Execução – Planejamento    Verificar o mapeamento dos campos presentes entre as áreas de     legado/stage;    Verificar ...
Execução – Automação dos testes    Exemplo de script SQL de teste;    15                      Instituto Nokia de Tecnologia
16   Instituto Nokia de Tecnologia
Execução – Geração dos resultados    Relatório de execução resumido gerado a cada execução de     script de teste automat...
Execução – Cadastro de Defeitos    Feito na ferramenta TRAC:    18                       Instituto Nokia de Tecnologia
Agenda    Introdução    Contexto do Ambiente    Processo de Teste        Processo Manual        Processo Iterativo e ...
Resultados    80% dos defeitos encontrados foram detectados pelas     execuções automáticas;    A maior parte do process...
Agenda    Introdução    Contexto do Ambiente    Processo de Teste        Processo Manual        Processo Iterativo e ...
Conclusão    Ganhos na qualidade do processo de desenvolvimento e teste;    Retrabalho de desenvolvimento muito reduzido...
Perguntas ?                      Verificação   QUALIDADE                                            DataWarehouse         ...
Próximos SlideShares
Carregando em…5
×

Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse

1.417 visualizações

Publicada em

Artigo apresentado no X SBQS (2011)

Resumo: Este artigo descreve a experiência de desenvolver e aplicar um processo de teste para Data Warehouse visando o controle da qualidade de informações importantes em bancos de dados analíticos que servem de apoio às decisões. Durante o desenvolvimento de um Data Warehouse, os dados são manipulados de outras fontes de dados e possivelmente renormalizados, se ocorrer um erro durante esse processo as informações resultantes estarão comprometidas. Para reduzir esse risco, um processo de teste foi proposto, implementado e executado, os resultados obtidos mostraram os benefícios de utilizar técnicas de teste para prevenção de defeitos, reduzindo custos com correção e garantindo a integridade da informação.

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.417
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
15
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse

  1. 1. X Simpósio Brasileiro de Qualidade de Software – X SBQS Instituto Nokia de Tecnologia D efeito QUALIDADE Data Warehouse Verificação SCRUMgr aç ão Processo de Teste Iterativo e Automatizado Experiência em Data Warehouse Luana Lobão, Eliane Collins, Ronaldo Martins, Leandro Leão & Vicente Lucena Curitiba – PR , Jun 2011
  2. 2. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 2 Instituto Nokia de Tecnologia
  3. 3. Introdução “Sistema que extrai, limpa, organiza e fornece dados de uma determianda origem para uma base de dados feita a partid do modelo dimensional. Em seguida implementa consulta e análise nos dados a fim de auxiliar á tomada de decisão”[Kimbal, 2004] Manipulação de bases “legadas”; Modelagem dimensional; Processo de ETL; OLAP. 3 Instituto Nokia de Tecnologia
  4. 4. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 4 Instituto Nokia de Tecnologia
  5. 5. Contexto do Ambiente Maintenance Monitoring Tool – MMT  Reunir e organizar dados sobre o ciclo de vida de equipamentos de produção;  Ambiente de DW da CognosIBM, Oracle 10g;  Um recurso para execução de testes;  Sem ferramentas para automação teste, até então;  Automação de teste solicitada;  Necessidade de consistência dos dados em todo o fluxo de desenvolvimento; 5 Instituto Nokia de Tecnologia
  6. 6. Contexto do Ambiente Instituto Nokia de Tecnologia – INdT  É uma instituição independente e sem fins lucrativos comprometida com a realização de pesquisa e desenvolvimento de soluções tecnológicas através do desenvolvimento de aplicações, novas tecnologias e conceitos;  A área onde a experiência foi desenvolvida foi Tecnologias de Produto e Manufatura (PMT). 6 Instituto Nokia de Tecnologia
  7. 7. Contexto do Ambiente SCRUM  Metodologia ágil e flexível, centrada no trabalho em equipe;  Utilizada para o desenvolvimento incremental e iterativo de qualquer produto. 7 Instituto Nokia de Tecnologia
  8. 8. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 8 Instituto Nokia de Tecnologia
  9. 9. Processo de Teste Manual Processo de Teste de DW no PM&T;  V&V de dados feita manualmente apenas na etapa de relatórios; 9 Instituto Nokia de Tecnologia
  10. 10. Processo de Teste Iterativo e Automatizado Artefatos principais: Plano de Teste, Especificação de Casos de Teste e Relatório de Execução de Casos de Teste; Testador fazia parte da equipe scrum; Aprendizado de ferramentas de ETL da Cognos (Data Manager);  Conduzido pelos desenvolvedores. 10 Instituto Nokia de Tecnologia
  11. 11. Processo de Teste Iterativo e Automatizado Ciclo de cada Sprint:  Estudo no Data Manager para automaçao de teste – 1º sprint e quando era solicitado algo novo teste  Configuração do ambiente de teste – 1º sprint  Planejamento dos casos de teste das estórias do sprint;  Escrever scripts sql de teste automáticos;  Executar testes automáticos;  Gerar relatórios de execução de testes;  Cadastrar defeitos;  Validar defeitos e executar regressão de testes (suíte automática. 11 Instituto Nokia de Tecnologia
  12. 12. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 12 Instituto Nokia de Tecnologia
  13. 13. Execução – Estratégia de Execução Processo de Teste de DW no PM&T;  V&V de dados feita a cada processo de ETL feito entre bases; 13 Instituto Nokia de Tecnologia
  14. 14. Execução – Planejamento Verificar o mapeamento dos campos presentes entre as áreas de legado/stage; Verificar se houve valores duplicados no processo de ETL de carga de dados entre as bases (do Legado para stage e do stage para o Data Mart); Verificar os tipos de dados dos campos correspondentes nos diferentes níveis (Legado, stage e Data mart); Verificar a quantidade de dados no processo de ETL de carga de dados entre as bases (do Legado para stage e do stage para o Data mart); Verificar se os Jobs (Scripts que controlam a execução da carga, tanto na stage quanto no Data mart) estavam funcionando de acordo com a especificação, ou seja, se iniciavam no tempo pré-configurado. 14 Instituto Nokia de Tecnologia
  15. 15. Execução – Automação dos testes Exemplo de script SQL de teste; 15 Instituto Nokia de Tecnologia
  16. 16. 16 Instituto Nokia de Tecnologia
  17. 17. Execução – Geração dos resultados Relatório de execução resumido gerado a cada execução de script de teste automatizado;  Cada teste automático atualizava a tabela de resultados, ao final, os dados desta tabela era exportado e organizado; 17 Instituto Nokia de Tecnologia
  18. 18. Execução – Cadastro de Defeitos Feito na ferramenta TRAC: 18 Instituto Nokia de Tecnologia
  19. 19. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 19 Instituto Nokia de Tecnologia
  20. 20. Resultados 80% dos defeitos encontrados foram detectados pelas execuções automáticas; A maior parte do processo de ETL foi testada:  Na migração de dados do legado para o stage foi alcançada 100% de cobertura com execuções de teste;  Dados do stage para o data mart obtiveram 80% de cobertura com testes automáticos; De todos os defeitos encontrados, 15% destes eram defeitos recorrentes; A suíte de teste de todo o Projeto continha 136 casos de teste. Destes apenas 3% não foram automatizados. 20 Instituto Nokia de Tecnologia
  21. 21. Agenda Introdução Contexto do Ambiente Processo de Teste  Processo Manual  Processo Iterativo e Automatizado Execução Resultados Conclusão 21 Instituto Nokia de Tecnologia
  22. 22. Conclusão Ganhos na qualidade do processo de desenvolvimento e teste; Retrabalho de desenvolvimento muito reduzido; Correção de bugs ainda no sprint corrente; Execução e relatório de execução gerados automaticamente; Acurácia dos dados em todo o processo de migração entre as bases de dados; Confiabilidade nas informações geradas nos relatórios de negócio. 22 Instituto Nokia de Tecnologia
  23. 23. Perguntas ? Verificação QUALIDADE DataWarehouse D efeitoM ig r a ç ã o SCRUM 23 Instituto Nokia de Tecnologia

×