Qualidade orientada a Dados, palestra apresentada ao The Developers Conference de Florianṕoilis em 2016.
Você pode assistir à palestra, aqui neste link:
https://www.eventials.com/Globalcode/data-driven-quality-no-scrum-provando-que-qa-vale-a-pena/?playlist=tdconline-floripa-2016-stadium-intel
6. Introdução - OKR & KPI
OKR (sigla para Objectives and Key Results)
● É um framework para definição de metas criado pela Intel e adotado pelo Google em 1999.
● Objetivo é a descrição qualitativa do que se espera atingir e os Key Results são métricas que
indicam se atingimos nosso objetivo.
Quais são as características de OKR?
● Ciclos curtos de definição de metas: Ciclos trimestrais de desdobramento de metas;
● Simplicidade: OKRs devem ser simples e mensuráveis, de fácil compreensão;
● Transparência: Os OKRs devem ser públicos para toda a empresa.
KPIs (sigla para Key Performance Indicators)
● São medidas quantificáveis para compreender se os objetivos estão sendo atingidos.
Consequentemente, esses indicadores determinam se é preciso tomar atitudes diferentes que
melhorem os resultados atuais
10. Backlog de Defeitos (automatizado via github com Google Apps Script)
#
Mês de
Abertura
Título Funcionalidade Frequência Gravidade
Score
Frequência
Score
Gravidade
Peso
Suporte
Peso
Rollbar
Score
Urgência
16 10/2014 A Feature 1 Às vezes
Consegue
realizar tarefa
2 1 0 1 4
34 04/2015 B Feature 7 Às vezes
Consegue
realizar tarefa
2 1 1 0 3
39 08/2015 C Feature 1 Sempre
Existem
alternativas
3 2 0 0 5
46 11/2015 D Feature 1 Sempre
Não
consegue
contornar
3 3 1 1 7
Mapeamento de Defeitos
(tags github)
11. - Como calcular o score médio?
Score
Urgência
4
3
5
7
4+3+5+7 = 19 = 4,75
4 4
Mapeamento de Defeitos
(tags github)
12. KPI de Qualidade: por Time
Grade por Time
Tipo Unidade A B C D E F
Incidentes Total 0 - - - - 1+
Bugs criados (mês) Total 0 <= 1 <= 2 <= 3 <= 5 5+
Backlog (acumulado) Total <= 3 <= 5 <= 7 <= 10 <= 15 15+
Score médio (acumulado) Média <= 2 <= 3 <= 4 <= 5 <= 6 6+
Pontos Janeiro Feveiro Março
Incidentes A A
Bugs criados (mês) B E
Backlog (acumulado) F F
Score médio (acumulado) D D
C D
13. KPI de Qualidade: Geral
Grade de Pontuação Geral
Tipo Unidade A B C D E F
Incidentes Total 0 1 2 3 4 4+
Bugs criados (mês) Total <= 2 <= 5 <= 10 <= 20 <= 30 30+
Backlog (acumulado) Total <= 30 <= 42 <= 54 <= 66 <= 78 78+
Score médio (acumulado) Média <= 2 <= 3 <= 4 <= 5 <= 6 6+
Janeiro
Geral Time 1 Time 2 Time 3 Time 4 Time 5 Time 6 Time 7
B A A A A A B B
E B F E F F A B
F F F F F F C A
D D D D D D D D
E C E D D E B B
14. Definindo OKR (Trimestral)
OKR Q2 Reduzir a nota do KPI de F (6,0) => E (5,0)
Dono Bárbara
Frequência de
medição
Semanal
Como é calculado Baseado nas 4 métricas:
- Incidentes
- Bugs Criados
- Backlog de bugs acumulado
- Score médio dos bugs acumulados
Valor atual 6,45 (F)
Valor alvo 5,00 (E)
20. Post Mortem
● Funcionalidade
● Cronologia
● Qual o impacto?
○ Quantos tickets no suporte?
○ Quantas contas afetadas?
○ Gerou perda de dados? É possível recuperá-los?
● Análise da Causa-Raiz
● Aprendizado do time
● Ações de Prevenção
21. Próximos passos
● Sla de Defeitos
● Métrica: Tempo de Resolução
● Métricas por ciclo
○ Defeitos encontrados:
#1 em fase de Solução
#2 em Desenvolvimento
#3 em Rollout
#4 em Produção