O documento discute métricas e KPIs para medir a qualidade no desenvolvimento ágil. Ele apresenta métricas para mapear defeitos por frequência e gravidade, pontos de criticidade por feature, bugs abertos versus fechados por release e ritmo de correção por time. Também mostra KPIs de qualidade geral e por time, com grades de pontuação para métricas como incidentes, bugs encontrados e acumulados, e criticidade acumulada. Por fim, sugere métricas por ciclo de defeitos encontrados em diferentes fases.

1. Data-Driven Quality no Scrum
Bárbara Cabral

2. +3500 clientes
RDStation: SaaS
+70 desenv.

3. # 4 Deliver as fast as possible
Entregue tão cedo quanto
possível

4. Testes devem acompanhar
todo o Ciclo de desenvolvimento

5. Custo do defeito no Ágil

6. # 6 Build Integrity in
Construa qualidade dentro

7. Quality Assurance
Quality Control
Detecção
Prevenção

8. Produzir sem interrupções
DesenvolverProduzir Distribuir
Rapidamente

9. Estrutura

10. “Working Software is the
primary measure of progress”
- Agile Manifesto

11. # 1
Lean Portifolio Metrics

12. # 1 Lean Portifolio Metrics

13. Mapeamento de Defeitos

14. Mapeamento de Defeitos
Frequência Gravidade

15. # 2
Métricas
Obs: os dados a seguir são fictícios!

16. #1 Bugs abertos/fechados/acumulados mensal
#2 Heatmap: Bugs abertos por Feature/Mês
#3 Nr. Defeitos por Urgência: Gravidade + Frequência
#4 Pontos de Criticidade por Feature
Métricas Gerais

17. # Release: Abertos vs. Fechados - Mensal

18. # Heatmap: Bugs Abertos acumulados por Feature
Feature 01/2015 02/2015 03/2015 04/2015 05/2015 06/2015 07/2015 08/2015 09/2015 10/2015 11/2015 12/2015 TOTAL
Feature 5 5 3 7 7 5 6 4 4 6 11 6 10 74
Feature 10 2 1 0 1 1 1 3 9
Feature 20 0 0 1 1 0 0 0 2 1 1 0 1 7
Feature 12 0 0 0 0 0 1 0 0 1 0 0 1 3
Feature 7 0 0 0 1 2 2 1 1 1 1 0 1 10
Feature 19 4 0 1 0 1 0 4 1 3 0 1 1 16
Feature 11 0 8 6 3 5 5 10 7 5 5 4 7 65
Feature 9 1 4 1 1 6 3 5 7 1 1 2 1 33
Feature 3 0 0 7 0 2 1 2 0 1 1 2 0 16
Feature 6 7 8 13 9 5 3 13 6 5 11 4 1 85
Feature 14 3 1 4 3 4 3 4 0 2 2 3 0 29
Feature 1 3 2 0 2 4 2 1 2 2 2 1 0 21
Feature 8 0 5 2 0 1 3 5 1 0 1 0 0 18
Feature 13 0 0 0 0 0 7 5 1 2 3 3 1 22
Feature 9 2 4 4 3 4 1 1 1 7 5 4 4 40

19. # Nr. de Defeitos por Urgência: Gravidade + Frequência
Gravidade Urgência
Não consegue
contornar 26 47 28 Corrigir rápido 93 39.41%
Existem alternativas 24 26 18 Corrigir em
breve 73 30.93%
Consegue realizar
tarefa 26 20 21 Corrigir
eventualmente 70 29.66%
Raramente Às vezes Sempre Frequência

20. # Heatmap: Pontos de Criticidade por Feature
Feature 08/2015 09/2015 10/2015 11/2015 12/2015 Média
Feature 5 6.00 4.50 4.10 4.00 3.67 4.87
Feature 20 3.50 0.00 5.00 0.00 0.00 2.83
Feature 12 0.00 4.00 0.00 0.00 0.00 1.33
Feature 7 3.00 5.00 4.00 5.00 0.00 4.00
Feature 19 0.00 4.33 0.00 0.00 0.00 1.44
Feature 15 0.00 0.00 0.00 0.00 0.00 0.00
Feature 9 3.60 4.13 4.00 0.00 4.00 3.91
Feature 3 0.00 3.50 0.00 0.00 0.00 1.17
Feature 6 4.00 5.00 3.83 4.00 4.50 4.28
Feature 14 0.00 5.00 5.00 4.00 0.00 3.33
Feature 1 5.00 5.00 5.50 5.50 0.00 5.17
Feature 8 6.00 0.00 5.00 0.00 0.00 3.67
Feature 13 5.00 3.50 4.00 4.67 0.00 4.17
Feature 9 3.60 4.13 4.00 0.00 4.00 3.91

21. #1 Na Release: Report Mensal
#2 Na Sprint: Report Semanal
Métricas Scrum

22. # Release: Abertos vs. Fechados - Mensal

23. # Na Sprint: Ritmo de Correção
Release 2
Corrigidos
sem alocaçãoTime Alocados
Não
corrigidos Corrigidos
Total
Corrigidos
Time 1 4 1 3 1 4
Time 2 3 1 2 3 5
Time 3 0 0 0 4 4
Time 4 3 1 2 3 5
Time 5 4 2 2 3 5
Time 6 5 3 2 2 4
19 8 11 16 27

24. # 3
KPI de Qualidade
Obs: os dados a seguir são fictícios!

25. Grade de Pontuação Geral
Tipo Unidade A B C D E F
Incidentes Total 0 1 2 3 4 4+
Bugs Encontrados Total <= 2 <= 5 <= 10 <= 20 <= 30 30+
Bugs Acumulados Total <= 30 <= 42 <= 54 <= 66 <= 78 78+
Criticidade Acumulada Média <= 2 <= 3 <= 4 <= 5 <= 6 6+
# KPI de Qualidade: Geral
Janeiro
Geral Time 1 Time 2 Time 3 Time 4 Time 5 Time 6 Time 7
B A A A A A B B
E B F E F F A B
F F F F F F C A
D D D D D D D D
E C E D D E B B

26. # KPI de Qualidade: por Time
Grade por Time
Tipo Unidade A B C D E F
Incidentes Total 0 - - - - 1+
Bugs Encontrados Total 0 <= 1 <= 2 <= 3 <= 5 5+
Bugs Acumulados Total <= 3 <= 5 <= 7 <= 10 <= 15 15+
Criticidade Acumulada Média <= 2 <= 3 <= 4 <= 5 <= 6 6+
Pontos Janeiro Feveiro Março
2016
Incidentes A A
Bugs Encontrados B E
Bugs Acumulados F F
Criticidade Acumulada D D
C D

28. # 4
Próximos Passos...

29. Defeitos encontrados:
#1 em fase de Solução
#2 em Desenvolvimento
#3 em Rollout
#4 em Produção
Métricas por Ciclo

30. Skype: babipcabral
Twitter: @barbarapcabral
LinkedIn: /in/barbaracabral
E-mail: barbaracabral@gmail.com
Blog: http://barbaracabral.wordpress.com
Contato