O documento discute técnicas estatísticas como amostragem, simulação de Monte Carlo e métricas para previsão e planejamento. Ele argumenta que estimativas tradicionais são altamente imprecisas e que abordagens probabilísticas baseadas em dados fornecem previsões mais confiáveis.

1. Pare de estimar e comece a previsibilizar!
https://app.flowpace.com/

2. Não estime
• Ao invés de produzir algo de valor, você
está desperdiçando seu tempo
• Apesar de tudo, não existe razão ou fato
lógico-matemático que nos leve a crer
que, se a história A é mais complexa do
que a história B então certamente a
história A tomará mais tempo para
terminar do que a história B.
https://rodrigoalmeidadeoliveira.wordpress.com/2018/09/18/estimar-ou-nao-estimar/

5. E não apenas um pouco errado.
Muito errado

6. Vejamos

7. Saiba quantos dados precisamos prever

8. Amostragem
Uma maneira de usar os dados que temos
para fazer predições e previsões
Ela ajuda a descobrir a faixa de valores
possíveis de forma rápida e confiável

9. Com que rapidez descobrimos um intervalo de valores
por amostragem?
Por quê? Qual a velocidade que obtemos a contagem
de estórias, o tamanho da história, a velocidade, o
rendimento, o tempo de ciclo, e que nos deixa
confiantes de estarmos com as estimativas corretas?

10. Menor
amostra até
agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias?
(sem duplicatas, distribuição uniforme)?
A. ?1
2
3
4

11. Menor amostra
até agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias? (sem duplicatas,
distribuição uniforme)
A. ?1
2
3
4
25%
25%
25% de chance de ser maior
que a anterior mais alta
25% de chance de ser menor
que a anterior mais baixa

12. Menor
amostra até
agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias? (sem duplicatas,
distribuição uniforme)
A. ?1
2
3
4
25%
25%
25% de chance de ser maior
que a anterior mais alta
25% de chance de ser menor
que a anterior mais baixa
A. 50%
% = (n – 1)/(n+1)
% = (3-1)/(3+1)
% = 2/4 = 1/2
% = 0.5

13. 13
Máximo atual
Minimo atual
8,5% de chance de ser
maior que a anterior mais
alta
8,5% de chance de ser
menor que a anterior
mais baixa
Maior amostra
até agora
Menor amostra
até agora
Q. Em média, qual é a chance da 12ª
amostra estar entre o intervalo visto
após 11 amostras aleatórias?
(sem duplicatas, distribuição uniforme)
A. 83%
% = (n-1)/(n+1)
% = (11-1)/(11+1)
% = 0.833
1
2
3
4
5
6
7
8
9
10
11
12

14. Intervalos de Previsão
• "N" = número de amostras anteriores
• % chance da próxima amostra no intervalo
anterior para contagem de amostra anterior
n (n-1)/(n+1) n (n-1)/(n+1)
2 33% 16 88%
3 50% 17 89%
4 60% 18 89%
5 67% 19 90%
6 71% 20 90%
7 75% 21 91%
8 78% 22 91%
9 80% 23 92%
10 82% 24 92%
11 83% 25 92%
12 85% 26 93%
13 86% 27 93%
14 87% 28 93%
15 88% 29 93%
30 94%
0.0%
20.0%
40.0%
60.0%
80.0%
100.0%
120.0%
1
7
13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
Limite de amostras
(1 - (1 / n – 1)) (n-1)/(n+1)

15. Quanto tempo você
leva para chegar ao
trabalho de manhã?

16. depende...

17. AQUI TEM UMA
VAGA!

18. AQUI TEM UMA
VAGA!

19. Métricas nas Práticas Kanban
1.Visualize
2.Limit WIP
3.Gerencie o fluxo
4.Torne as políticas explicitas
5.Implementar loops de feedback
6. Melhorar Colaborativamente, Evoluir
Experimentalmente
(usando modelos / método científico)

20. Métricas nas Práticas Kanban
1.Visualize
2.Limit WIP
3.Gerencie o fluxo
4.Torne as políticas explicitas
5.Implementar loops de feedback
6. Melhorar Colaborativamente, Evoluir
Experimentalmente
(usando modelos / método científico)

21. As métricas podem ajudar você a
entender melhor sua demanda e
capacidade

22. “Quando uma medida se torna um alvo,
ela deixa de ser uma boa medida.”
Lei de Goodhart
https://www.slideshare.net/azheglov/lead-time-what-we-know-about-it

24. 50º percentil:
9 dias ou menos

25. 70º percentil:
15 dias ou menos

26. 85º percentil: 26 dias
ou menos

27. 95º percentil:
37 dias ou menos
Powered by

28. Percentis e intervalo de confiança
• Faixa de valores possíveis para a magnitude (risco relativo) real do efeito.
• Temos X% de chance do intervalo conter o verdadeiro valor da média populacional.
• Em vez de estimar o parâmetro por um único valor, é dado um intervalo de
estimativas prováveis.

29. https://connected-knowledge.com/page/4/
Não ignore as caudas longas

30. https://connected-knowledge.com/page/4/
Alexy Zheglov
@az1Eu

32. Lean, poucas dependências
• Maior contagem de itens de trabalho
• Itens de trabalho mais granulares
• Menor WIP
• Equipe Auto-Suficiente
• Impedimentos Internos
• Faça: automação
• Faça: Eficiência de Tarefa
Sprint, muitas dependências
• Menor contagem de itens de trabalho
• Itens de trabalho mais pesados
• Maior WIP
• Dependências Externas
• Impedimentos Externos
• Faça: colapso de equipes
• Faça: análise de impedimento

33. 85º dos itens gastam até 28 dias ou
menos para serem finalizados
Powered by

34. A medição do tempo de entrega não pode ser
separada da compreensão do ponto de
compromisso
Lei de Goodhart
Corolário
https://www.slideshare.net/azheglov/lead-time-what-we-know-about-it

35. Simulação de Monte Carlo

36. Simulação de Monte Carlo
Um primeiro exemplo...
Determinando o valor de 𝜋 a partir de simulações estatísticas.
–Imagine um alvo (de raio 1) inscrito em um quadro (de lado 2).
–A ideia é atirar, aleatoriamente, um grande número de dardos e contabilizar quantos
caem dentro do alvo.
–O valor de 𝜋 pode ser aproximado pela razão entre as áreas das figuras ou, de forma
equivalente, pelo número de dardos que caem em uma ou outra região.
–Quanto maior o número de pontos, melhor a aproximação.

37. Simulação de Monte Carlo
Integração numérica
Determinando o valor de 𝜋 a partir de simulações estatísticas.
Na verdade, o método pode ser aplicado para qualquer problema de
integração numérica...
– Seja 𝐴 a área do retângulo que envolve a região de integração de interesse:

39. Simulação de Monte Carlo

40. Quando este processo é realizado com uma grande
massa de dados e por milhares de vezes, os valores
obtidos guardam uma estreita semelhança com os valores
reais no que se refere a variáveis randômicas.
Método de Monte Carlo

41. Teoria das Filas
“O número médio de itens de trabalho em um sistema estável é
igual à taxa de conclusão média, multiplicada pelo tempo médio
no sistema.”
John Little, 1961

42. Lead time =
𝑊𝐼𝑃
𝑇ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡
42
Teoria das Filas

43. • Wait Time + Touch Time = Lead Time
• WIP = Lead Time x Throughput
• Lead Time = WIP / Throughput
• Throughput = WIP / Lead Time
Teoria das Filas

44. Teoria das Restrições
A Meta (Eliyahu Goldratt)
O processo tem a velocidade do seus
gargalos.

45. Teoria das Restrições
A Meta (Eliyahu Goldratt)

46. Métricas e Forecasting
Lei de Little
Teoria das Restrições
Método de Monte Carlo

47. Fique atento:
• Nunca use uma média para comunicar uma previsão.
• Nunca utilize o resultado mais provável para comunicar uma previsão; o
resultado mais provável não é muito provável. Seus dados de tempo de ciclo
não são normalmente distribuídos por isso não assuma isso ao fazer
previsões.
• Estimativa e planejamento geralmente servem para tornar seu processo
menos previsível e não mais previsível.
• Não há quase nenhuma correlação entre uma estimativa de ponto de história
e o tempo decorrido que leva para que um item seja concluído.
• Não há necessidade de itens do mesmo tamanho para a previsão. Muito, se
não a maioria da imprevisibilidade, em seu processo é devido às políticas
frágeis que estão implementadas no seu sistema puxado.
• Implementado incorretamente, as políticas de sistema puxado do seu
processo serão tão bem-sucedidas quanto o Titanic.

48. Estimativas x Lead Time.
É possível ser previsível com o que este gráfico nos mostra?

49. • WIP alto ou sem limite
• Tecnologia / domínio / produto
• Composição de time
• Usuário, cliente e representante do
cliente
• Multitarefa / falta de foco
• Mercado e concorrentes
• Dependências do sistema
• Dependências de equipe
• Especialização
• Aguardando disponibilidade
• Retrabalho
• Etapas / handoffs (50% * 50% * 50% …)
• Estágios no desenvolvimento da equipe
(Tuckman)
• Política de seleção
• Complicação essencial (quão difícil é problema é
por si só)
Diversas são as fontes de variabilidade que impactam diretamente nas
estimativas criadas.
Quantas, além destas, você pode identificar?

50. • ConWIP / WIP Sistema (em
todo o sistema, ao invés de ser
somente por coluna)
• Cinco etapas de foco para
eliminar restrições (TOC)
• Agrupamento de bloqueadores
• Reduza os estágios do fluxo de
trabalho
• Políticas explícitas
• Custo de programação,
sequenciamento e seleção de
atrasos
O que você pode fazer sobre a variação?
• WIP baixo e limitado
• Design simples e desacoplado
• Fatias finas e verticais;
• Emparelhamento
• Identifique / faça dependências
visíveis
• Colaborar / Compartilhar o trabalho
(Dimitar Bakardzhiev)
• Pico e estabilização (Dan North)
• Reduza a complexidade acidental
(Liz Keogh)

51. • Determinar quais ações
seriam diferentes com base
na estimativa
• Critérios de adequação
baseados no cliente
• Orçamento: taxa de
execução da equipe
• Concentre a conversação no
valor, não no custo
• MVP e propriedade do
produto
#NoEstimates e o Negócio
• Criar previsão probabilística o
mais rápido possível (assim que
você tiver dados) – juntos!
• Revisões de Serviço-entrega
(Cadências do Kanban)
• Equipes: Mantenha as equipes
juntas, dedicadas (reduz a
mudança de contexto, estágios
de Tuckman)
• Tenha um fluxo unificado.
• Liberte-se do time box!!!!

52. Manifesto #NoEstimates
… Nós passamos a valorizar:
1) Probabilístico sobre Determinístico
2) Tempo de entrega sobre o tempo de desenvolvimento
3) Escopo do MVP sobre o escopo total
4) Dados sobre intuição sobre Reduzir as fontes de variação ao melhorar as
estimativas
Ou seja, enquanto houver valor nos itens à direita,
valorizamos mais os itens à esquerda.

53. Quer saber mais?
Ou melhor. Praticar mais!

54. Flow Management Certification

55. Flow Management Certification

56. Flow Management Certification

57. Flow Management Certification

58. Planilha com métricas e simulação de monte carlo
https://bit.ly/2NwgI8C
0
32
187
235
182
117
100
62
36
21
11 6 5 2 1 3
0.00%
20.00%
40.00%
60.00%
80.00%
100.00%
120.00%
0
50
100
150
200
250
0 a 1 1 a 2 2 a 3 3 a 4 4 a 5 5 a 6 6 a 7 7 a 8 8 a 9 9 a 10 10 a
11
11 a
12
12 a
13
13 a
14
14 a
15
15 a
16
Histograma de Entregas - Simulação de Monte Carlo
Frequências % acumulado

59. REFERÊNCIASGRAEML, Alexandre Reis; PEINADO Jurandir. Administração da produção: operações industriais e de serviços. Curitiba: UnicenP, 2007.
DATALYSER. Série – As Sete Ferramentas do Controle da Qualidade – 7FCQ. Disponível em:
<http://www.datalyzer.com.br/site/suporte/administrador/info/arquivos/info44/44.html;. Acesso em Novembro de 2018.
FARIAS, Ana Maria Lima de; LAURENCEL, L. C. Fundamentos de Estatística Aplicada: Módulo I: Estatística Descritiva. Rio de Janeiro/RJ:
Universidade Federal Fluminense, 2000.
http://www.prd.usp.br/disciplinas/docs/pro2712-2005-Alberto_Gregorio/1Ferbasq.pdf
Statistical Methods for Quality Improvement: AOTS, Japão, 1988.
OHNO, T. (1997) - O sistema Toyota de produção além da produção em larga escala. Trad. Cristina Schumacher. Artes Médicas. Porto Alegre.
ROTHER, M. & SHOOK, J. (1999) - Aprendendo a enxergar: mapeando o fluxo de valor para agregar valor e eliminar o desperdício. The Lean
Institute Brasil. São Paulo. STANDARD, C. & DAVIS, D. (1999) - Running today’s factory: a proven strategy for lean manufacturing. Hanser
Gardner Publications. Cincinnati. WARNECKE, H. & HÜSER, M. (1995) - Lean production. International Journal of Production Economics.
Vol.41, p.37-43. WOMACK, J.P.; JONES, D.T. & ROOS, D. (1992) - A máquina que mudou o mundo. Campus. Rio de Janeiro.
MAGENNIS, Troy. The Economic Impact of Software Development Process Choice--Cycle-Time Analysis and Monte Carlo Simulation Results.
In: System Sciences (HICSS), 2015 48th Hawaii International Conference on. IEEE, 2015. p. 5055-5064.
Imagem: http://broadleaf.com.au/resource-material/cost-and-schedule-risk-assessment-risk-factor-modelling
"Moneyball for Software Projects: Agile Metrics for the Metrically Challenged";Troy Magennis goo.gl/VbAEEZ
"High-Level Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/KkC74b “
#NoEstimates Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/SDHJYP
"Little's law and predictability"; Daniel Vacanti goo.gl/ETDzg9
"Kanban Metrics in practice at Sky Network Services"; Mattia Battiston goo.gl/tQXqwN
"By the power of metrics";Wolfgang Wiedenroth goo.gl/ebGU3h
"Project planning using Little’s Law"; Dimitar Bakardzhiev goo.gl/rw1X5T
Little, J. D. C., S. C. Graves. 2008. Little’s Law. D. Chhajed, T. J. Lowe,eds. Building Intuition: Insights from Basic Operations Management
Models and Principles. Springer Science + Business Media LLC,New York. J. D. C. Little. Little's law as viewed on its 50th anniversary. Oper.
Res. 59 (2011) 536{539. http://learningagileandlean.wordpress.com/2013/08/01/on-the-practically-useful-properties-of-theweibull-
distribution/
DE FREITAS FILHO, Paulo José. Introdução à modelagem e simulação de sistemas: com aplicações em Arena. Visual Books 2ª edição, 2008.
https://rodrigoalmeidadeoliveira.wordpress.com/2018/08/01/metricas-lean-e-gerenciamento-de-fluxo/

60. REFERÊNCIAS

61. Perfil
• Mais de 20 anos de trabalho em T.I.
• Mais de 10 anos de experiência em gestão, em melhoria de
processos de desenvolvimento e qualidade de software
• Kanban Management Professional
• Certified Kanban Coach
• Approved Kanban Professional
• Accredited Training Partner – Lean Kanban
• Project Management Professional (PMP)
• Mestrado em Engenharia e Gestão de Sistemas e Processos, com
ênfase em melhoria e otimização de processos de desenvolvimento e
qualidade de software utilizando metodologias ágeis
• Professor de Pós Graduação e Especialização do IETEC-MG, PUC-MG,
UNA e Faculdade Pitágoras

62. Contato
• Rodrigo Almeida de Oliveria, MSc, PMP, CKC, AKP
• Tel: 31-9-8415-9186
• Email: rodrigoalmeidadeoliveira@gmail.com
• Site: https://rodrigoalmeidadeoliveira.wordpress.com/
• LinkedIn: https://www.linkedin.com/in/raoliveira
• Youtube: https://bit.ly/2Jd9V50

63. Muito
obrigado!