O documento aborda métricas e automatização no controle de qualidade, destacando a importância de medir a eficácia do código e as vendas. Propõe métodos para capturar dados de erro e complexidade, além de realizar testes A/B para avaliar o desempenho de mudanças. Em suma, enfatiza a contínua necessidade de validação e garantias em cada etapa do processo de desenvolvimento.

1. Métricas e automatização
do controle de qualidade
Guilherme Silveira
www.alura.com.br
www.caelum.com.br

2. Prelude

3. Meu cenário

4. Copa 2014

5. Copa 2014

6. Copa 2014

7. Meu cenário
• equipe técnica pequena (3 pessoas)
• garantir que funciona
• garantir que continua desenvolvendo

8. Meu cenário
• equipe de negócios pequena (3 pessoas)
• aumentar a venda
• aumentar a felicidade

9. "Essa história vai melhorar as vendas.”
“Essa refatoração vai melhorar a manutenção”.
Será?

10. Hoje eu tô mais feliz!
• Comer maçã deixa mais feliz?
• Palhaço deixa mais feliz?
• O que é feliz? O que é mais feliz?

11. “convincing methods of
measurement"

12. Queremos saber
• Meu código é bom?
• funciona em produção
• Meu cliente comprou mais?
• testes com cliente

13. Parte 1

14. Meu código tá bom
• O que é bom?
• vai dar erro?
• digitar menos?
• permitir mudanças?
• complexidade?
• erros?

15. O que é bom?
• vai dar erro? compilador.
• digitar menos? IDE.
• permitir mudanças? testes + compilador + IDE
• complexidade? medir com compl. ciclomática.
• erros? log

16. (complexidade ciclomática)

17. Meu código tá bom
www.aniche.com.br/publications

18. O que vamos fazer?
• Erros em produção!!!! O que fazer???

19. Se meu editor mostrasse…

20. Meu código tá bom
• Capturando dados
• Complexidade por commit
• Erros por deploy

21. Salvando complexidade
• commit + complexidade => salva o número

22. Salvando complexidade

23. Salvando métrica

24. Visualizando a métrica

25. Code Sheriff
chefe no topo = suspeito

26. Code Sheriff

27. Code Sheriff

28. Code Sheriff

29. Code Sheriff
“Efeitos da Prática de Revisão de Código na Caelum:
Um Estudo de Caso Preliminar”
quinta feira, 11:30 com Maurício Aniche e Chico Sokol

30. Bugs por deploy
• deploy + exception line => acumular as linhas

31. Commit => Tag

32. Metric + Metrics

33. value / array

34. armazenar a quantidade!

35. Visualizando a métrica

37. Bônus
• independente de linguagem
• gratuito (thanks heroku)
• todo: providers de log, hot spots etc

38. Resumindo
• melhor que TXT
• melhor que dashboard
• é a SUA tela de desenvolvedor

39. Parte 2

40. Garantias
• compilação
• refatoração (IDE, não editor)
• teste
• produção em sua IDE

41. Meu cliente comprou mais
• O que é mais?
• 0.1%? 5%? 10%? 1000%?
• O que é comprar?
• comprar é anomalia?
• 0.0001% => 0.01%
• 1 compra para 100 compras?

42. Testes A/B
• Evitar algumas variações de variáveis
• Mas mesmo assim não evita tudo

43. Amostra: teste a/b
• Testei clientes no A: 10 compras
• Testei clientes no B: 100 compras
• Uhu! B é 10 x mais efetivo
• Será?

44. Amostra: teste a/b
• Testei 100 clientes no A: 10 compras
• Testei 10000 clientes no B: 100 compras
• Coco! A é 10 x mais efetivo
• Será?

45. Faço o teste novamente
• Resultando completamente trocado
• A/B => A ganha, A/B => B ganha
• A/A’ => A ganha
• qual a margem de erro?

46. Amostra: teste a/b
• Capturando os dados
• opção mostrada
• resultado da ação (comprou/não comprou)

47. Amostra: teste a/b
• nos testes que fazemos se usarmos
• 2 sigma => 95.4%
• 4.6% de chance de eu errar
• é suficiente?

48. Amostra: teste
• Mas os físicos usam isso Guilherme
• Boson de Higgs
• Sim, com 5 sigma
• 3 x 10 -7 => 0.00007%

49. Amostra: teste a/b
• Visualizando
• mostrando se está dentro ou fora do erro
• conclusivo ou não

50. Não adianta fazer 1000
testes e 1 só dar certo!
• 1000 testes vai dar caca
• Você VAI achar um certo. E ele está errado.
• Meta meta erro
• Correção de Bonferroni

51. google analytics
statistical significance

52. google analytics
statistical significance

53. z-test plugin

54. quer testar?
statistical significance
experian.com/blogs/marketing-forward/2012/12/27/statistical-significance-http://code.google.com/p/r-google-analytics/
lunametrics.com/blog/2014/05/27/statistical-significance-chrome-extension
http://www.michaelwhitaker.com/2013/12/17/z-test-google-analytics/

55. Exemplo 1
• 20 mil visitantes/mês
• A: 10mil, B: 10 mil
• A converte 1%
• B converte 30% a mais (??????)
• 1 mês depois, 95% ok

56. Exemplo 2
• 20 mil visitantes/mês
• A: 10mil, B: 10 mil
• A converte 1%
• B converte 10% a mais
• 6 meses depois, 95% ok

57. Fechando

58. Resumindo
• Capture
• Armazene
• Mostre
• Acompanhe no dia a dia
• Desconfie do resultado

59. O que eu quero
• garantias ao digitar
• garantias ao refatorar
• garantias ao rodar local
• garantias ao rodar remoto
• garantias ao mudar o processo

60. O que eu gosto
• garantias ao digitar: compilador Java, Panettone
• garantias ao refatorar: Eclipse
• garantias ao rodar local: testes
• garantias ao rodar remoto: testes
• garantias ao mudar o processo: dados de
produção

61. Métricas e automatização
do controle de qualidade
Guilherme Silveira
www.alura.com.br
www.caelum.com.br