Slides da palestra sobre site reliability engineering realizada no TDC Recife e Devfestcerrado Goiânia

1. Site Reliability
Engineering
passo-a-passo
Wilson Júnior

2. Um pouco da história

5. Reliability
Confiabilidade: a qualidade de ser confiável ou de executar
consistentemente bem.

6. Site Reliability
Engineering

7. Site Reliability Engineering

8. Princípios

9. Simplicidade!

10. Simplicidade!

11. Simply philosophy
● Simple is better than complex. Zend of Python
● KISS: Keep It Simple, Stupid
● Less is exponentially more - Rob Pike (um dos criadores do GOLang)
● O preço da confiabilidade é a busca da máxima simplicidade - Tony Hoare (Vencedor do
Turing Award de 1980)
● simplicidade é o último grau de sofisticação - Leonardo da Vinci

12. Automatize!

13. "If a human operator needs to
touch your system during normal
operations, you have a bug. The
definition of normal changes as
your systems grow."
Carla Geisser, Google SRE

14. Elimine a labuta (toil)

15. ● Manual
● Repetitiva
● Automatizável
● O (N)
● Sem valor duradouro

16. Monitoração
SRE: Golden signals

17. 1. Tráfego

18. 2. Erros

19. 3. Latência

20. 4. Saturação

21. SLIs

22. SLIs

23. SLO
Delivery:
Disponibilidade: 99.9%
97% < 100ms 95% < 50ms
Publicação
Disponibilidade: 99%
95% < 5s 97% < 10s

24. SLAs

25. Error budget

26. Error budgets
Baseado na disponibilidade acordada entre SREs e a gestão:
100% - disponibilidade_alvo (SLO)
Sem orçamento == Sem push de novas features (freeze)
São definidos de acordo com os ciclos da empresa (ex.: quarter)

27. Error budget
42.272.129 requests dias
99.9% de SLO
42272 de falhas aceitáveis por dia

28. Error budget
E se eu queimar rapidamente este orçamento de
erro em poucos minutos ?

29. Alertas sobre SLOs

30. Page

31. Ticket

32. Métricas, Logs e Traces

33. Métricas, Logs e Traces

34. Métricas, Logs e Traces

35. Métricas, Logs e Traces

36. Métricas, Logs e Traces

37. Métricas, Logs e Traces

38. Métricas, Logs e Traces

39. Métricas, Logs e Traces

40. Os SLIs devem estar
próximos do usuário

43. Alert system

44. Long term

45. SLO Generator

46. SLO Generator
github.com/globocom/slo-generator

47. Cultura do postmortem

48. Post Mortem
Visíveis para toda a empresa
Sem culpados
"The cost of failure is education"

49. Recap
● Baseado em frustração do usuário
● SLIs/SLOs/SLAs para medir como estamos entregando o serviço
● Usar os SLOs para alertas inteligentes.
● Simplicidade <3
● Eliminar a labuta
● Aprender com as falhas com Postmortem culture
● Melhoria contínua dos sistemas

50. Estamos contratando:
talentos.globo.com