O documento discute três tópicos principais: 1) A importância da estruturação e monitoramento de logs para projetos; 2) Exemplos de como logs foram usados em projetos de entrega de infraestrutura automatizada e engenharia de dados; 3) Ferramentas e conceitos relacionados a visualização e alertas de logs.

1. Monitoramento: logs como elementos de
primeira ordem
algumas vivências de projetos

2. Quem somos na fila do pão?

3. Thaisa Mirely Thaís FreitasIzael Effemberg
tfreitas@thoughtworks.com
thaisfreitas31@gmail.com
mirelythaisa@gmail.com
@Izaeleffemberg
ieffembe@thoughtworks.com

4. https://www.thoughtworks.com/pt/careers/jobs

5. Expectativas? Temos!!

6. vamos falar!
✔ monitoramento
✔ Importância dos Logs
✔ estruturação de Logs
✔ estudos de caso em projetos
reais
✔ novidades na área de
monitoramento
não vamos falar
✖ melhores ferramentas para
visualização
✖ linguagens e frameworks
com profundidade
✖ comparativo de bibliotecas
para logs

7. Toda história tem um
começo…

8. Constante feedbacks que ajudam
a moldar as futuras entregas
8
Resultados inesperados incluindo
interrupções e falhas globais que
impactam todos os clientes
Projetos Tradicionais Mundo DevOps

9. "Normalmente, o time que desenvolve, é o time responsável pelas
atividades de implantação e operação."
"O time não precisa pensar em onde seu código está sendo
executado ou como chegou lá, pois a plataforma cuida dessas
preocupações de forma transparente."
Professor Dr. Vinicius Garcia

10. Monitoramento

11. Time
Monitoramento
Contínuo
DESCOBERTA
Identificação dos
recursos
e tecnologias das
aplicações
COMUNICAÇÃOMONITORAMENTO
Configuração de
testes
Dashboards Alertas
Monitoramento Contínuo
Cliente

12. ● CPU
● RAM
● Disco
● Conexão com banco de dados
● Acordo de nível de serviço (SLA)
● Latência
● Respostas de endpoints
● Erros e exceções
● Dependências
● Disponibilidade
● Negócio
Monitorar o quê

13. Componentes ✔ Logs;
✔ Dashboards significativas;
✔ Alertas;
✔ Turnos de plantão.

14. Logs, como estruturar

15. Estruturação
✔ Quais são as informações
importantes que devem
conter em logs?
✔ O que não deve conter nos
logs?

16. Estruturação
✔ Quais são as informações
importantes que devem
conter em logs?
✔ O que não deve conter nos
logs?

17. Eventos e TraceID

18. Níveis de Logs
Nível Descrição
Error
Outros erros de tempo de execução ou condições inesperadas. Espere que eles
sejam imediatamente visíveis em um console de status.
Info
Eventos de tempo de execução interessantes (inicialização / desligamento). Espera
que estes sejam imediatamente visíveis em um console, por isso seja conservador e
mantenha o mínimo.
Debug
Neste nível, as informações são sobre tudo o que acontece no programa, mais
frequentemente usado durante a depuração. Frequentemente os registros de
depuração são desabilitados em produção, mas habilitados temporariamente
durante a solução de problemas.
Warn
Informações desse nível, relatam condições que podem se tornar um erro (um
exemplo, são chamada de banco de dados demorando mais que o tempo previsto).
Fatal
Erros graves que causam finalização prematura. Espere que eles sejam
imediatamente visíveis em um console de status.

19. Log4J
log4j.properties
Console:
Implementação:
https://dzone.com/articles/logging-with-log4j-in-java

20. Organização de logs
em um código Python

21. Estruturação
✔ Quais são as informações
importantes que devem
conter em logs?
✔ O que não deve conter
nos logs?

22. ● Informações pessoais -
nome de usuário, senhas,
emails, nomes de
clientes, IPs etc;
● tokens de autenticação;
Segurança
https://qz.com/674520/companies-are-sharing-their-secret-access-codes-on-github-and-they-may-not-even-k
now-it/

23. Lei de Proteção de Dados Nacional - LEI Nº 13.709
II - dado pessoal sensível: dado pessoal sobre origem racial ou étnica, convicção
religiosa, opinião política, filiação a sindicato ou a organização de caráter religioso,
filosófico ou político, dado referente à saúde ou à vida sexual, dado genético ou
biométrico, quando vinculado a uma pessoa natural;
http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2018/Lei/L13709.htm
Segurança

24. Falhas de Segurança
https://twitter.com/bobinson/status/991418187487981568

25. Existe custo em logar?

26. Logs, saídas: dashboards e
alertas

27. Ferramentas para
Visualização de logs

28. Vivências de Projetos

29. Contextos:
1. Entrega da infraestrutura
de forma automatizada;
2. Engenharia de dados.
fonte: https://i.gifer.com/3vwT.gif

30. Entrega de Infraestrutura de
forma automatizada
back-end front-end
Automations

31. processamento de dados em
batch e streaming
Serviços
Auxiliares
ETL
S3 Bucket
Serviços
Auxiliares
Streaming Pipeline
S3 Bucket
Pipeline de Detecção de
Falhas
API Gateway

32. Além do Monitoramento

33. OH - "Observabilidade - porque os desenvolvedores não gostam de fazer"
monitoramento ", precisamos empacotá-lo em uma nova nomenclatura para
torná-lo palatável e moderno."

34. fonte: https://medium.com/@copyconstruct/monitoring-and-observability-8417d1952e1c

35. Referências
Cindy Sridharan
@copyconstruct
Charity Majors
@mipsytipsy
JBD
@rakyll
Erica Windisch
@ewindisch
Liz Fong-Jones
@lizthegrey

36. Literaturas

37. Referências
Radar Tecnológico
https://www.thoughtworks.com/pt/radar
IF1004 - Desmistificando DevOps: Projetando
Arquiteturas Efetivamente Escaláveis
https://github.com/IF1004/if1004
Logging
https://roselmamendes.github.io/tec/auditoria/
When logging causes security incidents; What we
learned from GitHub and Twitter
https://scotthelme.co.uk/when-logging-causes-securit
y-incidents-what-we-learned-from-github-and-twitter/
Log4J
https://logging.apache.org/log4j/2.x/
OWASP Logging Guide
https://www.owasp.org/images/e/e0/OWASP_Log
ging_Guide.pdf
EU GDPR and personal data in web server logs
https://www.ctrl.blog/entry/gdpr-web-server-logs
Twitter advising all 330 million users to change
passwords after bug exposed them in plain text
https://qz.com/674520/companies-are-sharing-th
eir-secret-access-codes-on-github-and-they-may-
not-even-know-it/
How to add a security log level in log4j
https://www.owasp.org/index.php/How_to_add_a
_security_log_level_in_log4j

38. Referências
Monitoring and observability:
https://medium.com/@copyconstruct/monitoring-and
-observability-8417d1952e1c
SRE vs. DevOps: competing standards or close
friends?
https://cloud.google.com/blog/products/gcp/sre-vs-de
vops-competing-standards-or-close-friends
Site Reliability Engineering
https://landing.google.com/sre/sre-book/toc/index.ht
ml
Princípios do caos
https://principlesofchaos.org/
Tips and tricks for logging and monitoring AWS
Lambda functions
https://theburningmonk.com/2017/09/tips-and-tr
icks-for-logging-and-monitoring-aws-lambda-func
tions/
Observabilidade e microservices: por que
precisamos de tracing e métricas eficazes
https://www.infoq.com/br/news/2018/07/observa
bility-microservices

39. Obrigada :)
Para sugestões, feedbacks e dúvidas:
mirelythaisa@gmail.com,
izaeleffemberg@live.com