Monitoramento real-time com ELK

1. ELKMétricas e monitoramento "real-time"

2. Sobre
Waldemar Neto @waldemarnt
http://walde.co/
2

3. Fluxo de requisição3
Loja Pagamento

4. Fluxo de requisição no século 214
LB
API
API
API
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S

5. Elastic.co
https://www.elastic.co
/
5

6. Elastic.co
Produtos
● Elasticsearch
● Logstash
● Kibana
● Beats
● X-Pack
○ Shield
○ Marvel
○ Graph
○ Watcher
6
Serviços
● Suporte
● Treinamento
● Cloud
● Consultoria

7. ELK
● Elasticsearch
● Logstash
● Kibana
7

8. Elasticsearch
https://www.elastic.co/products/elasticsearch
8

9. Logstash
https://www.elastic.co/products/logstash
9

10. Kibana
https://www.elastic.co/products/kibana
10

11. PARSEARINDEXARVISUALIZAR
11 ELK Workflow
CLUSTER

12. Etapa de log parsing com Logstash
Entrada
● Beats
● Couchdb_changes
● Heroku
● File
● Kafka
● TCP
● sqs
● Redis
● Rabbitmq
● Elasticsearch
Filtro
● Aggregate
● Mutate
● Alter
● CSV
● environment
● TCP
● JSON
● range
● grok
● geoip
Saída
● CSV
● Datadog
● Email
● Elasticsearch
● Exec
● File
● Graphite
● InfluxDB
● MongoDB
● s3
12

13. Etapa de indexar no Elasticsearch
● Normalização de texto
○ Acentos
○ Sinônimos
○ Linguística...
13

14. Etapa de visualizar com Kibana
● Dashboard em tempo real
○ Com várias visualizations
● Vários tipos de gráficos
○ Pie chart
○ Mapas
○ Barras
○ Gráfico de linhas
● Criação de visualizations dinâmica
○ Suporte a queries do Elasticsearch
○ Suporte a agregações
14

15. Criando Visualization15

16. Monitoramento de serviços16

17. Monitoramento e métricas de APIs17

18. Métricas de negócio, BigData e anomalias18

19. Alertas, proteção e monitoramento19
CLUSTER
● Security
● Alerting
● Monitoring
● Graph
● Reporting

20. Na produção
● ELK as a service
○ Logz.io
○ Qbox.io
● Cloud
○ AWS
○ DigitalOcean
○ Elastic
20

21. Por onde começar21

22. Valeu!
Perguntas?

23. Referências23
http://walde.co/tag/elasticsearch/
https://github.com/guardian/elk-stack
http://techblog.netflix.com/2016/02/evolution-of-netflix-data-pipeline.html
http://www.front2backdev.com/2016/05/03/geo-temporal-anomaly/
https://dzone.com/articles/which-elk-stack-solution-is-right-for-you?utm_content=buffer29ebc&utm_med
ium=social&utm_source=twitter.com&utm_campaign=buffer
http://blog.takipi.com/hosted-elasticsearch-the-future-of-your-elk-stack/
http://everythingshouldbevirtual.com/highly-available-elk-elasticsearch-logstash-kibana-setup