O documento descreve uma agenda de um meetup da comunidade Elastic em Florianópolis em 08/06/2019, com apresentações sobre o uso de Elasticsearch, Kibana, Beats e Logstash para análises de dados, detecção de anomalias e integração financeira.

1. 1
Data: 08/06/2019
Elastic Meetup Florianópolis

2. 2
Agenda
8:00
Recepção, lista de presença e café.
8:30
Boas vindas, cronograma e brindes.
8:40
Muito EL pouco K – Luís Antônio Nunes.
9:10
Elastic Stack: Flexibilidade para superar desafios – Thiago Diniz.
9:45
Coffe Break
10:15
Como utilizamos ELK em Cloud para coletar dados de clientes onpremise sem agentes nativos- Lucas Boeing e Murilo Garcia
10:50
Chopp.
11:00
Análise de fluxos de rede e machine learning para detecção de anomalias com ELK – Rodrigo Pescador e Rodrigo Bongers.
11:45
Análises da situação socioeconômica empresarial do Brasil com Elasticsearch – Fernanda Cadori Maffioletti.
12:30
Sorteio dos Brindes e Foto final.

3. 3
Sobre o Meetup
https://www.meetup.com/Florianopolis-Elastic-Fantastics/events/260900866/
Slides disponíveis no https://www.meetup.com/Florianopolis-
Elastic-Fantastics/events/260900866/
Gravação será disponibilizada no drive
Tirou fotos? Coloque no mural do meetup, mandem por e-mail,
compartilhe.
Fiquem a vontade. O meetup é de todos.
1
2
3
4

4. 4
Contribua!
Hospede um
Meetup
Fale no
Meetup
• Você tem um espaço
disponível na sua
empresa? Conhece algum
local bacana para os
próximos meetups?
• Você está interessado(a)
em apresentar em um de
nossos meetups?
• Conhece alguém que pode
estar interessado(a) em
falar em um de nossos
meetups?

5. 5
Links da comunidade
● Fórum Elastic: discuss.elastic.co
● Grupo do Facebook: bit.ly/elastic-community-brasil
● Meetup: www.meetup.com/Florianopolis-Elastic-Fantastics/

6. 6
Data: 08/06/2019
- Luís Antônio Nunes
Muito EL pouco K

7. 7
Luís Antônio Nunes
• Analista de Infraestrutura
• Bacharel em Sistemas de
Informação-UNISINOS
• Especialização em
Datacenter: projeto,
operação e serviços -
UNISUL
• 10 Anos em infraestrutura
• 4 Anos em servidores
• Zabbix Certified 3.0
• Certificate Fundamentals of
Securing Elasticsearch.
• Quase Associate Cloud
Engineer
• Cristão
XP

8. 8
• Analista de Infraestrutura
• Bacharel em Sistemas de
Informação-UNISINOS
• Especialização em
Datacenter: projeto,
operação e serviços -
UNISUL
• 10 Anos em infraestrutura
• 4 Anos em servidores
• Zabbix Certified 3.0
• Certificate Fundamentals of
Securing Elasticsearch.
• Quase Associate Cloud
Engineer
• Cristão
XP

9. 9
O que é a Elastic
• Shay Banon criou o precursor do Elasticsearch chamado Compass 2004.
• Shay Banon lançou a primeira versão do Elasticsearch em fevereiro de 2010.
• Em 2012 foi criada a Elastic NV em Amsterdã, Holanda.
• Open source Elastic Stack (Elasticsearch, Kibana, Beats e Logstash).
• Em junho de 2018 disponibilizou o código do X-PACK.
• Em outubro de 2018 abriu capital na Bolsa.
• Dia 08/06/2019 realizou um meetup em Florianópolis.

10. 10

11. 11

12. 12
Elasticsearch
• Coração da Elastic Stack.
• “Banco de dados”.
• Disponibilizar dados em tempo real, podendo ser distribuídos (Node’s) e
configurados para apresentar alta disponibilidade e esacabilidade.
• Disponibiliza recursos de API REST dentre outros.
• Baseado no projeto Apache Lucene (shard).
• Eficiência com muitos dados.

13. 13
Elasticsearch – Cluster e Node
• Node é a instância do elasticsearch em execução.
• Para formar um Cluster.
As instâncias têm que ter
o mesmo nome no
atributo cluster.name no
arquivo de configuração
elasticsearch.yml

14. 14
Elasticsearch – Cluster e Node
• Node é a instância do elasticsearch em execução.
• node.master: true
• node.data: false
• node.ingest: false
• Acompanhe todos os nós no cluster
• Acompanhe o número de índices no cluster
• Acompanhe o número de fragmentos
pertencentes a cada índice
• Manter informações de roteamento para nós
no cluster
• Atualizar o estado do cluster após alterações
de estado, como criar um índice e adicionar ou
remover nós no cluster
• Replicar alterações no estado do cluster em
todos os nós no cluster
• Monitore a integridade de todos os nós do
cluster, enviando sinais de pulsação , sinais
periódicos que monitoram a disponibilidade
dos nós de dados no cluster

15. 15
Elasticsearch – index, shard
index_abc Indexa o documento. Instância do Apache Lucene (shard).

16. 16
Elasticsearch – Replica, Document
index_abc 2
Instância do Apache Lucene (shard).
O documents é “particionado” pera Shard

17. 17
Elasticsearch – Review
Vamos criar um index =)
Quantos nodes?
Quantos shards?

18. 18
Elasticsearch – Review
Vamos criar um index =)
Quantos nodes?
Quantos shards?
Vamos criar um index.
Depois de criado não é possível aumentar o nº
de Shards. Só diminir API_shrink.
Quantos node?
Node é uma instância do elastcsearch.
Quantos shard?
É recomendado que um shard tenha entre
10Gb e 40Gb de dado (Elastic Engineer)

19. 19
Elasticsearch – Review
Output {
elasticsearch {
hosts => [“http://localhost:9200”]
index => “nome_index-%{+YYYY.MM.dd}”
}
}

20. 20
Como utilizamos o ELK – Case Nexxera – Integração
Financeira
Pagamos por arquivos transmitidos.
Auditamos os arquivos criados.
Disponibilizamos um ambiente para suporte.

21. 21
Como utilizamos o ELK – Case Nexxera - Integração
Financeira
filebeat.inputs:
- type: log
enabled: true
tags: ["integracao-financeira"]
fields_under_root: true
multiline.pattern: '^[0-9]'
multiline.negate: false
multiline.match: after
multiline.flush_pattern: '^[0-9]{3}[9]{5}[s0-9]{233}$'
include_lines: ['.{240}']
paths:
- D:Skylineinbox*.ret
- D:Skylineoutbox*
- D:Skylinesentbox*

22. 22
Como utilizamos o ELK – Case Nexxera - Integração
Financeira
input {
beats {
port => 5044
}
filter {
if "integracao-financeira" in [tags] {
grok {
match => { "[log][file][path]" => "%{PATH}%{DATA:[wm][file][type]}-%{DATA:[wm][tenant][namespace]}-" }
}
grok {
match => { "[log][file][path]" => "(?<wm.extension>.[^.]*$)" }
}
mutate {
rename => ["[wm.extension]", "[wm][file][extension]"]
uppercase => ["[wm][tenant][namespace]"]
}
} else if "log-integracao-financeira" in [tags] {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:[wm][timestamp]}] %{DATA:[wm][log][pid]} %{NOTSPACE:[wm][log][level]}" }
}
mutate {
add_field => { "[wm][file][type]" => "log" }
}
date {
match => [ "[wm][timestamp]", "YYYY-MM-dd HH:mm:ss", "ISO8601" ]
target => "[wm][timestamp]"
timezone => "Etc/UTC"
}
output {
if "integracao-financeira" in [tags] {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "integracao-financeira-
%{+YYYY}"

23. 23
Como utilizamos o ELK – Case Nexxera - Integração
Financeira

24. 24
Obrigado
Até o próximo!