Este documento apresenta uma agenda para projetar o dimensionamento de um cluster Elasticsearch. Primeiro, discute a definição dos dados, incluindo o tipo de dados, buscas e mapeamento. Em seguida, aborda o dimensionamento dos shards com base na análise histórica e simulações. Por fim, discute o dimensionamento do cluster e otimizações como leitura e escrita.

2. Thiago Barradas
Software Enginner | Mundipagg
[ Web Applications ] [ ASP .NET ]
[ API RESTful ] [ Microsoft ♥ Linux ]
[ Elasticsearch ] [ Docker ]
[ DevOps ] [ Agile ]
tbarradas@mundipagg.com
LinkedIn: thiagobarradas
(21) 99329-9143

3. Networking

4. ELASTICSEARCH
CAPACITY PLANNING
PROJETANDO O SEU CLUSTER

5. Breve agenda
Definição dos Dados
Dimensionamento dos Shards
Dimensionamento do Cluster
Otimização de Leitura
Otimização de Escrita

6. DEFINAÇÃO DOS DADOS

7. Conhecendo seus objetivos
Armazenamento de Logs? Que tipo de Log?
Dados da sua companhia? Que tipo de Dados?
Dados analíticos? Auto complete? Alertas?
Dados geográficos? Full-text?
Por quê vou usar o Elasticsearch para isso?
DEFINIÇÃO DOS DADOS

8. Conhecendo seus dados
Quais dados serão armazenados?
Onde estão estes dados? Como eles estão hoje?
Os dados me atendem na sua forma “bruta”?
É necessário fazer transformações?
Como imagino o processo de carga dos dados e
sincronização?
DEFINIÇÃO DOS DADOS

9. Transporte dos dados
DEFINIÇÃO DOS DADOS

10. Transporte dos dados
DEFINIÇÃO DOS DADOS

11. Transporte dos dados
DEFINIÇÃO DOS DADOS

12. DEFINIÇÃO DOS DADOS
Que buscas irei fazer?

13. DEFINIÇÃO DOS DADOS
Que buscas irei fazer?

14. DEFINIÇÃO DOS DADOS
Que buscas irei fazer?

15. DEFINIÇÃO DOS DADOS
Modelagem dos dados

16. DEFINIÇÃO DOS DADOS
Modelagem dos dados

17. DEFINIÇÃO DOS DADOS
Dados pré processados

18. DEFINIÇÃO DOS DADOS
Mapping dos dados

19. DEFINIÇÃO DOS DADOS
Mapping dos dados

20. DEFINIÇÃO DOS DADOS
Mapping dos dados

21. DIMENSIONAMENTO DOS SHARDS
DIMENSIONAMENTO DOS SHARDS

22. DIMENSIONAMENTO DOS SHARDS
Análise do histórico de crescimento

23. DIMENSIONAMENTO DOS SHARDS
Carga inicial para gerar métricas

24. Simulação baseada nas análises
DIMENSIONAMENTO DOS SHARDS

25. DIMENSIONAMENTO DOS SHARDS
Simulação baseada nas análises

26. DIMENSIONAMENTO DOS SHARDS
Simulação baseada nas análises

27. Identificando patterns
DIMENSIONAMENTO DOS SHARDS

28. DIMENSIONAMENTO DOS SHARDS
Definindo shards por pattern

29. Templates
DIMENSIONAMENTO DOS SHARDS

30. DIMENSIONANDO O CLUSTER

31. DIMENSIONANDO O CLUSTER

32. DIMENSIONANDO O CLUSTER

33. DIMENSIONANDO O CLUSTER

34. OTIMIZANDO LEITURA

35. Otimizando Leitura
Utilize réplicas;
Busque em menos campos sempre que possível;
Mantenha dados pré processados na indexação;
Mapeie identificadores apenas como keyword;
Evite ao máximo o uso de scripts;
Ajuste os valores de cache, circuit break;
Busque por datas arredondadas;

36. OTIMIZANDO ESCRITA

37. Otimizando Escrita
Utilize escrita em Bulk;
Use múltiplos Workers para escrever;
Aumentar o Refresh Interval;
Usar IDs auto-gerados;
Desabilitar _field_names;

38. OTIMIZANDO CLUSTER

39. Otimizando Cluster
Desabilitar Swapping
Memória suficiente para o cache do Filesystem
Use compressão [best_compressione];
Faça o merge dos segmentos [Force Merge]
Quando possível, faça Shrink dos índices;

40. Otimizando Cluster
Tamanho dos Shards/Índices
Modelagem dos documentos;
Não use mapeamento dinâmico para strings;
Use o menor tipo numérico que seja suficiente;
Desabilite as features que vocês não precisa;

42. Links:
https://medium.com/thiagobarradas
https://github.com/ThiagoBarradas/elasticsearch-docker
https://www.elastic.co/guide/en/elasticsearch/guide/master/scale.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/tune-
for-indexing-speed.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/tune-
for-search-speed.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/tune-
for-disk-usage.hvtml
https://www.elastic.co/guide/en/elasticsearch/reference/current/mappin
g-params.html

43. Thiago Barradas
tbarradas@mundipagg.com
+55 (21) 99329-9143
Linkedin: thiagobarradas
Obrigado!