O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Elasticsearch - logi i metryki

52 visualizações

Publicada em

Elasticsearch - logi i metryki - prezentacja z kwietniowego JSession w 2018 w Białymstoku

Publicada em: Engenharia
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Seja a primeira pessoa a gostar disto

Elasticsearch - logi i metryki

  1. 1. Elasticsearch -> Logi & Metryki Czyli jak ułatwić sobie życie Rafał Kuć
  2. 2. Open Source
  3. 3. Shipping File
  4. 4. Shipping File Shipper
  5. 5. Shipping Shipper
  6. 6. Shipping File Shipper File Shipper File Shipper
  7. 7. Shipping File Shipper File Shipper File Shipper Centralny Bufor
  8. 8. Shipping File Shipper File Shipper File Shipper Centralny Bufor data
  9. 9. Shipping File Shipper File Shipper File Shipper Centralny Bufor ES ES ES ES ES ES ES ES ES data
  10. 10. Log shipper File Shipper File Shipper File Shipper Centralny Bufor ES ES ES ES ES ES ES ES ES data
  11. 11. O czym pamiętać? metrics Centralized Buffer Co użyć do wysyłania logów? Który protokół wykorzystć Jak buforować dane Logować do JSON czy parsować?
  12. 12. Bufory wydajność & dostępność batches & threads co jeżeli padnie centralny bufor
  13. 13. Typy buforów Disk || memory || podejście typu hybrid Na źródle || centralizowany App Bufor App Bufor lokalny bufor App App Kafka / Redis / Logstash / etc… ES ES
  14. 14. Centralny bufor File Shipper File Shipper File Shipper Centralny Bufor ES ES ES ES ES ES ES ES ES data
  15. 15. Dlaczego Apache Kafka? Szybka i łatwa w użyciu Łatwość skalowania Fault tolerant & highly available Wsparcie streamingu Działa w modelu publish/subscribe
  16. 16. Kafka ZooKeeper ZooKeeper ZooKeeper ensemble Kafka Kafka KafkaKafka
  17. 17. Kafka & topics es_metrics system_metrics mongo_metrics app_metrics Kafka zapisuje dane w topikach zapisanych na dysku
  18. 18. Kafka & topics & partycje & repliki metrics partition 2 metrics partition 1 metrics partition 3 metrics partition 4 metrics replica partition 2 metrics replica partition 1 metrics replica partition 3 mertics replica partition 4 replication replication
  19. 19. Skalowanie metrics partition 1
  20. 20. Skalowanie metrics partition 1 metrics partition 2 metrics partition 3 mertics partition 4
  21. 21. Skalowanie metrics partition 1 metrics partition 2 metrics partition 3 metrics partition 4 metrics partition 5 metrics partition 6 metrics partition 7 metrics partition 8 metrics partition 9 metrics partition 10 metrics partition 11 metrics partition 12 metrics partition 13 metrics partition 14 metrics partition 15 metrics partition 16
  22. 22. O czym pamiętać korzystając z Kafki Skaluje się poprzez dodawanie partycji nie wątków Więcej IOPS == lepiej Liczba konsumentów powinna być równa liczbie partycji Repliki wyorzystywane tylko do HA & FT Offset zapisywany jest per konsumer
  23. 23. Elasticsearch File Shipper File Shipper File Shipper Centralized Buffer ES ES ES ES ES ES ES ES ES data
  24. 24. Elasticsearch – architektura klastra client client client data data data data data data master master master ingest ingest ingest
  25. 25. Pamiętaj o dedykowanych masterach client client client data data data data data data master master master discovery.zen.minimum_master_nodes -> N/2 + 1 master eligible nodes ingest ingest ingest
  26. 26. Elasticsearch – Indeksy Index – logiczne miejsce dla danych Index – może być porównany do tabeli w DB Index – zbudowany z jednego lub więcej shardów Index – może by rozproszony
  27. 27. Skalowanie Elasticsearch metrics Shard1
  28. 28. Skalowanie Elasticsearch mongo_metrics Shard1 app_metrics Shard1 es_metrics Shard1
  29. 29. Skalowanie Elasticsearch metrics Shard1 metrics Shard2 metrics Shard3 metrics Shard4
  30. 30. Skalowanie Elasticsearch metrics Shard3 metrics Shard2 metrics Shard4 metrics Shard1
  31. 31. Skalowanie Elasticsearch metrics Shard1 metrics Replica4 metrics Shard2 metrics Replica3 metrics Shard4 metrics Replica1 metrics Shard3 metrics Replica2
  32. 32. Jeden duży index to zły pomysł Niewystarczająca wydajność dla timebased data Indeksowanie zwalnia wraz ze wzrostem ilości danych Coraz większy koszt merge Delete by query konieczne do kontroli retencji danych
  33. 33. Dzienne indeksy to dobry start 2017.11.16 2017.11.17 2017.11.20 2017.11.21. . . Indeksowanie jest szybsze na małych indeksach Usuwanie danych jest tanie Wyszukiwanie tylko na danych które chcemy Statyczne indeksy są “cache friendly” indexing most searches
  34. 34. Dzienne indeksy nie są w pełni optymalne black friday sobota niedziela load nie jest równy
  35. 35. Indeksy oparte o wielkość limit wielkości metrics_01 indeksowanie
  36. 36. Indeksy oparte o wielkość limit wielkości metrics_01 indeksowanie
  37. 37. Indeksy oparte o wielkość metrics_01 indeksowanie metrics_02
  38. 38. Indeksy oparte o wielkość metrics_01 indeksowanie metrics_02
  39. 39. Size based indices are optimal metrics_01 metrics_02 indeksowanie metrics_N . . .
  40. 40. Indeksy oparte o wielkość Przewidywalna wydajność Lepszy balans danych Mniej shardów Łatwiejsza obsługa nagłego wzrostu danych Mniejsze koszty poprzez lepsze wykorzystanie sprzętu
  41. 41. Elasticsearch - konfiguracja Trzymaj index.refresh_interval na wartości maksymalnej 1 sec -> 100%, 5 sec -> 125%, 30 sec -> 175% Tuning merge policy: - możliwy ze względu na use-case - segments_per_tier -> wyżej - max_merge_at_once-> wyżej - max_merged_segment -> niżej Prefiks do powyższych index.merge.policy } szybsze indeksowanie
  42. 42. Elasticsearch - optymalizacja Ze względu na dane oparte o czas możemy optymalizować client client client data data data data data data master master master ingest ingest ingest
  43. 43. Architektura hot – cold ES hot ES cold ES cold -Dnode.attr.tag=hot -Dnode.attr.tag=cold -Dnode.attr.tag=cold
  44. 44. Architektura hot – cold metrics_2017.11.22 ES hot ES cold ES cold -Dnode.attr.tag=hot -Dnode.attr.tag=cold -Dnode.attr.tag=cold curl -XPUT localhost:9200/metrics_2017.11.22 -d '{ "settings" : { "index.routing.allocation.exclude.tag" : "cold", "index.routing.allocation.include.tag" : "hot" } }'
  45. 45. Architektura hot – cold metrics_2017.11.22 ES hot ES cold ES cold indeksowanie
  46. 46. Architektura hot – cold metrics_2017.11.22 metrics_2017.11.23 ES hot ES cold ES cold indeksowanie
  47. 47. Architektura hot – cold metrics_2017.11.22 metrics_2017.11.23 ES hot ES cold ES cold indeksowanie curl -XPUT localhost:9200/metrics_2017.11.22/_settings -d '{ "index.routing.allocation.exclude.tag" : "hot", "index.routing.allocation.include.tag” : "cold" }'
  48. 48. Architektura hot – cold metrics_2017.11.23 metrics_2017.11.22 ES hot ES cold ES cold indeksowanie
  49. 49. Hot – cold architecture metrics_2017.11.23 metrics_2017.11.24 metrics_2017.11.22 ES hot ES cold ES cold indeksowanie
  50. 50. Hot – cold architecture metrics_2017.11.23 metrics_2017.11.24 metrics_2017.11.22 ES hot ES cold ES cold indeksowanie
  51. 51. Hot – cold architecture metrics_2017.11.24 metrics_2017.11.22 metrics_2017.11.23 ES hot ES cold ES cold indeksowanie
  52. 52. Hot – cold architecture Hot ES Tier CPU I/O Cold ES Tier RAM I/O ES cold Cold ES Tier RAM I/O
  53. 53. Wymagania Elasticsearch client node client client client data data data data data data master master master ingest ingest ingest
  54. 54. Wymagania Elasticsearch ingest node client client client data data data data data data master master master ingest ingest ingest
  55. 55. Wymagania Elasticsearch master node client client client data data data data data data master master master ingest ingest ingest
  56. 56. Dzięki! Rafał rafal.kuc@sematext.com @kucrafal http://sematext.com @sematext http://sematext.com/jobs

×