Case Kinghost + Elasticsearch

330 visualizações

Publicada em

Case de sucesso que foi implementado na Kinghost, utilizando a tecnologia Docker + Elasticearch + RabbitMq. Um experiência bem legal que pode servir de exemplo a outras empresas que tem interesse em ingressar no mundo de BigData.

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
330
No SlideShare
0
A partir de incorporações
0
Número de incorporações
0
Ações
Compartilhamentos
0
Downloads
1
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Case Kinghost + Elasticsearch

  1. 1. Case Kinghost + Elasticsearch
  2. 2. Archer! Developer PHP Zend Certified Engineer 5.3 6 anos experiência Palestrante há 2 anos Grupo PHPRS Kinghost
  3. 3. Case O Problema Propostas Estrutura proposta Problemas enfrentados Sucesso! Melhorias Futuras
  4. 4. 1. O Problema Ferramenta de E-mail Marketing Processar os retornos de bounce do Postfix
  5. 5. “Tratar os retornos de erros é algo extremamente importante. Para não enviar campanhas maliciosas é necessário processar o retorno imediatamente.
  6. 6. 2. Propostas Scripts? Tecnologias? Tempo? Brainstorm
  7. 7. Maneiras de Resolver Script Ficar lendo o arquivo de logs procurando por retornos. - Demorado - Dificil de Escalar - Fácil de Criar MongoDb Jogar todo esse dado para o mongo e processar os dados já inseridos, utilizando vários scripts de leitura. - Dificuldade Média - Boa Velocidade de Leitura - Sem Relatórios Elasticsearch Utilizar o armazenamento do elasticsearch junto com o sistema de filas, para agilizar o processamento. - Estrutura complexa - Processamento Real-time - Relatórios Dinâmicos
  8. 8. 3. Estrutura Escolhida Docker + Filebeat + Logstash + Rabbit + Elasticsearch + Kibana
  9. 9. Filebeat Lê um arquivo de (n) lugares Filtra Envia o resultado
  10. 10. Logstash Recebe input Parseia Envia para output
  11. 11. RabbitMq Recebe e distribui mensagens para filas de acordo com regras simples
  12. 12. Elasticsearch Armazenamento e Consulta
  13. 13. Kibana Visualização dos dados armazenados
  14. 14. Fluxo de Dados Postfix log Logstash Elastics earch Rabbit Mq Filebeat Workers Workers Workers Workers
  15. 15. 7.992.993+ linhas/dia Postfix log
  16. 16. 4. Problemas enfrentados
  17. 17. “- Sync do log do postfix - Parser do logstash (grok) - Criação do Ambiente - Limitação de Recursos no Container - Logs em modo debug - Monitoramento em caso de falha - Leak memória Kibana
  18. 18. 5. Sucesso!
  19. 19. 6. Próximos passos!
  20. 20. Monitoramento Recursos Escalonamento Automatizado Melhoria no parser
  21. 21. thanks! No Questions. @danielphp

×