Baixar para ler offline
Carregado porDaniel Archer Marques Cramer
Case Kinghost + Elasticsearch
O documento aborda um case da Kinghost que utiliza Elasticsearch para otimizar o processamento de retornos de e-mail marketing. A solução proposta envolve uma arquitetura complexa utilizando Docker, Filebeat, Logstash, RabbitMQ, Elasticsearch e Kibana para gerenciar grandes volumes de dados em tempo real. Desafios enfrentados incluem a sincronização de logs e limitações de recursos, com planos futuros focados em monitoramento e escalonamento automatizado.
Case Kinghost + Elasticsearch
- 1.
- 2. Archer! Developer PHP Zend CertifiedEngineer 5.3 6 anos experiência Palestrante há 2 anos Grupo PHPRS Kinghost
- 3. Case O Problema Propostas Estrutura proposta Problemasenfrentados Sucesso! Melhorias Futuras
- 4. 1. O Problema Ferramenta deE-mail Marketing Processar os retornos de bounce do Postfix
- 5. “Tratar os retornosde erros é algo extremamente importante. Para não enviar campanhas maliciosas é necessário processar o retorno imediatamente.
- 6.
- 7. Maneiras de Resolver Script Ficarlendo o arquivo de logs procurando por retornos. - Demorado - Dificil de Escalar - Fácil de Criar MongoDb Jogar todo esse dado para o mongo e processar os dados já inseridos, utilizando vários scripts de leitura. - Dificuldade Média - Boa Velocidade de Leitura - Sem Relatórios Elasticsearch Utilizar o armazenamento do elasticsearch junto com o sistema de filas, para agilizar o processamento. - Estrutura complexa - Processamento Real-time - Relatórios Dinâmicos
- 8. 3. Estrutura Escolhida Docker +Filebeat + Logstash + Rabbit + Elasticsearch + Kibana
- 9. Filebeat Lê um arquivode (n) lugares Filtra Envia o resultado
- 10.
- 11. RabbitMq Recebe e distribuimensagens para filas de acordo com regras simples
- 12.
- 13. Kibana Visualização dos dadosarmazenados
- 14.
- 15.
- 16.
- 17. “- Sync dolog do postfix - Parser do logstash (grok) - Criação do Ambiente - Limitação de Recursos no Container - Logs em modo debug - Monitoramento em caso de falha - Leak memória Kibana
- 18.
- 21.
- 22.
- 23.