O documento discute o uso do Elasticsearch para armazenar e analisar grandes volumes de dados coletados de usuários em sites de e-commerce. Ele descreve os desafios de processar dados em tempo real para segmentação de audiência e entrega personalizada de campanhas de marketing, e como o Elasticsearch pode ajudar a resolver problemas de desempenho nessas áreas.
13. Para quê?
Busca
- FullText Search
-GeoÍndices
-Agregações
Analytics
-Near Realtime
-Ferramentas de Ingestão e Vizualização de
Dados
Fazer os dados terem sentido
14. ● Arquitetura Distribuida
● API RESTFul
● Facilidade de Uso
Pontos Fortes
● Document Based
● Open Source
● Ecosistema
15. Index 1 Index 2 Index 3 Index 4
Arquitetura Distribuída
31. Na Social Miner
● Processamento de dados de navegação
● Monitoramento de Serviços e Infraestrutura
● Visão para a equipe de Negócios
32. ● ~6 milhões de usuários
● ~60 milhões de logs (2 meses)
● ~7 milhões de páginas processadas
e indexadas
O que e como nós processamos
● 3 Máquinas
● 32 GB de RAM
● 4 Cores
33. ● Configuração Padrão vs Produção
● Alterações de Schema
● Quanto Hardware utilizar
● Como dividir os Shards
Dificuldades
34. ● Dados Quentes x Frios
● Múltiplos Shards x Múltiplos Índices
Modelagem de Dados
35. ● Na dúvida, escolha memória.
● Metade para a aplicação, metade para o sistema operacional.
● Sempre tenha uma réplica de cada shard, de preferência em
zonas de disponibilidade distintas.
● Proteja seu Endpoint.
Deploy