Copyright © 2014 Splunk Inc.
The answer is always 42
VTEX & Splunk
Detalhes do case de uso
Fábio Caldas – Senior Software ...
2
Agenda
Sobre a VTEX
Desafios e Iniciativas
VTEX e seu uso inicial do Splunk
Gerenciamento do cluster
Splunk Apps da VTEX...
3
• A VTEX é líder em tecnologia para e-commerce e pioneira na
comercialização de software como serviço (SaaS) no Brasil. ...
4
Fábio Caldas
Formado em Ciências da Computação – Turma 2005 UCP
Programador .Net C# apaixonado
Splunk Administrator / Us...
5
Hardware Dados de negócios
Logs
Realidade vs Necessidade
Métricas
Aumento de
Conversão
Identificação de
anormalidades
Um...
6
Como começou
Gerenciamento de LOGS
Como poderiamos logar e ver nossos logs?
Como criar um ambiente central para todos os...
7
VTEX
Início (2 Gb)
– Apenas logs de erros
– Quase sem métricas
– Necessidade: Otimização das mensagens
Meio (65 Gb)
– Lo...
8
Splunk – Controle sobre indexação
Uso dos arquivos conf: props / transforms
– Props
– Transforms
9
Splunk 6.0 - Log e Métrica
Log - VTEX Logger
Métrica – VTEX Logger
10
Splunk 6.2 – Redução do evento
Log - VTEX Diagnostics
Métrica – VTEX Logger
11
Splunk 6.2 - Field Extraction
12
Splunk 6.0 - Master
13
Splunk 6.2 - Master
• Aumento na replicação e cópias buscáveis
14
Splunk 6.2 – Master (DMC)
• Visões gerais
• Built-in
15
Splunk 6.2 – Master (SOS)
• Mais completa app
• Inúmeros tipos de monitoramento
• App Store
16
Splunk 6.2 – Master (SUM)
• Excelente o dash “Storage Requirement Calculator”
• App Store
17
Splunk - AWS Opsworks
18
Splunk - AWS Tips
Indexação – Máquinas R3.xlarge
Master – C3.xlarge
Viewer – C3.2xlarge
EBS:
19
Splunk - Controle de Acesso no Viewer
Splunk 6.0 – Usuários criados na máquina de pesquisa
Em progresso – Integração fu...
20
Splunk Apps
21
Splunk Apps
• +60 Apps
• 1 por serviço/aplicação
• Dashboards/reports/alarmes feitos pelo próprio time
22
VTEX – Dashboards
Gateway
Acompanha todo o processo de pagamento e define melhores gateways
23
VTEX – Dashboards
Loja Integrada
Acompanha uso da plataforma pelos parceiros Whitelabel
24
VTEX – Dashboards
Checkout
Acompanha vendas
25
VTEX – Dashboards
Checkout
Acompanha erros nas vendas
26
VTEX – Dashboards
Integração
Acompanha erros nas integração
27
And NOW?
• Splunk App criada com foco no cliente
• Funções:
• Dar visibilidade near-realtime
• Fornecer dados para supo...
28
VTEX Analytics
Estoqie
Acompanha indexação de produtos em estoque
29
VTEX Analytics
Sessão
Acompanha análise das sessões dos usuários
That's all folks
3
Próximos SlideShares
Carregando em…5
×

Vtex - SplunkLive! São Paulo 2015

552 visualizações

Publicada em

Sobre a VTEX
Desafios e Iniciativas
VTEX e seu uso inicial do Splunk
Gerenciamento do cluster
Splunk Apps da VTEX
Presente/Futuro: VTEX Analytics

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
552
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
11
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Rápida passagem sobre a agenda a ser abordada
  • Explicação rápida da VTEX e sua relevância na América Latina
  • Em uma realidade onde temos dados de máquina, logs de aplicação e métricas sendo geradas, precisamos transformar tudo isso em dados de negócios com foco em aumento de conversão
  • Lembrar que no começo o foco era gerenciamento de logs
  • Explicar como foi o processo de uso e o foco atual
  • Ilustrar uso do controle sobre dados indexados feito com os arquivos props e transforms conf. Com isso obtivemos uma redução de 50% do tamanho do evento indexado
  • Exemplo de evento no Splunk representando um log e uma métrica
  • Já no Splunk 6.2 os dados foram escritos diferentes para economizar quota de indexação mas isso só foi possível graças ao novo extrator de campos
  • Com a chegada do novo extrator de campos ficou bem mais fácil e rápido obter campos dos eventos
  • O controle do cluster é feito na máquina master. Pode-se ver que no início existia um preocupação com a perda de dados (replicação) mas não com a disponibilidade dos dados
  • Com a adoção cada vez maior por parte dos usuários e para garantir que alertas críticos continuem funcionando a infra foi re-ajustada
  • Vale destacar que para gerenciar o cluster de Splunk é muito fácil (ainda mais no 6.2 com o novo DMC)
  • Mas sempre vale a pena ter o SOS para entender mais afundo os cenários
  • E para o caso específico no gerenciamento dos dados em HD recomendo o Utilization Monitor for Splunk (SUM)
  • Toda a infra está dentro do AWS Opsworks com uma máquina manager, uma viewer (acesso geral), uma viewer mobile (yes temos mobile) e as máquinas de indexação que são escaláveis
  • Nesses anos usando Splunk na AWS achei um bom modelo de máquinas pra suportar a necessidade. Além disso vale frisar a importância de deixar o HD primário como RAID 1+0 pois aumenta demais a velocidade de escrita e aconselhar o uso de um HD grande para suportar as pastas de dispatch
  • Em relação ao controle de acesso hoje ainda é um ponto fraco uma vez que os usuários precisam ser cadastrado no Splunk ou em LDAP, mas as coisas estão melhorando com a futura integração SAML v2
  • Antes de entrar para mostrar alguns dashboards vale a pena dar uma rápida passagem no parque de apps Splunk da VTEX
  • São mais de 60 apps entre o cluster Splunk 6.0 e o cluster Splunk 6.2, sendo que cada serviço/aplicação tem sua app e seu index. Além disso todo o trabalho de criação de dashboards/reports/alarmes são de responsabilidade do time que está utilizando
  • Começando agora a demonstrar os cases da VTEX
  • O foco da VTEX agora é desenvolver mais dashboards no VTEX Analytics de forma a ampliar a gama de dados disponível ao nosso cliente/gestor
  • Vtex - SplunkLive! São Paulo 2015

    1. 1. Copyright © 2014 Splunk Inc. The answer is always 42 VTEX & Splunk Detalhes do case de uso Fábio Caldas – Senior Software Engineer na VTEX
    2. 2. 2 Agenda Sobre a VTEX Desafios e Iniciativas VTEX e seu uso inicial do Splunk Gerenciamento do cluster Splunk Apps da VTEX Presente/Futuro: VTEX Analytics
    3. 3. 3 • A VTEX é líder em tecnologia para e-commerce e pioneira na comercialização de software como serviço (SaaS) no Brasil. Suas soluções atendem lojas virtuais independente do volume de clientes e do segmento de negócio, tudo com selo PCI Certified Mais de 1000 clientes ativos, 15 países, 150 funcionários, 80 desenvolvedores 300 milhões de requests/dia entre sistemas (95% < 200ms) 2.0k de métricas por segundo / 300 logs por segundo
    4. 4. 4 Fábio Caldas Formado em Ciências da Computação – Turma 2005 UCP Programador .Net C# apaixonado Splunk Administrator / User
    5. 5. 5 Hardware Dados de negócios Logs Realidade vs Necessidade Métricas Aumento de Conversão Identificação de anormalidades Uma mãozinha com os futuros indicadores Análises Departamentais
    6. 6. 6 Como começou Gerenciamento de LOGS Como poderiamos logar e ver nossos logs? Como criar um ambiente central para todos os logs da empresa de fácil manutenção?
    7. 7. 7 VTEX Início (2 Gb) – Apenas logs de erros – Quase sem métricas – Necessidade: Otimização das mensagens Meio (65 Gb) – Logs de erro, warn, info, audit – Métricas de +90% dos sistemas – Necessidade: Uso do Data Model Atualmente (65 Gb): – Dados auxiliando tomada de decisão do gestor do eCommerce
    8. 8. 8 Splunk – Controle sobre indexação Uso dos arquivos conf: props / transforms – Props – Transforms
    9. 9. 9 Splunk 6.0 - Log e Métrica Log - VTEX Logger Métrica – VTEX Logger
    10. 10. 10 Splunk 6.2 – Redução do evento Log - VTEX Diagnostics Métrica – VTEX Logger
    11. 11. 11 Splunk 6.2 - Field Extraction
    12. 12. 12 Splunk 6.0 - Master
    13. 13. 13 Splunk 6.2 - Master • Aumento na replicação e cópias buscáveis
    14. 14. 14 Splunk 6.2 – Master (DMC) • Visões gerais • Built-in
    15. 15. 15 Splunk 6.2 – Master (SOS) • Mais completa app • Inúmeros tipos de monitoramento • App Store
    16. 16. 16 Splunk 6.2 – Master (SUM) • Excelente o dash “Storage Requirement Calculator” • App Store
    17. 17. 17 Splunk - AWS Opsworks
    18. 18. 18 Splunk - AWS Tips Indexação – Máquinas R3.xlarge Master – C3.xlarge Viewer – C3.2xlarge EBS:
    19. 19. 19 Splunk - Controle de Acesso no Viewer Splunk 6.0 – Usuários criados na máquina de pesquisa Em progresso – Integração full com Okta (SAML v2)
    20. 20. 20 Splunk Apps
    21. 21. 21 Splunk Apps • +60 Apps • 1 por serviço/aplicação • Dashboards/reports/alarmes feitos pelo próprio time
    22. 22. 22 VTEX – Dashboards Gateway Acompanha todo o processo de pagamento e define melhores gateways
    23. 23. 23 VTEX – Dashboards Loja Integrada Acompanha uso da plataforma pelos parceiros Whitelabel
    24. 24. 24 VTEX – Dashboards Checkout Acompanha vendas
    25. 25. 25 VTEX – Dashboards Checkout Acompanha erros nas vendas
    26. 26. 26 VTEX – Dashboards Integração Acompanha erros nas integração
    27. 27. 27 And NOW? • Splunk App criada com foco no cliente • Funções: • Dar visibilidade near-realtime • Fornecer dados para suporte de decisões Atualmente possui: • Acompanhamento de estoque • Acompanhamento de usuários e load de páginas
    28. 28. 28 VTEX Analytics Estoqie Acompanha indexação de produtos em estoque
    29. 29. 29 VTEX Analytics Sessão Acompanha análise das sessões dos usuários
    30. 30. That's all folks 3

    ×