Copyright © 2014 Splunk Inc. 
Monitorando ecommerce 
com Splunk
2 
Marcio Ghiraldelli 
6 anos como arquiteto de TI no Universo Online 
Arquitetura de sistemas de alta disponibilidade (Pa...
3 
Agenda 
Monitorando transações de cartão de crédito 
Tomada de decisões de negócio 
Monitorando operação do sistema 
Me...
4 
Maior portfolio de produtos e serviços de Internet do Brasil 
Maior portal de conteúdo em língua portuguesa do mundo 
I...
6 
Splunk @ PagSeguro 
• Monitoração antes: 
• Baseada em banco relacional, sem escala horizontal 
• Limitado às 3 ultimas...
7 
Descobrindo e escolhendo Splunk 
Novo serviço backend 
Adquirentes cartão de 
crédito, bancos, etc 
Ferramenta de 
moni...
8 
Descobrindo e escolhendo Splunk 
• Necessidades da monitoração: 
• Big Data centralizado 
• Flexível 
• Fácil de usar 
...
9 
Exemplo de informação de transações 
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO 
[br.com.uol.ps.gw.core.aspect.Co...
10 
Dashboards em tempo real
11 
Dashboards em tempo real 
Tempo médio de comunicação com parceiros
12 
Dashboards em tempo real 
Comparativo de volume de transações com semana anterior
13 
Dashboards em tempo real 
Tempo médio de comunicação por transação
14 
Dashboards em tempo real 
Desativando integrações legadas
15 
Splunk @ PagSeguro 
• Agora: 
• Monitoração web com gráficos, treinamento para novos N1s diminui 
de semanas para dias...
17 
Splunk @ ShoppingUOL 
• Antes: 
• Time de P&D sem relatórios gráficos centralizados da saúde da 
operação 
• Dados de ...
18 
Splunk Universal Forwarder 
• Componente light de fácil configuração para coletar logs 
existentes de aplicações legad...
19 
Splunk Proccess Language 
• Extração de dados de logs em diversos formatos legados 
• rex, transaction, dedup
20 
Dashboards 
Quantidade de ofertas coletadas por lojas
21 
Dashboards 
Volume de documentos indexados e replicados no índice Solr
22 
Dashboards 
Performance de aplicações Java com Perf4J
23 
Dashboards 
ROI de Mídia Online em tempo real
24 
Splunk @ ShoppingUOL 
• Depois: 
• Time de P&D e operação com a mesma visibilidade 
• Acompanhamento de campanhas de m...
Upgrade de arquitetura 
“on the fly”
26 
Upgrade de arquitetura “on the fly” 
Antes: 2 servidores com uma instância de Splunk 
Search Head and Indexer 
NFS Mou...
Splunk Search User Access TCP Load Balancer TCP Load Balancer 
27 
Upgrade de arquitetura “on the fly” 
Depois: 4 servidor...
Próximos passos
29 
Próximos passos 
• Todas as novas aplicações sendo criadas com logs no formato 
chave/valor, prevendo uma futura conve...
Obrigado! 
linkedin.com/in/mghiraldelli 
twitter.com/marciogh
Monitorando Ecommerce no UOL com Splunk
Monitorando Ecommerce no UOL com Splunk
Próximos SlideShares
Carregando em…5
×

Monitorando Ecommerce no UOL com Splunk

501 visualizações

Publicada em

Splunk Live São Paulo, 17 de Setembro de 2014

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
501
No SlideShare
0
A partir de incorporações
0
Número de incorporações
184
Ações
Compartilhamentos
0
Downloads
13
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Monitorando Ecommerce no UOL com Splunk

  1. 1. Copyright © 2014 Splunk Inc. Monitorando ecommerce com Splunk
  2. 2. 2 Marcio Ghiraldelli 6 anos como arquiteto de TI no Universo Online Arquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL) Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI
  3. 3. 3 Agenda Monitorando transações de cartão de crédito Tomada de decisões de negócio Monitorando operação do sistema Medindo ROI de mídia online em tempo real
  4. 4. 4 Maior portfolio de produtos e serviços de Internet do Brasil Maior portal de conteúdo em língua portuguesa do mundo Infraestrutura de TI e Datacenter
  5. 5. 6 Splunk @ PagSeguro • Monitoração antes: • Baseada em banco relacional, sem escala horizontal • Limitado às 3 ultimas horas de eventos • Acesso a dados históricos depende de DBA • Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração
  6. 6. 7 Descobrindo e escolhendo Splunk Novo serviço backend Adquirentes cartão de crédito, bancos, etc Ferramenta de monitoração PCI-DSS security compliance
  7. 7. 8 Descobrindo e escolhendo Splunk • Necessidades da monitoração: • Big Data centralizado • Flexível • Fácil de usar • Realtime
  8. 8. 9 Exemplo de informação de transações <14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO [br.com.uol.ps.gw.core.aspect.CommandExecuteLogger] (qtp564660841-420:) datetime=2013-03-12 08:18:44,528 command=CreditCardSaleCommand msecs=555 {creditCardResponse=null,creditCardRequestModel={ creditCardTransaction={id=9999993513, merchantCode=99999999, fiDetails={nsu=999998,authorizationCode=59999999841, time=Tue Mar 12 08:18:44 BRT 2013, rawMessage=Transacao capturada com sucesso, rawCode=0, fi=locie, integratorCode=1016999999999999991}, numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e, isWallet=false, softDescriptor=CortaCortaco, maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO
  9. 9. 10 Dashboards em tempo real
  10. 10. 11 Dashboards em tempo real Tempo médio de comunicação com parceiros
  11. 11. 12 Dashboards em tempo real Comparativo de volume de transações com semana anterior
  12. 12. 13 Dashboards em tempo real Tempo médio de comunicação por transação
  13. 13. 14 Dashboards em tempo real Desativando integrações legadas
  14. 14. 15 Splunk @ PagSeguro • Agora: • Monitoração web com gráficos, treinamento para novos N1s diminui de semanas para dias; • Acesso à dados históricos com um clique • Nivelamento de informações entre monitoração, P&D e área de negócios
  15. 15. 17 Splunk @ ShoppingUOL • Antes: • Time de P&D sem relatórios gráficos centralizados da saúde da operação • Dados de ROI de mídia online não eram em tempo real
  16. 16. 18 Splunk Universal Forwarder • Componente light de fácil configuração para coletar logs existentes de aplicações legadas • Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL • Instalação automatizada em +20 máquinas virtuais via puppet
  17. 17. 19 Splunk Proccess Language • Extração de dados de logs em diversos formatos legados • rex, transaction, dedup
  18. 18. 20 Dashboards Quantidade de ofertas coletadas por lojas
  19. 19. 21 Dashboards Volume de documentos indexados e replicados no índice Solr
  20. 20. 22 Dashboards Performance de aplicações Java com Perf4J
  21. 21. 23 Dashboards ROI de Mídia Online em tempo real
  22. 22. 24 Splunk @ ShoppingUOL • Depois: • Time de P&D e operação com a mesma visibilidade • Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de investimentos
  23. 23. Upgrade de arquitetura “on the fly”
  24. 24. 26 Upgrade de arquitetura “on the fly” Antes: 2 servidores com uma instância de Splunk Search Head and Indexer NFS Mount Index cold buckets Incoming TCP data Splunk Search User Access
  25. 25. Splunk Search User Access TCP Load Balancer TCP Load Balancer 27 Upgrade de arquitetura “on the fly” Depois: 4 servidores com 4 instâncias Splunk Search Head Incoming TCP data Search Head Indexer Indexer
  26. 26. Próximos passos
  27. 27. 29 Próximos passos • Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk • Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards • Evoluindo a arquitetura do Splunk “corporativo” para atender todos os produtos do UOL em uma infra centralizada • Integrar Splunk com os eventos de processos ITIL/CMDB
  28. 28. Obrigado! linkedin.com/in/mghiraldelli twitter.com/marciogh

×