O documento descreve como o Splunk é usado para monitorar as operações de ecommerce da PagSeguro e do ShoppingUOL. O Splunk fornece dashboards em tempo real que permitem a tomada de decisões de negócios baseadas em dados. A arquitetura do Splunk foi atualizada para dar suporte a mais dados e usuários de forma escalável.

1. Copyright © 2014 Splunk Inc.
Monitorando ecommerce
com Splunk

2. 2
Marcio Ghiraldelli
6 anos como arquiteto de TI no Universo Online
Arquitetura de sistemas de alta disponibilidade (PagSeguro e
ShoppingUOL)
Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI

3. 3
Agenda
Monitorando transações de cartão de crédito
Tomada de decisões de negócio
Monitorando operação do sistema
Medindo ROI de mídia online em tempo real

4. 4
Maior portfolio de produtos e serviços de Internet do Brasil
Maior portal de conteúdo em língua portuguesa do mundo
Infraestrutura de TI e Datacenter

6. 6
Splunk @ PagSeguro
• Monitoração antes:
• Baseada em banco relacional, sem escala horizontal
• Limitado às 3 ultimas horas de eventos
• Acesso a dados históricos depende de DBA
• Necessário instalar aplicação cliente em todos os computadores da
equipe de monitoração

7. 7
Descobrindo e escolhendo Splunk
Novo serviço backend
Adquirentes cartão de
crédito, bancos, etc
Ferramenta de
monitoração
PCI-DSS security
compliance

8. 8
Descobrindo e escolhendo Splunk
• Necessidades da monitoração:
• Big Data centralizado
• Flexível
• Fácil de usar
• Realtime

9. 9
Exemplo de informação de transações
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO
[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger]
(qtp564660841-420:) datetime=2013-03-12 08:18:44,528
command=CreditCardSaleCommand msecs=555
{creditCardResponse=null,creditCardRequestModel={
creditCardTransaction={id=9999993513, merchantCode=99999999,
fiDetails={nsu=999998,authorizationCode=59999999841,
time=Tue Mar 12 08:18:44 BRT 2013,
rawMessage=Transacao capturada com sucesso,
rawCode=0, fi=locie, integratorCode=1016999999999999991},
numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,
isWallet=false, softDescriptor=CortaCortaco,
maskedNumber=547408******1525,cvv=***, brand=mastercard,
paymentStatus=PAGO

10. 10
Dashboards em tempo real

11. 11
Dashboards em tempo real
Tempo médio de comunicação com parceiros

12. 12
Dashboards em tempo real
Comparativo de volume de transações com semana anterior

13. 13
Dashboards em tempo real
Tempo médio de comunicação por transação

14. 14
Dashboards em tempo real
Desativando integrações legadas

15. 15
Splunk @ PagSeguro
• Agora:
• Monitoração web com gráficos, treinamento para novos N1s diminui
de semanas para dias;
• Acesso à dados históricos com um clique
• Nivelamento de informações entre monitoração, P&D e área de
negócios

17. 17
Splunk @ ShoppingUOL
• Antes:
• Time de P&D sem relatórios gráficos centralizados da saúde da
operação
• Dados de ROI de mídia online não eram em tempo real

18. 18
Splunk Universal Forwarder
• Componente light de fácil configuração para coletar logs
existentes de aplicações legadas
• Expansão da licença atual e infra (+ indexers) do Splunk para
atender novo produto ShoppingUOL
• Instalação automatizada em +20 máquinas virtuais via puppet

19. 19
Splunk Proccess Language
• Extração de dados de logs em diversos formatos legados
• rex, transaction, dedup

20. 20
Dashboards
Quantidade de ofertas coletadas por lojas

21. 21
Dashboards
Volume de documentos indexados e replicados no índice Solr

22. 22
Dashboards
Performance de aplicações Java com Perf4J

23. 23
Dashboards
ROI de Mídia Online em tempo real

24. 24
Splunk @ ShoppingUOL
• Depois:
• Time de P&D e operação com a mesma visibilidade
• Acompanhamento de campanhas de mídia online em tempo real +
velocidade em tomadas de decisões de investimentos

25. Upgrade de arquitetura
“on the fly”

26. 26
Upgrade de arquitetura “on the fly”
Antes: 2 servidores com uma instância de Splunk
Search Head and Indexer
NFS Mount
Index cold buckets
Incoming TCP data
Splunk Search User Access

27. Splunk Search User Access TCP Load Balancer TCP Load Balancer
27
Upgrade de arquitetura “on the fly”
Depois: 4 servidores com 4 instâncias Splunk
Search Head
Incoming TCP data
Search Head
Indexer
Indexer

28. Próximos passos

29. 29
Próximos passos
• Todas as novas aplicações sendo criadas com logs no formato
chave/valor, prevendo uma futura convergência no Splunk
• Instalando uma televisão no andar da área de negócios para
acompanhamento em tempo real dos dashboards
• Evoluindo a arquitetura do Splunk “corporativo” para atender
todos os produtos do UOL em uma infra centralizada
• Integrar Splunk com os eventos de processos ITIL/CMDB

30. Obrigado!
linkedin.com/in/mghiraldelli
twitter.com/marciogh