Copyright 
© 
2014 
Splunk 
Inc. 
Monitorando 
ecommerce 
com 
Splunk 
no 
Universo 
Online 
Mauricio 
Giraldeli 
– 
Geren...
2 
Marcio 
Ghiraldelli 
! 6 
anos 
como 
arquiteto 
de 
TI 
no 
Universo 
Online 
! Arquitetura 
de 
sistemas 
de 
alta 
d...
3 
Agenda 
! Monitorando 
transações 
de 
cartão 
de 
crédito 
! Tomada 
de 
decisões 
de 
negócio 
! Monitorando 
operaçã...
4 
! Maior 
porolio 
de 
produtos 
e 
serviços 
de 
Internet 
do 
Brasil 
! Maior 
portal 
de 
conteúdo 
em 
língua 
portu...
6 
Splunk 
@ 
PagSeguro 
• Monitoração 
antes: 
• Baseada 
em 
banco 
relacional, 
sem 
escala 
horizontal 
• Limitado 
às...
7 
Descobrindo 
e 
escolhendo 
Splunk 
Novo 
serviço 
backend 
Adquirentes 
cartão 
de 
crédito, 
bancos, 
etc 
Ferramenta...
8 
Descobrindo 
e 
escolhendo 
Splunk 
• Necessidades 
da 
monitoração: 
• Big 
Data 
centralizado 
• Flexível 
• Fácil 
d...
9 
Exemplo 
de 
informação 
de 
transações 
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO 
[br.com.uol.ps.gw.core.aspec...
10 
Dashboards 
em 
tempo 
real
11 
Dashboards 
em 
tempo 
real 
Tempo 
médio 
de 
comunicação 
com 
parceiros
12 
Dashboards 
em 
tempo 
real 
ComparaOvo 
de 
volume 
de 
transações 
com 
semana 
anterior
13 
Dashboards 
em 
tempo 
real 
Tempo 
médio 
de 
comunicação 
por 
transação
14 
Dashboards 
em 
tempo 
real 
DesaOvando 
integrações 
legadas
15 
Splunk 
@ 
PagSeguro 
• Agora: 
• Monitoração 
web 
com 
gráficos, 
treinamento 
para 
novos 
N1s 
diminui 
de 
semana...
17 
Splunk 
@ 
ShoppingUOL 
• Antes: 
• Time 
de 
P&D 
sem 
relatórios 
gráficos 
centralizados 
da 
saúde 
da 
operação 
...
18 
Splunk 
Universal 
Forwarder 
• Componente 
light 
de 
fácil 
configuração 
para 
coletar 
logs 
existentes 
de 
aplic...
19 
Splunk 
Proccess 
Language 
• Extração 
de 
dados 
de 
logs 
em 
diversos 
formatos 
legados 
• rex, 
transacOon, 
ded...
20 
Dashboards 
QuanOdade 
de 
ofertas 
coletadas 
por 
lojas
21 
Dashboards 
Volume 
de 
documentos 
indexados 
e 
replicados 
no 
índice 
Solr
22 
Dashboards 
Performance 
de 
aplicações 
Java 
com 
Perf4J
23 
Dashboards 
ROI 
de 
Mídia 
Online 
em 
tempo 
real
24 
Splunk 
@ 
ShoppingUOL 
• Depois: 
• Time 
de 
P&D 
e 
operação 
com 
a 
mesma 
visibilidade 
• Acompanhamento 
de 
ca...
Upgrade 
de 
arquitetura 
“on 
the 
fly”
26 
Upgrade 
de 
arquitetura 
“on 
the 
fly” 
Antes: 
2 
servidores 
com 
uma 
instância 
de 
Splunk 
Search 
Head 
and 
I...
27 
Upgrade 
de 
arquitetura 
“on 
the 
fly” 
Depois: 
4 
servidores 
com 
4 
instâncias 
Splunk 
Search 
Head 
Incoming 
...
Próximos 
passos
29 
Próximos 
passos 
• Todas 
as 
novas 
aplicações 
sendo 
criadas 
com 
logs 
no 
formato 
chave/valor, 
prevendo 
uma ...
Obrigado! 
linkedin.com/in/mghiraldelli 
twiyer.com/marciogh
Splunklive! Universo Online
Splunklive! Universo Online
Próximos SlideShares
Carregando em…5
×

Splunklive! Universo Online

534 visualizações

Publicada em

PagSeguro, Universo online

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
534
No SlideShare
0
A partir de incorporações
0
Número de incorporações
4
Ações
Compartilhamentos
0
Downloads
10
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Splunklive! Universo Online

  1. 1. Copyright © 2014 Splunk Inc. Monitorando ecommerce com Splunk no Universo Online Mauricio Giraldeli – Gerente de Projetos de P&D no Universo Online
  2. 2. 2 Marcio Ghiraldelli ! 6 anos como arquiteto de TI no Universo Online ! Arquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL) ! Sun CerOfied Java Architect / MBA em Gerenciamento de Projetos PMI
  3. 3. 3 Agenda ! Monitorando transações de cartão de crédito ! Tomada de decisões de negócio ! Monitorando operação do sistema ! Medindo ROI de mídia online em tempo real
  4. 4. 4 ! Maior porolio de produtos e serviços de Internet do Brasil ! Maior portal de conteúdo em língua portuguesa do mundo ! Infraestrutura de TI e Datacenter
  5. 5. 6 Splunk @ PagSeguro • Monitoração antes: • Baseada em banco relacional, sem escala horizontal • Limitado às 3 ulOmas horas de eventos • Acesso a dados históricos depende de DBA • Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração
  6. 6. 7 Descobrindo e escolhendo Splunk Novo serviço backend Adquirentes cartão de crédito, bancos, etc Ferramenta de monitoração PCI-­‐DSS security compliance
  7. 7. 8 Descobrindo e escolhendo Splunk • Necessidades da monitoração: • Big Data centralizado • Flexível • Fácil de usar • RealOme
  8. 8. 9 Exemplo de informação de transações <14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO [br.com.uol.ps.gw.core.aspect.CommandExecuteLogger] (qtp564660841-420:) datetime=2013-03-12 08:18:44,528 command=CreditCardSaleCommand msecs=555 {creditCardResponse=null,creditCardRequestModel={ creditCardTransaction={id=9999993513, merchantCode=99999999, fiDetails={nsu=999998,authorizationCode=59999999841, time=Tue Mar 12 08:18:44 BRT 2013, rawMessage=Transacao capturada com sucesso, rawCode=0, fi=locie, integratorCode=1016999999999999991}, numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e, isWallet=false, softDescriptor=CortaCortaco, maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO
  9. 9. 10 Dashboards em tempo real
  10. 10. 11 Dashboards em tempo real Tempo médio de comunicação com parceiros
  11. 11. 12 Dashboards em tempo real ComparaOvo de volume de transações com semana anterior
  12. 12. 13 Dashboards em tempo real Tempo médio de comunicação por transação
  13. 13. 14 Dashboards em tempo real DesaOvando integrações legadas
  14. 14. 15 Splunk @ PagSeguro • Agora: • Monitoração web com gráficos, treinamento para novos N1s diminui de semanas para dias; • Acesso à dados históricos com um clique • Nivelamento de informações entre monitoração, P&D e área de negócios
  15. 15. 17 Splunk @ ShoppingUOL • Antes: • Time de P&D sem relatórios gráficos centralizados da saúde da operação • Dados de ROI de mídia online não eram em tempo real
  16. 16. 18 Splunk Universal Forwarder • Componente light de fácil configuração para coletar logs existentes de aplicações legadas • Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL • Instalação automaOzada em +20 máquinas virtuais via puppet
  17. 17. 19 Splunk Proccess Language • Extração de dados de logs em diversos formatos legados • rex, transacOon, dedup
  18. 18. 20 Dashboards QuanOdade de ofertas coletadas por lojas
  19. 19. 21 Dashboards Volume de documentos indexados e replicados no índice Solr
  20. 20. 22 Dashboards Performance de aplicações Java com Perf4J
  21. 21. 23 Dashboards ROI de Mídia Online em tempo real
  22. 22. 24 Splunk @ ShoppingUOL • Depois: • Time de P&D e operação com a mesma visibilidade • Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de invesOmentos
  23. 23. Upgrade de arquitetura “on the fly”
  24. 24. 26 Upgrade de arquitetura “on the fly” Antes: 2 servidores com uma instância de Splunk Search Head and Indexer NFS Mount Index cold buckets Incoming TCP data Splunk Search User Access
  25. 25. 27 Upgrade de arquitetura “on the fly” Depois: 4 servidores com 4 instâncias Splunk Search Head Incoming TCP data Search Head Indexer Indexer TCP Load Balancer Splunk Search User Access TCP Load Balancer
  26. 26. Próximos passos
  27. 27. 29 Próximos passos • Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk • Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards • Evoluindo a arquitetura do Splunk “corporaOvo” para atender todos os produtos do UOL em uma infra centralizada • Integrar Splunk com os eventos de processos ITIL/CMDB
  28. 28. Obrigado! linkedin.com/in/mghiraldelli twiyer.com/marciogh

×