SlideShare uma empresa Scribd logo
Copyright 
© 
2014 
Splunk 
Inc. 
The answer is always 42 
Dos 
logs 
aos 
negócios 
Fábio 
Caldas 
– 
Senior 
SoBware 
Engineer 
na 
VTEX
2 
Agenda 
! Sobre 
a 
VTEX 
! Desafios 
iniciais 
! Usando 
Splunk 
– 
Log, 
Métrica, 
Dados 
de 
máquina 
! Monitoramentos 
– 
Máquinas, 
Aplicações, 
Negócios 
! VTEX 
AnalyTcs 
-­‐ 
Fornecendo 
aos 
nossos 
clientes 
visão 
de 
negócios
• A 
3 
VTEX 
é 
líder 
em 
tecnologia 
para 
e-­‐commerce 
e 
pioneira 
na 
comercialização 
de 
soBware 
como 
serviço 
(SaaS) 
no 
Brasil. 
Suas 
soluções 
atendem 
lojas 
virtuais 
independente 
do 
volume 
de 
clientes 
e 
do 
segmento 
de 
negócio, 
tudo 
com 
selo 
PCI 
CerTfied 
! Mais 
de 
700 
clientes 
aTvos, 
10 
países, 
200 
funcionários, 
110 
desenvolvedores 
! 300 
milhões 
de 
requests/dia 
entre 
sistemas 
(95% 
< 
200ms) 
! 1.7k 
de 
métricas 
por 
segundo 
/ 
200 
logs 
por 
segundo
4 
Fábio 
Caldas 
! Formado 
em 
Ciências 
da 
Computação 
– 
Turma 
2005 
UCP 
! Programador 
.Net 
C# 
apaixonado 
! Minha 
definição 
em 
uma 
frase 
“Problem 
Killer” 
! Nunca 
gostei 
de 
banco 
de 
dados 
!! 
NUNCA 
!!
5 
Realidade 
vs 
Necessidade 
Hardware 
Dados 
de 
negócios 
Logs 
Métricas 
Aumento 
de 
Conversão 
IdenTficação 
de 
anormalidades 
Uma 
mãozinha 
com 
os 
futuros 
indicadores 
Análises 
Departamentais
6 
Antes 
do 
Splunk 
! Como 
poderiamos 
logar 
dados 
do 
RequestCapture? 
– Necessitavamos 
logar 
todo 
o 
stream 
de 
navegação 
dos 
usuários 
pelas 
páginas 
dos 
clientes 
! Como 
criar 
um 
ambiente 
central 
para 
todos 
os 
logs 
da 
empresa? 
– Centralizar 
logs 
de 
14 
novas 
aplicações 
que 
estavam 
sendo 
desenvolvidas
7 
Antes 
do 
Splunk 
! Foram 
múlTplas 
as 
tentaTvas 
– Cassandra: 
Realmente 
eficiente 
e 
rápido 
na 
escrita 
de 
dados, 
óTma 
arquitetura, 
porém 
todo 
o 
trabalho 
de 
idenTficação/análise 
dos 
dados 
precisava 
ser 
criado 
– Solr/ElasBcSearch: 
Foram 
rapidamente 
Trado 
de 
questão 
devido 
a 
necessidade 
de 
schema, 
ajustes 
finos 
para 
indexação 
dependiam 
do 
volume 
de 
dados 
gerados. 
– Graylog: 
ÓTmo 
centralizador 
de 
logs 
mas 
UI 
extramente 
simplista 
– Splunk: 
Possui 
todas 
as 
caracterisTcas 
desejadas 
porém 
com 
um 
preço
8 
Splunk 
Enterprise 
at 
VTEX 
Splunk 
server 
-­‐ 
Datastore 
Splunk 
search 
Splunk 
Heavy 
Forwarder 
Splunk 
server 
-­‐ 
Datastore 
Forwarder-­‐ 
Linux 
Forwarder-­‐ 
Linux 
Forwarder-­‐ 
Windows 
Forwarder-­‐ 
Windows
9 
Depois 
do 
Splunk 
! Exemplos 
de 
Logs, 
Métricas 
e 
Dados 
de 
máquinas
10 
EstawsTcas 
do 
Splunk 
! Parque 
de 
6 
máquinas 
(1 
Deployment, 
2 
Heavy-­‐Forwarders, 
2 
Indexes 
redundantes, 
1 
Search) 
rodando 
30 
Splunk 
Apps 
! Cada 
Splunk 
app 
é 
desenvolvida 
pelo 
Tme 
que 
está 
criando 
o 
soBware/ 
serviço
11 
Parque 
de 
Apps
12 
Machine 
Metrics 
Dashboard
13 
Metrics 
Sample 
Dashboard 
Monitoramento 
do 
DynamicStorage
14 
VTEX 
AnalyTcs
15 
What’s 
Next 
! SimpleDb 
WebHook 
– Decidimos 
dar 
ao 
nossos 
clientes 
seus 
dados 
de 
volta 
através 
de 
Hooks 
Hyp 
configuráveis 
– Devolver 
dados 
de 
pedidos, 
catálogo, 
sessões 
de 
navegação, 
etc 
! VTEX 
AnalyTcs 
– Finaliza-­‐lo 
para 
disponibilizarmos 
ao 
cliente 
VTEX 
um 
conjunto 
de 
KPIs 
e 
dashboards 
de 
forma 
a 
auxilia-­‐los 
no 
acompanhamento 
de 
seus 
negócios.
16 
Top 
Takeaways 
/ 
Depois 
do 
Splunk 
! Converse 
com 
todos 
os 
departamentos, 
todos 
precisam 
de 
bons 
dados 
pra 
terem 
sucesso 
! Todos 
(todos 
mesmo) 
devem 
ver 
o 
Splunk 
como 
uma 
ferramenta 
auxiliar, 
porque 
pivotar 
no 
excel 
se 
é 
possível 
no 
Splunk 
! ConTnue 
a 
inovar 
…
That's 
all 
folks 
17

Mais conteúdo relacionado

Destaque

Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015
Splunk
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirn
Splunk
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk
 
TDC2014 .NET e o Open Source
TDC2014 .NET e o Open SourceTDC2014 .NET e o Open Source
TDC2014 .NET e o Open Source
monomanbr
 
Log4net
Log4netLog4net
Log4net
sagostinho
 
Domando os logs
Domando os logsDomando os logs
Domando os logs
Hernandes Sousa
 
SplunkLive! Hamburg / München Advanced Session
SplunkLive! Hamburg / München Advanced SessionSplunkLive! Hamburg / München Advanced Session
SplunkLive! Hamburg / München Advanced Session
Georg Knon
 
Customer Presentation - Financial Services Organization
Customer Presentation - Financial Services OrganizationCustomer Presentation - Financial Services Organization
Customer Presentation - Financial Services Organization
Splunk
 
Visibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalVisibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscal
Splunk
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and Splunk
Splunk
 
Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introdução
Splunk
 
Building an Analytics - Enabled SOC Breakout Session
Building an Analytics - Enabled SOC Breakout Session Building an Analytics - Enabled SOC Breakout Session
Building an Analytics - Enabled SOC Breakout Session
Splunk
 
Splunk app for stream
Splunk app for stream Splunk app for stream
Splunk app for stream
csching
 
Splunk as a_big_data_platform_for_developers_spring_one2gx
Splunk as a_big_data_platform_for_developers_spring_one2gxSplunk as a_big_data_platform_for_developers_spring_one2gx
Splunk as a_big_data_platform_for_developers_spring_one2gx
Damien Dallimore
 
Caso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkCaso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e Splunk
Splunk
 
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkDeploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Splunk
 

Destaque (16)

Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirn
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdata
 
TDC2014 .NET e o Open Source
TDC2014 .NET e o Open SourceTDC2014 .NET e o Open Source
TDC2014 .NET e o Open Source
 
Log4net
Log4netLog4net
Log4net
 
Domando os logs
Domando os logsDomando os logs
Domando os logs
 
SplunkLive! Hamburg / München Advanced Session
SplunkLive! Hamburg / München Advanced SessionSplunkLive! Hamburg / München Advanced Session
SplunkLive! Hamburg / München Advanced Session
 
Customer Presentation - Financial Services Organization
Customer Presentation - Financial Services OrganizationCustomer Presentation - Financial Services Organization
Customer Presentation - Financial Services Organization
 
Visibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalVisibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscal
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and Splunk
 
Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introdução
 
Building an Analytics - Enabled SOC Breakout Session
Building an Analytics - Enabled SOC Breakout Session Building an Analytics - Enabled SOC Breakout Session
Building an Analytics - Enabled SOC Breakout Session
 
Splunk app for stream
Splunk app for stream Splunk app for stream
Splunk app for stream
 
Splunk as a_big_data_platform_for_developers_spring_one2gx
Splunk as a_big_data_platform_for_developers_spring_one2gxSplunk as a_big_data_platform_for_developers_spring_one2gx
Splunk as a_big_data_platform_for_developers_spring_one2gx
 
Caso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkCaso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e Splunk
 
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkDeploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do Splunk
 

Semelhante a Vtex - Splunk live! 2014 São Paulo

Stream Processing - ThoughtWorks Architecture Group - 2017
Stream Processing - ThoughtWorks Architecture Group - 2017Stream Processing - ThoughtWorks Architecture Group - 2017
Stream Processing - ThoughtWorks Architecture Group - 2017
Otávio Carvalho
 
Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacional
Splunk
 
Sql Server
Sql ServerSql Server
Sql Server
Sabrina Mariana
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Éberli Cabistani Riella
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)
Sidnir Vieira
 
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability EngineeringTDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
Felipe Klerk Signorini
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
Denodo
 
Mudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dadosMudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dados
Polis Consulting
 
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
E-Commerce Brasil
 
WSO2 - Portfólio de Produtos, Soluções e Suportes
WSO2 - Portfólio de Produtos, Soluções e SuportesWSO2 - Portfólio de Produtos, Soluções e Suportes
WSO2 - Portfólio de Produtos, Soluções e Suportes
Edgar Silva
 
1 Ids On Campus V3a
1 Ids On Campus V3a1 Ids On Campus V3a
1 Ids On Campus V3a
Alexandre Marini
 
Sobre Erp (Basico)
Sobre Erp (Basico)Sobre Erp (Basico)
Sobre Erp (Basico)
Clara Cardoso
 
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
iMasters
 
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoTWebinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
Embarcados
 
ASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis PaulinoASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis Paulino
Comunidade NetPonto
 
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
Amazon Web Services LATAM
 
Comprei um SQL Server e agora?
Comprei um SQL Server e agora?Comprei um SQL Server e agora?
Comprei um SQL Server e agora?
Vithor da Silva e Silva
 
Petic Emgetis Final
Petic Emgetis FinalPetic Emgetis Final
Petic Emgetis Final
netimba
 
CV Rogério Casimiro Reis 2015
CV Rogério Casimiro Reis 2015CV Rogério Casimiro Reis 2015
CV Rogério Casimiro Reis 2015
Rog Casimiro Reis
 
CV - JCP Maio 2015_Brasil_atz
CV - JCP Maio 2015_Brasil_atzCV - JCP Maio 2015_Brasil_atz
CV - JCP Maio 2015_Brasil_atz
Karlos Paiva
 

Semelhante a Vtex - Splunk live! 2014 São Paulo (20)

Stream Processing - ThoughtWorks Architecture Group - 2017
Stream Processing - ThoughtWorks Architecture Group - 2017Stream Processing - ThoughtWorks Architecture Group - 2017
Stream Processing - ThoughtWorks Architecture Group - 2017
 
Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacional
 
Sql Server
Sql ServerSql Server
Sql Server
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)
 
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability EngineeringTDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
 
Mudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dadosMudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dados
 
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
Fórum E-Commerce Brasil | Movendo 2 bilhões de dados em 24 horas - A estratég...
 
WSO2 - Portfólio de Produtos, Soluções e Suportes
WSO2 - Portfólio de Produtos, Soluções e SuportesWSO2 - Portfólio de Produtos, Soluções e Suportes
WSO2 - Portfólio de Produtos, Soluções e Suportes
 
1 Ids On Campus V3a
1 Ids On Campus V3a1 Ids On Campus V3a
1 Ids On Campus V3a
 
Sobre Erp (Basico)
Sobre Erp (Basico)Sobre Erp (Basico)
Sobre Erp (Basico)
 
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o n...
 
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoTWebinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
 
ASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis PaulinoASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis Paulino
 
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
Como o Magazine Luiza inova suas operações utilizando as soluções de IoT e Bi...
 
Comprei um SQL Server e agora?
Comprei um SQL Server e agora?Comprei um SQL Server e agora?
Comprei um SQL Server e agora?
 
Petic Emgetis Final
Petic Emgetis FinalPetic Emgetis Final
Petic Emgetis Final
 
CV Rogério Casimiro Reis 2015
CV Rogério Casimiro Reis 2015CV Rogério Casimiro Reis 2015
CV Rogério Casimiro Reis 2015
 
CV - JCP Maio 2015_Brasil_atz
CV - JCP Maio 2015_Brasil_atzCV - JCP Maio 2015_Brasil_atz
CV - JCP Maio 2015_Brasil_atz
 

Último

Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
Annelise Gripp
 
Orientações para utilizar Drone no espaço Brasil
Orientações para utilizar Drone no espaço BrasilOrientações para utilizar Drone no espaço Brasil
Orientações para utilizar Drone no espaço Brasil
EliakimArajo2
 
PRATICANDO O SCRUM Scrum team, product owner
PRATICANDO O SCRUM Scrum team, product ownerPRATICANDO O SCRUM Scrum team, product owner
PRATICANDO O SCRUM Scrum team, product owner
anpproferick
 
Teoria de redes de computadores redes .doc
Teoria de redes de computadores redes .docTeoria de redes de computadores redes .doc
Teoria de redes de computadores redes .doc
anpproferick
 
Como fui de 0 a lead na gringa em 3 anos.pptx
Como fui de 0 a lead na gringa em 3 anos.pptxComo fui de 0 a lead na gringa em 3 anos.pptx
Como fui de 0 a lead na gringa em 3 anos.pptx
tnrlucas
 
Gestão de dados: sua importância e benefícios
Gestão de dados: sua importância e benefíciosGestão de dados: sua importância e benefícios
Gestão de dados: sua importância e benefícios
Rafael Santos
 
Por que escolhi o Flutter - Campus Party Piauí.pdf
Por que escolhi o Flutter - Campus Party Piauí.pdfPor que escolhi o Flutter - Campus Party Piauí.pdf
Por que escolhi o Flutter - Campus Party Piauí.pdf
Ian Oliveira
 

Último (7)

Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
Ferramentas e Técnicas para aplicar no seu dia a dia numa Transformação Digital!
 
Orientações para utilizar Drone no espaço Brasil
Orientações para utilizar Drone no espaço BrasilOrientações para utilizar Drone no espaço Brasil
Orientações para utilizar Drone no espaço Brasil
 
PRATICANDO O SCRUM Scrum team, product owner
PRATICANDO O SCRUM Scrum team, product ownerPRATICANDO O SCRUM Scrum team, product owner
PRATICANDO O SCRUM Scrum team, product owner
 
Teoria de redes de computadores redes .doc
Teoria de redes de computadores redes .docTeoria de redes de computadores redes .doc
Teoria de redes de computadores redes .doc
 
Como fui de 0 a lead na gringa em 3 anos.pptx
Como fui de 0 a lead na gringa em 3 anos.pptxComo fui de 0 a lead na gringa em 3 anos.pptx
Como fui de 0 a lead na gringa em 3 anos.pptx
 
Gestão de dados: sua importância e benefícios
Gestão de dados: sua importância e benefíciosGestão de dados: sua importância e benefícios
Gestão de dados: sua importância e benefícios
 
Por que escolhi o Flutter - Campus Party Piauí.pdf
Por que escolhi o Flutter - Campus Party Piauí.pdfPor que escolhi o Flutter - Campus Party Piauí.pdf
Por que escolhi o Flutter - Campus Party Piauí.pdf
 

Vtex - Splunk live! 2014 São Paulo

  • 1. Copyright © 2014 Splunk Inc. The answer is always 42 Dos logs aos negócios Fábio Caldas – Senior SoBware Engineer na VTEX
  • 2. 2 Agenda ! Sobre a VTEX ! Desafios iniciais ! Usando Splunk – Log, Métrica, Dados de máquina ! Monitoramentos – Máquinas, Aplicações, Negócios ! VTEX AnalyTcs -­‐ Fornecendo aos nossos clientes visão de negócios
  • 3. • A 3 VTEX é líder em tecnologia para e-­‐commerce e pioneira na comercialização de soBware como serviço (SaaS) no Brasil. Suas soluções atendem lojas virtuais independente do volume de clientes e do segmento de negócio, tudo com selo PCI CerTfied ! Mais de 700 clientes aTvos, 10 países, 200 funcionários, 110 desenvolvedores ! 300 milhões de requests/dia entre sistemas (95% < 200ms) ! 1.7k de métricas por segundo / 200 logs por segundo
  • 4. 4 Fábio Caldas ! Formado em Ciências da Computação – Turma 2005 UCP ! Programador .Net C# apaixonado ! Minha definição em uma frase “Problem Killer” ! Nunca gostei de banco de dados !! NUNCA !!
  • 5. 5 Realidade vs Necessidade Hardware Dados de negócios Logs Métricas Aumento de Conversão IdenTficação de anormalidades Uma mãozinha com os futuros indicadores Análises Departamentais
  • 6. 6 Antes do Splunk ! Como poderiamos logar dados do RequestCapture? – Necessitavamos logar todo o stream de navegação dos usuários pelas páginas dos clientes ! Como criar um ambiente central para todos os logs da empresa? – Centralizar logs de 14 novas aplicações que estavam sendo desenvolvidas
  • 7. 7 Antes do Splunk ! Foram múlTplas as tentaTvas – Cassandra: Realmente eficiente e rápido na escrita de dados, óTma arquitetura, porém todo o trabalho de idenTficação/análise dos dados precisava ser criado – Solr/ElasBcSearch: Foram rapidamente Trado de questão devido a necessidade de schema, ajustes finos para indexação dependiam do volume de dados gerados. – Graylog: ÓTmo centralizador de logs mas UI extramente simplista – Splunk: Possui todas as caracterisTcas desejadas porém com um preço
  • 8. 8 Splunk Enterprise at VTEX Splunk server -­‐ Datastore Splunk search Splunk Heavy Forwarder Splunk server -­‐ Datastore Forwarder-­‐ Linux Forwarder-­‐ Linux Forwarder-­‐ Windows Forwarder-­‐ Windows
  • 9. 9 Depois do Splunk ! Exemplos de Logs, Métricas e Dados de máquinas
  • 10. 10 EstawsTcas do Splunk ! Parque de 6 máquinas (1 Deployment, 2 Heavy-­‐Forwarders, 2 Indexes redundantes, 1 Search) rodando 30 Splunk Apps ! Cada Splunk app é desenvolvida pelo Tme que está criando o soBware/ serviço
  • 11. 11 Parque de Apps
  • 12. 12 Machine Metrics Dashboard
  • 13. 13 Metrics Sample Dashboard Monitoramento do DynamicStorage
  • 15. 15 What’s Next ! SimpleDb WebHook – Decidimos dar ao nossos clientes seus dados de volta através de Hooks Hyp configuráveis – Devolver dados de pedidos, catálogo, sessões de navegação, etc ! VTEX AnalyTcs – Finaliza-­‐lo para disponibilizarmos ao cliente VTEX um conjunto de KPIs e dashboards de forma a auxilia-­‐los no acompanhamento de seus negócios.
  • 16. 16 Top Takeaways / Depois do Splunk ! Converse com todos os departamentos, todos precisam de bons dados pra terem sucesso ! Todos (todos mesmo) devem ver o Splunk como uma ferramenta auxiliar, porque pivotar no excel se é possível no Splunk ! ConTnue a inovar …