O documento discute como a VTEX usa o Splunk para coletar e analisar logs, métricas e dados de máquinas para monitoramento e fornecer insights de negócios aos clientes. Antes do Splunk, a VTEX enfrentava desafios para centralizar e analisar grandes volumes de dados gerados. O Splunk permitiu a criação de um ambiente centralizado para logs e o desenvolvimento de aplicativos para análises específicas.

1. Copyright
©
2014
Splunk
Inc.
The answer is always 42
Dos
logs
aos
negócios
Fábio
Caldas
–
Senior
SoBware
Engineer
na
VTEX

2. 2
Agenda
! Sobre
a
VTEX
! Desafios
iniciais
! Usando
Splunk
–
Log,
Métrica,
Dados
de
máquina
! Monitoramentos
–
Máquinas,
Aplicações,
Negócios
! VTEX
AnalyTcs
-­‐
Fornecendo
aos
nossos
clientes
visão
de
negócios

3. • A
3
VTEX
é
líder
em
tecnologia
para
e-­‐commerce
e
pioneira
na
comercialização
de
soBware
como
serviço
(SaaS)
no
Brasil.
Suas
soluções
atendem
lojas
virtuais
independente
do
volume
de
clientes
e
do
segmento
de
negócio,
tudo
com
selo
PCI
CerTfied
! Mais
de
700
clientes
aTvos,
10
países,
200
funcionários,
110
desenvolvedores
! 300
milhões
de
requests/dia
entre
sistemas
(95%
<
200ms)
! 1.7k
de
métricas
por
segundo
/
200
logs
por
segundo

4. 4
Fábio
Caldas
! Formado
em
Ciências
da
Computação
–
Turma
2005
UCP
! Programador
.Net
C#
apaixonado
! Minha
definição
em
uma
frase
“Problem
Killer”
! Nunca
gostei
de
banco
de
dados
!!
NUNCA
!!

5. 5
Realidade
vs
Necessidade
Hardware
Dados
de
negócios
Logs
Métricas
Aumento
de
Conversão
IdenTficação
de
anormalidades
Uma
mãozinha
com
os
futuros
indicadores
Análises
Departamentais

6. 6
Antes
do
Splunk
! Como
poderiamos
logar
dados
do
RequestCapture?
– Necessitavamos
logar
todo
o
stream
de
navegação
dos
usuários
pelas
páginas
dos
clientes
! Como
criar
um
ambiente
central
para
todos
os
logs
da
empresa?
– Centralizar
logs
de
14
novas
aplicações
que
estavam
sendo
desenvolvidas

7. 7
Antes
do
Splunk
! Foram
múlTplas
as
tentaTvas
– Cassandra:
Realmente
eficiente
e
rápido
na
escrita
de
dados,
óTma
arquitetura,
porém
todo
o
trabalho
de
idenTficação/análise
dos
dados
precisava
ser
criado
– Solr/ElasBcSearch:
Foram
rapidamente
Trado
de
questão
devido
a
necessidade
de
schema,
ajustes
finos
para
indexação
dependiam
do
volume
de
dados
gerados.
– Graylog:
ÓTmo
centralizador
de
logs
mas
UI
extramente
simplista
– Splunk:
Possui
todas
as
caracterisTcas
desejadas
porém
com
um
preço

8. 8
Splunk
Enterprise
at
VTEX
Splunk
server
-­‐
Datastore
Splunk
search
Splunk
Heavy
Forwarder
Splunk
server
-­‐
Datastore
Forwarder-­‐
Linux
Forwarder-­‐
Linux
Forwarder-­‐
Windows
Forwarder-­‐
Windows

9. 9
Depois
do
Splunk
! Exemplos
de
Logs,
Métricas
e
Dados
de
máquinas

10. 10
EstawsTcas
do
Splunk
! Parque
de
6
máquinas
(1
Deployment,
2
Heavy-­‐Forwarders,
2
Indexes
redundantes,
1
Search)
rodando
30
Splunk
Apps
! Cada
Splunk
app
é
desenvolvida
pelo
Tme
que
está
criando
o
soBware/
serviço

11. 11
Parque
de
Apps

12. 12
Machine
Metrics
Dashboard

13. 13
Metrics
Sample
Dashboard
Monitoramento
do
DynamicStorage

14. 14
VTEX
AnalyTcs

15. 15
What’s
Next
! SimpleDb
WebHook
– Decidimos
dar
ao
nossos
clientes
seus
dados
de
volta
através
de
Hooks
Hyp
configuráveis
– Devolver
dados
de
pedidos,
catálogo,
sessões
de
navegação,
etc
! VTEX
AnalyTcs
– Finaliza-­‐lo
para
disponibilizarmos
ao
cliente
VTEX
um
conjunto
de
KPIs
e
dashboards
de
forma
a
auxilia-­‐los
no
acompanhamento
de
seus
negócios.

16. 16
Top
Takeaways
/
Depois
do
Splunk
! Converse
com
todos
os
departamentos,
todos
precisam
de
bons
dados
pra
terem
sucesso
! Todos
(todos
mesmo)
devem
ver
o
Splunk
como
uma
ferramenta
auxiliar,
porque
pivotar
no
excel
se
é
possível
no
Splunk
! ConTnue
a
inovar
…

17. That's
all
folks
17