Fábio Jardim discute como criar uma estratégia de dados para clientes, incluindo quais dados selecionar e como planejar a engenharia e arquitetura de dados. Ele destaca a importância de investir em pessoas e governança de dados para garantir a confiabilidade dos dados.

1. Fábio Jardim | Head Big Data Via Varejo
Como criar uma estratégia para usar os dados dos clientes: quais dados
selecionar e como planejar a engenharia e arquitetura de dados?

2. Fábio Jardim
Formação:
• Bacharel em Ciência da Computação
• Pós graduação em Análise de Big Data
Experiência:
• Mais de 15 anos em plataforma de dados
• Vivência em grandes empresas de e-commerces, varejo e banco
• Arquiteto Big Data em projetos para grandes clientes
• Professor MBA e instrutor Big Data
• Atualmente Head de Big Data na Via Varejo
https://www.linkedin.com/in/fjardim/
fabiogjardim@hotmail.com

3. Fábio Jardim
Milhões de
transações por
segundo
Vários sistemas internos não
conectados
Milhões de usuários em rede
sociais gerando conteúdo a
cada segundo
Câmeras e Wifi espalhados
por todos os lados
Mais de 1 smartphone
por pessoa no Brasil
Usuário cada vez
mais conectado

4. Fábio Jardim
Onde armazenar
tudo isso?
Como processar tudo
isso?
Como obter
valor desses
dados?
Consigo ser mais
assertivo?

5. Fábio Jardim
O Data Lake
• Vasto repositório com uma variedade de dados brutos que podem ser armazenados, processados,
analisados e entregues.
Propósito:
• Visão única dos dados utilizada para derivar insights relevantes para a empresa a partir desta informação
usando vários algoritmos de análise e aprendizagem de máquinas.

6. Fábio Jardim
Porque criar um data lake?
• Constante evolução
• Flexível
• Uso genérico
• Alto poder de processamento e armazenamento
• Potencializa análise de grandes volumes de dados
• Tipos diversos de dados https://www.kendoo.com.br/wp-content/uploads/2018/12/Data-Lake-1024x541.png

7. Fábio Jardim
Uso democrático
• Tamanhos diferentes, desafios diferentes
• Pode começar pequeno
• Cloud ou On Premise
• Nem todo mundo tem um Big Data
• Mas todo mundo pode usar Big Data
• Use sem moderação
• P, M ou G

8. Fábio Jardim
Data Warehouse x Data Lake
Estruturado e Processado Dados
Estruturado, semi-estruturado e não
estruturado
Dependente de esquema Processamento Livre de esquema
Alto custo para grandes volumes Armazenamento Desenvolvido para baixo custo
Configuração fixa, pouco agilidade Agilidade Configuração flexível, alta agilidade
Consolidada Segurança Evoluindo
Área de negócios Usuários Data Scientists, Analistas, Power User

9. Fábio Jardim
Criação de um Data Lake
Propósito
Não inicie apenas por
ter um Data Lake
Governança
Comece com
governança. Iniciar
depois pode ser
traumático
Processo de
ingestão
Fontes diversas
Distribuição
Deve ser acessível e
gerenciável
Confiabilidade
Verdade única dos
dados.
A cia deve visualizar o
mesmo dado e confiar
nele.

10. Fábio Jardim
https://www.dragon1.com/images/zaloni-data-lake-reference-architecture.jpg

11. Fábio Jardim
Ingestão
• Prefira Real time
• Orientado a eventos
• Dados diversos
• Escalável
• Controle e rastreabilidade
• Flexível
• Pipelines bem definidos

12. Fábio Jardim
Processamento
• Real time e Batch
• Armazenamento alta e baixa latência
• Rastreabilidade
• Defina padrões de desenvolvimento
• Distribuir dados
• Análise simples e modelos complexos

13. Fábio Jardim
Acesso e visualização
• Controle de acesso
• Integração com ferramentas
• API
• Data Driven
• Democratização
• Empoderamento do usuário

14. Fábio Jardim
O que armazenar?
• Dados internos
• Dados de parceiros
• Dados externos
• Social
• Dados públicos
• IoT
• O que o negócio precisar/pedir

15. Fábio Jardim
Foco no cliente
• Clusterização de clientes / Personas
• Análise de perfil de consumo
• Next best offer
• Análises e prevenção de fraudes
• Modelos preditivos
• Reports e KPI
• O cliente ontem, hoje e amanhã

16. Fábio Jardim
Gestão de Clientes
• Melhorar performance de atendimento ao cliente
• Ingestão de dados de atendimento
• Análise com bases internas como pedidos e entregas
• Derivar insights
• Ser proativo
• Geração de métricas

17. Fábio Jardim
Como fazer tudo isso?
• Tecnologia é o meio
• Invista em pessoas
• Pensamento analitico
• Perca um bom tempo com governança e qualidade de dados
• Trabalhe para o dado ser confiável
• Constante evolução
• União entre TI e negócio

18. Fábio Jardim

19. Fábio Jardim
01101111 01100010 01110010 01101001 01100111 01100001 01100100 01101111
Obrigado