Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

2 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at eﬃcitur
tortor. Donec congue odio
bibendum
1 Ponto
amet, consec tetur
adipiscing elit. at
eﬃcitur tortor. Donec
congue odio bibendum
3 Ponto
amet, consec tetur
bibendum
4 Ponto
amet, consec tetur
bibendum
Modern Data Stack
As tecnologias e práticas mais modernas
atualmente em Big Data

2 Ponto
amet, consec tetur
bibendum
1 Ponto
amet, consec tetur
adipiscing elit. at
eﬃcitur tortor. Donec
congue odio bibendum
3 Ponto
amet, consec tetur
bibendum
4 Ponto
amet, consec tetur
bibendum
➔ Tech Lead na Dadosfera;
➔ AWS Community Builder;
➔ Bacharel em Sistemas de Informação pelo IFG;
➔ Pós graduado em Big Data e Machine Learning
pela Fasam;
Cicero Moura
cicerojmm
/in/cicero-moura

Sobre o que vamos conversar?
◆ Big Data e Data Lake;
◆ Cenário atual em Big Data;
◆ O que Modern Data Stack? E porque
precisamos disso?
◆ Pilares do Modern Data Stack;
◆ Conceitos e Ferramentas;
◆ Dicas práticas da Área de Dados.
3

7
Desaﬁos Atuais
➔ Aumento na demanda por Data Analytics e Data
Science;
➔ Complexidade em integrar cada vez mais fontes
de dados;
➔ Tempo curto para desenvolvimento dos produtos
de dados;
➔ Pouca mão de obra qualiﬁcada no mercado.

8
Como podemos
solucioná-los?

9
Modern Data Stack
“Um conjunto ﬂexível de tecnologias que
ajudam as empresas a armazenar, gerenciar
e aprender com seus dados de forma rápida
e eﬁciente”.

10
Modern Data Stack
O Modern Data Stack incorpora conceitos
como Data Mesh, Reverse ETL, Data Catalog
3.0, Product Teams e mais…

11
Modern Data Stack
Será o MDS mais uma ?

12
Modern Data Stack
Não é apenas uma Buzzword!
➔ Amadurecimento da área de Dados;
➔ Tecnologias mais sólidas;
➔ Conceitos e práticas onde é possível formar o
Modern Data Stack.

14
Modern Data Stack
Pilares
Reverse ETL
Metrics
Layer
Data Mesh
Data
Catalog 3.0
Data Team
as Product
Team
Data
Observability

15
Modern Data Stack
Data Mesh

16
Modern Data Stack
Metrics Layer
Central Metric Layer

17
Modern Data Stack
Data Catalog 3.0
Ambiente Colaborativo para Governança de Dados:
➔ Catalogação de metadados;
➔ Documentação dos dados (datasets);
➔ Gestão dos Data Assets;
➔ Pesquisa e democratização dos dados;

18
Modern Data Stack
Data Observability
Logs Metrics Tracing

19
Modern Data Stack
Product Teams
Equipes de Dados têm a tendência de passar a se
preocupar não apenas em entregar uma pipeline,
mas quão bem estão atendendo as necessidades
do negócio.

20
Modern Data Stack
Product Teams
O foco principal não é mais discutir como os dados
serão armazenados e sim como serão utilizados
pelo negócio.

21
Modern Data Stack
Reverse ETL
Os dados que foram agregados no ambiente de Big
Data devem possuir a capacidade de voltar para os
sistemas transacionais e agregar valor na operação
do dia a dia (ERP, CRM, Ops).

22
Modern Data Stack
Reverse ETL

24
Modern Data Stack
Overview
Modern Data Stack

25
Modern Data Stack
Ferramentas
Ingestão de Dados Transformação

26
Modern Data Stack
Ferramentas
Data Warehouse Orquestração

27
Modern Data Stack
Ferramentas
Catalogação de Dados Visualização de Dados

29
Carreiras na Área de Dados
Engenheiro de Dados Cientista de Dados Engenheiro de Análise

30
Carreiras na Área de Dados
Engenheiro de
Machine Learning
Arquiteto de Dados Governança de dados

33
Like, share and comment cicerojmm.medium.com

Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

Semelhante a Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data (20)

Mais de Cicero Joasyo Mateus de Moura

Mais de Cicero Joasyo Mateus de Moura (13)

Último

Último (8)

Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data