JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

2 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at eﬃcitur
tortor. Donec congue odio
bibendum
1 Ponto
amet, consec tetur
adipiscing elit. at
eﬃcitur tortor. Donec
congue odio bibendum
3 Ponto
amet, consec tetur
bibendum
4 Ponto
amet, consec tetur
bibendum
Modern Data Stack
As tecnologias e práticas mais modernas
atualmente em Big Data
JoinCommunity

2 Ponto
amet, consec tetur
bibendum
1 Ponto
amet, consec tetur
adipiscing elit. at
eﬃcitur tortor. Donec
congue odio bibendum
3 Ponto
amet, consec tetur
bibendum
4 Ponto
amet, consec tetur
bibendum
➔ Tech Lead na Dadosfera;
➔ AWS Community Builder;
➔ Bacharel em Sistemas de Informação pelo IFG;
➔ Pós graduado em Big Data e Machine Learning
pela Fasam;
Cicero Moura
cicerojmm
/in/cicero-moura
JoinCommunity

Sobre o que vamos conversar?
◆ Big Data e Data Lake;
◆ Cenário atual em Big Data;
◆ O que Modern Data Stack? E porque
precisamos disso?
◆ Pilares do Modern Data Stack;
◆ Conceitos e Ferramentas;
◆ Dicas práticas da Área de Dados.
3

8
Desaﬁos Atuais
➔ Aumento na demanda por Data Analytics e Data
Science; #TimeToMarket
➔ Complexidade em integrar cada vez mais fontes
de dados; #TimeToValue

9
Como podemos
solucioná-los?

10
Modern Data Stack
“Um conjunto ﬂexível de tecnologias que
ajudam as empresas a armazenar, gerenciar
e aprender com seus dados de forma rápida
e eﬁciente”.

11
Modern Data Stack
O Modern Data Stack incorpora conceitos
como Data Mesh, Reverse ETL, Data Catalog
3.0, Product Teams e mais…

12
Modern Data Stack
Será o MDS mais uma ?

13
Modern Data Stack
Não é apenas uma Buzzword!
➔ Amadurecimento da área de Dados;
➔ Tecnologias mais sólidas;
➔ Conceitos e práticas onde é possível formar o
Modern Data Stack.

15
Modern Data Stack
Pilares
Reverse ETL
Metrics
Layer
Data Mesh
Data
Catalog 3.0
Data Team
as Product
Team
Data
Observability

16
Modern Data Stack
Data Mesh

17
Modern Data Stack
Metrics Layer
Central Metric Layer

18
Modern Data Stack
Data Catalog 3.0
Ambiente Colaborativo para Governança de Dados:
➔ Catalogação de metadados;
➔ Documentação dos dados (datasets);
➔ Gestão dos Data Assets;
➔ Pesquisa e democratização dos dados;

19
Modern Data Stack
Data Observability
Logs Metrics Tracing

20
Modern Data Stack
Product Teams
O foco principal não é mais discutir como os
dados serão armazenados e sim como serão
utilizados pelo negócio.

21
Modern Data Stack
Reverse ETL
Os dados que foram agregados no ambiente
de Big Data devem possuir a capacidade de
voltar para os sistemas transacionais e
agregar valor na operação do dia a dia.

22
Modern Data Stack
Reverse ETL

24
Modern Data Stack
Overview
Modern Data Stack

25
Modern Data Stack
Ferramentas
Ingestão de Dados Transformação

26
Modern Data Stack
Ferramentas
Data Warehouse Orquestração

27
Modern Data Stack
Ferramentas
Catalogação de Dados Visualização de Dados

29
Carreiras na Área de Dados
Engenheiro de Dados Cientista de Dados Engenheiro de Análise

30
Carreiras na Área de Dados
Engenheiro de
Machine Learning
Arquiteto de Dados Governança de dados

33
Like, share and comment cicerojmm.medium.com

JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data

Semelhante a JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data (20)

Mais de Cicero Joasyo Mateus de Moura

Mais de Cicero Joasyo Mateus de Moura (12)

JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big Data