O documento discute arquiteturas de streaming e clusters de big data. Ele explica porque o streaming de dados é importante, apresenta o Apache Kafka como uma plataforma de streaming e discute as arquiteturas Lambda e Kappa. Também descreve os Clusters de Big Data do SQL Server 2019 como uma plataforma unificada para dados estruturados e não estruturados que integra fontes de dados e fornece ferramentas como Spark e HDFS.

1. Streaming Architecture
with Big Data Clusters
Luiz Henrique Garetti

2. https://www.dataisbig.com.brhttps://www.Imasters.com.br
sys.stdout.write (”Garetti”)
@luizhrosario @luizhenriquegaretti
https://github.com/luizhgaretti
Data Architect
luizh.rosario@gmail.com

4. Data Streaming

5. Poque precisamos
de Streaming de
Dados?
https://mapr.com/ebooks/streaming-architecture/chapter-01-why-event-streaming.html
Alguns insights são mais valiosos logo após a ocorrência do valor diminuir muito rapidamente com o
tempo
Novas arquiteturas permitem criar sistemas flexíveis que não são apenas mais eficientes e fáceis de
construir, mas também modelam melhor a maneira como os processos de negócios ocorrem

6. Data Streaming

7. Data Streaming

8. https://www.youtube.com/watch?v=06iRM1Ghr1k https://www.youtube.com/watch?v=G6Tcy7hNdA8
Apache Kafka
https://kafka.apache.org/
Plataforma distribuída de transmissão de dados que é capaz de publicar, subscrever, armazenar e processar fluxos de registro
em tempo rea

9. Arquitetura Lambda
https://docs.microsoft.com/pt-br/azure/architecture/data-guide/big-data/
Proposta por Nathan Marz
• Camada de lote (frio) armazena todos os dados de entrada em sua forma bruta e executa o processamento em lotes.
• Camada de velocidade (quente) analisa os dados em tempo real. Baixa latência
Uma desvantagem é sua complexidade. A lógica de processamento aparece em dois lugares diferentes.

10. Arquitetura Kappa
https://docs.microsoft.com/pt-br/azure/architecture/data-guide/big-data/
Proposta por Jay Kreps
• Tem as mesmas metas básicas que a arquitetura Lambda, mas com uma diferença importante: Todos os fluxos de dados passam
por um único caminho, usando um sistema de processamento de fluxo.

11. Big Data Clusters
SQL Server 2019

12. BDC é:
• Plataforma de dados unificada para abranger dados estruturados e não estruturados, integrando várias
fontes de dados em uma arquitetura robusta e escalável.
• A flexibilidade para interagir com diversas fontes de dados (virtualizados/federados), processando e
armazenando.
Fornece:
• Spark, HDFS e Notebooks
É aplicável para:
• Criação de Pipelines (olhar do Ciêntista de dados).
• Ambiente de dados para IA, ML
• Processamento escalável (contêineres) com T-SQL ou Spark (PySpark)
https://docs.microsoft.com/en-us/sql/big-data-cluster/big-data-cluster-overview?view=sql-server-ver15
• Data Lake (aplicável para todas as camadas) Leia mais aqui

13. Arquitetura BDC

14. Arquitetura BDC

15. Master
Compute
Data
Pool
Data
Pool
Storage
Pool
Storage
Pool
SQL Server
Shared
HDFS
Control Plane
Compute Plane
Data Plane
ComputeCompute
Data
Pool
Arquitetura BDC

16. Pipeline de Dados

17. Producer Data Shared
Processamento Paralelo
Score
Twittes
VirtualizaçãodeDados
Topics
Producer
Processamento

18. DEMO


19. Conteúdo sobre Big Data Clusters
https://www.dataisbig.com.br
Tks... Vlw Flw :)
@luizhrosario @luizhenriquegaretti
https://github.com/luizhgaretti
luizh.rosario@gmail.com
Dúvidas?
Streaming
https://mapr.com/ebooks/streaming-architecture/chapter-01-why-event-streaming.html
https://medium.com/stream-processing/what-is-stream-processing-1eadfca11b97
https://docs.microsoft.com/pt-br/azure/architecture/data-guide/big-data/
https://www.talend.com/blog/2017/08/28/lambda-kappa-real-time-big-data-architectures/
https://www.confluent.io/learn/data-streaming/

20. Thank you