1) O documento discute Big Data Clusters no SQL Server 2019, que integra o Apache Spark e HDFS para fornecer uma plataforma de dados unificada capaz de lidar com dados estruturados e não estruturados. 2) Big Data Clusters fornecem flexibilidade para interagir com várias fontes de dados através de virtualização e federação via Polybase, além de criação de pipelines de dados e escalabilidade gerenciada por Kubernetes. 3) Uma demonstração é apresentada utilizando dados de políticos, eleitores e vota

1. Big Data Clusters & MongoDB
Leandro Domingues
Luiz Henrique Garetti

2. New
SQL Server 2019

3. Evolução para Plataforma de Dados

4. Mas antes...

5. Mas antes...
“Big data são dados com maior variedade que chegam em
volumes crescentes e com velocidade cada vez maior”
Gartner

6. Big Data Landscape

7. Hadoop
• Framework Open-source mantido pela Apache.
• Processamento e armazenamento massivo (MPP).
• Escalabilidade, “Desempenho”, Flexibilidade, Baixo Custo.

8. Hadoop - Infra

9. Big Data Landscape
Link Youtube
Doug Cutting

10. Docker e Kubernetes
Docker
• Empacota os binários, códigos, bibliotecas.
• Portavél para outros Hosts.
• Open-Source escrita em GO.
• Configure uma vez e replique N.
• Ótimo para criação de Micro serviços
• Escalável / Diminui tempo de Deploy
Kubernetes
• Orquestração e gerenciamento para Dockers
• Criado pelo Google e cedido para Apache.
• Elimina grande parte do processo manual, para
implantar ou escalar container.

11. Big Data Clusters
SQL Server 2019
Big Data gera mais valor, quando somado a dados do mundo transactional.
Motivação: Processamento e armazenamento massivo,ML,
Analise de dados e escalabilidade.

12. Big Data Clusters - Definições
• Plataforma de dados unificada para abranger dados estruturados e não estruturados.
• BDC Fornece a flexibilidade para interagir com diversas fontes de dados (virtualizados/federados), processando,
armazenando (Hdfs) gerenciando via SQL por meio de um cluster.
• Criação de Pipelines (olhar do Ciêntista de dados).
• SQL Server não é mais somente um SGBD, é uma plataforma de dados escalável.
• O SQL Server 2019 - BDC estende sua plataforma de dados unificada para abranger Big data (SQL e NoSQL)
integrando o Spark e o HDFS em uma central de administração.

13. Big Data Clusters – Virtualização de Dados
• Virtualização / Federação de Dados via engine Polybase.
• PushDown – External Table
• Para Hadoop (HDFS, YARN). Polybase envia a consulta via MapReduce.
• Pipeline ETL (Copiando massas de dados entre ambients).
• Atualizados – Conformidades com GDPR / LGPD.

14. Big Data Clusters - Arquitetura

15. Big Data Clusters - Arquitetura

16. Big Data Clusters – Control Plane
• Principais Serviços (Controller Services):
• Gerenciamento do Cluster
• SQL Server Master
• Hive Metadados
• Kubernetes Master
• Segurança
• Monitoração (Grafana, Kibana)

17. Big Data Clusters – Compute Plane
• Poder de “Computação” Processamento do Cluster.
• Escalabilidade gerenciados pelo Kubernetes

18. Big Data Clusters – Data Plane

19. Big Data Clusters

20. Big Data Clusters

21. Big Data Clusters – Data Pipeline

22. BDC + Você = Valor 

23. <<< Demo >>

24. <<< Estrutura Demo >>
• Dados de Politicos e Partidos
tbl_Partido, tbl_Candidato, tbl_Candidatura
• Dados do Perfil Eleitorado
Collaction eleicoes.eleitorado
• Dados de Votação (simulando log da urna eletronica)
path /LogUrnaHDFS/files.csv
} Querys integrando os três mundos