O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Arquitetura e Processamento de Dados em Tempo Real.

124 visualizações

Publicada em

Nessa palestra iremos explorar a arquitetura de Big Data e experiência no uso do Azure Event hub, e processar dados em tempo real no Data Lake com Azure Stream Analytics que é um mecanismo de processamento de eventos que permite examinar grandes volumes de fluxo de dados de dispositivos e para finalizar criaremos um dashboard no Power BI Service.

Publicada em: Dados e análise
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Arquitetura e Processamento de Dados em Tempo Real.

  1. 1. ARQUITETURA E PROCESSAMENTO DE DADOS EM TEMPO REAL
  2. 2. SOBRE MIM Paulo Ricardo Santos Pós-Graduado Business intelligence pauloricardodba@gmail.com Linkedin: pauloricardovds
  3. 3. AGENDA  Data Lake x Data Warehouse  Arquitetura de Business Intelligence  Introdução ao Big Data  Arquitetura Big Data - Lambda  Demo
  4. 4. DEFINIÇÃO DE DATA LAKE “If you think of a datamart as a store of bottled water – cleansed and packaged and structured for easy consumption – the data lake is a large body of water in a more natural state. The contents of the data lake stream in from a source to fill the lake, and various users of the lake can come to examine, dive in, or take samples.” Segundo Tamara Dull: Um Data Lake é um repositório de armazenamento que contém uma grande quantidade de dados brutos em seu formato nativo, incluindo dados estruturados, semi-estruturados e não estruturados. A estrutura e os requisitos de dados não são definidos até que os dados sejam necessários.
  5. 5. PRINCIPAIS DIFERENÇAS ENTRE UM DW E O DATA LAKE
  6. 6. ARQUITETURA DE BI
  7. 7. NÃO CUSTA NADA LEMBRAR? Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia dia. Mas o importante não é a quantidade de dados, e sim o que as empresas fazem com os dados que realmente importam.
  8. 8. BIG DATA 3 V’S Velocidade VolumeVariedade
  9. 9. ARQUITETURA LAMBDA Nathan Marz Engenheiro em Twitter Criador do projeto open-source: Storm and Cascalog
  10. 10. ARQUITETURA LAMBDA Batch layer Master dataset New Data ? Query ? Query? Query Speed layer Real-time view Real-time view Serving layer Batch view Batch view
  11. 11. DEMO
  12. 12. OBRIGADO! Paulo Ricardo Santos pauloricardodba@gmail.com Linkedin: pauloricardovds Blog: medium.com/@pauloricardovds

×