O documento apresenta a arquitetura Lambda para processamento de Big Data. A arquitetura consiste em três camadas (batch, speed e serving) que processam dados em lote e em tempo real para geração de visualizações. A arquitetura foi criada por Nathan Marz para lidar com grandes volumes de dados estruturados e não estruturados.

1. ARQUITETURA
LAMBDA

2. AGENDA
• Big Data
• Algumas aplicações
• Arquitetura Lambda
• Ferramentas

3. SOBRE MIM
Paulo Ricardo Santos
Data Architect - Solutions One
pauloricardodba@gmail.com
Linkedin: pauloricardovds
https://medium.com/@pauloricardovds

4. O QUE SIGNIFICA BIG DATA ?
Big Data é o termo que descreve o imenso volume de
dados – estruturados e não estruturados – que impactam
os negócios no dia a dia. Mas o importante não é a
quantidade de dados, e sim o que as empresas fazem com
os dados que realmente importam.

5. BIG DATA 3 V’S

6. MONITORAMENTO
DE TRÁFEGO DE
AUTOMÓVEIS
ENTRADA BASEADA EM SENSORES.

7. APLICAÇÕES DE SMART GRIDS

8. ARQUITETURA LAMBDA
Nathan Marz
Engenheiro em Twitter
Criador do projeto open-source: Storm
and Cascalog

9. ARQUITETURA LAMBDA
Batch layer
Master dataset
New
Data
?
Query
?
Query?
Query
Speed layer
Real-time
view
Real-time
view
Serving layer
Batch
view
Batch
view

10. ARQUITETURA LAMBDA
Batch
view
Batch
view
Serving layer
New data
Batch layer
Master dataset
?
Query
?
Query
?
Query
Speed layer
Real-time
view
Real-time
view

11. OBRIGADO!
Paulo Ricardo Santos
pauloricardodba@gmail.com
Linkedin: pauloricardovds
https://medium.com/@pauloricardovds