Armazenar, catalogar e processar grandes quantidades de dados exigem novas ferramentas e novos processos. Nesta apresentação, mostraremos o conceito (e a prática) de como realizar estas ações de maneira moderna, modular e escalável, utilizando um Data Lake e a Arquitetura Lambda.

1. Data Lake &
Arquitetura Lambda
Felipe Pereira

2. www.linkedin.com/in/pereira-felipe/
● Pai, Theo
● Cientista de Dados, Daitan
● Fundador, campData

5. Arquitetura
Lambda

7. Arquitetura
Lambda
Batch
Big Data Histórico Raw Data
Real Time
Monitoramento Real Time

8. Serving Layer

9. Data Lake &
Arquitetura Lambda &
AWS

10. Aviso: Arquitetura Lambda ≠ AWS Lambda

11. Na AWS
Data Lake
● Armazenamento: S3
● Metadata: Glue
Lambda
● Processamento: Kinesis,
Kafka, Spark, etc
Serving
● Data Warehouse: Redshift
● Machine Learning:
Sagemaker
● Analytics: Quicksight, Elastic
● Ad-Hoc: Athena, Redshift
Spectrum, Presto, etc

12. Na AWS
Data Lake
● Armazenamento: S3
● Metadata: Glue
Lambda
● Processamento: Kinesis,
Kafka, Spark, etc
Serving
● Data Warehouse: Redshift
● Machine Learning:
Sagemaker
● Analytics: Quicksight, Elastic
● Ad-Hoc: Athena, Redshift
Spectrum, Presto, etc

13. It's demo time!

14. Obrigado Sr Musk!

15. Resumo
Lambda
Kinesis Firehose:
● Origem
● Transformação Batch
● Destino
Kinesis Analytics:
● Origem
● Analytics Real Time
● Destino
Data Lake
● Armazenamento: S3
● Particionamento: Kinesis
● Metadados: Glue
Consumo
SQL: Athena

16. Obrigado!