Palestra sobre Big Data na prática utilizando NiFi, ElasticSeach e S3

1. Big Data na Prática
como construir um Data Lake
para análise de dados
SECITEC
CAMPUS GOIÂNIA

2. 2
Engenheiro de Dados;
Pós-graduado em Big Data e
Machine Learning, Bacharel em
Sistemas de Informação.
Palestrante em IoT e Big Data.
Cícero Moura

3. 3
www.datatrain.com.br

4. Áreas de Data
Science
Agenda
Big Data e IA1 4 Projeto Prático
5 Ferramentas2
3 6Ecossistema de
Big Data Hands-on
4

5. Big Data e IA
5

6. Big Data
6https://researchleap.com/vision-a-missing-key-dimension-in-the-5v-big-data-framework/

7. Big Data e IA
7

8. Data Science
8https://www.ambientelivre.com.br/consultoria/bigdata.html

9. Ecossistema de Big Data
9

10. Algumas das principais
10
Armazenamento
e Streaming
Pipeline de Dados Visualização de
Dados
Criação de
Modelos de ML

11. Data Lake
11https://subscription.packtpub.com/book/big_data_and_business_intelligence/9781787281349/5/ch05lvl1sec42/context-in-data-lake-data-acquisition

12. Na Prática
12

13. Ferramentas
13
● Apache NiFi;
● ElasticSearch;
● Kibana;
● AWS S3;
● Docker e Docker Compose.

14. Apache NiFi
14
● Open Source;
● Criação de pipeline de dados;
● Orquestração, monitoramento e linhagem dos dados;
● Interface Web e Drag and drop;

15. NiFi - Conceitos
15
● FlowFiles;
● Processor;
● Group Processors;
● Queues;
● Connections;

16. NiFi - Interface Web
16

17. ElasticSearch
17
● Open-Source.
● Ferramenta voltado para pesquisa textual;
● Escalável e Tolerante a falhas.
● Baseado em API RESTful.
● Suporta diversos formatos de arquivos.

18. ElasticSearch - Conceitos
18

19. Kibana
19
● Open-Source.
● Ferramenta para visualização de dados;
● Integração nativa com ElasticSearch;
● Dashboards e painéis em tempo real;

20. Kibana - Interface Web
20

21. Amazon S3
21
● Ferramenta Proprietária da AWS;
● Armazenamento de arquivos;
● Suporta diversos formatos;
● Ideal para datalakes;
● Possui integração com muitas ferramentas;

22. Amazon S3 - Conceitos
22
● Bucket;
● Folder;
● Region Server;

23. Docker e Docker Compose
23
● Docker:
○ Como se fossem “máquinas virtuais”;
○ Containers de aplicações.
● Docker Compose:
○ Orquestador de Containers do Docker;
○ Stack de containers do Docker.

24. Arquitetura do Projeto
24
API Rest
Yahoo
Finances

25. Hands-on
25

26. Link do repositório
26
https://github.com/cicerojmm/palestraBigDataNaPratica

27. Obrigado!
/in/cicero-moura
@cicerojmm
linktr.ee/cicerojmm