O documento discute conceitos e ferramentas de big data como processamento por lotes versus processamento em tempo real, arquiteturas lambda e kappa, Apache Kafka, Elasticsearch e PySpark. Inclui exemplos de análise de dados em tempo real.

1. e de em
com , e

2. MáximaTech
Big
Data IA
Professor
Deep
Learning
Gêmeos

3. www.datatrain.com.br

4. ○ Processamento e Análise de Dados;
○ Arquiteturas de Big Data;
○ Apache Kafka;
○ Elasticsearch;
○ PySpark;
○ Exemplo de Análise de Dados em
“Tempo Real”.
4

5. 5

6. 6

7. 7https://medium.com/@gowthamy/big-data-battle-batch-processing-vs-stream-processing-5d94600d8103

8. 8https://medium.com/@gowthamy/big-data-battle-batch-processing-vs-stream-processing-5d94600d8103

9. 9

10. 10

11. 11
Ingestão Armazenamento Visualização

12. 12

13. 13

14. 14https://www.irisidea.com/lambda-architecture-big-data-processing/

15. 15https://www.talend.com/blog/2017/08/28/lambda-kappa-real-time-big-data-architectures/

16. 16

17. 17
https://pt.slideshare.net/LuizAlbertoHespanha/autorizao-de-transaes-no-nubank

18. 18
https://www.slideshare.net/wangxia5/netflix-kafka

19. 19

20. 20

21. ●Topics e partitions;
●Brokes;
●Producers;
●Consumers;
●Zookeper;
●Kafka Connectors.
21

22. ●Full text search.
●Open-Source.
●Escalável.
●Tolerante a falhas.
●Baseado em API RESTful.
●Suporta diversos formatos
de arquivos.
22

23. ● API Python para Spark.
● Motor de análise para grandes volumes de dados.
● SQL, Streaming, Data Frames, Grafos.
● Machine Learning.
23

24. 24
Connect
Manager
Gerenciamento
Pipeline

25. 25

26. 26

27. 27

28. 28

29. 29

30. 30

31. 31

32. 32

33. cicerojmm
/in/cicero-moura
@cicerojmm
cicerojmm
Cícero Moura Otávio Calaça
otaviocx
/in/otaviocx
@otaviocx
otaviocx