Este documento discute processamento e análise de dados em tempo real usando Python, Kafka e ElasticSearch. Ele explica conceitos como processamento por lote e streaming, data lake, Apache Kafka e ElasticSearch. O documento também apresenta casos de uso e um ambiente com Docker para demonstrar como integrar essas ferramentas em uma arquitetura de big data.

1. Processamento e Análise de
Dados em Tempo Real com
Python, Kafka e
ElasticSearch

2. Cícero Moura
Desenvolvedor Full Stack na Máxima
Tech, Pós-Graduando em IoT, Big Data
e Machine Learning. Entusiasta de
Tecnologia Assistiva.

3. Sobre o que vamos conversar?
● O que é Big Data?
● Alguns Conceitos;
● Arquiteturas de Big Data;
● Python;
● Apache Kafka;
● ElasticSeach;
● Análise de Dados em “Tempo Real”.

4. Big Data?

5. Big Opportunities

6. Grandes Oportunidades
● Marketing Digital;
● Monitoramento de Marcas;
● Prevenção de tragédias;
● Prevenção de doenças;
● Outras sendo criadas.

7. Conceitos

8. Processamento e Análise de Dados

9. Processamento por Batch

10. Processamento por Streaming

11. Data Lake

12. E como fazer tudo isso?

14. Ferramentas

15. Plataformas

16. Plataforma Google Cloud

17. Arquiteturas

18. Lambda

19. Kappa

20. Cases

21. Pagamentos Nubank

22. Pipeline Netflix

23. Pipeline com Microserviços

24. Hands-on

25. Ferramentas

26. Apache Kafka: Conceitos
● Topics e partitions;
● Brokes;
● Producers;
● Consumers;
● Zookeper;
● Kafka Connectors.

27. Apache Kafka: Conceitos

28. ElasticSearch
● Full text search;
● Ferramenta de buscas opensource;
● Escável e tolerante a falhas;
● Possui API’s;
● Banco no formato JSON.

29. ElasticSearch: Conceitos

30. ElasticSearch: Conceitos
● Cluster;
● Réplicas.

31. Show me the code!

32. Ambiente com Docker e Docker Compose

33. Cluster Elastic Search + Cerebro

34. Kafka + Connector + Connector UI

35. Kafka Connector

36. Jupyter Notebook

37. Código Completo da Talk
https://bit.ly/2VSW06W

38. Obrigado!
/cicerojmm
/in/cicero-moura
/cicerojmm
/cicerojmm