O documento apresenta o currículo acadêmico e profissional do palestrante Eliézer Zarpelão, com ênfase em sistemas de informação e engenharia de software. A palestra descreve o Apache NiFi, uma plataforma open-source para gestão de fluxos de dados, explicando seus principais componentes como processadores, conexões e process groups. O NiFi permite monitorar e orquestrar a movimentação de dados de forma escalável e segura.

1. Eliézer Zarpelão
Digerindo dados com
Apache NiFi

2. 2
Objetivo

3. Currículo Acadêmico
✘ Técnico
○ Informática
■ ênfase em Sistemas de Informação
✘ 2003-2005
3

4. Currículo Acadêmico
✘ Graduação
✘ Sistemas de Informação
✘ 2007-2012
4

5. Currículo Acadêmico
✘ Especialização
✘ Engenharia de Software
✘ 2014
5

6. Currículo Profissional
✘ Desenvolvimento Web desde 2005
✘ Arquiteto de Soluções - ZarpSystem
✘ Analista de Sistemas - FEM - Unicamp
✘ Docente/Coordenador de Curso – IESCAMP
✘ Docente - UNAERP
6

7. Data Flow
O que são? Onde vivem? O que comem?
7

8. Dataflow
Mover conteúdo de “A” para “B”
Logs, HTTP, XML, CSV, Imagens,
Vídeos, etc e etc
8

9. Suave… #SQN
Logs
SQL
Maroto
Big Data
9

10. 10

11. Desafios
Dados
Padrões
Formatos
Protocolos
Veracidade
Validade
Schemas
Particionamento
Infraestrutura
Entrega “Exactly Once”
Segurança
Gestão de acesso
Rede
Pessoas
Compliance
Pessoa / Time / Grupo
Mudança nos consumidores
Alterações de requisitos
Entrega “Exactly Once”
11

12. ““Provides a way to prioritize data
flows more effectively and get rid
of artificial delays in identifying
and transmitting critical
information”
Joseph L. Witt
12

13. 13

14. 14
Apache NiFi
✘ Plataforma open-source para construção e gestão de fluxos de
dados
✘ Escalável, segura e tolerante a falhas
✘ Interface Web e API para gestão e monitoramento dos fluxos
✘ Fluxos de dados podem ser alterados em tempo de execução

15. Flow File
HTTP Header
HTTP Payload
✘ Objeto que se move através do fluxo
✘ Coração do NiFi
✘ Atributos (chave/valor)
✘ Apontador para conteúdo
15

16. Processor
✘ Executa um trabalho
✘ Roteamento, transformação...
✘ Mais de 200 componentes...
16

17. Processors
e mais...
17

18. Connections
✘ Conexão entre Processors
✘ Atua como fila
18

19. Visão interna do Process Group Visão externa do Process Group
Process Group
✘ Conjunto de processors e
connections
✘ Envia e recebe dados via
portas
19

20. Conexão com
Banco de
Dados
Gestão de
Cache
(REDIS)
Credenciais
Cloud
ContextMap
HTTP
(API) ...
Controller Service
✘ Recursos compartilhados no fluxo
20

21. Operadores: rastreamento, ciclo de vida
Governança: Auditoria
Negócio: Fontes de valor, Valores de investimento
Data Provenance
✘ Caminho percorrido pelo FlowFile
21

22. Flow Controller
✘ Orquestra como os processos se conectam e gerencia todas
alocações que os processos usam.
✘ Atua como broker facilitando a troca de FlowFiles entre os
Processors
22

23. Arquitetura
23

24. Arquitetura - Cluster
24

25. Garantia de
Entrega
Back Pressure
Priorização
de filas
Templates de
fluxos
Data
Provenance
Extensibilidade Escalabilidade Segurança
Funcionalidades
25

26. Bucket
Flow
1
N
NiFi Registry
26

27. 27

28. Aprenda mais
Site Oficial: https://nifi.apache.org/
Idéias e sugestões: https://issues.apache.org/jira/browse/nifi
Twitter: @apachenifi
Telegram: https://t.me/nifibrasil
28

29. Obrigado!
Perguntas?
https://github.com/elizarp/nifi-unaerp
29

30. Contato
✘ ezarpelao@unaerp.br / eliezer.zarpelao@gmail.com
✘ https://www.linkedin.com/in/eliezerzarpelao/
✘ http://eliezerzarpelao.eti.br
✘ @eliezerzarpelao (Twitter/Instagram)
✘ http://podcast.zarp.tech/
30

31. Credits
Special thanks to all the people who made and released
these awesome resources for free:
✘ Presentation template by SlidesCarnival
✘ Photographs by Unsplash
31