O NiFi é um software para automatizar e gerenciar o fluxo de dados entre sistemas. Foi criado pela NSA e seu código foi aberto à comunidade open-source em 2014. Link do YouTube: https://www.youtube.com/watch?v=XKf6jRqDRKQ

1. Apache NiFiAutomatizando Fluxos de Dados

2. Arquiteto de Software
Professor Universitário
Olá!
Eliézer Zarpelão
@eliezerzarpelao
https://www.linkedin.com/in/eliezerzarpelao
https://github.com/elizarp
eliezer@zarpsystem.com.br

3. O que é um
dataflow?
Mover conteúdo de “A” para “B”
Logs, HTTP, XML, CSV, Imagens, Vídeos, etc e etc

4. Logs
Tranquilo….
SQL
maroto BIG DATA

6. Dados
Padrões
Formatos
Protocolos
Veracidade
Validade
Schemas
Particionamento
Entrega “Exactly Once”
Segurança
Gestão de acesso
Rede
Infraestrutura
Desafios
Compliance
Pessoa / Time / Grupo
Mudança nos consumidores
Alterações de requisitos
Entrega “Exactly Once”
Pessoas

7. ““Provides a way to
prioritize data flows
more effectively and get
rid of artificial delays in
identifying and
transmitting critical
information”
Joseph L. Witt

8. Apache NiFi
Interface Web e API para gestão e monitoramento dos fluxos
Plataforma open-source para construção e gestão de fluxos de dados
Escalável, segura e tolerante a falhas
Fluxos de dados podem ser alterados em tempo de execução

9. Flow File
Objeto que se move através do fluxo
Coração do NiFi
Atributos (chave/valor)
Apontador para conteúdo
HTTP Header HTTP Payload

10. Processor
Executa um trabalho
Roteamento, transformação...
+ de 200 componentes...

11. Processors
e mais...

12. Connection
Conexão entre Processors
Atua como fila

13. Process Group
Conjunto de processors e connections
Envia e recebe dados via portas
Visão interna do Process Group Visão externa do Process Group

14. Controller Service
Recursos compartilhados no fluxo
Conexão com
Banco de Dados
Gestão de
Cache
(REDIS)
Credenciais
Cloud
ContextMap
HTTP
(API) ...

15. Data Provenance
Caminho percorrido pelo FlowFile
Operadores: rastreamento, ciclo de vida
Governança: Auditoria
Negócio: Fontes de valor, Valores de investimento

16. Flow Controller
Orquestra como os processos se conectam e gerencia todas alocações que os processos usam.
Atua como broker facilitando a troca de FlowFiles entre os Processors

17. Arquitetura

18. Arquitetura - Cluster

19. Funcionalidades
Garantia de
Entrega
Back Pressure
Priorização
de filas
Templates de
fluxos
Data Provenance Extensibilidade Escalabilidade Segurança

20. NiFi Registry
Bucket
Flow
1
N

22. Aprenda mais
Site Oficial:
https://nifi.apache.org/
Idéias e sugestões:
https://issues.apache.org/jira/browse/nifi
Twitter
@apachenifi

23. Obrigado!
Meus contatos:
@eliezerzarpelao
https://www.linkedin.com/in/eliezerzarpelao
https://github.com/elizarp
eliezer@zarpsystem.com.br
Perguntas?
Agradecimento especial ao Rodolfo Dias e também ao colaboradores
da ZARP que ajudaram na preparação desse material