Apache Kafka é uma plataforma distribuída de streaming de eventos que permite publicar e assinar streams de mensagens de maneira durável e tolerante a falhas. Ele é usado no iti para mensageria entre microserviços e integração com sistemas corporativos. Alguns benefícios incluem desempenho para armazenar grandes volumes de dados e flexibilidade para lidar com dados históricos e futuros.

1. conhecendo
Apache Kafka
Rafa Noronha, DevX | Marte | iti
Normandes Junior, DevX | Marte | Zup Innovation

2. #vemproiti
estamos contratando!

3. agenda
o apresentar a tecnologia
o seus muitos conceitos fundamentais
o compartilhar como usamos no iti
o alguns takeaways

4. alguns fatos sobre Apache Kafka

5. como Apache Kafka surgiu?

6. “nossa arquitetura não comtemplava
algo para lidar com o fluxo contínuo dos dados”
— Jay Kreps, former LinkedIn lead architect

7. hoje dezenas de milhares de organizações
usam Apache Kafka

8. incluindo mais de um terço das Fortune 500

11. três típicos casos de uso de Apache Kafka

12. cenário 1
activity tracking

16. cenário 2
mensageria

17. cenário 3
pipelines de dados
(transacionais e/ou telemetria)

19. stream processing
é mais um cenário típico

20. stream processing?

21. “event streams”
conjuntos de eventos, ou fluxos de eventos,
sem fim determinado

22. fluxos de eventos podem representar
qualquer atividade de negócio que nos interesse

23. “stream processing”
-> processar fluxos de eventos
-> transformar eventos de entrada em eventos de saída

24. alguns conceitos fundamentais do Apache Kafka

25. distributed event streaming platform
[pt-BR] plataforma distribuída de streaming de eventos

26. três principais capacidades
oferecidas pelo Apache Kafka

27. publicar e inscrever-se em streams de mensagens
(similar a outras ferramentas de mensageria)

28. armazenar streams de mensagens,
de maneira durável e tolerante a falhas

29. processar streams de mensagens sob demanda

30. três propriedades do Apache Kafka

31. roda como um cluster de
uma ou mais instâncias,
que podem abranger
múltiplos datacenters

32. um cluster Kafka armazena streams de mensagens
em categorias que chamamos de tópicos

33. mensagens possuem chave, valor e timestamp

34. quatro core APIs
do Apache Kafka

35. Producer API
permite que uma aplicação produza mensagens
em um ou mais tópicos

36. Consumer API
permite que uma aplicação inscreva-se em n tópicos
e processe o stream de mensagens produzido ali

37. Stream API
permite a uma aplicação agir como um stream processor,
transformando streams de entrada em streams de saída

38. Stream API
indicado para cenários de transformações mais complexas
que aquelas atendidas pelas Producer e Consumer APIs

39. Connector API
permite construir e reusar produtores e consumidores
que conectam tópicos a aplicações ou bases de dados
pré-existentes

40. Connector API
por exemplo, um conector que exporta mensagens
do Kafka para um s3 para fins de backup

41. Tópicos e Logs

42. um tópico é como uma categoria,
como o nome de um feed

43. mensagens produzidas sempre são destinadas
a um tópico

44. tópicos podem possuir n consumidores
(zero a muitos)

46. tópicos são mantidos como logs particionados

47. logs particionados são conjuntos de mensagens
sem fim pré-determinado
(mais mensagens podem ser adicionadas)

48. mensagens em um log particionado
são ordenadas e imutáveis

49. toda mensagem pertence a uma partição

50. toda mensagem possui um offset
(um identificador numérico que indica
a posição da mensagem em sua partição)

52. toda mensagem produzida é retida pelo cluster,
tendo ela sido consumida ou não

53. o período de retenção de uma mensagem
pode ser configurado por tópico

54. partições permitem escalar horizontalmente
o armazenamento de um log

55. partições também funcionam como
unidade de paralelismo

56. o consumo de um tópico sempre é arranjado
em grupos de consumidores

57. cada grupo de consumidores
possui offsets independentes para o consumo
das partições de um tópico

58. um grupo de consumidores pode ter
uma quantidade de consumidores não ociosos
menor ou igual ao número de partições do tópico

60. quantas e quais partições cada consumidor recebe
é definido dinamicamente pelo protocolo do Kafka

61. Réplicas

62. para fins de tolerância a falha,
cada partição é replicada
para número configurável de servidores

63. cada partição possui um servidor “leader”
e zero ou mais servidores “followers”

65. garantias oferecidas pelo Apache Kafka

66. mensagens produzidas serão escritas
conforme sua ordem de envio

67. um consumidor enxerga as mensagens
conforme sua ordem de armazenamento no log

68. para um tópico com fator de replicação N,
são toleradas até N-1 falhas de servidor,
sem perder mensagens “commitadas” ao log

69. como Apache Kafka é usado atualmente no iti?

70. em cenários de mensageria

71. orquestração de microserviços:
no processamento de transações,
como a efetivação de um pagamento de conta

72. integração dos microserviços do iti
a sistemas corporativos do Itaú

73. alguns key takeaways

74. Apache Kafka é um ótimo storage system
otimizado para
high-performance,
low-latency commit log storage,
replication,
and propagation

75. Apache Kafka vai desempenhar da mesma maneira,
seja retendo 50 KB, seja retendo 50TB

76. para prover flexibilidade,
Apache Kafka possui uma grande superfície de configuração

77. combinar mensageria, storage e stream processing
é o que posiciona muito bem o Apache Kafka
como uma plataforma de streaming

78. traz a possibilidade de
lidar com dados históricos e futuros
com a mesma abordagem

79. traz a possibilidade de
integrar todo tipo de sistema e workload,
incluindo pipelines de dados,
aplicações off-line ou com janelas estendidas de
manutenção

80. e muito mais

82. referências
o kafka.apache.org/intro
o confluent.io/apache-kafka-stream-processing-book-bundle/
o training.confluent.io/schedule

83. Obrigado!
#fazumiti