Event source com Kafka em uma Fintech
•
0 gostou•103 visualizações
Com o advento da computação distribuída via microservices, uma nova abordagem é necessária para lidar com consistência eventual inerente a distribuição. O pattern Event Source é muito adequado para este contexto e Kafka sua realização.
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Event source com Kafka em uma Fintech
Semelhante a Event source com Kafka em uma Fintech (20)
Último
Último (11)
Event source com Kafka em uma Fintech
- 1. Event Source com Kafka em uma Fintech Diego Irismar, moip @diegoicosta
- 2. O Mal-Estar nos Microserviços
- 3. Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...
- 4. processo ‘xyz’ de negócio Microserviços - Processos complexos de negócio se “espalham” por mais de um serviço - Comunicação entre eles via HTTP REST 1 4 2 3 HTTP HTTP HTTP
- 5. processo ‘xyz’ de negócio Microserviços 1 4 2 3 Sucesso total, mas ... Durante o intervalo de execução, o processo ‘xyz’ esteve sempre em um estado consistente ? duração: 600ms
- 7. Microserviços Em uma simples chamada HTTP síncrona … [2] pode gerar lentidão em [1] [2] pode derrubar todo sistema [1] não sabe se [2] funcionou ou não [1] precisa “desfazer” se [2] realmente falhou 1 2
- 8. Síncrono NÃO é ser mais Simples Microserviços
- 9. Microserviços - Autonomia - Coesão - Escalabilidade - Bla bla bla ...
- 10. Microserviços - Não há acesso direto ao modelo de dados - Propositalmente, estão encapsulados - Modelo evolui sem dependências externas - Time decide como ele será e quais tecnologias
- 12. Recapitulando Consistência Eventual Riscos ao ser Síncrono Não Integração de dados
- 15. Eventos ... Sistemas se comunicarem por meio de eventos não é uma novidade (Event-Driven) - O produtor emite um evento que retrata uma mudança em seu estado - Outro sistema captura esse evento, trata, eventualmente muda seu estado e emite outro evento
- 16. Eventos ... Eventos são fatos, representam o passado São por definição Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
- 17. Eventos ... Sem dependência direta entre serviços (async) Consistência eventual Plataforma de Eventos é para onde tudo flue processo ‘xyz’ de negócio 4 2 3 Plataforma de Eventos 1 1 4 2 3
- 19. Eventos Financeiros Mudanças de estado de saldos (balance) - Há sempre um evento atrelado - Um Lançamento Financeiro (entry) - Auditável - Rastreável - Traduzidos para uma visão amigável
- 20. Eventos Eventos são fatos, representam o passado. São por definição Imutáveis - Representam mudanças em entidades de domínio - Contam uma história precisa de todo o ciclo de vida dessas entidades
- 21. Event Sourcing “Event Sourcing happens when we can entirely derive the state of an application by processing the log of Domain Events” Martin Fowler
- 22. Event Sourcing Persistência de cada uma das mudanças sofridas pela entidade que comprove seu estado atual - Log da entidade
- 23. Event Sourcing Log da entidade ? PAY-01:PAYMENT attr_1: 01 attr_2: 02 attr_3: 03 attr_n: 0N PAY-01:PAYMENT_LOG created_at: 01/01 attr_02: 222 attr_03: 333 1 *
- 24. Event Sourcing Não há mutação de estado! event_id pay_id created_at attr_1 attr_2 attr_3 attr_n 0002 PAY-01 02/01/2017 01 02 03 0N 0001 PAY-01 01/01/2017 01 222 333 0N
- 25. Event Sourcing event_id pay_id data 0002 PAY-01 { "payment_id": "PAY-01", "created_at": “02/01/2017, "attr_1": 01, "attr_2": 02, "attr_3": 03, "attr_n": "0N" } 0001 PAY-01 { "payment_id": "PAY-01", "created_at": “01/01/2017, "attr_1": 01, "attr_2": 222, "attr_3": 333, "attr_n": "0N" }
- 26. Event Sourcing yes[] no[x] Banco Relacional yes[] no[x] ORM yes[] no[x] CRUD
- 28. A Resposta Kafka
- 29. Kafka “Event sourcing and Apache Kafka are related. Here’s how – Event sourcing involves maintaining an immutable sequence of events that multiple applications can subscribe to. Kafka is a high-performance, low-latency, scalable and durable log” Neha Narkhede
- 31. Kafka 1 4 2 3
- 32. Restrições: ORM, RDBMS, CRUD - Modelo de Domínio não precisa ORM (DDD) - Alteração em entidades de domínio geram eventos - event sourcing - Eventos vão para o Kafka e nele persistidos - O modelo de escrita != leitura
- 33. Escrita != Leitura - Modelo onde eventos são persistidos não atende as necessidades de leitura - O modelo de Leitura precisa ser especializado para esta função - Uma visão derivada dos eventos
- 34. Martin Kleppmann: turning the database inside out with apache-samza
- 35. Decifrando Várias visões podem ser derivadas processando o stream: Relacional, BI, ElasticSearch, Graph Eventos são a fonte da verdade e fluem pelo Kafka continuamente, um stream
- 36. CQRS (Command Query Responsibility Segregation)
- 37. CQRS “The processing of commands and queries is fundamentally asymmetrical, and scaling the services symmetrically does not make a lot of sense” Greg Young
- 38. CQRS Padrão ao se construir nova app: 1. Criar modelo Relacional 2. Mapear modelo Relacional (ORM) 3. Implementar DAO - Repository 4. Fazer o resto …
- 39. CQRS problema: A Realidade - novas necessidades de clientes - aumento exponencial de volume “Otimizações”
- 40. CQRS Abordagem para uma nova app muda - Modelo de domínio (de verdade) - A leitura é outro modelo - Até mesmo outra app - Outra tecnologia
- 41. - Kafka é o log de eventos: durável, resiliente,escalável (event source) - Única maneira de acesso é consumindo streams (stream processing) - Microserviço é invocado (event-driven) - Cria-se visões especializadas (cqrs) CQRS EventSource EventDriven StreamProcessing Kafka
- 42. Kafka Event Streams Event Processing Event-Driven Event Source CQRS
- 43. Tudo isso e o Moip CQRS EventSource EventDriven StreamProcessing Kafka
- 44. Moip - Contabilidade - Atualização de Saldos em sistema legado
- 46. Moip - Beckenbauer Todos Lançamentos Financeiros passam pelo Kafka Dados Transacionais Não
- 47. Kafka Connect “Kafka Connect é uma ferramenta para, de forma escalável e confiável, fazer streaming de dados entre o Kafka e outros sistemas” confluent inc
- 48. confluent inc blog :hello world kafka connect kafka streams
- 49. base (mysql) transacional connect mysql Microserviço Financeiro (Stream Process) Contabilidade tem todo input para acontecer
- 50. Beckenbauer - Stream Process - Joins Dados Transacionais Dados Financeiros Movimento Algo comum com stream process: - junção de 2 streams gerando um terceiro stream
- 51. Beckenbauer - Stream Process - Há várias possibilidades - Kafka Streams
- 52. KStreamBuilder builder = new KStreamBuilder(); KStream<String, Authorization> authStream = builder.stream(Serdes.String(), authSerde, TOPIC_AUTHORIZATIONS); builder .stream(Serdes.String(), entrySerde, TOPIC_FIN_ENTRIES) .filter(isAuthorization()) .map(reindexKey()) .join(authStream, joinNormalize(), JoinWindows.of(JOIN_WINDOW_TIME), Serdes.String(), entrySerde, authSerde) .to(Serdes.String(), movementSerde, TOPIC_MOVEMENTS);
- 53. Resultado do Join (movement) é o input da aplicação das regras contábeis Movimento regras contábeis Registro Contábil Beckenbauer - Stream Process
- 54. KStreamBuilder builder= new KStreamBuilder(); builder .stream(Serdes.String(), movementSerde,TOPIC_MOVEMENTS) .transform(() -> new MovementTransformer()) .to(Serdes.String(), bookingSerde, TOPIC_BOOKINGS);
- 55. Sync de Saldo em Sistema Legado Financial Balance (mysql) Classic Moip (mysql) connect mysql (source) normalizador connect mysql (sinky)
- 57. KStreamBuilder builder= new KStreamBuilder(); builder .stream(keySerde, debeziumDeserializer, BALANCE_db.getTopic()) .transform(() -> balanceTransformer) .to(keySerde, balanceSerde, BALANCE_FINANCIAL.getTopic());
- 59. Futuro Se aprofundar mais nessa abordagem - Não fazer “dual writes” - Menos connect de “source” - CQRS Elastic Search, etc - Stream process stateful - Melhorar infra e operação - Contribuir mais com comunidade
- 60. Kafka + - Replication Factory - Partition number - Log compaction / Log Retention - Consumer Offsets - Zookeeper - Stateful Stream Process
- 61. Rodrigo Montanha Gabriel Queiroz Lucas França William Souza Allan Pires Guilherme Sipoloni time moip
- 62. Pessoas-Chave Gwen Shapira @gwenshap Neha Narkhede @nehanarkhede Jay Kreps @jaykreps Martin Kleppmann @martinkl Eno Thereska @enothereska Greg Young http://goodenoughsoftware.net/
- 64. Perguntas Diego Irismar - @diegoicosta - github.com/diegoicosta - linkedin.com/in/diegoicosta