Material utilizado no evento Kafka MeetUp no dia 29/9/2021 sobre a adoção da tecnologia no negócio endereçando o tema de interoperabilidade, desempenho no processamento e transformação dos dados através do uso do Kafka.
2. Apresentação
Case Sulamerica
● Arquitetura orientada a eventos
● Case para integração de dados clínicos
● Kafka e Confluent Cloud
● O que não fazer?
● O que fazer?
● Resultados
● Recursos
3. 01 Sulamérica - Seguro Saúde
● Segunda maior seguradora de Saúde e maior independente
(até 2020),
● Fundada em 1895,
● Atuação no Brasil todo,
● Em constante crescimento,
● Aposta na inovação ampla para se manter competitiva,
4. 02 Arquitectura Orientada a Eventos
■ Permitir que eventos de negócios
sejam publicados e consumidos em
tempo real.
■ Permitir a tomada de decisão em
tempo real ou próxima do tempo
real.
■ Agilizar respostas e melhorar
experiência com clientes.
■ Permitir que cada aplicação possa
evoluir de forma independente sem
afetar outras aplicações.
■ Não ter integrações ponto a ponto.
Separação de domínios de negócio
Kafka
Cluster
Criar Eventos
com Apps
Ler e processar
streams de
Eventos
ksqkDB
criar, processar e
consultar streams e
tabelas
Importar dados como
Streams de eventos com
Conectores
Exportar dados como
Streams de eventos com
Conectores
Armazenamento
elástico e escalável
push
pull
5. 03 Integração de dados clínicos
Interoperabilidade
● Interoperabilidade: A capacidade de dois ou mais sistemas ou
componentes intercambiarem informações e de usar de maneira
previsível as informações que foram intercambiadas.
HL7 Brasil
● Escolha de padrão HL7 FHIR
○ recursos para representar dados clínicos,
https://hl7.org/FHIR/
https://hl7.org.br/
○ eventos como recursos FHIR com referências,
● Dados do legado
○ Conectores Kafka
● Dados dos parceiros
○ Ferramenta de integração própria (mapeamento FHIR)
6. 04 Kafka & Confluent Cloud
Orientação a eventos
● Uso de outras ferramentas de eventos
○ Apache ActiveMQ
○ Red Hat Fuse (Apache Camel e Apache ActiveMQ)
○ Google Pub/Sub
● Kafka -> sem experiência previa,
● Amazon Kinesis, Amazon MSK,
○ problemas (nossos) de licenciamento
● Confluent Cloud: Kafka gerenciado no GCP
○ Meetup da TechRom -> primeiro contato
7. 05 Orientação a Eventos - O que conseguimos
● projeto de 1 ano -> eventos de dados clínicos trafegando
○ 99,3% de VPPs (“Validação Prévia de Procedimento”)
● “tempo quase real” -> processamento em minutos,
● substituindo outras soluções para gestão de eventos,
● enriquecimento de dados nos eventos,
● habilitando a aplicação de modelos de ML em tempo real,
● Timeline do segurado no CRM da companhia:
8. 06 Soluções orientadas a eventos
O que fazer?
● Importar / exportar streams de eventos,
○ integração multi-cloud,
○ data fluidity,
○ isolamento de BDs,
○ defina seus schemas -> exception handling,
● KsqlDB:
○ criar, processar e consultar streams e tabelas de eventos,
● Gestão de Tópicos corporativos
○ -> Event Mesh,
● Incentivar reaproveitamento de tópicos,
● Payloads enxutos,
● integração com microserviços,
● Multiplicar cultura de orientação a eventos,
● Evangelização: documentar, demonstrar, sugerir,
9. 07 Soluções orientadas a eventos
O que NÃO fazer?
● Uso de Batchs,
● Conexão a bancos de dados,
● Uso desordenado de tópicos,
● Payloads muito grandes,