Palestra dada no Qcon 2017 na trilha "Arquiteturas que você sempre quis conhecer".

1. Lucas Cavalcanti
@lucascs
Autorização de transações
no Nubank
Luiz Hespanha
@luiz_hespanha
Consumindo serviços dos anos 80
com tecnologias atuais

2. Contexto
Microserviços
~120 serviços
~80 desenvolvedores
~10 squads
3,5 anos

3. ARQUITETURA GERAL NUBANK
Tecnologias
Datomic

4. Estabelecimento
Adquirente
Bandeira
Emissor
Cliente Processadora
Link físico
Máquinas físicas
MOTIVAÇÃO
processo de compra com cartão de crédito

5. DESAFIOS
Máquinas físicas
Protocolos não convencionais
Comunicação via Socket
Hardware de Criptografia
Baixa latência
SÃO PAULO, BRASIL

6. MÁQUINAS FÍSICAS

7. MIP
switch
VPC
W
Prod S0
Prod S1
DMZ
Processadora

8. Estabelecimento
Adquirente
Bandeira
Emissor
Cliente Processadora
Kafka + JSON
???
COMUNICAÇÕES
processo de compra com cartão de crédito

9. Padrão ISO que define o formato da
mensagem e o fluxo de comunicação
ISO 8583

10. ISO 8583

11. ISO 8583

12. SCODEC
Scala combinator library for working with binary data
scodec.org

13. SCODEC
val de02 = LLIntString.partialField(1, "DE02 - PAN”)
case class ProcessingCode(transactionType: IntString,
fromAccountType: IntString,
toAccountType: IntString)
val processingCode: Codec[ProcessingCode] =
(intString(2) :: intString(2) :: intString(2)).as[ProcessingCode]
val de03 = processingCode.partialField(2, "DE03 - Processing Code")
val de04 = longPadded(12).partialField(3, "DE04 - Amount, Transaction")
//…

14. SCODEC
de02 :: de03 :: de04 :: de05 :: de06 :: de07 :: de09 :: de10 :: de11 :: de12 ::
de13 :: de14 :: de15 :: de16 :: de18 :: de20 :: de22 :: de23 :: de26 :: de28 ::
de32 :: de33 :: de35 :: de37 :: de38 :: de39 :: de41 :: de42 :: de43 :: de44 ::
de45 :: de47 :: de48 :: de49 :: de50 :: de51 :: de52 :: de53 :: de54 :: de55 ::
de60 :: de61 :: de62 :: de63 :: Nil

15. "The AdditionalData codec" should "encode a message" in {
val expected = BitVector("025R2001P6315MCS0110HL0216 ".getBytes)
val message = AdditionalData.empty("R").copy(
se20 = Some(CardholderVerificationMethod("P")),
se63 = Some(TraceID("MCS", "0110HL", MonthDay.of(2, 16))))
additionalData.codec.encode(message).require should be (expected)
}
it should "decode a message" in {
val message = BitVector("025R2001P6315MCS0110HL0216 ".getBytes)
SCODEC

16. COMUNICAÇÃO VIA SOCKET
• Não é cliente/servidor
• Multiplex
• Depois de 7s não adianta mais responder

17. FINAGLE
A Protocol-Agnostic RPC System

18. • Pool de conexão
• Detecção de falhas
• Retentativas
• Circuit Breaker
• Timeout
• Load Balancer
• Diversas monitorias
FINAGLE
Funcionalidades

19. Cliente Servidor
Req
Future[Rep]
type Service[Req, Rep] = Req => Future[Rep]
FINAGLEFINAGLE
Como funciona

20. FINAGLE
Protocolos

21. def getPipeline: ChannelPipeline = {
val pipeline = Channels.pipeline()
pipeline.addLast("frame", new LengthFieldBasedFrameDecoder(65535, 0, 2, 0, 2))
pipeline.addLast("decoder", new ScodecDecoder(codec))
pipeline.addLast("frameEnc", new LengthFieldPrepender(2, false))
pipeline.addLast("encoder", new ScodecEncoder(codec))
pipeline
}
val client: Service[Iso8583Msg, Iso8583Msg] = ClientBuilder()
.codec(Codec.ofPipeline(getPipeline))
.hosts(address)
.build()
FINAGLE
Protocolo ISO8583

22. FINAGLE
Protocolo Proprietário HSM
(-> (bc/builder)
(bc/report-to stats-receiver)
(bc/hosts hosts)
(bc/codec
(.ofPipelineFactory
Codec$/MODULE$
(scala/Function0
(doto (Channels/pipeline)
(.addLast "frame" (LengthFieldBasedFrameDecoder. 65535, 0, 2, 0, 2))
(.addLast "decoder" (decoder))
(.addLast "frameEnc" (LengthFieldPrepender. 2 false))
(.addLast "encoder" (encoder))))))
(defn encoder []
(proxy [OneToOneEncoder] []
(encode [ctx chan value]
(if-let [[cmd params] (when (vector? value) value)]
(-> (ChannelBuffers/dynamicBuffer)
(cmd/->str 4 "0001")
(cmd/->str 2 (name cmd))
(cmd/encode cmd params))
value))))
(defn decoder []
(proxy [OneToOneDecoder] []
(decode [ctx chan value]
(let [counter (cmd/<-str value 4)
cmd (keyword (cmd/<-str value 2))
return-code (cmd/<-str value 2)]
(cond
(#{"00" "02"} return-code)
[:ok (cmd/decode value cmd)]
(#{"01"} return-code)
[:nok])))))

23. FINAGLE
Futuros
Futuros compõem com map, flatmap, handle e rescue
Callbacks:
onSuccess(f : A => Unit)
onFailure(ex: Throwable => Unit)

24. Router
Autorizador
Mastercard MIP
Finagle Client
Router
Finagle Client
Finagle Client Finagle Client
Finagle Server
Finagle Client
Autorizador
Finagle Server
Finagle Client
Autorizador
Finagle Server
Finagle Client
Autorizador
Finagle Server
Finagle Client
Criptografia
Finagle Server
Detector de
Fraude
Finagle Server
Criptografia
Finagle Server Finagle Server
HSMHSM
Finagle Client Finagle Client
ISO8583ISO8583
Thrift
ThriftThrift
Thrift
Thrift Thrift Thrift Thrift
Proprietário Proprietário
SERVIÇOS
Detector de
Fraude

25. BANCO DE DADOS

26. {“5162920000001234" {:limite 96000M
:status :ativo}
“5162920000004321" {:limite 0M
:status :ativo}
.
.
.
“5162920000009876" {:limite 15M
:status :bloqueado}}
BANCO DE DADOS NA MEMÓRIA
Representação

27. BANCO DE DADOS NA MEMÓRIA
ATOMS
• Gerencia estado compartilhado, síncrono e independente.
• Mudanças em ATOMS são sempre livres de “race conditions”

28. Como faz quando precisa reiniciar a aplicação?

29. KAFKA
Funcionamento

30. EVENT SOURCING
Garante que todas as mudanças de estado na aplicação
sejam armazenadas como uma sequência de eventos.

31. EVENTOS
{“5162…12”: {:limite 10M}}
{“5162…23”: {:status :bloqueado}}
{“5162…12”: {:status 5M}}
{“5162…12”: {:status :bloqueado}}
{“5162…23”: {:status :ativo}}
Kafka topic

32. 1) Lemos o valor do offset de cada uma das partições do tópico.
2) Mapa em memória é serializado e encriptado.
3) Geramos um arquivo com estes dois dados e guardamos.
SNAPSHOT
Geração

33. 1) Pegamos o snapshot mais recente.
2) decriptamos e desserializamos o mapa.
3) Mudamos o offset das partições para os valores do arquivo
4) Aguardamos o “replay" das mensagens e liberamos a instância.
SNAPSHOT
Leitura

34. DESAFIOS
Máquinas físicas
Protocolos não convencionais
Comunicação via Socket
Hardware de Criptografia
Baixa latência
SÃO PAULO, BRASIL

35. TEMOS VAGAS
• Devops
• Engenheiro de Software
Mais infos em:
https://nubank.com.br/jobs
Nosso stand no evento

36. OBRIGADO!