O documento descreve a evolução da plataforma de dados do Nubank. Apresenta a infraestrutura de dados da empresa, incluindo o uso do Datomic e Kafka para armazenamento e processamento de dados. Também explica os processos de ingestão, análise e uso dos dados para tomada de decisões e modelos, além das ferramentas utilizadas como Databricks, Looker e Jupyter Notebooks.

1. Evoluindo a
Plataforma de
Dados do
Nubank
16/07/2019
Felipe Sabino
André Tavares

2. Felipe Guilherme
Sabino
Engenheiro de Dados
www.linkedin.com/in/fgsabino/

3. André de Lannoy
Tavares
Gerente de Produto
www.linkedin.com/in/andre-lannoy-tavares/

4. Nubank
Infraestrutura
Uso de Dados
Plataforma
O Futuro
Dados

5. Nubank

6. • Maior fintech fora da
Asia
• 10 milhões de clientes
• 1800 funcionários
• 16 Tribes e 70 Squads

7. • Cartão de crédito sem
anuidade
• Conta Digital
• Programa de recompensas
• Empréstimo pessoal

8. Dados no Nubank

9. Para que o Nubank usa
dados?
• Para tomar decisões de crédito
• Para melhor a experiência dos
clientes com produtos mais
inteligentes
• Para gerar controles e relatórios
para a empresa, seus acionistas e
reguladores
• Para ajudar os nubankers a
tomarem decisões melhores

10. • 250 microsserviços
• 30 modelos em
produção
• 70Tb de dados
processados por dia
• 1100 usuários
semanais nas
ferramentas de dados

11. Dados como uma plataforma
Aquisição
de Clientes
Atendimento
ao Cliente
Cartão de
Crédito
Plataforma de Dados
Empréstimos
Pessoais
Relatórios
Financeiros
....

12. Tribo de Dados !
Times de Dados
Acesso a Dados "Infra de Dados #

13. Infraestrutura do Nubank

14. Clojure DatomicKafka
Microsserviços
Kubernetes

15. Datomic
e Entity Long
a Attribute String
v Value Any
t Transaction point in time Long
tx Transaction entity id Long
txInstant Transaction wall-clock time java.util.Date
op Operation (assertion / retraction) Boolean
• Imutabilidade
• Dados não são sobrescritos
• ACID

16. [ 28 ':name' 'felipe' ]
Datomic

17. entidade atributo valor
Datomic
[ 28 ':name' 'felipe' ]

18. [ 28 ':name' 'felipe' ]
entidade atributo valor
'sabino'
Datomic

19. [ 28 ':name' 'felipe' Tx₁]
transação
Datomic
entidade atributo valor
[ 28 ':name' 'sabino' Tx₂]

20. Plataforma

21. Por que construir um ambiente
analítico?

22. Ambos são necessários
AMBIENTE TRANSACIONAL AMBIENTE ANALÍTICO
Dificuldade na escritaDificuldade na leitura
Unificado, GlobalFragmentado, Local
Alta acessibilidade
SQL somente leitura com ACL
Baixa acessibilidade
Datalog, bancos de produção, segurança

23. Data Processing
Data WarehouseData Ingestion
Data Analysis
Batch Models

24. Ingestão de Dados

25. Ingestão de Dados do Datomic
1. Descoberta
2. Alocação dos bancos
3. Extração dos Logs
4. Empacotamento para S3

26. Ingestão de Outros Dados via Kafka
Serviço que acumula as mensagens recebidas
salva no Data Lake

27. • Utilizamos Amazon S3
• Ambiente Isolado
• Gestão de Metadados
Nosso Data Lake

28. Serviço de Gestão de Metadados
• "Mapa" do ETL: contém
os metadados de cada
dataset, incluindo onde
eles estão armazenados
no S3
• Os serviços não tem
interferência direta nos
dados

29. Processamento de Dados

30. Nossa engine de processamento de dados
• O “motor" do ETL; descreve
todas as transformações para
produzir os datasets
• Feito para processar grandes
quantidades de dados
• Em Scala, fácil de usar porque
abstrai as partes complexas
do Spark
• Declarativo

31. Organização dos Datasets
DB1 Log S0
DB1 Log S1
DB2 Log S0
Dataset Series
contract 1
contract 2
dataset 1
dataset 2
model
policy

32. Datasets
• Qualquer pessoa na empresa pode
criar um Dataset e contribuir com um
Pull Request em nosso monorepo
• As equipes são responsáveis por
escrever e manter seus Datasets
• Os Datasets são escritos em Scala;
DSLs são fornecidas
• Usamos Databricks para iterar
• Revisão de PRs são feitas por pares
para garantir qualidade e consistência
• 150 contribuidores fazendo 300+
contribuições por mês

33. Gerenciando DAGs

34. Uso de Dados

35. Modelos

36. Modelos em Batch
• São executados com o ETL
• Python
• Ferramentas que facilitam:
• Validar configuração
• Treinar e testar diferentes
parâmetros
• Simular comportamento
de produção localmente
• Enviar para Produção
Dados Modelos
Score / Prob.
Políticas
Decisões

37. Serving Layer

38. Mandando dados de volta para produção
• Serviço na stack de dados
carrega as políticas em
um Dynamo DB
• Serviço na stack de
produção acessa o
mesmo banco e oferece
interfaces para o
consumo dessas políticas

39. Data Warehouse

40. BigQuery
• Serviço que transfere do
S3 para o GCS
• Carrega os datasets no
BigQuery
• Fully managed

41. Ferramentas de Dados

42. Looker

43. Jupyter Notebooks

44. Databricks

45. Democratização e Cultura de
Dados

46. Treinamentos

47. Suporte

48. Data Analysts
Data
Tribe
Data
Analyst
Data
Analyst
Data
Analyst
Data
Analyst
Data
Analyst
Data
Analyst

49. Recap

50. Datomic
Extractor
Online
Models
Production
Services
Jupyter
Notebooks
Looker
Batch
Models
Spark
Engine
Production
Services
Datomic DB
Logs
Amazon S3
Metadata
Manager
Non-datomic
Datasources
Non-datomic
Extractor
Static Inputs
Databricks
Loader
Databricks
Serving
Layer Loader
Amazon
Dynamo DB
Serving
Layer
Plataforma de Dados Nubank
BigQuery
BigQuery
Loader

51. O Futuro

52. O Futuro
• Plataforma Internacional
• Governança de Dados
• Portal de Metadados
• Continuar Escalando

53. Estamos contratando!
sou.nu/jobs-at-nubank