Palestra que o Rodrigo Flores e eu apresentamos no TDC 2015 na trilha NoSQL. Nesta palestra apresentamos uma introdução básica ao banco de Dados Datomic, e porque ele é ótimo para nossas necessidades no Nubank.

1. Datomic
Lidando com dados de maneira versionada

2. Rodrigo Flores
@rlmflores
rodrigo.flores@nubank.com.br

3. Luiz Hespanha
@luiz_hespanha
luiz.hespanha@nubank.com.br

4. Datomic
Arquitetura
ACID
Funções

6. Dados em uma estrutura financeira

7. Datomic

8. Banco Orientado a Fatos

9. ID Nome Telefone Celular Telefone Fixo
1 John Doe 11 5555 5555 11 5556 5556
2 Mark Doe 11 5555 5556 NULL
3 Jane Doe 11 5555 6666 NULL

10. Modelo Entidade-Atributo-Valor (EAV)

11. ID Atributo Valor
1 Nome John Doe
1 Telefone Celular 11 5555 5555
1 Telefone Fixo 11 5556 5556
2 Nome Mark Doe
2 Telefone Celular 11 5555 5556
3 Nome Jane Doe
3 Telefone Celular 11 5555 6666

12. Modelo EAVT - Datomic

13. ID Atributo Valor Transação
1 Nome John Doe 12
1 Telefone Celular 11 5555 5555 12
1 Telefone Fixo 11 5556 5556 13
2 Nome Mary Poppins 25
2 Telefone Celular 11 5555 5556 67
2 Recomendado
por
1 128
3 Nome Jane Doe 222
3 Telefone Celular 11 5555 6666 223

14. Fatos podem deixar de ser fatos

15. ID Atributo Valor Transação
1 Telefone Fixo 11 5555 5555 12
1 Telefone Fixo 11 5555 5555 55

16. É possível sobrescrever um fato

17. ID Atributo Valor Transação
1 Nome Jane Doe 25
1 Nome Jane Doe 98
1 Nome Jane Mary Doe 98

18. Mas isso é uma sobrescrita

19. Transações do banco de dados são
entidades

20. ID Atributo Valor Transação
1 Nome John Doe 12
1 Telefone Celular 11 5555 5555 12
1 Telefone Fixo 11 5556 5556 13
2 Nome Mary Poppins 25
2 Telefone Celular 11 5555 5556 67
3 Nome Jane Doe 72
3 Telefone Celular 11 5555 6666 99

21. ID Atributo Valor
12 Hora 2012-09-12T00:00:00Z
13 Hora 2012-09-12T00:00:05Z
25 Hora 2012-09-22T00:00:00Z

22. Qualquer informação relevante pode
ser adicionada na transação

23. ID Atributo Valor
12 Hora 2012-09-12T00:00:00Z
12 Usuário Joaquim José
13 Hora 2012-09-12T00:00:05Z
13 Usuário Maria Augusta

24. Arquivos em um controle de versão
Arquivos em uma pasta
vs

25. Queries

26. Programação Lógica

27. [[?entidade :atributo1 ?valor1]]

28. {:find [?celular]
:in [?nome]
:where [[?pessoa :pessoa/nome ?nome]
[?pessoa :pessoa/telefone-celular ?
celular]]}

29. {:find [?nome]
:where [[?pessoa :pessoa/nome ?nome]
[?pessoa :pessoa/idade ?idade]
[(> ?idade 35)]]}

30. Schema

31. Todo atributo tem um tipo

32. Integer String
Long Boolean
Double UUID
Big Int Ref
Big Dec Instant
Float

33. Sempre não nulo
Não há obrigatoriedade de campo

34. Viajando no tempo

35. Default

36. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

38. As Of

39. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

40. Qual era o telefone da cliente cujo CPF é “11111111111” no instante
2015-05-08T01:12:00Z ?

41. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

42. Qual o nome do cliente cujo CPF é “11111111111” no instante
2015-04-01T01:12:00Z ?

43. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

44. Since

45. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

46. Quais foram os clientes que mudaram de nome após dia 01/04 ?

47. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

48. History

49. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

50. Qual foram todos os nomes utilizados pelo cliente cujo CPF
é 11111111111 ?

51. ID Atributo Valor Hora da Transação
1 Nome Jane Doe 25/03/2015 10:00:12Z
1 CPF 11111111111 25/03/2015 10:00:12Z
1 Telefone 11 5555 5555 25/03/2015 10:00:12Z
1 Nome Jane Doe 12/04/2015 15:02:27Z
1 Nome Jane Mary Doe 12/04/2015 15:02:27Z

52. Qual era o nome do cliente cujo nome hoje é Jane Mary Doe no dia
01/04/2015 ?

53. Múltiplos bancos

54. (d/query {:find [?as-of-nome]
:in [$current-db $as-of-db]
:where [[$current-db ?pessoa :pessoa/
nome "Jane Mary Doe"]
[$old-db ?pessoa :pessoa/nome ?
as-of-nome]]}
(d/db connection)
(d/as-of #inst "2015-04-01T00:00:00Z"))

55. Banco orientado a fatos

56. Fatos não são “apagados” ou alterados: escrevemos novos
valores como novas “versões" de fatos antigos

57. Pode-se buscar no banco com uma data específica, com
fatos inseridos a partir de uma certa data, ou em todo o
histórico

58. Pode-se utilizar mais de um banco em uma query;

59. Arquitetura
Imagem retirada de http://docs.datomic.com/architecture.html

60. Serviço de "storage"

61. Peers

62. Processo que manipula o banco usando a biblioteca “Datomi
Peer"

63. API para Clojure e Java

64. Cada Peer possui um cache com o serviço de Storage

65. Qualquer processo pode ser um Peer
• Web Server
• Aplicação GUI
• Aplicação de linha de comando

66. Mas eu não uso uma linguagem JVM-Hosted, e agora?

67. REST API
Um PEER pode ser iniciado como um serviço HTTP
standalone.

68. Transactor

69. Responsável por toda escrita no banco de dados

70. Notifica todos os PEERS sobre novos fatos.

71. E quando o Datomic não é uma boa escolha ?

72. ACID

73. Atômico

74. Transação

75. Ou faz tudo, ou aborta

76. Consistente

77. Validação de tipos e NULL

78. Transações só são vistas por
completo

79. Isolamento

80. Uma escrita por vez

81. Durável

82. Só dá o OK depois de escrever no storage

83. ACID

84. Funções com regras de negócio

85. Funções a nível de transação.

86. Escopo limitado / Banco filtrado

87. Excision - Apagar dados de maneira definitiva

88. Conclusão

89. Dados são importantes

90. Auditoria de informação

91. Bancos históricos

92. Facilidade de deploy

93. OBRIGADO!
Estamos contratando!
http://bit.ly/trabalhe-na-nubank