Testes generativos

@luiz_hespanha

luiz.hespanha@nubank.com.br

Desenvolvedor de Software @nubankbrasil
Testes generativos

Motivação
“Nu Minimal Keynote Template” © Nu Bank - 05.01.2014 2
Testes automatizados.

Testes automatizados
• Garantir regressão rapidamente.
• Garantir que o que está “entrando
novo” funciona.

• Testes unitários (lógica)
• Testes de integração dentro de um
serviço (BD, Kafka, etc).
• Testes e2e (Integração entre os
serviços)

Disclaimer
Código Clojure nos próximos slides.

Testes baseados em exemplos
(= a b)

Testes baseados em exemplos
(= [5 2 1] (reverse [1 2 5])
(= [1 2 3 4 5] (reverse [5 4 3 2 1])
(= [5] (reverse [5])
(= [] (reverse [])
(= ["c" "b" "a"] (reverse ["a" "b" "c"]))

Nossos testes estão limitados a nossa
imaginação.

Como podemos melhorar os nossos
testes?

color
blank
Testes generativos

Testes generativos
Pensar em propriedades

O que são propriedades?
“Constraints" e “invariantes" que são
verdade *sempre*.

Um pouco mais formal…
“Property-based testing encourages a high level approach to testing in
the form of abstract invariants functions should satisfy universally,
with the actual test data generated for the programmer by the
testing library. In this way code can be hammered with thousands of
tests that would be infeasible to write by hand, often uncovering subtle
corner cases that wouldn’t be found otherwise.”

Real World Haskell by Bryan O’Sullivan, Don Stewart & John Goerzen

Testes generativos
(prop/for-all
[a (gen/vector gen/any)
[b (gen/vector gen/any)]
(= (count (concat a b))
(+ (count a) (count b))))]

Testes generativos
(tc/quick-check 1000 my-property)
;; => {:result true
;; :num-tests 1000
;; :seed 1395119077}

color
blank
Será que acha bugs mesmo?

Testes generativos
(-> #{} (conj 109) (conj -110)
transient (disj! -110)
persistent! (conj -110)

Testes generativos
(def transient-property
(prop/for-all
[a (gen/vector gen-action)]
(= (apply-actions #{} a)
(apply-actions #{} (ﬁlter-transients a)))))

Testes generativos
(tc/quick-check 100000 transient-property)

Fail…
{:result false,
:failing-size 92,
:num-tests 2893,
:fail "...",
:shrunk
{:total-nodes-visited 440
:depth 83
:result false
:smallest "..."}}

Generators
(prop/for-all
[a (gen/vector gen/any)
b (gen/vector gen/any)]
(= (count (concat a b))
(+ (count a) (count b))))
Generators

Generators
any any-printable boolean byte bytes char
char-alpha-numeric char-ascii hash-map int keyword
list map nat neg-int pos-int ratio s-neg-int s-posint
string string-alpha-numeric string-ascii tuple
vector

Generators
podemos criar os nossos próprios
geradores.

Generators
(prop/for-all
[p (gen/vector gen/purchases)]
(= (:total-value (close-bill p))
(sum-purchases p)))

Fluxo de trabalho com testes generativos
Sempre que o teste generativo
encontrar um bug, escrever um teste
unitário com o exemplo que falhou.

Fluxo de trabalho com testes generativos
Durante o desenvolvimento deixar o
número de testes alto, e diminuir
quando ﬁzer o “merge" no “master".

Testes generativos
• Onde estamos usando no Nubank:
• Sistema de contabilidade interno.
• Criação de números de cartão de
crédito.
• Integração com terceiros via
protocolos de baixo nível.

Ferramentas
Clojure -> https://github.com/clojure/test.check
Scala -> http://www.scalatest.org/user_guide/property_based_testing
Java -> https://github.com/pholser/junit-quickcheck
Haskell -> https://hackage.haskell.org/package/QuickCheck
…provavelmente tem framework para outras linguagens também.
…de qualquer forma, os seus testes não precisam usar a mesma linguagem da sua
aplicação.

Conclusão
Testes generativos
são complementares
aos seus testes
baseados em
exemplos, e ajudam
a melhorar a
conﬁabilidade dos
seus testes.

full page
photo
Obrigado!

Testes generativos

Mais conteúdo relacionado

Mais procurados

Destaque

Semelhante a Testes generativos

Testes generativos