Apresentação para o evento The Developers Conference SP 2016, sobre arquitura de dados em stream utilizando Go, MongoDB e RabbitMQ.

1. Arquitetura para processamento
de dados em stream
Utilizando MongoDB, RabbitMQ e Go
TDC . SP . 2016

2. Sede em
Floripa
Love Mondays:
3ª Melhor empresa
para se trabalhar
Big Data Times
independentes
Neoway

3. O que a NEOWAY faz?

4. Dados qualificados
+ de 19 bilhões
De documentos lidos, analisados e
disponibilizados para nossos clientes

5. Data Science

6. O que fazemos?
Scheduling de inputs para os BOTs

7. O que fazemos?
Serviços de tratamento e enriquecimento de dados
Exemplos:
Apresentação do TDC -> APRESENTACAO DO TDC
DILMA VANA ROUSSEFF -> 133.267.246-91

8. O que fazemos?
Integração e disponibilização de dados
Exemplo:
Informações das empresas da Receita Federal
+
Informações dos sócios das Juntas Comerciais

9. O que fazemos?
Geração de histórico das fontes capturadas
Exemplos:
Dia 1: Nome da empresa -> Neoway
Dia 2: Nome da empresa -> Neoway Business

10. O que fazemos?
Criação de modelos estatísticos para qualificação e
predição
Exemplos:
- Nível de atividade de uma empresa
- Faturamento Presumido

11. Arquitetura 1.0

12. ➔ Custo elevado e dificuldades para escalar;
➔ Atraso na disponibilização dos dados para as aplicações;
➔ Dificuldades para simular o ambiente existente;
➔ Dificuldade de mapear os impactos de alterações.
Problemas

13. Nova arquitetura!

14. Nova Arquitetura

15. Go, Rabbit e Mongo
Go
- Simples e leve
- Concorrência/paralelismo
- É demais!!!! :)
Rabbit
- Servidor de mensageria
- Filas e tópicos
- Persistência de mensagens
Mongo
- NoSQL
- Orientado à documento
- Não possui schema definido
- JSON como protocolo

16. Scheduling de Inputs

17. Tratamento e enriquecimento

18. Integração e disponibilização

19. Disponibilização do histórico capturado

20. O que ganhamos?
Tempo: Disponibilização dos dados de forma
contínua e integrada entre todas as aplicações.
Escalabilidade: Necessidade de escalar
horizontalmente devido ao aumento do número de
fontes capturadas.
Infraestrutura imutável: Scripts automatizados,
evitando máquinas “flocos de neve”.
Qualidade: Arquitetura orientada à testes
automatizados.
Custo: Possibilidade de redução de custos de infra.

21. Testes

22. Testes Unitários
Vantagens:
- Executam em poucos segundos
- Segurança para implementar
novas features
- Teste de erros e exceções
Desvantagens:
- Alguns problemas com Mongo
e Rabbit não eram percebidos e
só foram descobertos nos
primeiros deploys

23. Testes end-to-end

24. Testes end-to-end
Vantagens:
- Garante que todos os serviços
funcionem de forma integrada
- Ideia futura de integrar os bots
nesses testes também
Desvantagens:
- Mais lento
- Mais díficil de encontrar onde
está o problema

25. Testes de integração
Vantagens:
- Necessidade de ter uma meio
termo entre os testes unitários e
os testes end-to-end
- Permitiram testes integrados com
o Mongo e o Rabbit, porém com
cases específicos de cada serviço
Desvantagens:
- Setup desses testes são mais
complexos que os testes
unitários
- Mais difícil garantir o
isolamento dos testes

26. Testes de carga
Características:
- Possível verificar se novas
features não impactaram na
performace do stream de dados
- Verificar qual dos microserviços
pode estar dimuindo a velocidade
do fluxo de dados
Ferramentas:
- rabbit-mq-stress-tester:
https://github.com/backstop/rabbit-
mq-stress-tester
- boom:
https://github.com/rakyll/boom

27. Tests Dicas
- Table driven tests
- Test Fixtures
- Mock package

28. Table Driven Tests

29. Test Fixtures

30. Mock Package
sources/sources_mock.gocontrol/control_test.go

32. Golang exemplos
● Neoway
https://github.com/NeowayLabs
● Terraform
https://github.com/hashicorp/terraform
● Docker
https://github.com/docker/docker
● Kubernetes
https://github.com/kubernetes/kubernetes

34. Bóra trabalhar
em Floripa?

36. Obrigado!!!
:)