O documento discute a arquitetura de uma empresa de tecnologia que escalou de 0 a 1 bilhão de requests por mês. Detalha as abordagens para arquitetura de infraestrutura, software e processamento em lote utilizadas para suportar altos volumes de tráfego e processamento de dados, incluindo o uso de serviços em nuvem, microsserviços, Apache Spark e automação. Também fornece métricas atuais de tráfego, processamento e logs processados pela empresa.

1. Escalando de 0 a 1 bilhão de requests
Roger Mattos - Co-fundador e CTO

2. Quem são os seus consumidores e quais
são seus interesses?

3. E-Commerce
database
1
1
1
Automação de campanhas personalizadas

4. Oi, Regina. Olha só que
demais este produto.

5. Mindset Lean

6. Arquitetura de Infraestrutura

7. 1 - Approach

8. 2 - Approach

9. 3 - Approach

10. 4 - Approach

11. 5 - Approach

12. 6 - Approach

13. Arquitetura de Software

14. Arquitetura API Rest

15. Arquitetura API Rest
REST Resources
Command
Data
Domain
Infrastructure
Injection (DI)
Service
Core
Read Write
Mongo MySQL
Frameworks usados
● ServiceStack
● Funq
● AutoMapper
● Dapper
● NLog
● EnyimMemcached
● Elmah

16. Arquitetura Batch
Processing

17. Data
Domain
Infrastructure
Service
Core
Read Write
Mongo MySQL
Frameworks usados
● AutoMapper
● AutoFac
● Dapper
● NLog
● Json.NET
● NEST
● Elasticsearch.Net
FB
Notification
Push Mail
Messaging
Producers Consumers
Logs Index Consolidate
Jobs
Consumers
Arquitetura Batch Processing

18. Social Miner Nuget Server
Gerenciamento de Pacotes
Applications Jobs
JFrog Artifactory
Nuget.org
Jarvis 1.0Dapper 1.4
Jarvis 1.2Dapper 1.5

19. Nosso volume atual
~1biReqs por mês na API
~25k Usuários simultâneos por minuto
~360mi Pageviews mês
~70k Reqs por minuto no cluster de cache
~1.2bi Reqs por mês na CDN
~7k Logs de comportamento por minuto
~340mi Logs de comportamento total
~140mi Mensagens trafegadas por mês

20. Automatização e Monitoramento
Integração Continua
Deploy Automático
Testes (Unitários, Integrados e Aceitação)
Shame Build

21. Automatização e Monitoramento
Dashboards (ES + Logstash + Grafana)
Logs (Errors e Aplicação)

22. Microservices Apache Spark Lambda
architecture
Compliance
Ainda estamos aprendendo (Visão de futuro)
ASP.NET Core
.NET Core

23. Lean Thinking (Build - Measure - Learn)
Say NOT to BDUF (Big Design Up Front)
Conclusões finais
Make it Work then Make it Better
Cloud Services programs for Startups

24. Roger Mattos
Co-fundador e CTO
Obrigado!
roger@socialminer.com
@roger_mattos
linkedin.com/in/rmattos
github.com/rmattos
Seja um Miner
99jobs.com/social-miner/jobs