O documento descreve a jornada da MaxMilhas para entregar uma plataforma escalável capaz de suportar altos volumes de acessos durante eventos de grande porte e seu período de crescimento acelerado. Eles realizaram vários testes de carga que identificaram melhorias como cache, limites de conexões, otimizações no kernel e mudança na biblioteca de requisições. Após as correções, a plataforma se mostrou pronta para o hipercrescimento com picos de 15 milhões de requisições por hora.

1. Do 502 Bad
Gateway
ao recorde de
200 Ok
MaxMilhas

2. MaxMilhas

3. A MaxMilhas é um site de busca e compra de passagens
aéreas mais baratas. Aqui, as pessoas encontram as
melhores combinações de tarifas, com até 50% de
desconto. E isso é possível porque fazemos a emissão de
passagens com as milhas de quem quer vender.

4. Melhor agência de viagens online do Reclame Aqui
+2 milhões de passagens emitidas
Mais de 1,5 milhão de clientes cadastrados
Líder no segmento de venda de passagens aéreas emitidas com
milhas de terceiros
Inovação no setor de viagens do Brasil
Um dos maiores cases de bootstrapping do país
Crescimento de 3 dígitos por ano
Vencedora do Prêmio E-commerce Brasil 2018
5ª melhor empresa para se trabalhar em MG, segundo o GPTW
Ranking do LinkedIn Top Startups
Finalista do Prêmio ReclameAqui 2018

5. Hypergrowth

6. Contínuo crescimento
percentual na ordem de
centenas

7. Caio (Bigode)
DevOps
bhz
Analogic
Random
Cervejeiro
Ex jogador profissional
de dota 2
Poker
Bruno Paiuca (Paiuca)
Sysadmin
Bad Coder
DevOps
Palmeirense 🐽🐽🐽
‘Fan’ de tennis (R. Nadal)
E automobilismo

8. Desafio

9. Entregar uma plataforma
capaz de suportar alto
volume de acessos para
eventos de grande porte.

10. Entender o cenário de incerteza
Ser altamente escalável
Entregar com baixíssima latência
Atender expectativa do mercado
Atender expectativa dos usuários
Atender expectativa da empresa

11. study done by Amazon almost 10
years ago proved that, even then, a
100-millisecond decrease in
page-loading time translated to a
1% increase in its revenue.

12. According to surveys done by Akamai and
Gomez.com, nearly half of web users expect
a site to load in 2 seconds or less, and they
tend to abandon a site that isn’t loaded
within 3 seconds. 79% of web shoppers who
have trouble with web site performance say
they won’t return to the site to buy again and
around 44% of them would tell a friend if
they had a poor experience shopping online.

13. Vamos aos
Números

14. +10M requests por dia
+300 Instâncias EC2
+30 aplicações
+20 buscas por segundo
9 providers de busca de vôos
3 grandes Hubs de busca de
vôos

15. Mas e a volumetria de acessos
durante o hypergrowth que
estava por vir?

16. def stress_test(_target, _concorrency_users):
host_target= “https://” + _target
estressa_essa_parada(host_target,_concorrency_users)
incerteza = stress_test(“www.maxmilhas.com.br/search”,20000)
MaxMilhas

17. Resultados
do primeiro
teste de
carga:

20. O que
fazer??

21. Entender o cenário de cada
aplicação, principalmente aquelas
que sofreram no teste de carga
Por que elas capotaram
Volumetria de acessos
Tempo de resposta esperado
Inputs e Outputs
Frequência da mudança do Output
Impacto da reutilização do Output

22. Quick wins

25. Ações:
Cache a nível de HTTP
Server Side Include (SSI)
Controle de throttling
Proxy queue para os providers de busca de voos
ProxySQL
Anti-bot (30% do nosso acesso eram de bad bots)
Tunning de Kernel
Revisão de limites na AWS
Utilização de instâncias spots (spotinst) para escalar
mais com menor custo
Revisão de throughput de IOPS nos BD

26. Arquitetura
inicial

28. Arquitetura
proposta

30. Tunning

31. Kernel
vm.swappiness = 0
net.ipv4.ip_local_port_range=1024 65535
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.tcp_fin_timeout = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_fastopen = 1

32. Nginx
worker_rlimit_nofile 165535;
proxy_http_version 1.1;
proxy_set_header Connection "";
upstream app {
.
.
keepalive 64;
}

33. ProxySQL

35. SSI

36. server {
.
.
ssi on;
location /minhacontabox {
allow 127.0.0.1;
deny all;
proxy_pass https://app
}
location /home {
proxy_cache_key $scheme$host$uri
proxy_pass https://app
}
}
<html>
<body>
<!--# include file="/minhacontabox" →
<p>Minha HOME</p>
</body>
</html>

38. Proxy Queue
Controller

40. Controlar Max_conns -> Conexões Simultâneas
API Response Time
Queue Size
Active Connections

41. Fizemos outro
teste de carga
...

42. Ele foi muito melhor que o primeiro e
tínhamos alguns ajustes pontuais para
fazer

43. Mas o teste de
carga não
contemplava o
tal do BFF

44. Mas que raios é BFF?
Backend for Frontend, é uma aplicação que
acopla várias aplicações backend para se
comunicar com o frontend (manipulações e
transformações de dados), o que era essencial
para o funcionamento da mecânica das
campanhas

45. E lá vamos nós, ao terceiro
teste carga, agora com os
ajustes finais e com o BFF

46. Resultado:

47. eaí,
o que fazer
agora??

49. É O AXIOS DA BFF !!!!
TO FALANDO DESDE A
CONCEPÇÃO DO
NEGÓCIO!!

50. Trocamos a lib de
request do BFF e
fomos para o
quarto teste de
carga...

51. Resultado:

52. Estávamos
prontos para o
Hypergrowth

53. e deu bom!!!

54. Números do
Hypergrowth
MaxMilhas

55. +15M req por hora durante o pico
+4.5k req por segundo
+80 buscas por segundo em média
+1000% de usuários simultâneos
+3TB de informações de vôos
+23TB de dados trafegados

56. Perguntas?