O documento descreve uma arquitetura serverless para lidar com uma grande quantidade de requisições usando API Gateway, Lambda e Kinesis. A arquitetura anterior usava EC2 e tinha problemas de custo, perda de dados e lentidão. A nova solução usa serviços sob demanda da AWS para maior escalabilidade, desempenho e baixo custo. O documento também discute como testar a performance da nova arquitetura usando a ferramenta Locust.

1. Aguentando uma enxurrada de
requisições com
API Gateway + Lambda + Kinesis
Flávio Pimenta
Arquiteto Cloud na Assertiva

2. Minha jornada

3. Java
banco de dados
infra
devops
Linux

4. Problema: atender todo mundo !!

5. Arquitetura anterior

6. Custo04 min 5 e máx de 20 EC2
Perda de dados03 erros 50x (500, 502,504)
Banco de dados02 sobrecarga e lentidão
Autoscaling01 alguns picos durante o dia
Problemas

7. Custo04
usar mais serviços sob
demanda em vez de EC2
Perda de dados03 "represar" em uma fila
Banco de dados02 "gravar devagar"
Autoscaling01 serverless
Ideias para nova solução

8. Nova solução

9. API Gateway
Monitoramento
Performance
Cache
Rate limit (req/s)

10. Lambda
Escalabilidade
Performance
Python (cold start)
Custo por requisição

11. Kinesis
Stream de dados
Escala com shards
Alta Performance
(~1000 rps/shard)
Baixo custo

12. Worker Java como task no ECS
Consome Kinesis
Grava em lote no DB
Migrado para docker
Deploy 1 task no ECS

13. Nova solução

14. Ferramenta para testes de performance:
• https://github.com/locustio/locust
• Utiliza Python !
• Escalável
Validando performance

15. Escrevendo o teste

16. Execução do locust
locust -f locustfile.py --host=endpoint-aplicacao
http://localhost:8089

18. Uso atual - monitoramento API Gateway

19. Uso atual - 1 dia, acumulado por hora

21. flaviopimenta@gmail.com
github.com/flap
Flávio Pimenta