![© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Típica arquitetura de e-commerce: banco de
dados
Princípios
• Altamente disponível
• Confiável
• Escalável
Modernize os componentes do banco de dados:
• Migre para open-source (quando possível)
• Use bancos de dados gerenciados (Amazon
Relational Database Service [Amazon RDS])
• Implemente deployments Multi A-Z
• Utilize read replicas
Master Read replicas Multi-AZ](https://image.slidesharecdn.com/next-generatione-commercearchitectures-ptbr-190719124453/75/Arquiteturas-de-E-Commerce-da-proxima-geracao-7-2048.jpg)
Carregado porAmazon Web Services LATAM
Arquiteturas de E Commerce da próxima geração
O documento discute arquiteturas de e-commerce da próxima geração para lidar com os desafios de escala, observabilidade e adaptação. Ele recomenda modernizar sistemas de e-commerce existentes desacoplando componentes, utilizando computação sem servidor e armazenamento flexível. Também discute como preparar sistemas para eventos como a Black Friday, focando em alta disponibilidade, escalabilidade, performance e visibilidade.
Arquiteturas de E Commerce da próxima geração
- 1. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Bruno Emer, Luciano Martins Arquitetos de Soluções, AWS Julho, 2019 Arquiteturas de E-Commerce da próxima geração
- 2. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. E-commerce: é difícil (e está ficando pior) Escala é diferente para cada cliente… Extremamente volátil, pouco crescimento Por exemplo: Missguided: ativação social Grandes eventos, crescimento sustentável Por exemplo: Black Friday e Prime Day na Amazon.com
- 3. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. E-commerce: é difícil (e está ficando pior) • Escala • Upgrades e adaptações • Observabilidade • À prova de futuro Como lidar com os seus (normalmente imprevisíveis) picos? Como realizar updates, upgrades e adaptações em escala ?
- 4. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Escala: maneiras legadas de resolver… • Comprar novos servidores • Recusar conexões • Criar um grande monolito • Dizer ao seu negócio que você não pode mais escalar Temos que encontrar uma forma melhor!
- 5. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Modernize seus sistemas de e-commerce atuais
- 6. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Típica arquitetura de e-commerce Banco de dados Servidores de aplicaçãoFront-end serversLoad balancerMúltipos dispositivos Um datacenter / Availability Zone
- 7. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Típica arquitetura de e-commerce: banco de dados Princípios • Altamente disponível • Confiável • Escalável Modernize os componentes do banco de dados: • Migre para open-source (quando possível) • Use bancos de dados gerenciados (Amazon Relational Database Service [Amazon RDS]) • Implemente deployments Multi A-Z • Utilize read replicas Master Read replicas Multi-AZ
- 8. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Modernize os componentes de sua aplicação: auto scale • Crie Amazon Machine Image (AMI) ou outros pipelines de CI/CD • Resiliência: max=1 nas configurações dos auto-scaling groups • Escala: qual métrica utilizar para escalar automaticamente o seu e-commerce? • CPU • Pedidos por minuto • Número de sessões/usuários ativos Típica arquitetura de e-commerce: aplicação
- 9. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Crie sistemas de e-commerce da próxima geração
- 10. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Porque criar o seu e-commerce da próxima geração? • Pressão dos negócios para mudanças • Não podemos alterar o site pelos próximos seis meses • Muitos negócios estão aumentando períodos de “freeze” • Escala • Agilidade • Muitas mudanças menores => melhor uptime e conhecimento do seu sistema Photo by Ian Stauffer on Unsplash
- 11. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Princípios de arquitetura de e-commerces da próxima geração Econômicos Otimizados para operações Orientado a negócios DesacopladosPreparado para o futuro
- 12. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Por onde começar? • Busca • Catálogo • Conteúdo • Precificação • Ofertas • Pagamentos • Promoções • Inventário • Perfil do cliente • Carrinho e checkout • Quebre seu monolito • Crie serviços independentemente • Exponha serviços via APIs • Exponha eventos de negócio • Foque seu desenho técnico ao redor das capacidades Capacidades do e-commerce: Missão: aumentar a agilidade do negócio Próximos passos
- 13. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Implementação da arquitetura Esses princípios levam a algumas escolhas a serem feitas na implementação: Desacoplamento/Troca de mensagens • Troca de objetos de eventos: Amazon Simple Queue Service (Amazon SQS), Amazon MQ ou Amazon Kinesis? Armazenamento • Qual storage de objetos ou banco de dados escolher? Computação • Onde e como executar suas aplicações?
- 14. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Computação para aplicações de e-commerce Princípios: - Flexível - Escala massiva - Economicamente viável - Entrega de código efetiva ServerlessContainers AWS Step Functions
- 15. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Desacoplamento Princípios: • Baixo acoplamento • API ou mensagens como padrão • Funções de negócio: uma de cada vez
- 16. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Armazenar: storage de objetos ou bancos de dados? Princípios • Aberto e extensivo • Cloud native • Pronto para Multi-region • Pronto para escala
- 17. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. • Schema complexos e fortes • Migre facilmente de bancos de dados já existentes • Integração com AWS (Lambda, S3, … ) • Réplicas multi-region • Amazon DynamoDB streams • Multi-region • Baixa latência • Serverless • Eventos • Data lake • Qualquer dado não estruturado Estruturados Não estruturadosSemi-estruturados Armazenar: storage de objetos ou bancos de dados?
- 18. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Geração de eventos para E-commerce
- 19. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. “The fundamental idea of event sourcing is that of ensuring every change to the state of an application is captured in an event object, and that these event objects are themselves stored in the sequence they were applied for the same lifetime as the application state itself. Martin Fowler https://martinfowler.com/eaaDev/EventSourcing.html
- 20. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Captura de eventos no E-commerce Princípios: Objeto de evento: tudo deve ser capturado como evento • Kinesis ou SQS • Armazenados no S3 Sequência: Objetos de eventos devem ser armazenados, pesquisáveis e reproduzíveis Eventos no S3: você pode realizar queries diretamente (Amazon Redshift, Amazon Athena, Amazon EMR, etc. )
- 21. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Como preparar seu workload para a Black Friday?
- 22. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Se preparar para a Black Friday significa pensar em: • Alta disponibilidade • Escalabilidade • Performance • Visibilidade • Segurança
- 23. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Como implementar alta disponibilidade?
- 24. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Visão geral sobre Alta Disponibilidade • Use o máximo de AZs possível da região • ELBs da AWS são altamente disponíveis dentro da região • Habilite Multi-AZ para RDS e ElastiCache • DynamoDB é Multi-AZ por padrão • Route 53, CloudFront e S3 são serviços globais • Configure o Auto Scaling em subnets de diferentes AZs
- 25. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Alta Disponibilidade: Dicas gerais Use serviços gerenciados, eles já entregam HA por padrão Para arquiteturas baseadas em AWS Lambda: • Lambda fora da VPC: Altamente disponível por padrão • Lambda dentro da VPC: utilize ao menos duas subnets em AZs diferentes
- 26. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Escale todas as camadas! (quando possível)
- 27. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Escalabilidade: Camada de Aplicação • ELB + Auto Scaling para a camada de aplicação • Escale agressivamente, mas remova instâncias de maneira conservadora • Ex: >= 60% Add 4; >=75% Add 6. <=25% > Remove 1 Em cenários de aumento instântaneo de tráfego, antecipe a escala de seu ambiente.
- 28. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Responda as requisições de maneira performática!
- 29. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Quanto mais cache você utilizar, maior as suas chances de performar!
- 30. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Performance: CloudFront • CloudFront para cache de borda • Crie um DNS Alias para sua origem com TTL baixo • Resolva CacheMiss antes do Black Friday • CacheHit precisa estar com um alto HitRate antes do evento • Use o cache do CloudFront ao invés do cache do API Gateway
- 31. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Performance: Teste de Carga Teste a performance do seu ambiente antes do evento. • Essencial para: • Testar comportamento de Auto Scaling • Capturar gargalos (rede, CPU, memória, cache...) • Right sizing de instância EC2 • Fazer Pre-Warm de Classic ou Application Load Balancer • Ferramentas para Teste de Carga: • Bees With Machine Guns • Apache JMeter • Gatling • Locust
- 32. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Não negligencie o teste de carga!
- 33. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Performance: Deploy Evite deployments durante a Black Friday
- 34. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Tenha visibilidade de seu ambiente!
- 35. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Visibilidade: Monitoramento • Monitorar EC2 e serviços gerenciados da AWS: • CloudWatch • Nagios (mais EC2) • Monitorar a aplicação em si (profiling): • New Relic • DataDog • Dynatrace • Zabbix • Prometheus • Para arquiteturas Serverless • AWS X-Ray
- 36. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Visibilidade: Logs Colete os logs para utilização em eventuais RCA e Post Mortem • Logs da sua aplicação • CloudFront Access Logs • ELB Access Logs • RDS Error Logs • Stdout de containers • API Gateway Logs • Lambda Execution Logs • CloudTrail • AWS WAF Cuidado com a geração de logs em disco. Provisione espaço suficiente e rotacione os arquivos!
- 37. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Implemente segurança em TODAS AS CAMADAS!
- 38. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Segurança: Trilha de auditoria Habilite o CloudTrail agora mesmo! • Rastreabilidade e auditoria • Loga chamadas de API da AWS • Centralize em único bucket • Restrinja o acesso a esse bucket
- 39. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Preparando sua conta da AWS para o BF
- 40. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Verifique os limites de sua conta antecipadamente!
- 41. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Preparação: Limites Service Quotas • Gerenciamento centralizado de limites • Maior visibilidade dos limites em sua conta • Facilidade para solicitações de aumento de limites
- 42. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Preparação: Suporte Contrate o nível de suporte correto para a sua operação! • Mínimo Recomendado: Business Support • Tempo de atendimento estimado em 1 hora • 24/7 • Chat • Telefone • Infrastructure Event Management (IEM) • Acessível para clientes com Business Support • Gratuito para clientes com Enterprise Support
- 43. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Você está seguindo as melhores práticas?
- 44. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. AWS Well Architected Framework Abordagem consistente e evolutiva para revisão de arquiteturas • Excelência Operacional • Segurança • Confiabilidade • Performance • Custo
- 45. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Estar preparado para a Black Friday significa... • Implementar alta disponibilidade em todas as camadas • Implementar escalabilidade, se possível, em todas as camadas • Responder as requisições de maneira performática • Ter visibilidade de tudo • Ter um ambiente Seguro • Cuidar da segurança de sua aplicação
- 46. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Arquitetura de E-Commerce da próxima geração
- 47. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. E-Commerce da próxima geração na AWS Conteúdo estático Data Lake ArmazenamentoMensagensComputaçãoAPIs
- 48. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Obrigado!