Escalando para os primeiros 10 milhões de usuários
•Transferir como PPTX, PDF•
0 gostou•281 visualizações
Os clientes que usam a AWS se beneficiam de mais de 1.800 controles de segurança e conformidade incorporados na plataforma da AWS. Nesta sessão, você aprenderá a tirar proveito dos recursos de segurança avançados da plataforma AWS para obter visibilidade, agilidade e controle necessários para ser mais seguro na nuvem do que em ambientes legados. Vamos dar uma olhada em várias arquiteturas de referência para cargas de trabalho comuns e destacar as maneiras inovadoras que os clientes estão usando a AWS para gerenciar a segurança de forma mais eficiente. Depois de participar desta sessão, você estará familiarizado com o modelo de responsabilidade de segurança compartilhado e como você pode herdar controles dos programas de certificação e acreditação mantidos pela AWS. https://aws.amazon.com/pt/getting-started/
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Escalando para os primeiros 10 milhões de usuários
Semelhante a Escalando para os primeiros 10 milhões de usuários (20)
Mais de Amazon Web Services LATAM
Mais de Amazon Web Services LATAM (20)
Último
Último (8)
Escalando para os primeiros 10 milhões de usuários
- 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Rafael Koike - Consultor Sr. AWS - ProServe Escalando para os primeiros 10 milhões de usuários
- 2. Aplicação para 1 usuário
- 4. Escalabilidade • Fácil de escalar • Basta trocar o tipo de instância • Aumento de: • CPU • Memória • Disco c4.8xlarge m4.2xlarge t2.micro Mas a escalabilidade da instancia uma hora chega no limite!
- 5. 1 Usuário • Sem Failover • Sem Redundância • Muitos ovos em uma cesta só Amazon EC2 instance Elastic IP User Amazon Route 53
- 6. Usuários > 1
- 7. Usuários > 1 Web Instance Database Instance Elastic IP User Amazon Route 53
- 8. Self-managed Fully managed Amazon EC2 Amazon DynamoDB Amazon RDS Amazon Redshift Opções de Banco de Dados
- 9. • Compatível com MySQL ou Postgres • Armazenamento escala automaticamente (até 64 TB) • Até 15 read-replicas • Backups contínuo (incremental) para o Amazon S3 • Replicação 6-way pelas 3 zones Amazon Aurora
- 10. NoSQL ou SQL?
- 11. Comece com Bancos SQL
- 12. Por que começar com SQL? • Tecnologia bem conhecida • Varias ferramentas, exemplos, comunidades, livros, etc. • Você não vai travar seu BD SQL nos seus primeiros milhões de usuários.* • Padrões claros de escalabilidade * A não ser que você esteja fazendo alguma coisa SUPER peculiar com seus dados ou você tem uma quantidade MASSIVA de dados. ...mesmo assim você ainda terá um lugar para colocar SQL no seu sistema
- 13. AH HA! Você falou: “quantidade massiva”
- 14. > 5 TB em 1 ano? Sistema de uso intensivo de dados? OK! Talvez você precise de NoSQL.
- 15. Quais outros motivos para usar NoSQL? • Aplicações de super baixa-latência • Datasets orientados a meta-dados • Dados altamente não relacionados • Precisa de dados sem Schema* • Ingestão rápida de dados (milhares de registros/seg) • Quantidades massivas de dados (novamente, na escala dos TB) *Precisa != “É mais fácil desenvolver sem schema”
- 16. Usuários >100
- 17. Usuários >100 Web instance Elastic IP RDS DB instance User Amazon Route 53
- 18. Usuários >1000
- 19. Usuários >1000 Web Instance RDS DB Instance Active (Multi-AZ) Availability Zone Availability Zone Web Instance RDS DB Instance Standby (Multi-AZ) Load balancer User Amazon Route 53
- 20. Elastic Load Balancing • Alta Disponibilidade • Portas 1 - 65535 • Health checks • Session stickiness • Monitoring / logging • Secure sockets layer
- 21. Application Load Balancer • Alta Disponibilidade • Portas 1 - 65535 • Health checks • Session stickiness • Monitoring / logging • Content-based routing • Container-based apps • WebSockets • HTTP/2
- 23. Usuários >10.000
- 24. Usuários > 10.000s–100.000s RDS DB Instance Active (Multi-AZ) Availability Zone Availability Zone RDS DB Instance Standby (Multi-AZ) Load balancer RDS DB Instance Read Replica RDS DB Instance Read Replica RDS DB Instance Read Replica RDS DB Instance Read Replica Web Instance Web Instance Web Instance Web Instance Web Instance Web Instance Web Instance Web Instance Amazon Route 53User
- 25. Que tal falarmos de performance e eficiência?
- 26. RDS DB Instance Active (Multi-AZ) Availability Zone Load balancer Amazon S3 Amazon CloudFront Amazon Route 53 User Migre algumas cargas para o lado Web Instances Availability Zone Web Instances RDS DB Instance Standby (Multi-AZ)
- 27. • Storage de objetos • Alta durabilidade • Excelente para conteúdo estático • “Escalabilidade infinita” • Objetos de até 5 TB de tamanho • Criptografia opcional Amazon Simple Storage Service (S3)
- 28. • Cache de conteúdo acesso mais rápido • Reduz a carga na origem • Conteúdo estático e dinâmico • Vídeo Streaming • Certificados SSL customizáveis • Baixo TTLs (até 0 segundos) Amazon CloudFront
- 29. Migre algumas cargas ao redor RDS DB Instance Active (Multi-AZ) Availability Zone Load balancer Amazon S3 Amazon CloudFrontUser ElastiCache DynamoDB Web Instances Amazon Route 53
- 30. Amazon CloudFront ResponseTime ServerLoad Response Time Server Load Response Time Server Load No CDN CDN for Static Content CDN for Static & Dynamic Content 0 20 40 60 80 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM 12:00AM VolumeofData Delivered(Gbps)
- 31. Migre algumas cargas ao redor RDS DB Instance Active (Multi-AZ) Availability Zone Load balancer Amazon S3 Amazon CloudFront Amazon Route 53 User ElastiCache DynamoDB Web Instances
- 32. Amazon DynamoDB • Banco de dados NoSQL • Throughput provisionado • Rápido, performance previsível • Totalmente distribuído, tolerante a falhas • Suporte a JSON • Itens de até 400 KB
- 33. Amazon ElastiCache • Serviço gerenciado de Memcached ou Redis • Escala de um a muitos nós • Auto-Recovery (substitui instâncias problemáticas) • Velocidade de um dígito de milisegundos (normalmente) • Single-AZ para Memcached • Multi-AZ com Redis
- 34. Agora que nossa camada Web está muito mais leve, vamos voltar ao começo da conversa…
- 35. Auto Scaling!
- 36. Redimensionamento automático de clusters Define o tamanho min/max Escala baseado em métricas do CloudWatch Instâncias On-Demand ou Spot aws autoscaling create-auto- scaling-group --auto-scaling-group-name MyGroup --launch-configuration-name MyConfig --min-size 4 --max-size 200 --availability-zones us-west-2c, us-west-2b Auto Scaling
- 37. Domingo Segunda Terça Quarta Quinta Sexta Sábado Típico tráfego semanal da Amazon.com
- 38. Domingo Segunda Terça Quarta Quinta Sexta Sábado Típico tráfego semanal da Amazon.com Capacidade Provisionada
- 39. Novembro Tráfego de Novembro da Amazon.com
- 40. Capacidade provisionada Novembro Tráfego de Novembro da Amazon.com
- 41. Tráfego de Novembro da Amazon.com 76% 24% Novembro Capacidade provisionada
- 42. Tráfego de Novembro da Amazon.com Novembro
- 43. Auto Scaling permite que voce faça isso!
- 44. Usuários > 500,000+ Availability Zone Amazon Route 53 User Amazon S3 Amazon CloudFront Availability Zone Load balancer DynamoDB RDS DB Instance Read Replica Web Instance Web Instance Web Instance ElastiCache RDS DB Instance Read Replica Web Instance Web Instance Web Instance ElastiCacheRDS DB Instance Standby (Multi-AZ) RDS DB Instance Active (Multi-AZ)
- 45. Usuários > 500,000+ Availability Zone Amazon Route 53 User Amazon S3 Amazon CloudFront Availability Zone Load balancer DynamoDB RDS DB Instance Read Replica Web Instance Web Instance Web Instance ElastiCache RDS DB Instance Read Replica Web Instance Web Instance Web Instance ElastiCacheRDS DB Instance Standby (Multi-AZ) RDS DB Instance Active (Multi-AZ)
- 46. Use automação
- 47. Soluções de gerenciamento de aplicações AWS Conveniência Controle Serviços de Alto-Nível Faça voce mesmo AWS Elastic Beanstalk AWS OpsWorks AWS CloudFormation Amazon EC2
- 48. AWS CodeDeploy • Deploys your code to a “fleet” of EC2 instances • 1 – 10,000s of instances • Automatically schedules updates (multiple zones) • Application and Deployment groups described in YAML-formatted files • Can reference Auto Scaling groups • AWS Management Console, CLI, or APIs • Can be used with Chef recipes or Puppet scripts
- 49. Usuários >500,000+ • Monitoramento, métricas e logs • Se voce não quiser construir as ferramentas, use ferramentas dos parceiros! (AWS Marketplace) • O que os clientes estão dizendo? • Tente extrair o máximo de performance de cada serviço/componente
- 51. Existem mais algumas melhorias para serem feitas quebrando sua aplicação em web/app
- 52. SOA? O que quer dizer
- 54. Muita informação para ler! Mas não é por aqui que voce deve começar!
- 55. Mas não é por aqui que voce deve começar! É por aqui que voce deve começar! Muita informação para ler!
- 56. SOA Mova os serviços em cada camada • Trate cada uma separadamente • Escale independentemente Isto oferece flexibilidade e clareza do que cada componente faz
- 57. Desacoplamento + SOA = vencedor Não reinvente a roda! • Email • Queuing • Transcoding • Search • Databases • Monitoring • Metrics • Logging • Compute Amazon CloudSearch Amazon SQSAmazon SNS Amazon Elastic Transcoder Amazon SWFAmazon SES AWS Lambda
- 58. • Resiliente (Multi-AZ) • Escalável (unlimited messages) • Seguro (queue authentication) • Simples (simple APIs) Application Services – Amazon SQS SQS messages Get message Instance Put message Instance Amazon SNS Topic Publish notification Queue is subscribed to topic
- 59. Plataforma / Computação – AWS Lambda • Funções ativadas por triggers • JavaScript, Java, Python, and C# • Gerenciável • Escalabilidade automática S3 bucket Lambda Push: event notification DynamoDB Pull: DynamoDB Stream Amazon Kinesis Pull: Amazon Kinesis stream
- 60. Desacoplamento trás liberdade! Quanto mais desacoplado, mais fácil escalar • Componentes independentes • Faça o design de cada componente independente • Desacople as interações • Dê preferencia por serviços que tragam redundância e escalabilidade embutida • Não renivente a roda! S3 bucket Lambda Push: event notification DynamoDB Pull: DynamoDB Stream Amazon Kinesis SQS messages Get message Instance Put message Instance Amazon SNS Topic Publish notification Queue is subscribed to topic Pull: Amazon Kinesis stream
- 62. Usuários >1 milhão+ Alcançar um milhão ou mais será necessário um pouco de cada um dos componentes anteriores: • Multi-AZ • Elastic Load Balancing entre as camadas • Auto Scaling • Service oriented architecture (SOA) • Servir os conteúdos de forma inteligente (Amazon S3/CloudFront) • Cache de BD • Mover o estado (sessões) das camadas para auto escalar
- 63. Usuários >1 milhão+ RDS DB Instance Active (Multi-AZ) Availability Zone Load balancer RDS DB Instance Read Replica RDS DB Instance Read Replica Web Instance Web Instance Web Instance Web Instance Amazon Route 53 User Amazon S3 Amazon CloudFront DynamoDB Amazon SQS ElastiCache Worker Instance Worker Instance Amazon CloudWatch Internal App Instance Internal App Instance Amazon SES Lambda
- 64. Revisando
- 65. Revisando • Crie sua infraestrutura em Multi-AZ. • Faça o uso de serviços auto escaláveis—ELB, Amazon S3, Amazon SNS, Amazon SQS, Amazon SWF, Amazon SES, etc. • Crie redundância em cada nível. • Comece com SQL. Sério. • Faça o cache dos dados tanto dentro quanto for a da sua infraestrutura. • Use ferramentas de automação na sua infraestrutura.
- 66. Revisando, continuação • Garanta que voce esteja monitorando, gerando métricas e logando tudo. • Divida as camadas de serviços (SOA) • Use o Auto Scaling quando seu estiver pronto para isso. • Não reinvente a roda. • Use NoSQL se e quando fizer sentido
- 67. 10+ milhões de usuários!
- 68. Ao infinito...
- 69. Usuários >10 milhões • Mais ajustes finos na sua aplicação • Mais SOA das funcionalidades • Indo de Multi-AZ para multi-região • Possivelmente a criação de soluções customizadas • Analise detalhada de todas as camadas • Serviços de Container (ECS) • AWS Lambda
- 70. Próximos passos? Leia! aws.amazon.com/documentation aws.amazon.com/architecture aws.amazon.com/start-ups Começe a usar a AWS: aws.amazon.com/free/
- 71. Precisa de ajuda? forums.aws.amazon.com aws.amazon.com/premiumsupport/ Seu gerente de contas Um Arquiteto de Soluções
- 72. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Marcus Wittmann – Buscapé Case de sucesso do Buscapé
- 73. “A AWS nos proporcionou um ambiente escalável e gerenciável nos permitindo focar em nossos produtos.” O Buscapé é uma das maiores empresas de internet e uma das primeiras grandes startups do Brasil. Utiliza ferramentas como comparação de preço e análise de mercado a fim de ajudar o consumidor a ter a melhor experiência online. “A adoção da AWS nos possibilitou uma gestão eficiente de custos e ganhos expressivos em performance e disponibilidade” - Marcus Wittmann, CTO
- 74. O Desafio • Disponibilidade 100% nas datas sazonais (ex: Black Friday e Dia do Consumidor) onde o volume de acesso chega a ser 50x maior que um dia convencional. • Tempo de resposta é crucial para o nosso negócio. • Time-to-Market de produtos.
- 76. Ganhos com a migração • Aproximadamente 30% de melhora em tempo de resposta + • Redução de 80% de downtime dos sistemas críticos * Migração ainda em curso
- 77. Solução – AWS + CI/CD Change Register build deploy production Automated Tests Teams feedback results results Auto-scaling rules
- 78. Obrigado!
- 79. Ainda não tem o App oficial do AWS Summit São Paulo? http://amzn.to/2rOcsVy Não deixe de avaliar as sessões no app!
Notas do Editor
- O Titans Group é lider em serviços de telefonia e provedores de internet, com operação em 40 operadores em 17 países… um principais produtos chamado “X” é um aplicativo de sincronização de arquivos para mobile e desktop
- Titans Group precisava garantir que a solução de storage do produto atendesse os requisitos mais exigentes do ponto de vista de durabilidade, disponibilidade e confidencialidade das informações dos usuários. Também era preciso garantir a escalabilidade tanto do ponto de vista técnico quanto do ponto de vista de custo.
- Utilzado S3: 99,999999999% de durabilidade, 99,99% de disponibilidade e recursos de criptografia. Foco no desenvolvimento das aplicações. Lições: deduplicação, diff binário, upload e download direto para S3. Outros serviços da AWS: EC2, EBS, ELB, RDS, VPC, auto-scaling, ElasticCache, SNS, SES. Mais de 18 milhões de usuários em 17 países.
- Utilzado S3: 99,999999999% de durabilidade, 99,99% de disponibilidade e recursos de criptografia. Foco no desenvolvimento das aplicações. Lições: deduplicação, diff binário, upload e download direto para S3. Outros serviços da AWS: EC2, EBS, ELB, RDS, VPC, auto-scaling, ElasticCache, SNS, SES. Mais de 18 milhões de usuários em 17 países.
- Utilzado S3: 99,999999999% de durabilidade, 99,99% de disponibilidade e recursos de criptografia. Foco no desenvolvimento das aplicações. Lições: deduplicação, diff binário, upload e download direto para S3. Outros serviços da AWS: EC2, EBS, ELB, RDS, VPC, auto-scaling, ElasticCache, SNS, SES. Mais de 18 milhões de usuários em 17 países.