O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Seu banco de dados na nuvem: Opções de bancos de dados na AWS e padrões de arquitetura

331 visualizações

Publicada em

Seu banco de dados na nuvem: Opções de bancos de dados na AWS e padrões de arquitetura - AWS Cloud Experience - Começando na AWS

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Seu banco de dados na nuvem: Opções de bancos de dados na AWS e padrões de arquitetura

  1. 1. Seu banco de dados na nuvem: Opções de Bancos de Dados na AWS e padrões de arquitetura Hugo Rozestraten – Arquiteto de Soluções
  2. 2. Agenda • Banco de Dados relacionais; • Migração de dados para a AWS; • Bancos de Dados NoSQL; • Outras opções de Armazenamento e Busca;
  3. 3. Bancos de Dados Relacionais Amazon EC2 Amazon RDS Muitos DBs suportados em Linux ou Windows
  4. 4. Banco de Dados na AWS: RDS ou EC2? Serviços PerformanceVolume Disponibilidade SegurançaFeatures
  5. 5. Seu Data Center Serviços Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Instalação SO Otimização Apps
  6. 6. AWS CloudFormation Amazon EC2 – Install or Clone Serviços Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Otimização Apps Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Instalação SO Amazon EC2 AMI
  7. 7. Amazon RDS – Relational Database Services Serviços Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Instalação SO Otimização Apps Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Amazon RDS
  8. 8. Database Size Volume Amazon EC2 Amazon RDS 6 TeraBytes Oracle 4 Terabytes SQLServer +20 (soft limit) TeraBytes
  9. 9. Performance Capacidade Computacional 1 vCPU a 128vCPUs 1 vCPU a 40vCPUs Memória GB of RAM 1 GB a 1.952 GB 1 GB a 244 GB Redes (Throughput) Low a 20 Gbps Low a 10 Gbps Storage I/O Throughput 48.000 IOPS 30.000 IOPS R3, R4 instance support Instance Families: T2, M3, M4 Amazon EC2 Amazon RDS
  10. 10. Disponibilidade Node 1 Node 2 Storage 1 Storage 2 Storage 3 Node 3 Node 4 Mesmo Rack Mesmo appliance Mesmo Data Center Mesma entrada de energia Mesma localização geográfica
  11. 11. Disponibilidade Oracle Amazon EC2Amazon RDS
  12. 12. Disponibilidade SQL Server Amazon EC2Amazon RDS
  13. 13. Segurança DB Application Users IAM VPC Segurança
  14. 14. Criptografia de Dados EBS AWS KMS volume Oracle Instance RDS TDE CloudHSM TDE_HSM Segurança Segurança
  15. 15. Banco de Dados Relacional, compatível com MySQL Entregando Performance e disponibilidade dos Bancos de dados Comerciais Simplicidade e eficiência de custo de um Banco de dados open-source O que é Amazon Aurora?
  16. 16. Aurora cluster Amazon S3 AZ 1 AZ 2 AZ 3 Aurora primary instance Cluster volume spans 3 AZs
  17. 17. Aurora cluster com réplicas Amazon S3 AZ 1 AZ 2 AZ 3 Aurora primary instance Cluster volume spans 3 AZs Aurora Replica Aurora Replica
  18. 18. Tráfego de I/O com MySQL BINLOG DATA DOUBLE-WRITELOG FRM FILES T Y P E O F W R I T E MYSQL WITH STANDBY EBS mirrorEBS mirror AZ 1 AZ 2 Amazon S3 EBS Amazon Elastic Block Store (EBS) Primary Instance Standby Instance 1 2 3 4 5 Fluxo de IO Complexo 1, 3 e 5 sequenciais e síncronos Aumenta a latência Muitas operações de IO para uma única escrita do usuário Observações 780 K transactions 7,388 K I/Os per million transactions (excludes mirroring, standby) Average 7.4 I/Os per transaction PERFORMANCE 30 minute SysBench write-only workload, 100 GB dataset, RDS Single AZ, 30 K PIOPS
  19. 19. Tráfego de I/O no Aurora (database) AZ 1 AZ 3 Primary Instance Amazon S3 AZ 2 Replica Instance AMAZON AURORA ASYNC 4/6 QUORUM DISTRIBUTED WRITES BINLOG DATA DOUBLE-WRITELOG FRM FILES T Y P E O F WR IT ES 30 minute SysBench writeonly workload, 100GB dataset I/O FLOW Só escreve logs; Outros passos assíncronos Não escreve blocos (checkpoint, cache replacement) Mais 6x log writes, mas 9x menos tráfego de rede Tolerante à latência de redes e storage Observações 27,378 K transactions 35x MORE 950K I/Os per 1M transactions (6x amplification) 7.7x LESS PERFORMANCE Fluxo de redo log records— ordenados por LSN Enviados para storage nodes para operações de escrita
  20. 20. Rápido, simples, petabyte-scale data warehousing por menos de $1,000/TB/year Amazon Redshift
  21. 21. N A S D A Q L I S T S3 , 6 0 0 G L O B A L C O M P A N I E S IN MARKET CAP REPRESENTING WORTH $9.6TRILLION DIVERSE INDUSTRIES AND MANY OF THE WORLD’S MOST WELL-KNOWN AND INNOVATIVE BRANDSMORE THAN U.S. 1 TRILLIONNATIONAL VALUE IS TIED TO OUR LIBRARY OF MORE THAN 41,000 GLOBAL INDEXES N A S D A Q T E C H N O L O G Y IS USED TO POWER MORE THAN IN 50 COUNTRIES 100 MARKETPLACES OUR GLOBAL PLATFORM CAN HANDLE MORE THAN 1 MILLION M ES SAG ES / S EC O N D AT SUB-40 MICROSECONDS AV E R A G E S P E E D S 1 C L E A R I N G H O U S E WE OWN AND OPERATE 26 MARKETS 5 CENTRAL SECURITIES DEPOSITORIES INCLUDING A C R O S S A S S E T CL A S SE S & GEOGRAPHIES
  22. 22. Amazon Redshift Entrega Performance “Redshift é vinte vezes mais rápido que Hive” (5x – 20x redução no tempo das queries) link “Queries que costumavam rodar em horas, retornam em segundos. Nossos analistas estão visivelmente mais produtivos.” (20x – 40x redução em tempo de execução) link …[Redshift] performance deixou todos impressionados (geralmente vemos 50-100x de melhoria comparando com Hive). link “O Time brincou com Redshift hoje concluiu é ****** incrível. Queries complexas sem índices retornando em < 10s.” “Eu falei ridiculamente rápido? Nós vamos usar imediatamente para prover alternativa ao Hadoop para os analistas.” “Nós vimos…queries 2x mais rápidas” Channel Nós regularmente processamos conjuntos de vários bilhões de linhas e fazemos em questões de horas. link
  23. 23. Amazon Redshift Arquitetura 10 GigE (HPC) Ingestão Backup Restore JDBC/ODBC
  24. 24. Arquitetura dos nós de computação Leader Node Dense Compute Nodes Large • 2 slices/cores • 15GB RAM • 160GB SSD 8XL • 32 slices/cores • 244 GB RAM • 2.56TB SSD Dense Storage Nodes X-Large • 2 slices/ 4 cores • 31GB RAM • 2TB HDD 8XL • 16 slices/ 36 cores • 244 GB RAM • 16TB HDD
  25. 25. Use múltiplos arquivos de carga para Maximizar Throughput • Comando COPY • Você precisa de pelo menos a quantidade de arquivos = ”Slices” • Com 16 input files, todas as ”slices” estão trabalhando para maximizar throughput • Tenha 100 MB/s por nó; escalabilidade linear !!! 16 Input Files DW1.8XL Compute Node
  26. 26. Migração de Bancos de Dados Relacionais para a AWS – Amazon EC2 Amazon EC2 Data Center On premises AWS Internet VPN Amazon EC2 Backup Lógico/Físico Sincronismo ReplicaçãoAmazon S3
  27. 27. Migração de Bancos de Dados Relacionais para a AWS – Amazon RDS Amazon RDS Customer premises AWS Internet VPN Backup Lógico/Físico Sincronismo ReplicaçãoAmazon RDS Amazon S3 Amazon EC2
  28. 28. Agenda • Banco de Dados relacionais; • Migração de dados para a AWS; • Bancos de Dados NoSQL; • Outras opções de Armazenamento e Busca;
  29. 29. Comece a migração em poucos minutos Mantenha a aplicação rodando enquanto migra Replicação entre, para e de Amazon EC2 ou Amazon RDS Movimenta dados para o mesmo motor de DB ou outro AWS Database Migration Service (AWS DMS) Amazon Aurora
  30. 30. AWS Schema Conversion Tool • Features • Conversão Oracle e Microsoft SQL Server para MySQL, Amazon Aurora, MariaDB, ou PostgreSQL • Ou converter seu schema entre PostgreSQL e qualquer MySQL engine • Relatório de Assessment de Database Migration para escolher o motor de banco de dados e tratar as diferenças • Varredura de código evidenciando os locais aonde serão necessárias edições manuais • Conexão segura com SSL • Código otimizado para Cloud O AWS Schema Conversion Tool ajuda a automatizar a conversão de schema de banco de dados e códigos, para migrações entre motores de bancos de dados ou data warehouses
  31. 31. Origens e Destinos com AWS DMS Origens: On-premises and Amazon EC2 instance databases: • Oracle Database 10g – 12c • Microsoft SQL Server 2005 – 2014 • MySQL 5.5 – 5.7 • MariaDB (MySQL-compatible data source) • PostgreSQL 9.4 – 9.5 • SAP ASE 15.7+ RDS instance databases: • Oracle Database 11g – 12c • Microsoft SQL Server 2008R2 - 2014. CDC operations are not supported yet. • MySQL versions 5.5 – 5.7 • MariaDB (MySQL-compatible data source) • PostgreSQL 9.4 – 9.5. CDC operations are not supported yet. • Amazon Aurora (MySQL-compatible data source) Destinos: On-premises and EC2 instance databases: • Oracle Database 10g – 12c • Microsoft SQL Server 2005 – 2014 • MySQL 5.5 – 5.7 • MariaDB (MySQL-compatible data source) • PostgreSQL 9.3 – 9.5 • SAP ASE 15.7+ RDS instance databases: • Oracle Database 11g – 12c • Microsoft SQL Server 2008 R2 - 2014 • MySQL 5.5 – 5.7 • MariaDB (MySQL-compatible data source) • PostgreSQL 9.3 – 9.5 • Amazon Aurora (MySQL-compatible data source) Amazon Redshift
  32. 32. SCT ajuda a converter tabelas, códigos e views Sequences User-defined types Synonyms Packages Stored procedures Functions Triggers Schemas Tables Indexes Views Sort and distribution keys
  33. 33. Demonstração
  34. 34. Agenda • Banco de Dados relacionais; • Migração de dados para a AWS; • Bancos de Dados NoSQL; • Outras opções de Armazenamento e Busca;
  35. 35. Bancos de Dados NoSQL
  36. 36. Bancos de Dados NoSQL
  37. 37. Bancos de Dados NoSQL
  38. 38. Amazon DynamoDB Documento ou Chave-Valor Escala qualquer WorkloadNoSQL 100% Gerenciado Controle de Acesso Programação baseada em evento Rápido e Consistente
  39. 39. Escalabilidade • Throughput Qualquer tamanho ou throughput • Tamanho Adiciona qualquer número de itens a uma tabela • Escalabilidade Atingida por particionamento
  40. 40. Throughput • Provisionado na tabela • Write capacity units (WCUs) medidos em 1 KB por second • Read capacity units (RCUs) medidos em 4 KB por second • Consistência eventual é 1/2 da consistência forte • Limites independentes para Read e write WCU RCU
  41. 41. Cassandra https://aws.amazon.com/marketplace/pp/B01MTND DHS
  42. 42. MongoDB https://aws.amazon.com/blogs/aws/mongodb-on-the-aws-cloud-new-quick-start-reference-deployment/ https://aws.amazon.com/marketplace/pp/B00KHWYQ L0
  43. 43. Agenda • Banco de Dados relacionais; • Migração de dados para a AWS; • Bancos de Dados NoSQL; • Outras opções de Armazenamento e Busca;
  44. 44. EMR com Amazon S3 é seu novo Data Warehouse Hive, Pig, Cascading Spark Presto HBase Amazon S3
  45. 45. Amazon Athena Amazon Athena é um serviço de queries interativo que facilita a análise de dados diretamente do Amazon S3, com SQL padrão ANSI
  46. 46. Athena é Serverless • Sem Infraestrutura, zero administração • Não existem tempo de provisionamento • Upgrades são transparentes
  47. 47. Motor de busca distribuído Serviço gerenciado usando Elasticsearch e Kibana Totalmente gerenciado - zero administração Totalmente disponível e confiável Totalmente integrado com outros serviços AWS Amazon Elasticsearch Service
  48. 48. Demo
  49. 49. Resumo Bancos de Dados - AWS Amazon EC2 Amazon RDS Vários DBs suportados em Linux ou Windows Amazon S3 EMR Amazon Elasticsearch Service
  50. 50. Obrigado ! Amazon RDS https://aws.amazon.com/pt/rds/ Amazon DMS https://aws.amazon.com/pt/dms/ Amazon Aurora https://aws.amazon.com/pt/rds/aurora/details/ Amazon Redshift https://aws.amazon.com/pt/redshift/ Amazon Athena https://aws.amazon.com/pt/athena/ Amazon EMR https://aws.amazon.com/pt/emr/ Amazon DynamoDB https://aws.amazon.com/pt/dynamodb/ MongoDB na AWS http://docs.aws.amazon.com/quickstart/latest/mongodb/deployment.html Apache Cassandra https://d0.awsstatic.com/whitepapers/Cassandra_on_AWS.pdf Oracle na AWS https://d0.awsstatic.com/whitepapers/best-practices-for-running-oracle-database-on-aws.pdf MS SQL Server na AWS https://aws.amazon.com/windows/products/sql/ Documentação

×