Seis estratégias para ter seus dados na AWS
•Transferir como PPTX, PDF•
0 gostou•1,759 visualizações
As soluções de armazenamento da Amazon Web Services (AWS) são projetadas para oferecer armazenamento seguro, escalonável e durável para empresas que desejam alcançar eficiência e escalabilidade em seus ambientes de backup e recuperação, sem necessidade de uma infraestrutura local.
Recomendados
Recomendados
Mais conteúdo relacionado
Mais de Amazon Web Services LATAM
Mais de Amazon Web Services LATAM (20)
Seis estratégias para ter seus dados na AWS
- 1. © 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved. João Paulo (JP) Santana, Arquiteto de Soluções AWS 23 de agosto de 2016 Migração de Dados para a Nuvem: Seis estratégias para migrar seus dados para a AWS
- 2. Quando devemos migrar os dados? • Migrar aplicativos para a AWS • Desenvolver modelo híbrido • Implementar site de recuperação de desastres em uma região da AWS • Fazer backup arquivar no Amazon S3, Glacier • Carregar dados em serviços de análise da AWS, como EMR e Redshift.
- 3. Para onde migrar? Amazon S3 Armazenamento de objetos durável para todos os tipos de dados Amazon EBS Armazenamento no nível de bloco para uso com o Amazon EC2 Amazon Glacier Armazenamento de arquivo para dados acessados com pouca frequência Benefícios de custos Fácil de usar Risco reduzido Agilidade, escala Pagar conforme o uso Sem investimento inicial Sem compromisso Sem planejamento de capacidade arriscada Administração do próprio serviço SDKs para integrações simples Durável e seguro Evitar os riscos de manuseio da mídia física Reduzir o tempo de entrada no mercado Foco nos seus negócios, não na sua infraestrutura Amazon EFS Armazenamento de arquivo para uso com o Amazon EC2
- 4. Roteiro deste webinar: Transportar e incluir serviços
- 6. O que é o AWS Direct Connect… Dedicado, conexões de 1 ou 10 Gbps privados para a AWS Criar interfaces virtuais públicas ou privadas (VPC) para a AWS Taxas de saída de dados reduzidas (Entrada de dados continua gratuita) Desempenho de rede consistente 2 pontos de conexão na região São Paulo da AWS Opção para conexões redundantes Usa BGP para trocar informações de roteamento através de uma VLAN
- 7. Conexão física • Cross Connect no local • Fibra Single Mode - 1000Base-LX ou 10GBASE-LR • Entrega potencial através do parceiro Direct Connect em diante • Roteador do cliente
- 8. No local do Direct Connect CORP AWS Direct Conectar roteadores Roteador do cliente Compartilh ada Local do DX Cliente Rede ` AWS Backbone Rede Várias Conexões Roteador do cliente Rede do cliente Demarcação
- 9. Porta dedicada do parceiro Direct Connect CORP AWS Direct Conectar roteadores Compartilh ada Local do DX Rede de parceiros AWS Backbone Rede Cross Connect Roteador do cliente Parceiro Rede Controle de Circuito Demarcação Parceiro Equipame nto
- 10. Direct Connect - Locais Região da AWS Local do AWS Direct Connect Ásia-Pacífico (Cingapura) Equinix SG2, GPX, Mumbai Ásia-Pacífico (Seul) KINX, Seul Ásia-Pacífico (Sydney) Equinix SY3, Global Switch Ásia-Pacífico (Tóquio) Equinix OS1, Equinix TY2 China (Pequim) Sinnet JiuXianqiao IDC, CIDS Jiachuang IDC UE (Frankfurt) Equinix FR5, Interxion Frankfurt UE (Irlanda) TelecityGroup, Docklands de Londres, Eircom Clonshaugh Equinix LD4 - LD6, Londres América do Sul (São Paulo) Terremark NAP do Brasil, Tivit Leste dos EUA (Virgínia) CoreSite NY1 & NY2, Equinix DC1 - DC6 & DC10 Oeste dos EUA (Norte da Califórnia) CoreSite One Wilshire & 900 North Alameda, CA, Equinix SV1 & SV5 Oeste dos EUA (Oregon) Equinix SE2 & SE3, Switch SUPERNAP, Las Vegas AWS GovCloud (EUA) Equinix SV1 e SV5
- 11. Detalhes – AWS Direct Connect Re:Invent 2015 - Detalhes: AWS Direct Connect e VPNs (NET406) Youtube - https://www.youtube.com/watch?v=SMvom9QjkPk SlideShare - http://www.slideshare.net/AmazonWebServices/net406- deep-dive-aws-direct-connect-and-vpns Detalhes do serviço e preço - https://aws.amazon.com/directconnect/details/
- 13. Importar/Exportar disco da AWS • Acelera a movimentação de grandes volumes de dados de e para Amazon S3, Glacier e EBS • Transfere seus dados diretamente de e para os dispositivos de armazenamento do cliente • Usa rede interna de alta velocidade da Amazon para concluir a transferência • Suporta unidades com conexão eSATA e USB 2.3 de até 6 TBs ou 16 TB AWS Import/Export
- 14. O que é Snowball? Transporte de dados em escala de petabytes Etiqueta de transporte E-ink Robusto “Impacto de 8.5G” Todos os dados criptografados de ponta a ponta Resistente a água e poeira Caixa e componentes resistentes à violação 80 TB Conexão 10Gb
- 16. O quão rápido é o Snowball? • Menos de 1 dia para transferir 250 TB através de conexões 10Gbps com 5 Snowballs, menos de 1 semana, incluindo transporte • Número de dias para transferir 250 TB através da internet com uma utilização típica Velocidade da conexão com a internet Utilização 1 Gbps 500 Mbps 300 Mbps 150 Mbps 25% 95 190 316 632 50% 47 95 158 316 75% 32 63 105 211
- 17. Quando utilizar o AWS Import/Export Snowball Nuvem Migração Desastre Recuperação Descomissionamento de Datacenter Conteúdo Distribuição
- 18. AWS Snowball Importar/Exportar disco da AWS Quando utilizar o Disk e quando utilizar o Snowball? • Somente importação, exportação disponível em breve • Estará disponível em todas as regiões até final do ano (2016). • Importa somente para o S3 • Suporta transferência de dados grandes, desde TBs até PBs Suporta importação e exportação para buckets S3 e instantâneo EBS na importação: • Leste dos EUA (Norte da Virgínia) • Oeste dos EUA (Oregon) • Oeste dos EUA (Norte da Califórnia) • UE (Irlanda) • Ásia-Pacífico (Cingapura) Suporta importação para o Glacier: • Leste dos EUA (Norte da Virgínia) • Oeste dos EUA (Oregon) • Oeste dos EUA (Norte da Califórnia) • Regiões UE (Irlanda)
- 19. Detalhes – AWS Import/Export Reinventar a sessão 2015 - AWS Import/Export Snowball: Incluir dados em grande escala na AWS (STG202) Youtube - https://www.youtube.com/watch?v=86ogJHFSJRo SlideShare - http://www.slideshare.net/AmazonWebServices/stg202- aws-importexport-snowball-largescale-data-ingest-into-aws Detalhes do serviço e preço - https://aws.amazon.com/importexport/
- 21. O que é o Storage Gateway da AWS? Funciona com seus aplicativos existentes Armazenamento durável e seguro na AWS Baixa latência para dados usados com frequência Armazenamento no local escalável e de baixo custo - US$ 125 por gateway por mês + taxas de armazenamento do S3/Glacier Serviço conectando um dispositivo de software no local ao armazenamento com base na nuvem
- 22. Usos comuns do AWS Storage Gateway Backup e arquivamento Recuperação de desastres Migração de dados
- 23. Como o AWS Storage Gateway funciona? Snapshots do Amazon EBS Amazon S3 Amazon Glacier AWS Storage Gateway dispositivo Servidor de Aplicação AWS Back-end do Storage Gateway AWS Direct Connect Internet Local do cliente
- 24. Configurações do AWS Storage Gateway Armazenamento em bloco iSCSI Gateway-stored volumes Armazenamento de fitas virtuais iSCSI Baixa latência para todos os seus dados com backups de point-in-time para AWS Substituto para infraestrutura de fita física no local para backup e arquivamento Gateway-cached volumes Virtual Tape Library (VTL, Biblioteca de fitas virtuais) Baixa latência para os dados usados com frequência em todos os dados armazenados na AWS
- 25. Virtual Tape Library (VTL, Biblioteca de fitas virtuais) do Gateway • Substituir ou aumentar a sua infraestrutura de fita antiga com armazenamento de objetos duráveis • Fitas virtuais armazenadas na AWS. Os dados frequentemente acessados são armazenados em cache no local • Até 1.500 fitas, até 2,5 TB cada e até 150 TB por gateway-VTL • Número ilimitado de fitas na prateleira de fitas virtuais (VTS) Datacenter do cliente Armazenamento de backup do VTS pelo Amazon Glacier AWS Storage Gateway VM Backup Servidor INICIADOR AWS Serviço do Storage Gateway DISPOSITIVODE TROCADEMÍDIA Carregar Buffer Armaze- namento em cache Gateway-VTL armazenamento de backup por Amazon S3 VT S UNIDADEDE FITA
- 26. Detalhes – AWS Storage Gateway Reinventar a sessão 2015 - Detalhes do AWS Storage Gateway (STG311) Youtube - https://www.youtube.com/watch?v=VmjDfz-MIZE SlideShare - http://www.slideshare.net/AmazonWebServices/stg311-aws- storage-gateway-secure-costeffective-backup-archive Detalhes do serviço e preço - https://aws.amazon.com/storagegateway/
- 27. Parceiros de tecnologia da AWS
- 28. Ecossistema de parceiros de armazenamento da Amazon
- 29. Backup das abordagem AWS Amazon S3 Amazon Glacier AWS Direct Connect Internet Amazon S3-IA Aplicativo servidores Cloud Gateway Disco local Mídia Servidor Cloud Gateway Servidores Backup do conector de nuvem do SW Disco local Servidor de BKP com conector de nuvem
- 30. CommVault junto no local e estratégias de dados na nuvem Commvault organiza a empresa • Fazer backup na nuvem: Mantenha cópias de segurança de cargas de trabalho na nuvem • Fazer backup para a nuvem: Permitir às cargas de trabalho no local a capacidade de alavancar a AWS • Recuperação de desastres para a nuvem: recuperação de desastres automatizada para a nuvem de forma programada • Portabilidade de cargas de trabalho: Tenha certeza de que os servidores virtuais podem ser movidos de local para a nuvem e vice-versa; mantenha os dados disponíveis sempre que você precisar • Arquivar na nuvem: Mover dados legados para armazenamento de nível 2 na nuvem para arquivamento de longo prazo Gerenciamento centralizado e simples Datacenter AWS VPC AWS e Commvault se combinam para minimizar os custos de rede, armazenamento e infraestrutura, oferecendo ao negócio uma boa estratégia de proteção de dados e recuperação de desastres.
- 31. Backup das abordagem AWS Amazon S3 Amazon Glacier AWS Direct Connect Internet Amazon S3-IA Aplicativo servidores Cloud Gateway Disco local Mídia Servidor Cloud Gateway Aplicativo servidores Backup do conector de nuvem do SW Disco local Mídia Servidor com conector de nuvem
- 32. NetApp AltaVault Backup de locais para o S3/Glacier Aplicativos de backup comuns integrados com o AltaVaultResolver problemas com backup e arquivamento com o armazenamento integrado em nuvem Redução de 90% no tempo, custo e volumes de dados Escolhe os tempos de recuperação de dias para minutos Suporta cerca de 85% dos fornecedores de backup e software Glacier Local AWS Dispositivo de armazenamento integrado a nuvem NetApp AltaVault FAS E-Series Armazenamento Não NetApp Integra perfeitamente ao armazenamento existente e ambiente de software de backup Deduplica, compacta e criptografa Armazena em cache backups recentes localmente e armazena as cópias antigas na nuvem Armazena dados em nuvem pública ou privada a sua escolha NetApp SnapProtect Arcserve CommVault Simpana EMC NetWorker HP Data Protector IBM Tivoli Storage Mgr Symantec Backup Exec Symantec NetBackup Veeam Microsoft SQL Server Oracle RMAN S3 AltaVault também está disponível no mercado para proteger cargas de trabalho nativas em nuvem
- 33. © 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved. serviços de arquivos unificados que se estendem desde endpoints até escritórios remotos e para a nuvem. snapshots, versões de arquivos e sincronização de arquivos são executados em todos os pontos de acesso através da nuvem os dados estão seguros e otimizados na fonte tudo é armazenado na AWS VPC, os dados são armazenados na AWS S3-IA Integrado à segurança verificada da empresa e ferramentas de gerenciamento ROBO NAS Gateways Aplicativos ponto final Servidor da nuvem Agentes Proteção de dados Mecanismo Sincronização de arquivos Mecanismo com automação centralizada, gerenciamento e locação múltipla Identidade gerenciamento dados governança nuvem organização S3 Infrequent Access CTERA Global Deduplicação Ctera: Plataforma de serviços de arquivos empresariais
- 35. Plataforma do Amazon Kinesis Streaming de dados do Amazon Kinesis na nuvem da AWS • Processos de streaming do Amazon Kinesis • Amazon Kinesis Firehose • Amazon Kinesis Analytics
- 36. Amazon Kinesis Firehose Carregar grandes volumes de streaming de dados para o Amazon S3 e Amazon Redshift Administração zero: Capturar e entregar streaming de dados ao S3, Redshift e outros destinos sem desenvolver um aplicativo ou gerenciar uma infraestrutura. Integração de armazenamento direto aos dados: Agrupar, compactar e criptografar streaming de dados para entrega em seus destinos em menos de 60 segundos usando configurações simples. Elasticidade perfeita: Dimensiona perfeitamente para coincidir com a transferência de dados w/o Capturar e enviar streaming de dados para o Firehose Firehose carrega streaming de dados continuamente no S3 e Redshift Analisar streaming de dados usando suas ferramentas de BI favoritas
- 37. Vertical/Caso de uso Inclusão acelerada- Carregar até o destino final para o Analytics Tecnologia de anúncios/ Análise de marketing Agregação de dados de anúncios Cliente on-line/Jogos Agregação de dados de engajamento do cliente on-line Serviços financeiros Coleta de dados para o Mercado/Transações financeiras IoT / Dados do Sensor Dispositivos esportivos, sensor de veículos e ingestão de dados de telemetria Amazon Kinesis FirehoseCasos de uso do Amazon Kinesis Firehose
- 38. Detalhes – AWS Kinesis Firehose Reinventar a sessão 2015 - Streaming de fluxos de dados com o Amazon Kinesis Firehose (BDT320) Youtube - https://www.youtube.com/watch?v=lkRoQlhWDXA SlideShare - http://www.slideshare.net/AmazonWebServices/bdt320- new-streaming-data-flows-with-amazon-kinesis-firehose Detalhes do serviço e preço - https://aws.amazon.com/kinesis/firehose/
- 39. Resumo – Quando usar cada serviço SE PRECISAR: CONSIDERAR: Uma conexão com a Internet otimizada ou substituta: conecte-se diretamente em um datacenter regional da AWS Direct Connect migrar TBs ou PBs de dados para a nuvem Import/Export Snowball migrar GBs de dados em uma rede com velocidade inferior a 10Mbps Importar/Exportar disco Uma interface amigável do S3 para: cache de dados localmente em um modelo híbrido (por motivos de desempenho) Gateways (AWS ou parceiro) redirecionar backups ou arquivos com o mínimo de interrupção Parceiros de tecnologia agregar fluxos de dados a vários dispositivos Kinesis Firehose
- 40. Obrigado!
Notas do Editor
- Nós discutiremos seis estratégias de migração de dados para a AWS e mostraremos alguns casos de uso para que você saiba qual melhor atende o seu caso É esperado que a audiencia tenha algum conhecimento da plataforma AWS, em serviços como VPC, EC2 e S3
- Bom, quando você entende o valor e o poder da nuvem, você quer começar logo a utilizar a AWS. Mas como migrar dados existentes, que foram gerados no seu datacenter, para a nuvem AWS? Alguns casos de migração podem ser: Migrar seus servidores para aproveitar a elasticidade da nuvem… Migrar seus backups para aproveitar a durabilidade e a economia fornecida pelos nossos serviços de storage Criar um ambiente de Disaster Recovery na AWS Ou usar nossos serviços de Analytics como o EMR e o Redshift para analisar um montante grande de dados
- Hoje estamos falando de estratégias para que você traga seus dados mas eu gostaria de fazer um overview sobre os serviços que você utilizará uma vez que tenha seus dados migrados Overview… Com esses serviços você não precisa fazer contratos de longo prazo para montantes de storage pré-estabelecidos num dimensionamento pelo pico
- Nós vamos olhar varios serviços e meu objetivo é te dar um norte de qual desses serviços pode te atender melhor na sua estrategia de migração Nós dividomos esses serviços em duas categorias. Serviços de conectividade e serviços de transporte. Os serviços de conectividade simplificam a forma de conexão entre seu ambiente on premises e a AWS Os serviços de transporte vao te ajudar a fazer a interface facil com os serços de storage da AWS, atrav;es dos servicos de conectividade Conectividade padrao é pela internet, uma VPN IPSEC, que pode propagar rotas estaticamente ou através de BGP
- 802.1q VLAN’s
- Nós conectamos nossas Zonas de Disponibilidade (Datacenters) aos pontos de conexão do DX. A conexão do DX é para a VPC que abrange toda a região Se vc já estiver em uma dessas regiões somente um golden jumper é necessário
- Cenário de conexao direta do cliente para o ponto de DX
- Cenário de conexao através de partner do cliente para o ponto de DX Voce usa BGP para publicar e trocar informações de roteamento de suas redes
- Nós temos mais de 20 pontos de conexao do DX e nós continuamos expandindo essa presença Baseando-se em feedbacks e requisições de clientes e nos nossos planos de expansão global Recentemente lançamos nossa segundo ponto de conexão em São Paulo, que fica na Tivit
- Mais recursos para que você obtenha informações adicionais
- Algumas vezes o DX não é o melhor caminho para migração ou não é uma possibilidade, devido à quantidade de dados ou mesmo por concorrencia do link por outras operações Algumas vezes essa grande migração ocorre também uma só vez, não faz sentido instalar um DX somente para isso
- O serviço agora se chama Import/Export Disks Você pode usar seus proprios devices de storage ou de algum parceiro AWS para portar seus dados para a Nuvem O serviço te habilita levar ou trazer dados de buckets S3, Glacier ou EBS Os devices podem ser enviados para a AWS e transportados de maneira segura para um ponto de presença da AWS na região de destino A transferencia dos dados para um bucket S3 de sua escolha tipicamente começa 1 dia depois da chegada do device no ponto de presença AWS Quando a transferencia é completa a AWS te envia o device de volta O serviço suporta Suporta unidades com conexão eSATA e USB 2.3 de até 6 TBs ou 16 TB
- Import/Export Snowball é um serviço novo, introduzido ano passado É um serviço de escala de PB que utiliza um dispositivo próprio da amazon para transferencia, transporte e armazenar dados para a AWS É facil de usar: Voce irá instalar o cliente do snowball em um servidor ou desktop linux, conectalo a sua rede 10Gbps como um dispositivo NAS Vantagens: é escalável, cada snowball suporte até 80TB de dados e vc pode usar vários snowballs para copiar e enviar os dados em paralelo É seguro: Antes de enviar os dados pro snowball o cliente utilizar AES-256 para encriptar os dados, o dispositivo é desenhado para detectar qualquer violação ou acesso fisico nao autorizado e destruir o material contido nele para evitar vazamento de dados ou modificações de firmware do HW. É durável: Ele suporta até 8.5G’s de impacto ou pressão, é resistente a agua e poeira. Não é a prova d’agua, é somente resistente a chuva e outros cenários. Não jogue-o na piscina! O device tem uma tela e-ink, tipo a tela do kindle que atualiza automaticamente o endereço de envio e recebimento
- Uma grande parte da inovacao aqui não é só o dispositivo em si, mas também todo o processo de gerenciamento do serviço como um todo O serviço é pilotado pela console assim como todos os serviços Na console vc irá configurar o job, especificar o bucket s3 para destin o dos dados, o serviço de KMS para encriptacao dos dados, sua localização para envio do device. Assim q vc receber o device vc pode liga-lo a sua rede e configurar um IP fixo ou mesmo de um DHCP no dispositivo Voce ira entao instalar o software em windows ou linux, que é uma ferramenta de linha de comando muito simples O cliente já cuidará da criptografia dos dados, assim q o dado for copiado, o device já atualizara o display e-ink com o endereço de envio da AWS Assim que o device estiver na AWS nós faremos a copia dos dados para o bucket especificado Durante todo o processo vc será notificado pela console, por notificacoes ou SMS, através do nosso servico SNS Depois de todo o processo a AWS irá apagar todos os dados do device antes de envia-los a outro clientes.
- Provavelmente vc deva estar se perguntando, o qual rápido se torna transferir dados para a AWS pelo Snowball? Vamos comparar a utilização de 5 snowballs versus transmitir por uma VPN pela internet Com 5 snowballs vc conseguiria transferir todos esses 250TB em menos de 1 semana Com uma conexao 1Gb a 75% de uso, pq vc ainda vai ter concorrencia nesse link para suas terefas diarias, 32 dias… veja os outros resultados Snowball tmb custara uma fração do custo, se comparado a uma conexao dessas
- Entao agora vc ja deve ter uma boa ideia de como usar o snowball Mas qual os principais casos de uso? Cloud Migration: Servidores, VM’s, Backup, Snowball deve ser a melhor opção DR: Uma grande quantidade de dados que vc queira mover para o S3, Snowball pode ser uma otima opcao tmb Decomissionamento de DC: Snowball vai ajudar vc a se certificar que os dados nao serao perdidos e serao migrados para a AWS com segurança Se vc precisar de um volume de dados que precisa ser compartilhado com seus parceiros ou mesmo clientes. Snowball pode ajudar tmb a mover esses dados para seus parceiros. Pontos onde há problemas de infraestrutura de conexao internet, snowball pode ser uma opção tmb
- Snowball tem uma grande vantagem sobre import/export disks… Quando entao eu usaria esse serviço? Quando vc quer usar seus proprios devices Montante de arquivos menor Exportar dados para fora da AWS, o Snowball ainda nao suporta export E em regiões onde o Snowball nao esta disponvivel, como Sao Paulo Porém estará disponível em todas as regiões até final do ano (2016). Incluindo Sao Paulo Exportar dados diretamente para Glacier ou EBS
- Para fechar esse tópico… Maiores informações nesses links. Disponibilizaremos a apresentacao para voces em alguns dias.
- Storage GW te ajuda a expande ou substituir seu storage convencional on-premises conectando seu ambiente aos serviços de Storage da AWS Ele é um apliance virtual instalado no seu ambiente ESX ou HyperV Ele trabalha com suas aplicações atuais usando protocolos de storage padrão de mercado, como iSCSI Vc nao precisa modificar suas aplicações ou usar novas formas de gerenciar seus dados No Windows vc pode montar o Storage GW como uma letra, um drive, e no Linux como um Filesystem Sua ferramenta de backup não sabe que está escrevendo dados em um storage de nuvem pois o GW abstrai isso e se apresenta como um device padrao para sua ferramenta O dado é encriptado e armazenado no S3 ou glacier, Vc pode ter os dados mais acessados disponiveis no seu ambiente on prem enquanto o GW replica esses dados assincronamente para a AWS
- Clientes adotam o Storage GW por 3 razoes principais. Backup e arquivamento: Que é uma vocação natural dos nossos serviços de storage DR: Vc pode usar o serviço para ter um backup offsite e ter respaldo no momento do desastre Migração: O processo pode ser simplificado pelo serviço também
- Como o Storage GW funciona Seu servidor de backup se pluga ao storage GW usando iSCSI O GW se conecta ao backbone do serviço e ao serviço de storage usando HTTPS Vc pode rotear esse trafego pela internet (VPN) ou pelo Direct Connect O serviço pode armazenar seus dados nos serviços de storage da AWS para te dar a durabilidade oferecida por esses serviços
- Gateway-stored volumes: mantém uma cópia dos seus dados localmente enquanto replica-os de forma assincrona para a AWS. Os volumes locais proveem uma conexao de baixa latencia aos dados para suas aplicações Gateway-cached volumes: te permite usar a AWS como fonte primária dos dados enquanto retém uma porção em storage local em cache. Ambos usam o protocolo de block Storage ISCI VTL… vamos ver com mais profundidade no proximo slide
- VTL é ideal para substituir sua infraestrutura local de fitas de backup Ao inves de expandir suas tape libraries vc pode usar o serviço como VTL, isso será transparente para sua app de backup Similarmente ao cached volumes, seu dado é totalmente armazenado na AWS enquanto dado de acesso mais frequente pode ser cacheado no GW Vc pode configurar até 1500 fitas de 2.5TB cada, que é o tamanho da fita LTO6. Um total de 150TB por GW Vc pode usar multiplos GW se quiser para escalar acima disso Para acesso de longo prazo vc pode ejetar e arquivar suas fitas virtuais em um Virtual Tape Shelf (VTS), e aí estará armazenado esses dados no Glacier com baixissimo custo e alta durabilidade Não há limite no numero de fitas que vc pode mover para VTS, nesse nivel vc possui uma escalabilidade virtualmente infinita para archiving Desta forma vc pode construir umar arquitetura de backup em 3 camadas. Cache Local para acesso imediato e de baixa latencia, fitas montadas, que são armazenadas no S3 e fitas ejetadas que são armazenadas no Glacier O VTL pode ser integrado com varias ferramentas de backup como Veritas, Veam, Microsoft e estamos constantemente adicionando novos vendors.
- Mais detalhes nesses links que serão disponibilizados para vcs depois
- Vamos falar um pouco sobre os parceiros AWS relacionados ao nosso tópico de hoje
- Temos um grande ecosistema de parceiros o que nos permite complementar nossa linha de produtos Vc pode ver uma amostra dos nossos parceiros de soluções de ingestão de dados e storage nesse slide Vou me focar em alguns parceiros selecionados que provem excelentes produtos para substituir soluçoões tradicionais de bkp/recovery e archiving usando nossos serviços de storage (S3, S3 IA, Glacier) como repositórios de backup na nuvem AWS.
- Vou exemplificar aqui duas arquiteturas de backup comuns e em seguida falar um pouco dos parceiros que poderiam nos ajuda nessas arquiteturas: Na parte de cima temos uma arquitetura para ferramentas de backup que provém conectores e plugins nativos para a AWS Aqui tenho meus servidores com agentes da ferramenta de bkp instalados, os agentes criam snapshots dos dados e os agregam num servidor de BKP com uma ferramenta que possui um conector nativo para os serviços de storage da AWS. A ferramenta ainda suporta discos locais e tape libraries, se vc precisar, e ainda suportam backup diretamente na nuvem.
- Commvault é um grande exemplo de uma ferramenta de backup pronta para suportar backup e archive na AWS Ela suporta S3 e Glacier como repositorios de backup nativos por vários anos e ano passado adicionaram a classe IA Usando o Commvault vc pode aplicar as politicas e objetivos de backup da sua organização e utilizar discos on-premises, para recoveris com baixissima latencia e fazer um offload a partir de um ciclo de vida do backup de todos os outros backups para a AWS, tendo assim uma durabilidade altíssima e baixo custo
- O segundo aproach, involve um GW. Assim como o AWS Storage GW que acabamos de falar ou mesmo um GW de parceiros.
- Se sua ferramenta de backup atual não suporta uma conexão nativa com a AWS ainda vc pode utilizar, por exemplo, a série de GW da NetApp chamada Altavault no seu ambiente LAN, para realizar backups na AWS O GW se apresenta como um NAS na sua infraestrutura ou um sistema de arquivos, poderia ser NFC ou CIFS e assim suportaria praticamente qualquer software de backup do mercado Vc pode ver uma lista nesse slide
- Outro partner que eu gostaria de enfatizar é a Ctera É um mix de ferramenta de Backup e gerenciador de storage, tudo de um único painel Ele inclui um dispositivo NAS que vc pode implementar nos seus escritorios remotos e a habilidade de vc proteger seus recursos on-premises ou rodando em Amazon EC2 Ele já aplica deduplicação nos dados, e armazena os dados encriptados Já possui suporte para S3 IA também Outro parceiro que vc também poderia avaliar é Druva, execelente ferramenta também
- Finalmente, gostaria de abordar uma outra ferramenta para ingestao de dados, o Kinesis Firehose É um serviço que introduzimos ano passado no Re:Invent
- Em novembro de 2014 nós haviamos introduzido o Kinesis ao mundo Desde então o Kinesis se tornou um serviço tão importante que até mesmo outros serviços, como o Cloudwatch o utilizam internamente Amazon Kinesis é uma plataforma para ingestão de streams de dados para dentro da AWS Ela torna fácil carregar e analizar streams de dados e prover a habilidade de vc construir ferramentas customizadas para análise em tempo real de padrões mais especializados Aplicações Web, mobile, sensores industriais, e muitas aplicações podem gerar montantes absurdos de dados, algumas vezes TB’s/hora Esses dados precisam ser coletados, processados e armazenados em tempo real e continuamente, algumas vezes O Kinesis vem para te ajudar a fazer isso de forma simples e com baixo custo A plataforma agora consiste em: Kinesis Streams: Que é o antigo Kinesis Kinesis Firehose: Que é nosso foco aqui. Que te permite facilmente descarregar volumes grandes de dados no S3 e Redshift E finalmente Kinesis Analytics: que te permite analizar dados em tempo real. Foi anunciado como disponivel globalmente no ultimo Summit de NY
- Amazon Kinesis Firehose é a maneira mais facil de carregar streams de dados na AWS Ele pode capturar e carregar automaticamente streams de dados para ambos, S3 e Redshift, e nos planejamos estender isso para outros serviços AWS Ele te habilita fazer análise em tempo real com suas ferramentas normais de BI O serviço escala automaticamente para suportar seu throuput de dados sem nenhum aumento de trabalho adiministrativo para seu time Ele pode comprimir e encriptar seus dados antes de carrega-los Vc paga somente pelo que utiliza
- Vamos ver como clientes adotam o Kinesis Firehose e utilizam o S3 como datalake para seus dados Esses casos geralmente possuem um padrão onde temos um montante vasto de dados e objetos individuais pequenos, com bytes ou kbytes de tamanho porém milhões ou até bilhões destes objetos precisam ser agregados em arquivos maiores e persistidos no S3 Em marketing, vemos casos de análise de click streams ou para campalhas de mail marketing, em gaming para atulizicao de bid scores ou vendas ingame, em financas, clientes executando auditorias em transações financeiras e finalmente em IoT onde temos montantes enormes de dados provindos de diversos dispositivos
- Streaming analysis é um tópico bastante importante e interssante hoje em dia, cobri somente um overview aqui Para maiores detalhes sobre tema iremos disponibilizar esses links
- Queria resumir aqui dizendo que AWS provê uma variedade enorme de ferramentas para transporte para simplificar e baixar o custo de projetos de migração de dados Seja algo para utilização exporadica ou recorrente Bem como para o armazenamento dos dados, possuimos ferramentas para suportar qualquer caso de uso e facilitar a integração desses serviços com ferramentas de backup de nível enterprise de mercado ou com ferramentas que vc já possui.
- Gostaria de agradecer o tempo e a disponibilidade de todos e vamos agora aproveitar um pouco do tempo para esponder algumas perguntas.