Montar uma nova arquitetura para a nuvem pode ser disruptivo para soluções on-premises. Uma maneira de facilitar o processo é utilizar uma estratégia híbrida. Saiba como relacionar seu armazenamento on-premises com a nuvem e conheça as melhores práticas.

1. 2016, Amazon Web Services, Inc. ou Afiliadas. Todos os direitos reservados.
Rubens Devito Filho, Arquiteto de Soluções, AWS
14/09/2016
Use AWS Cloud Storage como
base para a estratégia híbrida

2. Conceitos básicos
 Esclarecer o que é Bloco vs. Arquivo vs. Objeto
 Caso de uso: backup e recuperação
 Caso de uso: Big Data
 Caso de uso: Arquivo ativo

3. Bloco vs. Arquivo vs. Objeto
< 5 ms
✔
< 10 ms
✔
✔
Baseado em
padrões,
suporte do
app legado
< 100 ms
✔
✔ + personalizável!
Suporte moderno à stack,
interfaces escaláveis
Latência
Dados
Metadados
Acesso

4. Qual devo usar? E quando?
Benefícios de
custos
Fácil de usar Risco reduzido Agilidade, escala
 Pagar conforme o uso
 Sem investimento inicial
 Sem compromisso
 Sem planejamento de
capacidade arriscada
 Administração do próprio
serviço
 SDKs para integrações
simples
 Durável e seguro
 Evitar os riscos de
manuseio da mídia física
 Reduzir o time-to-market
 Foco nos seus negócios,
não na sua infraestrutura
Amazon S3
Armazenamento de
objetos durável para
todos os tipos de
dados
Amazon EBS
Armazenamento no
nível de bloco para
uso com o Amazon
EC2
Amazon Glacier
Armazenamento de
arquivo
para dados acessados
com pouca frequência
Amazon EFS
Armazenamento de
arquivo para uso com
o Amazon EC2

5. Backup e recuperação

6. Backup e recuperação para a nuvem
Amazon S3
Amazon
Glacier
AWS
Direct
Connect
Internet
Amazon S3-IA
Servidores de
aplicativos
Cloud Gateway
Disco local
Mídia
Servidor
Cloud Gateway
Servidores
de
aplicativos
Conector na nuvem
Disco local
Servidor de mídia
com conector de
nuvem

7. Gateway: AWS Storage Gateway
Snapshots do
Amazon EBS
Amazon S3
Amazon
Glacier
AWS
Storage Gateway
(dispositivo)
Servidor de
aplicativo
AWS
Back-end do Storage
Gateway
AWS
Direct
Connect
Internet
Local do cliente

8. Amazon EBS
snapshots
Amazon S3
Amazon
Glacier
AWS
Storage Gateway
appliance
Servidor de
aplicação
AWS
Storage Gateway
backend
Como o AWS Storage Gateway Funciona
iSCSI SSL
AWS Storage Gateway
armazena blocos
localmente, e, de maneira
assíncrona, comprime e
faz upload de maneira
seguro dos dados
modificados
Aplicação grava
dados no AWS
Storage Gateway
através do protocolo
iSCSI
O backend pega o dado
comprimido e armazena
no Amazon S3, Amazon
Glacier, ou Amazon
EBS, com criptografia
AES-256
321
21 3
Customer premises

9. Os 3 tipos de AWS Storage Gateway
iSCSI block storage
Gateway-stored volumes
iSCSI virtual tape storage
Baixa latência para seus dados com backups
point-in-time para AWS
Substitui a infraestrutura relacionada a backups
em fitas
Gateway-cached volumes
Gateway-virtual tape library
(VTL)
Baixa latência para dados ferquentemente
acessados com todos os dados na AWS

10. Customer data center
AWS Storage
Gateway VM
Gateway-stored volumes
• Dados ficam armazenados on-premises
• Backup assíncrono para AWS
• Backups point-in-time armazenados como snapshots de Amazon EBS
• Até 32 volumes, de até 16TiB cada, totalizando 512TiB por gateway
Amazon EBS
snapshots
Application
server
INITIATO
R
TARGET
Upload
Buffer
Volume
Storage
AWS
Storage Gateway
service

11. Customer data center
AWS Storage
Gateway VM
Gateway-cached volumes
• Dado fica armazenado na AWS
• Dados frequentemente acessados ficam em cache on-premises
• Backups point-in-time armazenados com snapshots de Amazon EBS
• Até 32 volumes, de até 32 TB cada, totalizando 1 PiB por gateway
Amazon EBS
snapshots
Application
server
INITIATO
R
TARGET
Upload
Buffer
Cache
Storage
Volume storage
backed by
Amazon S3
AWS
Storage Gateway
service

12. Gateway-virtual tape library (VTL)
• Fitas virtuais armazenadas na AWS
• Dados frequentemente acessados ficam em cache on-premises
• Até 1,500 fitas, de até 2.5 TiB cada, totalizando 150 TiB por gateway-VTL
• Número ilimitado de fitas no virtual tape shelf (VTS)
Customer data center
VTS storage
backed by
Amazon Glacier
AWS Storage
Gateway VM
Backup
Server
INITIATOR
AWS
Storage Gateway
service
MEDIA
CHANGER
Upload
Buffer
Cache
Storage
Gateway-VTL
storage backed
by Amazon S3
VT
S
TAPE
DRIVE

13. Big Data

14. S3 + EMR
Cluster
EMR
Amazon S3
Cluster
EMR
datacenter corporativo
AWS
Direct
Connect
Internet
Servidor
de aplicativos

15. S3 + RedShift
Amazon S3datacenter corporativo
AWS
Direct
Connect
Internet
Servidor de
aplicativos

16. Detalhes sobre Big Data com S3
AWS re:Invent 2015: DAT201 Introdução ao Amazon Redshift
https://www.youtube.com/watch?v=DIj1bFjiqd8
AWS re:Invent 2015: DAT308 Como o Yahoo! analisa bilhões de eventos por dia com o Amazon
RedShift
https://www.youtube.com/watch?v=3qmzwqnC67k
DAT308 Slides:
http://www.slideshare.net/AmazonWebServices/dat308-yahoo-analyzes-billions-of-events-a-day-on-
amazon-redshift
AWS re:Invent 2015: BDT305 Detalhes e melhores práticas do Amazon EMR
https://www.youtube.com/watch?v=4HseALaLllc
BDT305 Slides:
http://www.slideshare.net/AmazonWebServices/bdt305-amazon-emr-deep-dive-and-best-practices
BDT314: Executando um aplicativo de Big Data e análise no Amazon EMR e no Amazon Redshift
com foco em segurança
http://www.slideshare.net/AmazonWebServices/bdt314-a-big-data-analytics-app-on-amazon-emr-
amazon-redshift

17. Arquivo ativo

18. AWS Import/Export Disk
• Acelera a movimentação de grandes
volumes de dados de e para Amazon S3,
Glacier e EBS
• Transfere seus dados diretamente de e para
os dispositivos de armazenamento do cliente
• Usa rede interna de alta velocidade da
Amazon para concluir a transferência
• Suporta até matrizes de unidades anexadas
eSATA e USB 2.3 de até 6 TB e 16 TB
AWS
Import/Export

19. O que é Snowball? Transporte de dados em escala de
petabytes
Etiqueta de
transporte E-ink
Estojorobusto
“Impacto de
8,5G”
Todos os dados
criptografados de
ponta a ponta
Resistente a água
e poeira
Resistente
a violação
caso e eletrônicos
50 TB
Conexão 10GE

20. Como o Snowball funciona

21. Qual a rapidez do Snowball?
 Menos de 1 dia para transferir 250 TB através de conexões 5x10G
com 5 Snowballs, menos de 1 semana, incluindo transporte
 Número de dias para transferir 250 TB através da internet com uma
utilização típica
Velocidade da conexão com a internet
Utilização 1 Gbps 500 Mbps 300 Mbps 150 Mbps
25% 95 190 316 632
50% 47 95 158 316
75% 32 63 105 211

22. Quando utilizar o AWS Import/Export Snowball
Nuvem
Migração
Desastre
Recuperação
Datacenter
Descomissiona
mento
Conteúdo
Distribuição

23. AWS Snowball Disco do AWS Import/Export
Quando utilizar o Disk e quando utilizar o Snowball?
 Somente importação,
exportação disponível em breve
 Disponível atualmente em us-
east e west-2 dos EUA.
 Importar somente para o S3
 Suporta transferência de dados
grandes, desde TBs até PBs
Suporta importação e exportação para
buckets S3 e instantâneo EBS na importação:
 Leste dos EUA (Norte da Virgínia)
 Oeste dos EUA (Oregon)
 Oeste dos EUA (Norte da Califórnia)
 UE (Irlanda)
 Ásia-Pacífico (Cingapura)
Suporta importação para o Glacier:
 Leste dos EUA (Norte da Virgínia)
 Oeste dos EUA (Oregon)
 Oeste dos EUA (Norte da Califórnia)
 Regiões UE (Irlanda)

24. Use o Amazon Glacier
para armazenamento frio,
durável e com o menor
custo de dados de
arquivamento
Use o Amazon
S3 para
armazenamento
confiável
e primário durável
Use Amazon S3
Infrequent Access
Storage
para backups secundário
a um preço mais baixo
S3-IA
Níveis na AWS: otimize os gastos com
armazenamento

25. Prefixo da key “logs/”
Mova os objetos para Glacier 30 dias após a criação
Exclua 365 dias após a data de criação
<LifecycleConfiguration>
<Rule>
<ID>archive-in-30-days</ID>
<Prefix>logs/</Prefix>
<Status>Enabled</Status>
<Transition>
<Days>30</Days>
<StorageClass>GLACIER</StorageClass>
</Transition>
<Expiration>
<Days>365</Days>
</Expiration>
</Rule>
</LifecycleConfiguration
Políticas de ciclo de vida do S3

26. E quanto à WORM?
 Regra 17-a-4(f) da SEC
 FINRA Regra 4511
 CFTC Regulamento 1.31
Tem: Precisa:
 Glacier Vault Lock

27. Detalhes do arquivo ativo
AWS re:Invent 2015: STG202 AWS Import/Export Snowball: Inserir dados em grande escala na AWS
https://www.youtube.com/watch?v=86ogJHFSJRo
Slides:
http://www.slideshare.net/AmazonWebServices/stg202-aws-importexport-snowball-largescale-data-ingest-
into-aws
Avaliação do Vault Lock por terceiros da SEC 17a-4(f)
https://aws.amazon.com/blogs/aws/glacier-cohasset-assessment/
Detalhes e preços do serviço
https://aws.amazon.com/importexport/

28. Obrigado!