© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Introdução a serviços de
armazenamento na AWS
AWS Storage Day em Português
Diego Magalhães
Arquiteto de Soluções Sr, Public Sector
Maio, 2018
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Modelo AWS
On-premises
• Pagamento e contratação adiantados
• Negociado, preços mudam
constantemente
• Falta de inovação
CFOs descontentes
AWS
• Pago por utilização
• Recorrentes e automáticas
• Inovação constante
Clientes infelizes
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Dados
O armazenamento em nuvem da AWS é essencial
…Te dá uma escala única…
Criando ou migrando um
aplicativo para AWS…
…rendendo maiores insights…
… ajudá-lo a inovar mais rápido …
A maioria de Big Data e Data Lakes
Maior número de Bases de dados
gerenciados
Aplicações empresariais mais
simples
Mais fácil armazenamento de dados
Analytics in-place únicas
Maior confiabilidade
Maior segurança
Mais gerenciável
Maior conformidade
Maior portfólio
Inovação mais rápida
Arquivamento ativo
Recuperação de desastres
Internet das coisas
Inteligência artificial
Ferramentas de desenvolvimento avançadas
Consultoria experiente e apoio
Serviços de migração metódicos
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Active Archive
Infraestrutura on-premises levava semanas para
produzir conteúdo ao cliente
Era necessário alto desempenho, segurança e
uma solução de distribuição mais econômica
• Amazon S3 e Glacier entregaram $ 5,4M de
melhoria no TCO contra on-premises
• SLA de entrega de conteúdo encolheu para
<1 hora
• Workflows altamente paralelo e elástico
“We have 20 petabytes of content on
AWS, the equivalent of more than
800,000 hours of video, available on
our platform. We can only move all
that content around the world with the
scalability we’re getting on the AWS
Cloud. “
- Andy Shenkler
Chief Solutions and Technology Officer
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
A melhor confiabilidade e maior
escala
O mais completo portfólio
Maior opção de movimentação de
dados
O mais abrangente
suporte e serviços profissionais
A maior rede de parceiros
O mais seguro,
compatível e auditável
Porque armazenar na AWS
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes de Armazenamento AWS
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Conformidade
certificações da
indústria
Bloqueável com
trilhas de auditoria
Seguro
Aplicações
Enterprise
Integrado com os
principais
fornecedores
infra-estrutura
totalmente
gerenciado
migrações lift-and-
shift
Active
Archive
fluxos de trabalho
de mídia
substituição da fita
Setor público,
FinServ, Saúde /
BioInformatica
Bases de dados
e Analytics
banco de dados
sob medida lift-
and-shift
cargas de trabalho
especializadas em
Hadoop
Backup e
Restauração
Sem interrupções
Fácil lugar para
começar
Integrado com
todos os principais
fornecedores
Data Lakes
& Internet das
coisas
consultas 400%
mais rápido
Construído para
streaming de
dados
Visualização de
dados
O que os clientes estão construindo?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Compliance
S3
Glacier and
the Vault Lock
feature
Enterprise
Applications
EFS
EBS
Active
Archive
S3 and the
S-IA tier
Glacier (with Bulk
and Expedited
retrieval tiers)
Databases &
Analytics
EC2 and EBS
EMR, Redshift
Backup and
Restore
S3 & Glacier
Storage Gateway
Snow family
EFS
Data Lakes
& IoT
S3, Glacier
Athena and
Redshift Spectrum
EFS
Storage Gateway
(hybrid)
Onde podemos ajudar você a começar?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Próximos passos
1.
Mapeá-lo: escolher um conjunto de dados existentes e selecione o método de
armazenamento em nuvem e transferência de dados para movê-lo para AWS
2. Faça: Projetar e construir novas aplicações cloud-native a partir de armazenamento
na AWS
3. Mova-se: trabalhar com a AWS ProServe para construir um Well-Architected POC
desde o início
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Serviços de armazenamento na
AWS
Diego Magalhães, Arquiteto de Soluções
AWS Storage Day em Português
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Data movement Data security
and management
File
Storage
Block
Storage
Object
Storage
Archival
Storage
Encryption
Access Controls
Monitoring and Metrics
Audit Trails
Automation
Serverless Computing
Data Discovery and
Protection
Data Visualization
Physical Appliances
Hybrid Storage
Private Networks
File Sync
WAN Acceleration
3rd Party Applications
Streaming Data
Conjunto completo de blocos para contruir sua solução
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Data movement
OnlineOffline
Data security
and management
Amazon
EFS
Amazon
EBS
Amazon
S3
Amazon
Glacier
AWS KMS
AWS IAM
AWS CloudWatch
AWS CloudTrail
AWS CloudFormation
AWS Lambda
Amazon Macie
AWS QuickSight
AWS Snow Family
AWS Storage Gateways
AWS Direct Connect
EFS File Sync
S3 Transfer Acceleration
3rd Party Applications
Amazon Kinesis Firehose
A mais ampla gama de serviços de armazenamento
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Empresa de análise de ameaças ingerindo
e analisando diariamente cerca de 50TB
Provisionamento e right-sizing de clusters
demorava semanas e dados eram perdidos
• Salvo 95% em rearquitetura de dados
utilizando um índice “quente” em EBS com a
parte analítica em um Data Lake sobre S3
• EBS encurtado indexação de semanas para
horas, durante baixando também o OPEX
• Gerenciando 1 bilhão de objetos S3 e 2.500
instancias, com apenas seis engenheiros
“AWS storage completely changed our
business operations, time to market and
manpower. EBS volumes cut our cluster
indexing times from weeks to hours. Moving
data into S3 saved us 95% and our data lake
now outperforms our clusters—the harder we
push it the faster it gets for extremely large
datasets. We simply could not do this
anywhere else.”
- Gene Stevens
CTO and co-founder
Database and Analytics
S 3 D A T A L A K E
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Simple Storage Service (S3)
On-demand analytics
Built-in suporte para
expressões SQL com S3
Select
Dados detalhados sobre os
padrões de uso e acesso
Desenhado para
99,999999999%
durabilidade
recursos de segurança e
conformidade incomparáveis
opções de replicação em
todas as regiões
Maioria das formas de
mover dados in / out
segurança que
ajuda o CISO
ferramentas automatizadas
de redução de custos
Coletar AnalisarGuardar
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon S3 One Zone-IA
Uma classe de armazenamento S3 construído para dados facilmente recriáveis
Projetado em um Zona de disponibilidade única
Ainda 99.9999999% durável mas menos disponível e resistente - com 20%
menos custo
Use-o para:
• Backup de dados móveis ou Enterprise
• Off-site dados de conformidade
• Dados de recuperação de desastres
• Análise de dados derivados
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Glacier
Consultas analíticas in-
place
recuperações unitárias
ou em lotes
Projetado para
99,999999999%
durabilidade
opções de replicação
em todas as regiões
Certificações
regulatórias e de
conformidade
Locking, encryption,
auditoria e ferramentas
de alerta
ArchiveSeguro Econômico
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Tipos de Object storage
GlacierS3 Standard
S3 Standard -
Infrequent Access
Políticas de Ciclo de Vida automatizados
S3 One Zone -
Infrequent Access
Dados Ativos
Millisecond access
Min 3 AZs
$0.023
Arquivar dados
Minutes to Hours
Min 3 AZs
$0.004
30 dias de duração min
Millisecond access
Min 3 AZs
$0.0125
30 dias de duração min
Millisecond access
Min 1 AZ
$0.01
O preço é por GB por mês na região de US EAST (N. Virginia)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Como classes de armazenamento objeto diferem em design?
Availability Zone
Availability Zone
Availability Zone
S3 Standard
S3 Standard-IA
Glacier
Availability Zone
S3 One Zone-IA
AWS Region AWS Region
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
desenhado para
99,99%
durabilidade
Duas cópias em um só site
desenhado para
99,999%
durabilidade
Cópias em dois locais
desenhado para
99,999999999%
durabilidade
GlacierStandard IA
Região AWS
Entendendo a Durabilidade
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Elastic Block Store
consistentemente alta
taxa de IOPS
Otimizado para
cargas de trabalho com
baixa latência
Altamente disponível
Tolerante a falhas
Fundamental para
aplicações empresariais
Performance e Preço
ajustáveis on the fly
Suporta aplicações
sem rearquitetura
Confiável PerfomáticoTransparente
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Elastic File System
IOPS consistentes
rendimento
consistente
conectividade do
cliente flexível
automaticamente
cresce e encolhe
TCO mais baixo do que
DIY ou on-prem
Totalmente gerenciado
Projeto regional de
altamente confiável e
seguro
Nade de re-arquitetar
Elástico EscalávelSimples
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Opções de transporte de dados da AWS
Conectividade On-
prem com escala e
durabilidade de Cloud
3rd party integrations
Dispositivos de
transporte físico
Até um Exabyte
Opções de
computação locais
Conexões privadas
Aceleração WAN
Distância geográfica
Remessa HíbridoNetworks
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS
Direct
Connect
A private
connection
between your data
center, office, or
colocation
environment and
AWS
AWS Snow
family
(Snowball, Snowball
Edge, Snowmobile)
Secure, physical
transport
appliances that
move up to
Exabytes of data
into and out of
AWS
AWS
Storage
Gateways
Hybrid storage that
seamlessly connects
on-premises
applications to AWS
storage. Ideal for
backup, DR,
bursting, tiering or
migration
Amazon
Kinesis
Firehose
Capture, trans-
form, & load
streaming data
into S3 for use
with Amazon
business
intelligence and
analytics tools
Amazon EFS
File
Sync
Up to 5x faster file
transfers than
open source tools.
Ideal for migrating
data into EFS or
moving between
cloud file systems
Amazon S3
Transfer
Acceleration
Up to 300%
faster transfers
into and out of
S3. Ideal when
working with
long geographic
distances
APN
competency
partners
Integrations
between 3rd party
vendors and AWS
services. Ideal for
leveraging existing
software licenses
and skills
Networks Shipping Hybrid
AWS oferece mais maneiras de mover dados para a nuvem
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Rio De
Janeiro
Warsaw New York Atlanta Madrid Virginia Melbourne Paris Los
Angeles
Seattle Tokyo Singapore
Time[hrs]
500 GB upload from clients in these locations to a bucket in Singapore
Public InternetAccelerated Transfer
Up to 300% faster
171% on average
Amazon S3 Aceleração de Transferência
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Snowball AWS Snowball Edge AWS Snowmobile
• 80 TB capacity/10 G network
• A encriptação de dados end-to-
end
• Rugged 8.5 G impact case
• Resistente à poeira e chuva
• 100 TB capacity/10 Gb network
• A encriptação de dados end-to-
end
• Rugged 8.5 G impact case
• Resistente à poeira e chuva
• Computação e armazenamento
para cargas de trabalho híbridos /
borda
• Montável em racks, clusterable
• Exabyte-scale 45ft container
• A encriptação de dados end-to-
end
• pessoal dedicado à segurança
• rastreamento por GPS,
monitoramento de alarme,
vigilância 24/7 e segurança
adicional opcional
AWS Snow family
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Sincronização de dados de sistemas de arquivos NFS existentes em sistemas de arquivos EFS
Fast
Up to 5x faster than
standard Linux copy tools
Secure
Encrypted, parallel
data transfer
Simple
Set up and manage easily
from the AWS Console
• File systems from on-premises to EFS
• DIY in-cloud file systems to EFS
• EFS file systems between AWS Regions
Use EFS File Sync to copy…
Amazon EFS File Sync
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Sincronização de dados de sistemas de arquivos NFS existentes em
sistemas de arquivos EFS
Rápido
Até 5x mais rápido do que
ferramentas de cópia
padrão do Linux
Seguro
Criptografado, paralelo
transferência de dados
Simples
Configurar e gerenciar
facilmente a partir do
Console AWS
• Os sistemas de arquivos a partir de no local para EFS
• DIY sistemas de arquivos de nuvem em para EFS
• sistemas de arquivos EFS entre Regiões AWS
Use EFS arquivo Sync para
copiar...
Amazon EFS de sincronização de arquivo
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Storage Gateway
incorpora
escala nuvem e
durabilidade com
operações on-prem
Acelera
decomissionamento
de datacenters
elimina novas
compras de
NAS / SAN
A integração perfeita,
sem interrupções
Adequado para uma
vasta gama de casos
de uso
Simples Econômico Híbrido
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon EBS
Amazon S3
Amazon Glacier
Volumes
(iSCSI)
Tapes
Files
(NFS)
On-premises
AWS Storage
Gateway
AWS Identity and Access
Management (IAM)
AWS Key Management
Service (KMS)
AWS
CloudTrail
Amazon
CloudWatch
AWS Cloud
Tipos AWS Storage Gateway
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Saiba mais o porquê de usar
AWS
Diego Magalhães, Arquiteto de Soluções
AWS Storage Day em Português
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
A melhor confiabilidade e maior
escala
O mais completo portfólio
Maior opção de movimentação de
dados
O mais abrangente
suporte e serviços profissionais
A maior rede de parceiros
O mais seguro,
compatível e auditável
Porque armazenar na AWS
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
“…the scale at which AWS operates its public
cloud storage services dwarfs the other vendors
in this Magic Quadrant.”
- Gartner Magic Quadrant for Public Cloud Storage Services, Worldwide
Raj Bala, Arun Chandrasekaran, John McArthur, July 24, 2017
Por exemplo: Amazon S3 mantém trilhões de objetos e
picos regularmente em milhões de pedidos por segundo
Tempo
DadosdeClientes
O mais confiável e maior escala
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
The most secure, compliant and auditable
Log, monitor and
retain activities
Assess and automate
configuration
Lock data immutably
Public Sector
Financial Services
Healthcare
Global standards
Encrypt everywhere
Automatically
discover and protect
Manage permissions
by object
Secure AuditableCompliant
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
A mais segura, compatível e auditável
Log, monitorar e
manter atividades
Avaliar e automatizar
a configuração
dados de bloqueio
imutavelmente
Setor público
Serviços financeiros
Cuidados de saúde
padrões globais
Criptografar todos os
lugares
Decubra e proteja
automaticamente
Gerir permissões por
objecto
Seguro auditávelCompatível
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Data movement
OnlineOffline
Data security
and management
Amazon
EFS
Amazon
EBS
Amazon
S3
Amazon
Glacier
AWS KMS
AWS IAM
AWS CloudWatch
AWS CloudTrail
AWS CloudFormation
AWS Lambda
Amazon Macie
AWS QuickSight
AWS Snow Family
AWS Storage Gateways
AWS Direct Connect
EFS File Sync
S3 Transfer Acceleration
3rd Party Applications
Amazon Kinesis Firehose
A mais ampla gama de serviços de armazenamento
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS
Direct
Connect
A private
connection
between your data
center, office, or
colocation
environment and
AWS
AWS Snow
family
(Snowball, Snowball
Edge, Snowmobile)
Secure, physical
transport
appliances that
move up to
Exabytes of data
into and out of
AWS
AWS
Storage
Gateways
Hybrid storage that
seamlessly connects
on-premises
applications to AWS
storage. Ideal for
backup, DR,
bursting, tiering or
migration
Amazon
Kinesis
Firehose
Capture, trans-
form, & load
streaming data
into S3 for use
with Amazon
business
intelligence and
analytics tools
Amazon EFS
File
Sync
Up to 5x faster file
transfers than
open source tools.
Ideal for migrating
data into EFS or
moving between
cloud file systems
Amazon S3
Transfer
Acceleration
Up to 300%
faster transfers
into and out of
S3. Ideal when
working with
long geographic
distances
APN
competency
partners
Integrations
between 3rd party
vendors and AWS
services. Ideal for
leveraging existing
software licenses
and skills
Networks Shipping Hybrid
AWS oferece mais maneiras de mover dados para a nuvem
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Enterprise
Applications
Disaster Recovery Analytics
Primary Storage Backup and Restore Archive
A. lista complete pode ser encontrada em https://aws.amazon.com/backup-recovery/partner-solutions/
Você não está sozinho
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Experienced training, support and consulting
Operation:
AWS Training
Ajudar as organizações a
adotar AWS através de:
Cursos digitais
Treinamento em sala de
aula
exames de certificação
Pacotes de suporte para
ambientes que são:
Experimental
Produção
Negócio crítico
Escalation:
Planos de suporte da AWS
Ajuda especializada e
experiente:
APN Consulting Partners
AWS ProServe
AWS managed services
Customization:
AWS Serviços Profissionais
Deep Dive na Arquitetura
do Amazon S3 e Glacier
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Gu s t a v o Ro z a t t i – E n t e r p r i s e S o l u t i o ns Arc hi t e c t
AGENDA
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
• Deep dive na arquitetura do Amazon S3
• Deep dive na arquitetura do Glacier
Portifólio de produto s de arm azenamento AW S
Transferência de Dados
Amazon EFS
File
Amazon S3 Amazon Glacier
ObjectBlock
Amazon EBS
(persistent)
Amazon EC2
Instance Store
(ephemeral)
AWS AWS Storage EFS 3rd Party AWS Direct S3 Transfer Amazon
Snow Family Gateway File Sync Connectors Connect Acceleration Kinesis
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Benefícios do Amazon S 3 & Glacier
Durável, Disponível e Escalável
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Segurança e Conformidade Consultas ‘in place’
Gerenciamento Flexível Ecosistema
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon S3
Deep Dive de Arquitetura
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Amazon S3 pelos Números
55 Zonas de
Disponibilidade
(breve mais 12)
18 Regiões
(breve mais 4)
Trilhões de
Objetos
Milhões de
Requisições por
Segundo
Um dos primeiros
serviços AWS
(2006)
Durabilidade
99.999999999%
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Arquitetura Amazon S3
Internet
Usuário
Final
PUT
GET
DELETE
Balanceadores
de Carga
Armazenamendo de
Meta dados
Servidores
de API
Armazenamento
Blob
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Amazon S3 – Zonas de Disponibilidade
S3 armazena os dados em
pelo menos 3 Zonas de
Disponibilidade (AZ’s)
A indisponibilidade de um data
center ou de uma AZ não afeta a
disponibilidade geral do S3
Cada AZ pode ter até 8
data centers físicos.
Rede privada de baixa
latência conecta os data
centers eAZ’s
Separadas fisicamente - mesmo
desastres extremamente incomuns
afetariam apenas uma únicaAZ
Os dados são distribuídos
automaticamente por um mínimo
de 3 AZ’s, separados dentro de
uma região daAWS
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Categorias de Armazenamento do Amazon
S 3
E tr an s içõ es
S3 Standard S3 Standard –
Acesso Infrequente
Amazon Glacier
Dados Ativos
Acesso síncrono
Recuperação em milissegundos
2.1¢-GB/mês
Arquivo de Dados
Acesso assíncrono
Recuperação de minutos ahoras
0.4¢-GB/mês
Dados acessados com pouca frequencia
Acesso síncrono
Recuperação em milissegundos
1.25¢-GB/mês
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Am azo n S 3 Seg u ran ça, Cr ip to g rafia e Co n fo rmi dade
O ma is am p lo co n ju n to d e ferram en tas d a ind ús tria
Segurança
• Políticas de IAM e Bucket
• Listas de Controle deAcesso
• Logsde Auditoria com CloudTrail
e Alerts com CloudWatch
• Templates CloudFormation
seguros
• Amazon Macie
• Verificações de Permissão na
Console
Criptografia
• Criptografia em Trânsito comTLS
• SSE-S3 – Amazon S3 gerencia
dados e chaves
• SSE-C – Cliente gerencia as chaves
• SSE-KMS – Master keys no KMS
• CSE – 100% gerenciado pelo
Cliente
• Criptografia default no Bucket
• Status de Criptografia no Inventário
Conformidade
• PCI-DSS
• HIPAA/HITECH
• FedRAMP
• FISMA
• EU Data Protection Directive
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Replicação Entre Reg iões
Automaticamente replica dados para qualquer outra região da AWS
• Replica por objeto, bucket ou prefixo
• Suporte a objetos criptografados usando SSE-KMS
• Sobrescreve a propriedade
• Muda a propriedade do objeto na região de destino
Região A Região B
Conectividade Entre Regiões
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Exemplos de Replicação Entre Reg iões
S3 Standard S3 Standard S3 Standard S-IA
S3 Standard Glacier
Política de ciclode
vida de zero dias
para Glacier
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
D o M ore With Your In-place D ata
• Athena
• Redshift Spectrum
• QuickSight
• EMR
Data Lake
Armazenamento de IoT
Armazenamento Aprendizado
de Máquina eIA
• AWS IoT
• Greengrass
• Other IoTsensors
• Rekognition
• LEX
• Polly
• MXNet &TensorFlow
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Max im iz e a taxa de tr ansfer ênc ia co m o Amazon S 3
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
O Amazon S3 é dimensionado automaticamente para milharesde
solicitações por segundo por prefixo com base no seu tráfego.
• O Amazon S3 particiona automaticamente seus prefixos dentro dehoras
ajustando aumentos nas taxas de solicitação
• Considere o uso de um hash de três ou quatro caracteres (veja o próximo
slide para mais detalhes)
U sando um H ash de três ou quatro caracteres
O hash aleatório deve vir antes de padrões como datas e IDs seqüenciais
Sempre primeiro garanta que sua aplicação possa acomodar
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Devido aos recentes aprimoramentos de desempenho do Amazon S3, a
maioria dos clientes não precisa mais se preocupar com a introdução de
entropia em nomes-chave
examplebucket/232a-2017-26-05-15-00-00/cust1234234/photo1.jpg
examplebucket/7b54-2017-26-05-15-00-00/cust3857422/photo2.jpg
examplebucket/921c-2017-26-05-15-00-00/cust1248473/photo2.jpg
Um pouco maisamigável:
examplebucket/animations/232a-2017-26-05-15-00-00/cust1234234/animation1.obj
examplebucket/videos/ba65-2017-26-05-15-00-00/cust8474937/video2.mpg
examplebucket/photos/8761-2017-26-05-15-00-00/cust1248473/photo3.jpg
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Glacier
Deep Dive de Arquitetura
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Benefícios do Amazon S 3 & Glacier
Durável, Disponível e
Escalável
Segurança e Conformidade
Gerenciamento Flexível Ecosistema
Baixo Custo
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Facilidade e Simplicidade
X Nenhum investimento decapital
X Sem compromisso
X Nenhum planejamento decapacidade
X Sem capacidade ociosa
X Semmanipulação onerosa de mídia
X Nenhuma atualização complexa detecnologia
X Sem tarefas que não agregam valor ao
negócio
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
99.999999999%
Durabilidade
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r
Durabilidade para preservação de longo prazo
Verificação de imutabilidade interna
Recuperação automática
Opções Flexíveis para Recuperação deDados
Todos os seus dados são acessívels com qualquer das 3 opções de recuperação
• Modelo Atual
• 3-5 horas
• $0.01/GB
Recuperação Padrão Recuperação em Massa
• Acesso em lote/massa
• 5-12 horas
• $0.0025/GB
Recuperação Expressa
• Acesso urgente raro
• 1-5 minutos
• $0.03/GB
Substituição de fita no local Substituição de fitaexterna
Múltiplas formas de acessar o S3 e o Glacier
1. Use S3 e Glacier via S3 gerenciamento de ciclo de vida
2. Usar diretamento a AmazonGlacier API/SDK
3. AWS Storage Gateway
4. Ferramentas de terceiros
Amazon Glacier – Acesso Direto/APIs
Criar
Cofre
Configurar
Acesso
Gravar
Arquivos
Registrar
ID do
Arquivo
Gravação de Dados
Iniciar
Recuperação
Término
Assíncrono da
Recuperação
Notificação de
Término
Baixar os
dados
Recuperação de Dados
Ferramentas de Terceiros
•Consumidor final: menos de US $ 50 por licença
• Exemplo: Cloudberry, FastGlacier, Arq (HaystackSoftware)
•Pequenas e médias empresas: US $ 500 - US $ 1.000 por
licença
• Exemplo: Synology, Veeam, QNap
• Grandes empresas:
• Exemplo: NetApp AltaVault, Commvault,StorNext, StoreReduce, Vidispine
Qual opção devoescolher?
•Use o gerenciamento de ciclo de vida do S3 para Glacier
se as chaves dos objetos S3 forem o suficiente para fazer
a indexação e busca
•Use Diretamente o Amazon Glacier se você planeja
armazenar mais meta dados ou índices no banco de
dados.
•Use ferramentas de terceiros para minimizar a criação de
código
O Amazon Glacier Vault Lock permite definir os
controles de conformidade em cofres individuais e
aplicá-los por meio de uma política bloqueável
Retenção baseada em tempo
Autenticação MFA
Controles governam
todos os registrosem
um cofre
Política imutável
Bloqueio em duasetapas
Conformidade de Armazenamento com VaultLock
Vault Lock para conformidade dearmazenamento
• Registros não sobrescritos e nãoapagáveis
• Retenção baseada em tempo com controle “ArchiveAgeInDays”
• Bloqueio de política (governançaforte)
• Guarda legal com tags no nível do cofre
• Configurar acesso de terceiros designado opcional e conceder
acesso temporário
Como o Vault Lockfunciona?
• Você usa dispositivos ou media WORM?
• Como você consegue WORM?
• O que acontece com os dados em retenção se eu fechar
minha conta?
• A AWS fornece serviço de terceiros designados?
O Amazon Glacier recebeu uma avaliação de terceiros
da Cohasset Associates sobre como o Amazon Glacier
com o Vault Lock pode ser usado para atender aos
requisitos da SEC Rule 17a-4 (f) e CFTC 1.31 (b) - (c).
Exemplo de controle: retenção de registro de 1 ano
• Negar a operação de excluirarquivos
• De qualquer pessoa (root, administradores, usuários, parceiros de
negócios)
• Quando ArchiveAgeInDays é <= 365 dias
Idade do arquivo calculada a partir do momento em que um arquivo é
arquivado em um cofre
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Example control: 1-year record retention
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Vault Lock in the Amazon Glacierconsole
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Obrigado!
©
2
0
1
7
,
A
m
a
z
o
n
W
e
b
S
e
r
v
i
c
e
s
,
I
n
c
.
o
r
i
t
s
A
f
f
i
l
i
a
t
e
s
.
A
l
l
r

[Webinar] AWS Storage Day - Português

  • 1.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Introdução a serviços de armazenamento na AWS AWS Storage Day em Português Diego Magalhães Arquiteto de Soluções Sr, Public Sector Maio, 2018
  • 2.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Modelo AWS On-premises • Pagamento e contratação adiantados • Negociado, preços mudam constantemente • Falta de inovação CFOs descontentes AWS • Pago por utilização • Recorrentes e automáticas • Inovação constante Clientes infelizes
  • 3.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Dados O armazenamento em nuvem da AWS é essencial …Te dá uma escala única… Criando ou migrando um aplicativo para AWS… …rendendo maiores insights… … ajudá-lo a inovar mais rápido … A maioria de Big Data e Data Lakes Maior número de Bases de dados gerenciados Aplicações empresariais mais simples Mais fácil armazenamento de dados Analytics in-place únicas Maior confiabilidade Maior segurança Mais gerenciável Maior conformidade Maior portfólio Inovação mais rápida Arquivamento ativo Recuperação de desastres Internet das coisas Inteligência artificial Ferramentas de desenvolvimento avançadas Consultoria experiente e apoio Serviços de migração metódicos
  • 4.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Active Archive Infraestrutura on-premises levava semanas para produzir conteúdo ao cliente Era necessário alto desempenho, segurança e uma solução de distribuição mais econômica • Amazon S3 e Glacier entregaram $ 5,4M de melhoria no TCO contra on-premises • SLA de entrega de conteúdo encolheu para <1 hora • Workflows altamente paralelo e elástico “We have 20 petabytes of content on AWS, the equivalent of more than 800,000 hours of video, available on our platform. We can only move all that content around the world with the scalability we’re getting on the AWS Cloud. “ - Andy Shenkler Chief Solutions and Technology Officer
  • 5.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark A melhor confiabilidade e maior escala O mais completo portfólio Maior opção de movimentação de dados O mais abrangente suporte e serviços profissionais A maior rede de parceiros O mais seguro, compatível e auditável Porque armazenar na AWS
  • 6.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Clientes de Armazenamento AWS
  • 7.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Conformidade certificações da indústria Bloqueável com trilhas de auditoria Seguro Aplicações Enterprise Integrado com os principais fornecedores infra-estrutura totalmente gerenciado migrações lift-and- shift Active Archive fluxos de trabalho de mídia substituição da fita Setor público, FinServ, Saúde / BioInformatica Bases de dados e Analytics banco de dados sob medida lift- and-shift cargas de trabalho especializadas em Hadoop Backup e Restauração Sem interrupções Fácil lugar para começar Integrado com todos os principais fornecedores Data Lakes & Internet das coisas consultas 400% mais rápido Construído para streaming de dados Visualização de dados O que os clientes estão construindo?
  • 8.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Compliance S3 Glacier and the Vault Lock feature Enterprise Applications EFS EBS Active Archive S3 and the S-IA tier Glacier (with Bulk and Expedited retrieval tiers) Databases & Analytics EC2 and EBS EMR, Redshift Backup and Restore S3 & Glacier Storage Gateway Snow family EFS Data Lakes & IoT S3, Glacier Athena and Redshift Spectrum EFS Storage Gateway (hybrid) Onde podemos ajudar você a começar?
  • 9.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Próximos passos 1. Mapeá-lo: escolher um conjunto de dados existentes e selecione o método de armazenamento em nuvem e transferência de dados para movê-lo para AWS 2. Faça: Projetar e construir novas aplicações cloud-native a partir de armazenamento na AWS 3. Mova-se: trabalhar com a AWS ProServe para construir um Well-Architected POC desde o início
  • 10.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Serviços de armazenamento na AWS Diego Magalhães, Arquiteto de Soluções AWS Storage Day em Português
  • 11.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Data movement Data security and management File Storage Block Storage Object Storage Archival Storage Encryption Access Controls Monitoring and Metrics Audit Trails Automation Serverless Computing Data Discovery and Protection Data Visualization Physical Appliances Hybrid Storage Private Networks File Sync WAN Acceleration 3rd Party Applications Streaming Data Conjunto completo de blocos para contruir sua solução
  • 12.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Data movement OnlineOffline Data security and management Amazon EFS Amazon EBS Amazon S3 Amazon Glacier AWS KMS AWS IAM AWS CloudWatch AWS CloudTrail AWS CloudFormation AWS Lambda Amazon Macie AWS QuickSight AWS Snow Family AWS Storage Gateways AWS Direct Connect EFS File Sync S3 Transfer Acceleration 3rd Party Applications Amazon Kinesis Firehose A mais ampla gama de serviços de armazenamento
  • 13.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Empresa de análise de ameaças ingerindo e analisando diariamente cerca de 50TB Provisionamento e right-sizing de clusters demorava semanas e dados eram perdidos • Salvo 95% em rearquitetura de dados utilizando um índice “quente” em EBS com a parte analítica em um Data Lake sobre S3 • EBS encurtado indexação de semanas para horas, durante baixando também o OPEX • Gerenciando 1 bilhão de objetos S3 e 2.500 instancias, com apenas seis engenheiros “AWS storage completely changed our business operations, time to market and manpower. EBS volumes cut our cluster indexing times from weeks to hours. Moving data into S3 saved us 95% and our data lake now outperforms our clusters—the harder we push it the faster it gets for extremely large datasets. We simply could not do this anywhere else.” - Gene Stevens CTO and co-founder Database and Analytics S 3 D A T A L A K E
  • 14.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Simple Storage Service (S3) On-demand analytics Built-in suporte para expressões SQL com S3 Select Dados detalhados sobre os padrões de uso e acesso Desenhado para 99,999999999% durabilidade recursos de segurança e conformidade incomparáveis opções de replicação em todas as regiões Maioria das formas de mover dados in / out segurança que ajuda o CISO ferramentas automatizadas de redução de custos Coletar AnalisarGuardar
  • 15.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon S3 One Zone-IA Uma classe de armazenamento S3 construído para dados facilmente recriáveis Projetado em um Zona de disponibilidade única Ainda 99.9999999% durável mas menos disponível e resistente - com 20% menos custo Use-o para: • Backup de dados móveis ou Enterprise • Off-site dados de conformidade • Dados de recuperação de desastres • Análise de dados derivados
  • 16.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Glacier Consultas analíticas in- place recuperações unitárias ou em lotes Projetado para 99,999999999% durabilidade opções de replicação em todas as regiões Certificações regulatórias e de conformidade Locking, encryption, auditoria e ferramentas de alerta ArchiveSeguro Econômico
  • 17.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Tipos de Object storage GlacierS3 Standard S3 Standard - Infrequent Access Políticas de Ciclo de Vida automatizados S3 One Zone - Infrequent Access Dados Ativos Millisecond access Min 3 AZs $0.023 Arquivar dados Minutes to Hours Min 3 AZs $0.004 30 dias de duração min Millisecond access Min 3 AZs $0.0125 30 dias de duração min Millisecond access Min 1 AZ $0.01 O preço é por GB por mês na região de US EAST (N. Virginia)
  • 18.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Como classes de armazenamento objeto diferem em design? Availability Zone Availability Zone Availability Zone S3 Standard S3 Standard-IA Glacier Availability Zone S3 One Zone-IA AWS Region AWS Region
  • 19.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark desenhado para 99,99% durabilidade Duas cópias em um só site desenhado para 99,999% durabilidade Cópias em dois locais desenhado para 99,999999999% durabilidade GlacierStandard IA Região AWS Entendendo a Durabilidade
  • 20.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Elastic Block Store consistentemente alta taxa de IOPS Otimizado para cargas de trabalho com baixa latência Altamente disponível Tolerante a falhas Fundamental para aplicações empresariais Performance e Preço ajustáveis on the fly Suporta aplicações sem rearquitetura Confiável PerfomáticoTransparente
  • 21.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Elastic File System IOPS consistentes rendimento consistente conectividade do cliente flexível automaticamente cresce e encolhe TCO mais baixo do que DIY ou on-prem Totalmente gerenciado Projeto regional de altamente confiável e seguro Nade de re-arquitetar Elástico EscalávelSimples
  • 22.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Opções de transporte de dados da AWS Conectividade On- prem com escala e durabilidade de Cloud 3rd party integrations Dispositivos de transporte físico Até um Exabyte Opções de computação locais Conexões privadas Aceleração WAN Distância geográfica Remessa HíbridoNetworks
  • 23.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Direct Connect A private connection between your data center, office, or colocation environment and AWS AWS Snow family (Snowball, Snowball Edge, Snowmobile) Secure, physical transport appliances that move up to Exabytes of data into and out of AWS AWS Storage Gateways Hybrid storage that seamlessly connects on-premises applications to AWS storage. Ideal for backup, DR, bursting, tiering or migration Amazon Kinesis Firehose Capture, trans- form, & load streaming data into S3 for use with Amazon business intelligence and analytics tools Amazon EFS File Sync Up to 5x faster file transfers than open source tools. Ideal for migrating data into EFS or moving between cloud file systems Amazon S3 Transfer Acceleration Up to 300% faster transfers into and out of S3. Ideal when working with long geographic distances APN competency partners Integrations between 3rd party vendors and AWS services. Ideal for leveraging existing software licenses and skills Networks Shipping Hybrid AWS oferece mais maneiras de mover dados para a nuvem
  • 24.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Rio De Janeiro Warsaw New York Atlanta Madrid Virginia Melbourne Paris Los Angeles Seattle Tokyo Singapore Time[hrs] 500 GB upload from clients in these locations to a bucket in Singapore Public InternetAccelerated Transfer Up to 300% faster 171% on average Amazon S3 Aceleração de Transferência
  • 25.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Snowball AWS Snowball Edge AWS Snowmobile • 80 TB capacity/10 G network • A encriptação de dados end-to- end • Rugged 8.5 G impact case • Resistente à poeira e chuva • 100 TB capacity/10 Gb network • A encriptação de dados end-to- end • Rugged 8.5 G impact case • Resistente à poeira e chuva • Computação e armazenamento para cargas de trabalho híbridos / borda • Montável em racks, clusterable • Exabyte-scale 45ft container • A encriptação de dados end-to- end • pessoal dedicado à segurança • rastreamento por GPS, monitoramento de alarme, vigilância 24/7 e segurança adicional opcional AWS Snow family
  • 26.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Sincronização de dados de sistemas de arquivos NFS existentes em sistemas de arquivos EFS Fast Up to 5x faster than standard Linux copy tools Secure Encrypted, parallel data transfer Simple Set up and manage easily from the AWS Console • File systems from on-premises to EFS • DIY in-cloud file systems to EFS • EFS file systems between AWS Regions Use EFS File Sync to copy… Amazon EFS File Sync
  • 27.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Sincronização de dados de sistemas de arquivos NFS existentes em sistemas de arquivos EFS Rápido Até 5x mais rápido do que ferramentas de cópia padrão do Linux Seguro Criptografado, paralelo transferência de dados Simples Configurar e gerenciar facilmente a partir do Console AWS • Os sistemas de arquivos a partir de no local para EFS • DIY sistemas de arquivos de nuvem em para EFS • sistemas de arquivos EFS entre Regiões AWS Use EFS arquivo Sync para copiar... Amazon EFS de sincronização de arquivo
  • 28.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Storage Gateway incorpora escala nuvem e durabilidade com operações on-prem Acelera decomissionamento de datacenters elimina novas compras de NAS / SAN A integração perfeita, sem interrupções Adequado para uma vasta gama de casos de uso Simples Econômico Híbrido
  • 29.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon EBS Amazon S3 Amazon Glacier Volumes (iSCSI) Tapes Files (NFS) On-premises AWS Storage Gateway AWS Identity and Access Management (IAM) AWS Key Management Service (KMS) AWS CloudTrail Amazon CloudWatch AWS Cloud Tipos AWS Storage Gateway
  • 30.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Saiba mais o porquê de usar AWS Diego Magalhães, Arquiteto de Soluções AWS Storage Day em Português
  • 31.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark A melhor confiabilidade e maior escala O mais completo portfólio Maior opção de movimentação de dados O mais abrangente suporte e serviços profissionais A maior rede de parceiros O mais seguro, compatível e auditável Porque armazenar na AWS
  • 32.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark “…the scale at which AWS operates its public cloud storage services dwarfs the other vendors in this Magic Quadrant.” - Gartner Magic Quadrant for Public Cloud Storage Services, Worldwide Raj Bala, Arun Chandrasekaran, John McArthur, July 24, 2017 Por exemplo: Amazon S3 mantém trilhões de objetos e picos regularmente em milhões de pedidos por segundo Tempo DadosdeClientes O mais confiável e maior escala
  • 33.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark The most secure, compliant and auditable Log, monitor and retain activities Assess and automate configuration Lock data immutably Public Sector Financial Services Healthcare Global standards Encrypt everywhere Automatically discover and protect Manage permissions by object Secure AuditableCompliant
  • 34.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark A mais segura, compatível e auditável Log, monitorar e manter atividades Avaliar e automatizar a configuração dados de bloqueio imutavelmente Setor público Serviços financeiros Cuidados de saúde padrões globais Criptografar todos os lugares Decubra e proteja automaticamente Gerir permissões por objecto Seguro auditávelCompatível
  • 35.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Data movement OnlineOffline Data security and management Amazon EFS Amazon EBS Amazon S3 Amazon Glacier AWS KMS AWS IAM AWS CloudWatch AWS CloudTrail AWS CloudFormation AWS Lambda Amazon Macie AWS QuickSight AWS Snow Family AWS Storage Gateways AWS Direct Connect EFS File Sync S3 Transfer Acceleration 3rd Party Applications Amazon Kinesis Firehose A mais ampla gama de serviços de armazenamento
  • 36.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Direct Connect A private connection between your data center, office, or colocation environment and AWS AWS Snow family (Snowball, Snowball Edge, Snowmobile) Secure, physical transport appliances that move up to Exabytes of data into and out of AWS AWS Storage Gateways Hybrid storage that seamlessly connects on-premises applications to AWS storage. Ideal for backup, DR, bursting, tiering or migration Amazon Kinesis Firehose Capture, trans- form, & load streaming data into S3 for use with Amazon business intelligence and analytics tools Amazon EFS File Sync Up to 5x faster file transfers than open source tools. Ideal for migrating data into EFS or moving between cloud file systems Amazon S3 Transfer Acceleration Up to 300% faster transfers into and out of S3. Ideal when working with long geographic distances APN competency partners Integrations between 3rd party vendors and AWS services. Ideal for leveraging existing software licenses and skills Networks Shipping Hybrid AWS oferece mais maneiras de mover dados para a nuvem
  • 37.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Enterprise Applications Disaster Recovery Analytics Primary Storage Backup and Restore Archive A. lista complete pode ser encontrada em https://aws.amazon.com/backup-recovery/partner-solutions/ Você não está sozinho
  • 38.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Experienced training, support and consulting Operation: AWS Training Ajudar as organizações a adotar AWS através de: Cursos digitais Treinamento em sala de aula exames de certificação Pacotes de suporte para ambientes que são: Experimental Produção Negócio crítico Escalation: Planos de suporte da AWS Ajuda especializada e experiente: APN Consulting Partners AWS ProServe AWS managed services Customization: AWS Serviços Profissionais
  • 39.
    Deep Dive naArquitetura do Amazon S3 e Glacier © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r Gu s t a v o Ro z a t t i – E n t e r p r i s e S o l u t i o ns Arc hi t e c t
  • 40.
  • 41.
    Portifólio de produtos de arm azenamento AW S Transferência de Dados Amazon EFS File Amazon S3 Amazon Glacier ObjectBlock Amazon EBS (persistent) Amazon EC2 Instance Store (ephemeral) AWS AWS Storage EFS 3rd Party AWS Direct S3 Transfer Amazon Snow Family Gateway File Sync Connectors Connect Acceleration Kinesis © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 42.
    Benefícios do AmazonS 3 & Glacier Durável, Disponível e Escalável © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r Segurança e Conformidade Consultas ‘in place’ Gerenciamento Flexível Ecosistema
  • 43.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon S3 Deep Dive de Arquitetura © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 44.
    Amazon S3 pelosNúmeros 55 Zonas de Disponibilidade (breve mais 12) 18 Regiões (breve mais 4) Trilhões de Objetos Milhões de Requisições por Segundo Um dos primeiros serviços AWS (2006) Durabilidade 99.999999999% © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 45.
    Arquitetura Amazon S3 Internet Usuário Final PUT GET DELETE Balanceadores deCarga Armazenamendo de Meta dados Servidores de API Armazenamento Blob © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 46.
    Amazon S3 –Zonas de Disponibilidade S3 armazena os dados em pelo menos 3 Zonas de Disponibilidade (AZ’s) A indisponibilidade de um data center ou de uma AZ não afeta a disponibilidade geral do S3 Cada AZ pode ter até 8 data centers físicos. Rede privada de baixa latência conecta os data centers eAZ’s Separadas fisicamente - mesmo desastres extremamente incomuns afetariam apenas uma únicaAZ Os dados são distribuídos automaticamente por um mínimo de 3 AZ’s, separados dentro de uma região daAWS © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 47.
    Categorias de Armazenamentodo Amazon S 3 E tr an s içõ es S3 Standard S3 Standard – Acesso Infrequente Amazon Glacier Dados Ativos Acesso síncrono Recuperação em milissegundos 2.1¢-GB/mês Arquivo de Dados Acesso assíncrono Recuperação de minutos ahoras 0.4¢-GB/mês Dados acessados com pouca frequencia Acesso síncrono Recuperação em milissegundos 1.25¢-GB/mês © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 48.
    Am azo nS 3 Seg u ran ça, Cr ip to g rafia e Co n fo rmi dade O ma is am p lo co n ju n to d e ferram en tas d a ind ús tria Segurança • Políticas de IAM e Bucket • Listas de Controle deAcesso • Logsde Auditoria com CloudTrail e Alerts com CloudWatch • Templates CloudFormation seguros • Amazon Macie • Verificações de Permissão na Console Criptografia • Criptografia em Trânsito comTLS • SSE-S3 – Amazon S3 gerencia dados e chaves • SSE-C – Cliente gerencia as chaves • SSE-KMS – Master keys no KMS • CSE – 100% gerenciado pelo Cliente • Criptografia default no Bucket • Status de Criptografia no Inventário Conformidade • PCI-DSS • HIPAA/HITECH • FedRAMP • FISMA • EU Data Protection Directive © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 49.
    Replicação Entre Regiões Automaticamente replica dados para qualquer outra região da AWS • Replica por objeto, bucket ou prefixo • Suporte a objetos criptografados usando SSE-KMS • Sobrescreve a propriedade • Muda a propriedade do objeto na região de destino Região A Região B Conectividade Entre Regiões © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 50.
    Exemplos de ReplicaçãoEntre Reg iões S3 Standard S3 Standard S3 Standard S-IA S3 Standard Glacier Política de ciclode vida de zero dias para Glacier © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 51.
    D o More With Your In-place D ata • Athena • Redshift Spectrum • QuickSight • EMR Data Lake Armazenamento de IoT Armazenamento Aprendizado de Máquina eIA • AWS IoT • Greengrass • Other IoTsensors • Rekognition • LEX • Polly • MXNet &TensorFlow © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 52.
    Max im ize a taxa de tr ansfer ênc ia co m o Amazon S 3 © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r O Amazon S3 é dimensionado automaticamente para milharesde solicitações por segundo por prefixo com base no seu tráfego. • O Amazon S3 particiona automaticamente seus prefixos dentro dehoras ajustando aumentos nas taxas de solicitação • Considere o uso de um hash de três ou quatro caracteres (veja o próximo slide para mais detalhes)
  • 53.
    U sando umH ash de três ou quatro caracteres O hash aleatório deve vir antes de padrões como datas e IDs seqüenciais Sempre primeiro garanta que sua aplicação possa acomodar © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r Devido aos recentes aprimoramentos de desempenho do Amazon S3, a maioria dos clientes não precisa mais se preocupar com a introdução de entropia em nomes-chave examplebucket/232a-2017-26-05-15-00-00/cust1234234/photo1.jpg examplebucket/7b54-2017-26-05-15-00-00/cust3857422/photo2.jpg examplebucket/921c-2017-26-05-15-00-00/cust1248473/photo2.jpg Um pouco maisamigável: examplebucket/animations/232a-2017-26-05-15-00-00/cust1234234/animation1.obj examplebucket/videos/ba65-2017-26-05-15-00-00/cust8474937/video2.mpg examplebucket/photos/8761-2017-26-05-15-00-00/cust1248473/photo3.jpg
  • 54.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Glacier Deep Dive de Arquitetura © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 55.
    Benefícios do AmazonS 3 & Glacier Durável, Disponível e Escalável Segurança e Conformidade Gerenciamento Flexível Ecosistema Baixo Custo © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 56.
    Facilidade e Simplicidade XNenhum investimento decapital X Sem compromisso X Nenhum planejamento decapacidade X Sem capacidade ociosa X Semmanipulação onerosa de mídia X Nenhuma atualização complexa detecnologia X Sem tarefas que não agregam valor ao negócio © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r
  • 57.
  • 58.
    Opções Flexíveis paraRecuperação deDados Todos os seus dados são acessívels com qualquer das 3 opções de recuperação • Modelo Atual • 3-5 horas • $0.01/GB Recuperação Padrão Recuperação em Massa • Acesso em lote/massa • 5-12 horas • $0.0025/GB Recuperação Expressa • Acesso urgente raro • 1-5 minutos • $0.03/GB Substituição de fita no local Substituição de fitaexterna
  • 59.
    Múltiplas formas deacessar o S3 e o Glacier 1. Use S3 e Glacier via S3 gerenciamento de ciclo de vida 2. Usar diretamento a AmazonGlacier API/SDK 3. AWS Storage Gateway 4. Ferramentas de terceiros
  • 60.
    Amazon Glacier –Acesso Direto/APIs Criar Cofre Configurar Acesso Gravar Arquivos Registrar ID do Arquivo Gravação de Dados Iniciar Recuperação Término Assíncrono da Recuperação Notificação de Término Baixar os dados Recuperação de Dados
  • 61.
    Ferramentas de Terceiros •Consumidorfinal: menos de US $ 50 por licença • Exemplo: Cloudberry, FastGlacier, Arq (HaystackSoftware) •Pequenas e médias empresas: US $ 500 - US $ 1.000 por licença • Exemplo: Synology, Veeam, QNap • Grandes empresas: • Exemplo: NetApp AltaVault, Commvault,StorNext, StoreReduce, Vidispine
  • 62.
    Qual opção devoescolher? •Useo gerenciamento de ciclo de vida do S3 para Glacier se as chaves dos objetos S3 forem o suficiente para fazer a indexação e busca •Use Diretamente o Amazon Glacier se você planeja armazenar mais meta dados ou índices no banco de dados. •Use ferramentas de terceiros para minimizar a criação de código
  • 63.
    O Amazon GlacierVault Lock permite definir os controles de conformidade em cofres individuais e aplicá-los por meio de uma política bloqueável Retenção baseada em tempo Autenticação MFA Controles governam todos os registrosem um cofre Política imutável Bloqueio em duasetapas Conformidade de Armazenamento com VaultLock
  • 64.
    Vault Lock paraconformidade dearmazenamento • Registros não sobrescritos e nãoapagáveis • Retenção baseada em tempo com controle “ArchiveAgeInDays” • Bloqueio de política (governançaforte) • Guarda legal com tags no nível do cofre • Configurar acesso de terceiros designado opcional e conceder acesso temporário
  • 65.
    Como o VaultLockfunciona? • Você usa dispositivos ou media WORM? • Como você consegue WORM? • O que acontece com os dados em retenção se eu fechar minha conta? • A AWS fornece serviço de terceiros designados?
  • 66.
    O Amazon Glacierrecebeu uma avaliação de terceiros da Cohasset Associates sobre como o Amazon Glacier com o Vault Lock pode ser usado para atender aos requisitos da SEC Rule 17a-4 (f) e CFTC 1.31 (b) - (c).
  • 67.
    Exemplo de controle:retenção de registro de 1 ano • Negar a operação de excluirarquivos • De qualquer pessoa (root, administradores, usuários, parceiros de negócios) • Quando ArchiveAgeInDays é <= 365 dias Idade do arquivo calculada a partir do momento em que um arquivo é arquivado em um cofre
  • 68.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Example control: 1-year record retention
  • 69.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Vault Lock in the Amazon Glacierconsole
  • 70.
    © 2018, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Obrigado! © 2 0 1 7 , A m a z o n W e b S e r v i c e s , I n c . o r i t s A f f i l i a t e s . A l l r