O armazenamento de arquivos é usado em uma variedade de cenários, tais como em diretórios pessoais, armazenamento de dados de aplicativos, arquivos de mídia e no compartilhamento para processamento com alto desempenho. Gerenciar o armazenamento de arquivos local é um trabalho pesado, com altos custos de aquisição, gera sobrecarga operacional para configurar, gerenciar e adiciona desafios de escalabilidade. Nessa sessão, mostraremos como você pode aproveitar serviços de armazenamento de arquivos totalmente gerenciados da AWS para não se preocupar mais com a sobrecarga administrativa de configuração, proteção, manutenção, escalabilidade e backup de sua infraestrutura de arquivos.
2. Como interagir durante o evento?
Você tem um projeto e
quer conversar com o
time comercial da
AWS?
Acesse o LIVE CHAT
neste QR code ou pelo
link enviado no chat do
evento.
Perguntas & Respostas ao
vivo durante todo o
evento
Tire suas dúvidas com os
especialistas da AWS!
Clique no símbolo “?” e
envie suas perguntas.
3. Agenda
• Desafios
• Qual é o meu Custo local?
• Transição para nuvem AWS
• Como a AWS pode ajudar?
5. Você enfrenta esses desafios no armazenamento local?
Custos crescentes de infraestrutura
Limites de armazenamento e capacidade
Sobre carga de gerenciamento
6. Entenda seu verdadeiroTCO
Local AWS
Espaço, energia e
resfriamento do
data center
Rede
Manutenção de
hardware e software
Recursos
humanos
Sub
utilização
Migração
Transferência
de dados
Operações
Dados
lidos/gravados
Armazenamento direto
Comece a usar a análise deTCO: https://aws.amazon.com/tco-calculator/
7. Desafios de gerenciar o armazenamento de arquivos local
Gerenciamento do hardware Gerenciamento de software
• Periodicamente adquirir hardware
• Configuração do servidor de
armazenamento e volumes
• Detecção e resolução de falhas de
hardware
• Altos custos de aquisição
8. Disponibilidade e
escalabilidade
globais
Vários protocolos
de arquivo
Totalmente
gerenciado
Confiabilidade e
durabilidade
Custo-efetivo
Opções de
armazenamento e
desempenho
Transição transparente para compartilhamento na nuvem AWS
Migre seus compartilhamentos de arquivos locais sem interrupções para aplicações e usuários finais
9. Usando a ferramenta certa parasuanecessidade
Amazon FSx
for
Windows File Server
Cargas de trabalho
baseadas em
Windows
Amazon Elastic File
Service (Amazon
EFS)
Cargas de trabalho
baseadas em
Linux
Amazon FSx
for
Lustre
Cargas de trabalho
de alto
desempenho
Setembro
2021
Amazon FSx
for
NetApp ONTAP
Cargas de trabalho
Multiprotocolo
10. Diretório
home
Gerenciamento
de conteúdo
Alta disponibilidade
para SQL Server
Desktops
virtuais
Totalmente
gerenciado, criado no
Windows Server
• Sem a necessidade de
gerenciar a infraestrutura de
hardware
• Paridade de recurso com NAS
local
Opções flexíveis de
preçoedesempenho
• SSD ou HDD
• Single-AZ ou Multi-AZ
• “Deduplicação”
e compactação de dados
• Taxas efetivas abaixo de 1
centavo por GB/mês
Migração fácil
para a AWS
• SMB para SMB com AWS
DataSync
• Não há necessidade de
mudança de plataforma ou
arquitetura
Amazon FSx forWindows File Server
Armazenamento de arquivos totalmente gerenciado, altamente confiável, escalável, acessível via
SMB e construído no Windows Server
11. A Emirates Airlines roda sua principal plataforma de reservas na
AWS usando o Amazon FSx para hospedagem de armazenamento
CMS
“O Amazon FSx forWindows File Server facilitou a migração de
nossa principal plataforma de reservas de nossos datacenters para
a AWS. Com o FSx, observamos um aumento de 37% no
desempenho e aumento de confiabilidade para nossa plataforma
de CMS (Content Management System, sistema de gerenciamento
de conteúdo) em comparação com nossa solução de
armazenamento existente.”
Anoop KumarC
Principal Engineer
12. MENOR CUSTO
armazenamento de arquivos
arquivos sem servidor
0,0133 USD por GB/mês
para a classe de
armazenamento do
Amazon EFS One Zone IA
500k+ IOPS no modo de
desempenho MAX I/O
Desempenho
Simples
defina e esqueça
Simplifique o
compartilhamento de arquivos
entre sistemas e aplicações
SERVERLESS
armazenamento compartilhado
Integração com todos os
modelos de computação da
AWS
Abril
2020
Custo Gestão Integração
AUMENTOU 5X
IOPS de leitura
OqueéoAmazonEFS?
Compartilhamento de arquivo Linux simples, escalável, totalmente gerenciado, altamente durável e disponível
elástico simples definir e esquecer
13. Migração rápida e sem interrupções
a
produtividade da equipe
agilidade do negócio
e reduzindo
nossoTCO
Contexto da empresa:
Líder global em árvore
genealógica e genômica para
consumidores
O desafio
Serviços Usados
14. Conhecido e
totalmente gerenciado
Rápido e econômico Seguro e em conformidade
O que é Amazon FSx for NetApp ONTAP
Utilize o armazenamento de arquivos gerenciado e construído com NetApp ONTAP
• Totalmente gerenciado
• Usa ferramentas AWS e
NetApp
• Funcionalidades de
replicação de dados
(SnapMirror),snapshot
(SnapVault), cache
(FlexCache), e clone
(FlexClone)
• Transferência de vários
GB/s,100K+ IOPS,
latências sub-ms
• Tierização automática
para reduzir custo, até
90%
• Deduplicação,
compressão,
compactação, thin
provisioning
• Multiprotocolo (NFS,
SMB, iSCSI)
• Accessível via Linux,
Windows, MacOS
• EC2, EKS, Workspaces,
Appstream 2.0, VMware
Cloud
• Acesso simultâneo
multiprotocolo
• Criptografado no
armazenamento e em
transito
• Integração com software
de Anti-Virus e Auditoria
• Active Directory para
autenticação
• Conformidade com ISO,
PCI-DSS, SOC e
elegível ao HIPPA
Fácil acesso e integrado
15. Amazon FSx for Lustre
MELHOR PREÇO
por unidade de taxa de
transferência
ALTO DESEMPENHO
para cargas de trabalho de
computação intensas
Latências abaixo de
milissegundos, dezenas de
milhões de IOPs
Taxa de transferência ilimitada
por cliente
Até centenas de GBs/segundo
de taxa de transferência
0,025 USD por GB/mês
para armazenamento
de arquivos em HDD
Agosto
2020
NÍVEL ENTERPRISE
Totalmente gerenciado
Integração do AWS Backup
Dimensionamento de
armazenamento em tempo
real
Várias opções de replicação
AMPLA INTEGRAÇÃO
com serviços da AWS
Amazon Elastic Kubernetes
Service, Amazon Batch,
Amazon ParallelCluster,
Amazon SageMaker
Cache de alto desempenho de
dados S3
Desempenho Custo Gerenciamento Integração
Compartilhado de arquivos escalável e rápido para potencializar suas aplicações de alto desempenho
Novembro
2020
Novembro
2020
16. Renderização de mídia acelerada em 4x
super capacidade disponível
para
eliminou semanas e meses de
recursos
Contexto da empresa:
A Conduction Technologies é líder em
plataforma de nuvem para
renderização de mídia e
entretenimento
Serviços:
O desafio
17. Mudou o custo do compartilhamento de arquivos
O MENOR CUSTO
armazenamento de arquivos
serverless na nuvem
Amazon Elastic
File System
Amazon FSx for Windows
File Server
O MENOR CUSTO
armazenamento de arquivos
Windows na nuvem
• 0,013 USD por GB/mês (AZ única)
Amazon FSX for Lustre
• 0,025 USD por GB/mês para
armazenamento de arquivos em
HDD
O MENOR CUSTO
por taxa de transferência
para cargas de trabalho alto
desempenho
• 0,0133 USD por GB/mês para
a classe de armazenamento
do Amazon EFS One Zone IA
22. Obrigado!
Fique por dentro das
próximas sessões
Acesse a agenda de
webinars neste QR code
e inscreva-se!
QR CODE
Conte-nos o que achou
do webinar
Clique em “sair” para
responder uma rápida
pesquisa de satisfação.
Notas do Editor
File data is everywhere and rapidly growing, rarely shrinking. A lot of this data is unstructured data in the form of office documents, media files, and engineering files stored in user shares and application data. This data can additionally be part of media processing environments, database backups, content repositories for application data, or archive data needed to be kept around for compliance purposes or company policy. And although this data it is often spread across multiple storage silos in multiple locations.
Customer tell us that managing on-premises storage arrays comes with a unique set of challenges. Storage arrays will hold all of the storage for a large number off applications and need to be properly sized to meet your storage needs for the next 3-5 years. As data continues to grow, so does the growing infrastructure cost including storage hardware, storage networking, datacenter costs, and aging disks that the data is housed on.
On-premises storage is also limited to your immediate capacity. This not only affects the amount of data you can store, but also affects the amount of compute that can access the data. If the storage can’t keep up your applications or end users won’t be able to either.
Lastly, keeping the the storage up and running to ensure your end users and customers have continuous access this to the data requires a lot of operational overhead.
CIO’s tell us that cost is not the key factor in their decision to move to the cloud. Agility and innovation are usually at the center of their motivation. However, being at least cost neutral is table stakes before considering any migration to the cloud.
When looking at cloud pricing, it’s tempting to just compare the cloud storage cost against the acquisition cost of storage hardware, but that doesn’t show you the full picture. In traditional on-premises infrastructure, there are several other costs that you don’t incur when running in the cloud, including the cost of data center space, power, and cooling, the cost of building and maintaining a network, hardware and software maintenance expenses, and the headcount costs to operate this infrastructure.
Additionally, you typically incur the cost of under-utilization; that is, any storage capacity you’ve purchased but aren’t using is in effect increasing your per-GB cost of data stored. In contrast, using services like Amazon S3 and Amazon EFS, when you delete data you stop paying for that storage. So there’s no under-utilization expense.
And finally, when on-premises you pay for the cost to migrate data from one system to another, which can be substantial (particularly in time).
In the cloud, your costs follow your workload’s usage patterns much more closely. You pay for the data stored, of course, and depending on the service you may pay for requests made to the service (for example, to get and retrieve data, or to move data between tiers) and data transfer out of the service. And in services like S3 Infrequent-Access, EFS Infrequent-Access, and S3 Glacier, you will pay a bit to retrieve the data. By shifting the model to pay just for what you use, you can cost optimize your applications.
You can get started with a TCO analysis at https://awstcocalculator.com/, based on common patterns we see around. When we compare apples to apples, we find that the total cost to run in AWS is favorable to running on-premises.
O gerenciamento do hardware e do software de armazenamento no local tem um conjunto consistente de desafios, independentemente da tecnologia que está sendo usada.
CUSTO
Em primeiro lugar, há custos — tanto para a aquisição do equipamento quanto para os custos imprevistos e às vezes ocultos.
Você sempre precisa considerar a despesa inicial de capital ou Capex onde você tem alto investimento inicial de capital; Há adivinhação sobre a quantidade de armazenamento que você precisará; adivinhação sobre os tipos de unidades, a combinação de SSD versus discos rígidos; há custos adicionais para software, backup, DR, etc.; há garantia renovações; e, claro, considerações físicas, como espaço, energia e resfriamento.
Você não tem escalabilidade instantânea/conforme necessário ao implantar hardware no local. Precisa aumentar a escala? Pague por mais bandejas, racks, salas, datacenters, etc. Isso não é fácil. E quanto aos recursos que você precisa, como replicação para DR/continuidade de negócios... E você descobre que precisa pagar MAIS apenas para habilitar os recursos básicos que você espera que sejam fornecidos como parte do produto.
Eu mencionei replicação — e se isso for um requisito? Talvez seja necessário implantar a mesma infraestrutura em outro datacenter e usar produtos e ferramentas licenciados para sincronizar dados entre sites. Isso provavelmente não apenas duplica o custo do hardware, mas você precisará de rede, espaço em rack do datacenter, e talvez precise de mais pessoal, o que todos fatores em seu custo total.
Complexo
Depois, há a sobrecarga contínua de gerenciamento, que garantirá que seus storage arrays locais sejam mantidos atualizados e funcionando para que seus usuários finais ou clientes tenham acesso contínuo aos dados. Você precisa detectar e resolver falhas de hardware e ser rápido para substituir unidades ou arrays com falha para garantir que não haja perda ou interrupção de dados para seus usuários.
Além dos desafios de gerenciar o hardware, os clientes também precisam gerenciar o software, incluindo a instalação do sistema operacional e do software do sistema de arquivos, a aplicação de atualizações, o gerenciamento de licenças, a execução e o gerenciamento de backups e a segurança desses dados de arquivo.
Tudo isso é trabalho pesado indiferenciado.
A AWS permite que você migre seus dados sem interrupções para seus aplicativos ou usuários finais.
Oferecemos vários protocolos para ajudar a migrar suas cargas de trabalho Windows e Linux sem refatoração de seus aplicativos. Ao usar protocolos padrão, você pode ter a mesma experiência no gerenciamento do armazenamento da AWS que o armazenamento local.
Também oferecemos vários níveis de armazenamento para todos os nossos serviços de arquivos, facilitando a escolha do desempenho de armazenamento certo pelo custo certo para cada uma de suas necessidades de compartilhamento de arquivos sem precisar se preocupar em dimensionar um único storage array para um grande número de aplicativos. Damos-lhe a ferramenta certa para o trabalho com apenas alguns cliques.
As opções de armazenamento de arquivos da AWS também são econômicas, com níveis de armazenamento a partir de 0,013/GB. Você pode provisionar o que precisa agora e dimensionar à medida que cresce, pagando apenas pelo que precisa quando precisar. Temos recursos como a desduplicação em alguns de nossos serviços de arquivos que facilitam a redução de custos, bem como o gerenciamento automático do ciclo de vida de dados em outros serviços para ajudar a mover os dados para o nível mais econômico facilmente.
O armazenamento de arquivos da AWS também é altamente disponível e durável e pode aproveitar várias zonas de disponibilidade e vários métodos de backup para garantir que os dados estejam protegidos e disponíveis.
Ser totalmente gerenciado significa que você não precisa mais se preocupar com a configuração de servidores, a instalação de sistemas operacionais, o provisionamento de vários volumes de armazenamento, a configuração de sistemas de arquivos e a manutenção dessa infra-estrutura e o backup.
Por fim, com a AWS, você obtém disponibilidade global, facilitando o alcance de seus usuários e clientes em todo o mundo sem precisar se preocupar com a configuração e o gerenciamento de novos datacenters remotamente.
[Pensamos nos serviços do sistema de arquivos como tratando de dois tipos básicos de carga de trabalho]
Cargas de trabalho de usogeral ou de negócios para itens como compartilhamento de arquivos de uso geral, compartilhamentos de usuários e servidores de aplicativos que precisam de armazenamento de arquivos compartilhado. Para cargas de trabalho baseadas em Linux, temos o Amazon Elastic File Service ou EFS. Para cargas de trabalho baseadas no Windows, temos o Amazon FSx para Windows File Server.
Há muitos aplicativos de negócios que exigem armazenamento compartilhado de arquivos, incluindo uma série de sites internos de TI corporativa e produção. Eles variam de usuários corporativos internos usando um aplicativo de produtividade que requer armazenamento de arquivos compartilhado até um grande número de usuários externos acessando itens como aplicativos de CRM para documentos de empréstimo ou registros médicos ou software de descoberta eletrônica.
Diretórios home, também conhecidos como compartilhamentos de usuários, são outro caso de uso comum para armazenar arquivos de escritório e fornecer colaboração compartilhada para engenharia e vários compartilhamentos de departamento.
O armazenamento de contêiner também pode se beneficiar de ter um sistema de arquivos compartilhado em vez de criar volumes de armazenamento individuais para cada contêiner.
Cargas de trabalho de alto desempenho que exigem 100 GB de throughput, latências abaixo de milissegundos e milhões de IOPS, como ampla variedade de renderização de mídia, sísmica de O&G, análise de genoma, EDA e aprendizado de máquina e deep learning funcionam muito bem com nosso sistema de arquivos FSX para Lustre.
Visão geral da empresa:
AAncestry.com é uma fornecedora líder de serviços de história da família e genômica do consumidor. A Ancestry aproveita as informações encontradas em árvores genealógicas, registros históricos e DNA para ajudar as pessoas a obter um novo nível de compreensão sobre suas vidas
Desafio:
A Ancestry desejava mover seus processos de análise de genoma para a nuvem para aproveitar a computação sob demanda e dimensionar a freqüência e a velocidade da experimentação.
Seus processos de análise de genoma são caracterizados por cargas de trabalho imprevisíveis e de pico, o que exigiu que eles dimensionassem a computação e a taxa de transferência rapidamente e, em seguida, destruíssem ambientes após a conclusão de um trabalho. A demanda variável e ad-hoc em seu ambiente de armazenamento dificultou muito o gerenciamento do cluster do Isilon no local.
Solução:
A Ancestry optou por migrar de seu cluster Isilon no local para um serviço de armazenamento de arquivos da AWS totalmente gerenciado — Amazon EFS. Eles receberam um prazo de 6 meses para concluir a migração. Eles também receberam o requisito de que a migração fosse manter a consistência e a disponibilidade de seu ambiente de análise para que seus cientistas de dados pudessem permanecer produtivos. Eles concluíram em 5 meses — do início do planejamento ao corte completo — sem interromper a produtividade da equipe de ciência de dados.
Benefícios:
Maior produtividade — a equipe de TI não gasta mais tempo consertando e mantendo sistemas de arquivos locais.
Agilidade aprimorada - As equipes de ciência de dados podem gerar rapidamente o recurso necessário para executar seus trabalhos de análise, melhorando sua capacidade de realizar experimentos rapidamente.
Facilidade de migração — migração concluída antes do previsto devido à interface POSIX comum fornecida pelo EFS e às ferramentas disponíveis para dar suporte à migração
Serviços de armazenamento da AWS usados:
Amazon EFS
Fully managed:
Amazon FSx for NetApp ONTAP is a fully managed service that provides highly reliable, scalable, performant, and feature-rich file storage built on NetApp ONTAP. FSx for NetApp ONTAP provides the familiar features performance, capabilities, and APIs of on-premises NetApp file storage, with the agility, scalability, and simplicity of a fully managed service in the AWS Cloud. You can manage FSx for ONTAP either through the AWS console, API, or CLI, or through NetApp tools. Creating a file system is easy, with a few clicks in the console determining your capacity, performance, and AWS settings like security groups, you have a fully managed file share without having to setup your own setup your own compute and storage or procure and pay for licenses separately.
Enterprise Features:
With support for ONTAP enterprise features, FSx for NetApp ONTAP is an ideal solution to migrate, back up, or burst your Windows or Linux file-based applications from on-premises to AWS without the need to change code or how you manage your data. It offers highly available multi-AZ storage with support for snapshots, cross-region replication (SnapMirror), caching (FlexCache), clonding (FlexClone) and fully managed backups.
Price and Performance:
High-performance SSD storage and intelligent tiering to lower-cost, elastic storage eliminates the need to provision capacity, allowing you to reduce storage cost without impacting performance. FSx for ONTAP give you PB+ scale with cost optimization beneifts like data deduplication, compression, compaction, and thin provisioning
Accessibility and AWS Integrations:
FSx for ONTAP is broadly accessible from Linux, MacOS, and Window compute instances running in AWS or on-premises, including AWS services like EC2, EKS, Workspaces, Appstream 2.0, and VMWare Cloud. As a native service, you also get integration with AWS services like CloudFormation, CloudWatch, CloudTriail, and IAM to automate and monitor your workflow.
Security and Compliance:
And lastly, FSx for ONTAP provides security and compliance enteprises expect. We offer full end to end encryption, anti-virus and file auditing access with 3rd party providers like Varonis, Active Directory based authentication, and several levels of industry standard compliance such as ISO, PCI, SOC, and HIPPA.
A conductor tem uma plataforma em nuvem lider de renderização, simulação e realidade virtual para mídia e entretenimento.
Eles começaram contruindo sua Plataforma com produtos de prateleira, mas não atendia as necessidades. Em 2014 eles adotaram outro provedor de nuvem e também tiveram problemas na hora de subir 30k cores o Sistema de arquivos falhava e tovava de uma a 3 horas, quando o esperado eram 30 min.
Diante disso partiram para desenvolver um serviço de armazenamento um serviço de NFS próprio sob a nuvem que eles já utilizavam e de fato isso reduziu o tempo de renderização, mas não era capaz de atender a escalabilidade necessária para negócio.
A solução foi mudar para AWS e utilizer o FSx for Lustre. Não foi preciso um reengenharia da aplicação na AWS. Desde então eles puderam ver alta performance e escalabilidade, mesmo durante os picos de renderização. O SLA de 30 min acordado com os cliente pode ser cumprido.
e o time de TI não gasta mais tempo mantendo sistemas de arquivos. Eles podem focar no SLA o optimização dos seus servicos para clients finais. Reduziram o custo operacional para gerenciar o Sistema de armazenamento e tiram proveito do serviço totalmente gerenciado da AWS.
Company Overview:
Conductor Technologies is a leading cloud platform for Media & Entertainment for rendering, simulation, virtual reality. Conductor enables VFX and Animation facilities to extend into the cloud, while providing data insights and controls over usage and spending.
Challenge:
Conductor built their systems with off-the-shelf purchases and they couldn’t scale due to the rendering time needed. In 2014, they deployed GCP as their cloud provider but still faced rendering issues – they would spin up 30,000 CORS, the file system mechanism failed and it would take 1-3 hours instead of the expected 30 minutes.
They couldn’t scale and meet their customers’ SLAs/expectations as quickly as they should be and it impacted their own technology. They spent months building a direct storage system (self-managed NFS - creating auto-scaling and file synching) into their infrastructure (on GCP) to reduce rendering issues. Although their in-house direct storage system help reduce rendering time, they couldn’t scale their business.
Solution:
Conductor switched to AWS and deployed Amazon FSx for Lustre. They did not have to re-architecture their solution for AWS. Since then they have been able to see high performance and scalability even during rendering spikes. They are able to meet customers’ SLAs by quickly spin-up and spin-down large files whenever customers want to.
Benefits:
Increased productivity– The IT team no longer spends time fixing and maintaining on-premises and cloud file systems. They can focus on running content into Amazon FSx for Lustre within SLA times (30 minutes) and focused resources to optimize their technology and service their customers.
Reduced costs and additional investments– Eliminated additional costs and engineering man hours to manage file and storage systems
Scale with self-management – Fully managed by AWS, don’t need to spin up and down manually or manually customize systems
AWS Storage Services used:
Amazon for FSx Lustre