1. O documento apresenta o novo banco de dados relacional da AWS chamado Amazon Aurora.
2. O Aurora foi projetado para superar as limitações das arquiteturas de bancos de dados tradicionais, que são monolíticas e não escalam horizontalmente de forma eficiente.
3. O Aurora usa uma arquitetura orientada a serviços, distribuindo camadas como armazenamento e log em outros serviços AWS para melhor desempenho, disponibilidade e escalabilidade.
Assista a este webinar "how-to" para aprender o básico para começar com a AWS. Depois de uma breve visão geral, esta sessão irá mergulhar em discussões de serviços AWS básicos, como o Amazon EC2 e o Amazon e S3, e fornecerá demonstrações de como configurar e utilizar esses serviços.
Criar uma conta AWS
Criar um usuário IAM e habilitar MFA (Fator de Multi Autenticação)
Criar chaves SSH (utilizadas para acessar suas instâncias)
Criar um Security Group (firewall)
Iniciar uma instância EC2 (máquina virtual)
Neste slide, que tem um vídeo complementar publicado no YouTube, mostramos os conceitos e de forma prática como iniciar na AWS:
1. Criando a sua conta
2. Conectar na instância EC2
3. Utilizar o S3 (armazenamento conectado à internet)
4. Criar um alarme CloudWatch
5. Backup e restauração da sua instância EC2
6. Visualizar os custos AWS e configurar alertas de gastos
As inovações em Big Data estão acontecendo cada vez mais rapidamente. Enquanto isso a demanda por profissionais com habilidades gerenciais focadas em análise de dados continua aumentando. Sendo assim, como você pode acompanhar esta tendência? Conheça as principais arquiteturas de Big Data e aprenda a lançar uma aplicação de Big Data.
Montar uma nova arquitetura para a nuvem pode ser disruptivo para soluções on-premises. Uma maneira de facilitar o processo é utilizar uma estratégia híbrida. Saiba como relacionar seu armazenamento on-premises com a nuvem e conheça as melhores práticas.
Path to the future #5 - Melhores práticas de data warehouse no Amazon RedshiftAmazon Web Services LATAM
O Amazon Redshift usa uma variedade de inovações para obter um desempenho de consulta muito elevado em conjuntos de dados com tamanhos variando de centenas de gigabytes a um petabyte ou mais.
Nessa sessão será exposto boas práticas do Amazon Redshift, o dataware da AWS. Tem como intuito de expor de formas efetivas de migração, cargas de dados, realizar tunnings nas suas consultas.
Assista a este webinar "how-to" para aprender o básico para começar com a AWS. Depois de uma breve visão geral, esta sessão irá mergulhar em discussões de serviços AWS básicos, como o Amazon EC2 e o Amazon e S3, e fornecerá demonstrações de como configurar e utilizar esses serviços.
Criar uma conta AWS
Criar um usuário IAM e habilitar MFA (Fator de Multi Autenticação)
Criar chaves SSH (utilizadas para acessar suas instâncias)
Criar um Security Group (firewall)
Iniciar uma instância EC2 (máquina virtual)
Neste slide, que tem um vídeo complementar publicado no YouTube, mostramos os conceitos e de forma prática como iniciar na AWS:
1. Criando a sua conta
2. Conectar na instância EC2
3. Utilizar o S3 (armazenamento conectado à internet)
4. Criar um alarme CloudWatch
5. Backup e restauração da sua instância EC2
6. Visualizar os custos AWS e configurar alertas de gastos
As inovações em Big Data estão acontecendo cada vez mais rapidamente. Enquanto isso a demanda por profissionais com habilidades gerenciais focadas em análise de dados continua aumentando. Sendo assim, como você pode acompanhar esta tendência? Conheça as principais arquiteturas de Big Data e aprenda a lançar uma aplicação de Big Data.
Montar uma nova arquitetura para a nuvem pode ser disruptivo para soluções on-premises. Uma maneira de facilitar o processo é utilizar uma estratégia híbrida. Saiba como relacionar seu armazenamento on-premises com a nuvem e conheça as melhores práticas.
Path to the future #5 - Melhores práticas de data warehouse no Amazon RedshiftAmazon Web Services LATAM
O Amazon Redshift usa uma variedade de inovações para obter um desempenho de consulta muito elevado em conjuntos de dados com tamanhos variando de centenas de gigabytes a um petabyte ou mais.
Nessa sessão será exposto boas práticas do Amazon Redshift, o dataware da AWS. Tem como intuito de expor de formas efetivas de migração, cargas de dados, realizar tunnings nas suas consultas.
Explore como milhões de clientes estão utilizando os produtos e as soluções na Nuvem AWS e soluções para construir aplicações sofisticadas com mais flexibilidade, escalabilidade e confiabilidade.
A Nuvem AWS fornece um amplo conjunto de serviços de infraestrutura, como poder computacional, opções de armazenamento, redes e bancos de dados, entregues como um serviço: sob demanda, disponível em segundos, com definição de preço conforme o uso.
Você está pensando em disponibilizar workloads Microsoft na AWS? Precisa entender mais como funciona o licenciamento na nuvem? Essa sessão tem como objetivo de expor sobre questões de arquitetura, boas práticas de implementações.
As empresas estão usando a nuvem da AWS para possibilitar a rápida recuperação de desastres de seus sistemas críticos de TI, sem incorrer nos gastos de infraestrutura de um segundo local físico.
Em caso de desastres, você deve ser capaz de recuperar-se de forma rápida, para garantir a contiuidade do negócio. Na AWS existem diversas estratégias de implementação de DR (Disaster Recovery), que vai de encontro, as necessidades de cada negócio.
Voce quer guardar dados na nuvem? Fazer backup? Nesta apresentamos mostramos como utilizar os serviços Amazon S3, Glacier e como integrá-los na rotina do seu dia a dia.
O Amazon EC2 permite que você obtenha capacidade computacional de uma forma econômica usando instâncias spot.
Este recurso permite uma redução de até 90% no custo em relação ao valor on demand. Nesta sessão, os participantes aprenderão as boas práticas deste modelo e alguns casos de uso em que as instâncias spot podem ser utilizadas com sucesso.
Você está pensando em disponibilizar workloads Microsoft na AWS? Precisa entender mais como funciona o licenciamento na nuvem? Essa sessão tem como objetivo de expor sobre questões de arquitetura, boas práticas de implementações.
Para executar aplicações do Microsoft Windows Server, SQL Server, Exchange, SharePoint e Lync, bem como aplicações .NET personalizadas, você pode contar com a infraestrutura global segura da Amazon Web Services para executar facilmente aplicações com base no Windows Server na nuvem.
Desenvolvendo para o Windows Azure e SQL AzureLuciano Condé
Conhecendo os principais recursos e como desenvolver para estes dois serviços da plataforma Windows Azure.
Esta palestra foi apresentada para o Encontro de Parceiros na Microsoft Brasil.
Existe uma vasta gama de banco de dados gerenciados além daqueles que rodam no Amazon EC2 por conta própria. Bancos de dados gerenciados diminuem os esforços de implementar, administrar e manter o seu banco de dados e permite que possa focar na suas aplicações. Entenda as opções e suas diferenças, além das melhores práticas para escolha de uma ou mais delas.
O Amazon Elastic Block Store é o conceito de disco de alto desempenho, implementado na nuvem da AWS. Nesta apresentação introduzimos conceitos avançados como criptografia e discutimos como adequar o EBS às necessidades do seu aplicativo.
Em caso de desastres, você deve ser capaz de recuperar-se de forma rápida, para garantir a contiuidade do negócio. Na AWS existem diversas estratégias de implementação de DR (Disaster Recovery), que vai de encontro, as necessidades de cada negócio.
O AWS IoT permite dispositivos conectados interagirem com aplicações na nuvem ou outros dispositivos de maneira simples e segura. Nesta sessão, discutiremos como estes dispositivos podem aproveitar o AWS IoT para enviar dados para a nuvem e reagir a eventos.
Apresentaremos as principais funcionalidades deste serviço e as últimas melhorias lançadas.
Com o Amazon API Gateway e AWS Lambda é possível construir API de forma escalavel, sem utilização de servidor. Nessa sessão será abordado arquiteturas, boas práticas e integrações entre os serviços.
Oracle RDS ou EC2? Falando da agilidade e facilidade do RDS, e do poder e flexibilidade do EC2 (ex: HA usando DataGuard + ASM), vamos fornecer informações para ajudar a decidir qual das duas plataformas faz mais sentido para cada caso de uso, e que você possa extrair o melhor que cada opção tem a oferecer.
Raising the bar #2 - Explorando o poder do banco de dados com Amazon AuroraAmazon Web Services LATAM
O Amazon Relational Database Service (Amazon RDS) facilita a configuração, a operação e a escalabilidade de bancos de dados relacionais na nuvem. O Amazon RDS disponibiliza seis mecanismos de banco de dados conhecidos para sua escolha, que incluem Amazon Aurora, Oracle, Microsoft SQL Server, PostgreSQL, MySQL e MariaDB.
O Amazon Aurora é o banco de dados gerenciado da AWS que combina, performance e disponibilidade. Nessa sessão, será apresentado, seus conceitos e como você pode obter benefício desse serviço.
Cloud Computing - Palestra de Silvio Meira no Road Show da Amazon Web Servicesitroads
Slides da palestra sobre Cloud de Silvio Meira (@srlm) no evento da Amazon.
Saiba mais sobre o evento aqui: http://www.itroads.com.br/2012/04/rede-e-o-computador-amazon-roadshow-em.html
O Amazon EMR - Elastic Map Reduce, é uma solução gerenciada que oferece clusters Hadoop prontos para usar. Se voce quer experimentar com Big Data, a hora é agora. Nesta apresentação fazemos um passo-a-passo desde a criação até a execução de soluções para Big Data com Amazon EMR.
Explore como milhões de clientes estão utilizando os produtos e as soluções na Nuvem AWS e soluções para construir aplicações sofisticadas com mais flexibilidade, escalabilidade e confiabilidade.
A Nuvem AWS fornece um amplo conjunto de serviços de infraestrutura, como poder computacional, opções de armazenamento, redes e bancos de dados, entregues como um serviço: sob demanda, disponível em segundos, com definição de preço conforme o uso.
Você está pensando em disponibilizar workloads Microsoft na AWS? Precisa entender mais como funciona o licenciamento na nuvem? Essa sessão tem como objetivo de expor sobre questões de arquitetura, boas práticas de implementações.
As empresas estão usando a nuvem da AWS para possibilitar a rápida recuperação de desastres de seus sistemas críticos de TI, sem incorrer nos gastos de infraestrutura de um segundo local físico.
Em caso de desastres, você deve ser capaz de recuperar-se de forma rápida, para garantir a contiuidade do negócio. Na AWS existem diversas estratégias de implementação de DR (Disaster Recovery), que vai de encontro, as necessidades de cada negócio.
Voce quer guardar dados na nuvem? Fazer backup? Nesta apresentamos mostramos como utilizar os serviços Amazon S3, Glacier e como integrá-los na rotina do seu dia a dia.
O Amazon EC2 permite que você obtenha capacidade computacional de uma forma econômica usando instâncias spot.
Este recurso permite uma redução de até 90% no custo em relação ao valor on demand. Nesta sessão, os participantes aprenderão as boas práticas deste modelo e alguns casos de uso em que as instâncias spot podem ser utilizadas com sucesso.
Você está pensando em disponibilizar workloads Microsoft na AWS? Precisa entender mais como funciona o licenciamento na nuvem? Essa sessão tem como objetivo de expor sobre questões de arquitetura, boas práticas de implementações.
Para executar aplicações do Microsoft Windows Server, SQL Server, Exchange, SharePoint e Lync, bem como aplicações .NET personalizadas, você pode contar com a infraestrutura global segura da Amazon Web Services para executar facilmente aplicações com base no Windows Server na nuvem.
Desenvolvendo para o Windows Azure e SQL AzureLuciano Condé
Conhecendo os principais recursos e como desenvolver para estes dois serviços da plataforma Windows Azure.
Esta palestra foi apresentada para o Encontro de Parceiros na Microsoft Brasil.
Existe uma vasta gama de banco de dados gerenciados além daqueles que rodam no Amazon EC2 por conta própria. Bancos de dados gerenciados diminuem os esforços de implementar, administrar e manter o seu banco de dados e permite que possa focar na suas aplicações. Entenda as opções e suas diferenças, além das melhores práticas para escolha de uma ou mais delas.
O Amazon Elastic Block Store é o conceito de disco de alto desempenho, implementado na nuvem da AWS. Nesta apresentação introduzimos conceitos avançados como criptografia e discutimos como adequar o EBS às necessidades do seu aplicativo.
Em caso de desastres, você deve ser capaz de recuperar-se de forma rápida, para garantir a contiuidade do negócio. Na AWS existem diversas estratégias de implementação de DR (Disaster Recovery), que vai de encontro, as necessidades de cada negócio.
O AWS IoT permite dispositivos conectados interagirem com aplicações na nuvem ou outros dispositivos de maneira simples e segura. Nesta sessão, discutiremos como estes dispositivos podem aproveitar o AWS IoT para enviar dados para a nuvem e reagir a eventos.
Apresentaremos as principais funcionalidades deste serviço e as últimas melhorias lançadas.
Com o Amazon API Gateway e AWS Lambda é possível construir API de forma escalavel, sem utilização de servidor. Nessa sessão será abordado arquiteturas, boas práticas e integrações entre os serviços.
Oracle RDS ou EC2? Falando da agilidade e facilidade do RDS, e do poder e flexibilidade do EC2 (ex: HA usando DataGuard + ASM), vamos fornecer informações para ajudar a decidir qual das duas plataformas faz mais sentido para cada caso de uso, e que você possa extrair o melhor que cada opção tem a oferecer.
Raising the bar #2 - Explorando o poder do banco de dados com Amazon AuroraAmazon Web Services LATAM
O Amazon Relational Database Service (Amazon RDS) facilita a configuração, a operação e a escalabilidade de bancos de dados relacionais na nuvem. O Amazon RDS disponibiliza seis mecanismos de banco de dados conhecidos para sua escolha, que incluem Amazon Aurora, Oracle, Microsoft SQL Server, PostgreSQL, MySQL e MariaDB.
O Amazon Aurora é o banco de dados gerenciado da AWS que combina, performance e disponibilidade. Nessa sessão, será apresentado, seus conceitos e como você pode obter benefício desse serviço.
Cloud Computing - Palestra de Silvio Meira no Road Show da Amazon Web Servicesitroads
Slides da palestra sobre Cloud de Silvio Meira (@srlm) no evento da Amazon.
Saiba mais sobre o evento aqui: http://www.itroads.com.br/2012/04/rede-e-o-computador-amazon-roadshow-em.html
O Amazon EMR - Elastic Map Reduce, é uma solução gerenciada que oferece clusters Hadoop prontos para usar. Se voce quer experimentar com Big Data, a hora é agora. Nesta apresentação fazemos um passo-a-passo desde a criação até a execução de soluções para Big Data com Amazon EMR.
Infraestrutura em nuvem com Amazon Web Services (AWS)Infosimples
Esta apresentação foi feita para um minicurso na Escola Politécnica da USP administrado pela Infosimples. Foram discutidos temas de Infraestrutura com foco em escalabilidade e redundância. Também foram apresentadas as opções comerciais de contratação de infraestrutura. Por fim, uma atividade prática de publicação (deployment) de uma aplicação web foi realizada.
https://infosimples.com/artigos/como-publicar-uma-aplicacao-web-usando-aws
Padroes de arquitetura utilizando Amazon Web ServicesRodolfo Dantas
Amazon Web Services (AWS) fornece uma plataforma de computação em nuvem flexível e escalável. A tarefa de arquitetar aplicações na nuvem apresenta novas oportunidades e desafios. Por este motivo, a palestra - Padrões de arquitetura utilizando Amazon Web Services - apresenta técnicas de como criar e utilizar os serviços do AWS para aplicações comuns de TI e como tirar o melhor proveito da escalabilidade e elasticidade da nuvem. Os participantes aprenderão sobre os padrões estabelecidos, as melhores práticas e arquiteturas de referência para serem utilizadas na nuvem.
O Elastic Load Balancing distribui automaticamente o tráfego de entrada dos aplicativos em várias instâncias do Amazon EC2.
Ele é a chave para se usar a nuvem de forma a aumentar a disponibilidade, permitir o failover automático entre data centers regionais, e escalar a sua aplicação, web ou não, para milhões de usuários. nesta apresentação avançada exploramos os conceitos e arquitetura de aplicações em larga escala com o ELB como front-end.
Soluções tradicionais, como o desktop virtual, são potencializadas pela nuvem da AWS. Neste passo-a-passo, mostramos como implementar e administrar uma infraestrutura comlete, na nuvem da AWS. Elimine gestão de desktops, upgrades, controle de software da sua empresa com Amazon Workspaces.
Slides do treinamento técnico da força de vendas sobre a nova plataforma de IaaS da Embratel. Conheça: http://portal.embratel.com.br/cloud/cloud-server/
Microsoft Azure Storage - Tudo o que você precisa saber sobre armazenamento d...Lucas A. Romão
Evento: Azure Summit Brasil 2014
Palestra: Microsoft Azure Storage - Tudo o que você precisa saber sobre armazenamento de alta performance
Palestrante: Lucas A. Romão
Descrição: Esta palestra foi baseada em uma das seções do TechEd North America '14 onde foram tratadas as principais características do Storage do Microsoft Azure, como por exemplo, modelos de redundância, como explorar o recurso Azure Files, melhores práticas e cenários.
"Varios clientes estão migrando suas aplicações analíticas, processamento de dados (ETL) e aplicações de data science rodando com Apache Hadoop, Spark e data warehouse a partir de ambientes em datacenter local para o Amazon EMR com o objetivo de economia, maior disponibilidade e melhoria de desempenho.
Amazon EMR é um serviço gerenciado que permite com que você analise uma quantidade imensa de dados usando as ultimas versões de mais de 15 ferramentas open-source presentes no ecossistema Apache Hadoop e Spark. Essa sessão permitirá idenficar os componentes, aplicações e tarefas presentes no seu atual ambiente e demonstrar as melhores práticas para migrar esses componentes para o Amazon EMR. Nos iremos expliar como mover seus HDFS para o Amazon S3, um serviço de armazenamento altamente durável e como os baixos custos de instâncias EC2 Spot e auto-scaling podem ajudá-lo a ter mais eficiência com baixo custo. Também iremos explicar os fundamentos de segurança e dicas de ajustes para acelerar a migração de sua aplicação de produção."
https://aws.amazon.com/pt/emr/
Os clientes que usam a AWS se beneficiam de mais de 1.800 controles de segurança e conformidade incorporados na plataforma da AWS. Nesta sessão, você aprenderá a tirar proveito dos recursos de segurança avançados da plataforma AWS para obter visibilidade, agilidade e controle necessários para ser mais seguro na nuvem do que em ambientes legados. Vamos dar uma olhada em várias arquiteturas de referência para cargas de trabalho comuns e destacar as maneiras inovadoras que os clientes estão usando a AWS para gerenciar a segurança de forma mais eficiente. Depois de participar desta sessão, você estará familiarizado com o modelo de responsabilidade de segurança compartilhado e como você pode herdar controles dos programas de certificação e acreditação mantidos pela AWS.
https://aws.amazon.com/pt/getting-started/
Executar projetos de Big Data nunca foi tão simples. Com a AWS, você pode executar Hadoop, Spark, Hive, Flink e frameworks semelhantes de maneira mais rápida e econômica. Neste webinar, você aprenderá como melhorar o desempenho do processamento de seus dados e reduzir custos, especialmente quando comparado a um ambiente on-premises.
AWS Meetup Rio - Qual banco usar e quando?Pedro Pisa
Nestra palestra, realizada no dia 30/08/2016, no Senac-RJ, apresentei as principais soluções de bancos de dados disponíveis na AWS e as diferenças entre elas, bem como alguns casos de uso sugeridos para cada um.
Slides da palestra sobre serviços da Amazon e Hands On realizado na Superlogica Labs no dia 04/01/2017
Link com os códigos e exemplos: https://github.com/msfidelis/AulaAWS-Superlogica/
PGDay Campinas 2013 - Implementando o PostgreSQL de maneira escalável e com a...PGDay Campinas
“Implementando o PostgreSQL de maneira escalável e com alta disponibilidade na nuvem da AWS”
Amazon Web Services (AWS) é uma plataforma de cloud computing flexível, elástica e baixo custo. Utilizar PostgreSQL no Amazon Elastic Compute Cloud (EC2) é ideal para quem está acostumado a operar o banco e precisa da flexibilidade que a nuvem traz. Nesta palestra vamos dar dicas e boas práticas de arquitetura para implementar o PostgreSQL na nuvem de uma maneira escalável, pensando também em durabilidade, persistência, alta disponibilidade e tolerança a falhas.
Eduardo HoraiPalestrante: Eduardo Horai é um dos arquitetos de soluções da Amazon Web Services (AWS) com foco na América Latina. Entre suas funções está a de ajudar clientes e parceiros a desenvolver arquiteturas escaláveis, com alta disponibilidade e tolerante a falhas sobre a nuvem da AWS. Ele é graduado em Ciências da Computação na Unicamp e pós em Inovação e Empreendedorismo na Vlerick Management School, na Bélgica.
--
Palestra apresentada no PGDay Campinas 2013
Ransomware é uma das ameaças de crescimento mais rápido para qualquer organização. Nenhuma empresa, grande ou pequena, está imune a ataques de cibercriminosos. Nesta sessão, mostramos como você pode aproveitar os serviços e recursos da nuvem AWS para proteger seus dados mais valiosos de ataques cibernéticos e acelerar a restauração de operações.
Imagine um serviço de Banco de Dados, onde replicação, alta disponibilidade, backup, e a administração dos servidores é feita transparentemente. Pare de imaginar, e conheçao o Amazon RDS - Relational Database Service, disponível para MS SQL, Oracle, MySQL e o Aurora.
En este webinar, aprenderá cómo las empresas pueden aprovechar la nube de AWS para automatizar los pipelines de desarrollo de software. Este enfoque permite que su equipo sea más ágil, mejorando su capacidad para entregar aplicaciones y servicios rápidamente.
Neste webinar, você aprenderá como as empresas podem se valer da nuvem da AWS para automatizar os pipelines de desenvolvimento de software. Essa abordagem permite que sua equipe seja mais ágil, melhorando sua capacidade para entregar aplicações e serviços mais rapidamente.
Las tecnologías como los contenedores y kubernetes pueden hacer que sus procesos de entrega de software sean más fáciles y más rápidos. En este webinar, hablaremos sobre cómo usar el Amazon Kubernetes Service (EKS) para construir aplicaciones modernas con grupos Kubernetes totalmente administrados.
Tecnologias como containers e Kubernetes podem tornar seus processos de entrega de software mais fáceis e rápidos. Neste webinar, falaremos sobre como usar o Amazon Elastic Kubernetes Service (EKS) para criar aplicativos modernos com clusters de Kubernetes totalmente gerenciados.
El ransomware es una de las amenazas de más rápido crecimiento para cualquier organización. Ninguna empresa, grande o pequeña, es inmune a los ataques de los ciberdelincuentes. En esta sesión, mostramos cómo puede aprovechar los servicios y las capacidades de la nube AWS para proteger sus datos más valiosos de los ataques cibernéticos y acelerar la restauración de las operaciones.
Ransomware é uma prática maliciosa que tem se popularizado nos últimos anos. Nessa sessão, mostraremos como através da Amazon Web Services nossos clientes podem desenvolver uma estratégia pró-ativa de mitigação a ataques de ransomware, tanto em cenários on-premises como operando na nuvem.
El ransomware es una práctica maliciosa que se ha popularizado en los últimos años. En esta sesión les mostraremos cómo desde Amazon Web Services nuestros clientes pueden desarrollar una estrategia proactiva de mitigación frente a ataques de ransomware, tanto en escenarios on-premises, como operando en la nube.
Al mover datos a la nube, los clientes deben comprender los métodos óptimos para los diferentes casos de uso, los tipos de datos que están moviendo y los recursos disponibles en la red, entre otros. Las soluciones de migración y transferencia de AWS contemplan desde la migración de datos con conectividad limitada, almacenamiento en la nube híbrida, transferencias frecuentes de archivos B2B, hasta transferencias de datos en línea y sin conexión. En esta sesión, le mostramos cómo puede acelerar la migración y transferencia de datos de manera simplificada desde y hacia la nube de AWS.
Ao mover dados para a nuvem, os clientes precisam entender os métodos ideais de movê-los para diferentes casos de uso, os tipos de dados que estão movendo e os recursos de rede disponíveis, entre outras considerações. As soluções de migração e transferência da AWS atendem desde a migração de dados com conectividade limitada, armazenamento em nuvem híbrida, transferências frequentes de arquivos B2B até transferências de dados online e offline. Nessa sessão, mostraremos como você pode simplificar e acelerar sua migração e transferência de dados de e para a nuvem AWS.
El almacenamiento de archivos tiene diversos casos de uso; como directorios de usuarios, datos de aplicaciones, archivos multimedia y almacenamiento compartido para cargas de trabajo de alto rendimiento. La administración del almacenamiento de archivos en instalaciones propias suele ser un trabajo pesado, indiferenciado, con altos costos de adquisición, carga operativa para configurar y administra, lo que conlleva a desafíos de escalabilidad. En esta sesión, le mostramos cómo puede aprovechar las soluciones de archivos totalmente administradas de AWS para dejar de preocuparse por la sobrecarga administrativa de configurar, proteger, mantener y realizar copias de seguridad de su infraestructura de archivos.
La visualización de datos analíticos es un reto al que se enfrentan muchas organizaciones, el poder crear tableros, alertas, agregar predicciones a sus datos y actuar de acuerdo a estas de manera rápida es una necesidad de todos los negocios actuales. Únase a nuestros arquitectos para aprender como Amazon QuickSight le permite agregar inteligencia de negocios a sus aplicaciones y crear predicciones a futuro de sus datos. Amazon QuickSight es un servicio de inteligencia de negocios escalable y serverless creado para la nube, a través del cual podrá explotar sus datos de negocio para convertirlos en insights para hacer decisiones informadas sobre su negocio sin preocuparse de la gestión, escalamiento y la disponibilidad de la infraestructura de cómputo.
A visualização de dados é um desafio que muitas organizações enfrentam hoje. Criar dashboards, alertas, fazer previsões e agir rapidamente de acordo com os insights dos dados é uma necessidade de todas as empresas. Junte-se aos nossos arquitetos para aprender como o Amazon QuickSight o ajudará a adicionar BI aos seus aplicativos. O Amazon Quicksight é um serviço de BI escalável e serverless criado para a nuvem. Com ele, você pode explorar seus dados para obter insights e tomar decisões embasadas em seus negócios, sem se preocupar em gerenciar e dimensionar servidores e manter a disponibilidade de sua infraestrutura.
Ejecutar proyectos de Big Data nunca ha sido más sencillo. Con AWS, puede ejecutar Hadoop, Spark, Hive, Flink y marcos similares de forma más rápida y rentable. En este seminario web, aprenderá cómo mejorar el rendimiento del procesamiento de datos y reducir los costos, especialmente en comparación con un entorno local.
3. Agenda
1. Visão geral do EFS
2. Conceitos técnicos do EFS
3. Mecanismos de Segurança do Sistema de Arquivos
4. Modelo de disponibilidade e durabilidade
5. Portfolio de Storage da AWS
Amazon S3
• Storage de Objetos: dados apresentados como buckets de objetos
• Dados acessados por APIs através da Internet
Amazon
EFS
• Storage de arquivos (análogo ao NAS): dados apresentados como um file system
• Acesso de baixa latência e compartilhado a partir de múltiplas instâncias EC2
Amazon
Elastic Block
Store
• Storage de Blocos (análogo ao SAN): dados apresentados como discos/volumes
• Acesso de menor latência a partir das Instâncias EC2
Amazon
Glacier
• Storage para Arquivamento: dados apresentados como vaults/archives de objetos
• Storage de menor custo, para dados não acessados frequentemente
6. O Que é o Amazon EFS?
• Um sistema de arquivos gerenciado para as instâncias EC2
• Fornece a semântica padrão para sistema de arquivos
• Funciona com as APIs de sistemas operacionais para
sistemas de arquivos
• Compartilhável entre milhares de instâncias
• Cresce elasticamente a uma escala de petabytes
• Entrega performance para uma variedade de workloads
• Altamente disponível e durável
• Baseado em NFS v4
7. EFS é desenhado para um amplo leque de
casos de uso, como…
• Repositório de Conteúdo (CMS)
• Ambientes de Desenvolvimento
• Diretórios de Usuários
• Big data
8. Operar um storage de arquivos compartilhado é difícil
Application owner
or developer
IT administrator
Business owner
• Estima a demanda
• Compra hardware
• Reserva espaço físico
• Configura e mantém o hardware (e a rede)
• Gerencia acesso e segurança
• Fornece uma estimativa de crescimento
• Precisa adicionar o tempo do provisionamento da infra no
seu cronograma
• Limita a flexibilidade e e agilidade
• Faz investimentos adiantados, compram mais do que o
necessário, ciclo constante de atualização/modernização
• Sacrificam a agilidade do negócio
• Distraem as pessoas da verdadeira missão do negócio
9. EFS muda este jogo completamente
EFS é
simples
EFS é
elástico
EFS é
escálavel
1 2 3
10. EFS é simples
• Totalmente gerenciado
– Sem hardware, rede, camada de arquivos
– Cria um sistema de arquivos escalável em
segundos!
• Integração precisa com ferramentas e
aplicações existentes
– NFS v4—muito adotado, aberto
– Semântica padrão para o sistema de
arquivos
– Funciona com as apis padrões do SO
• Preço simples = Estimativa simples
1
11. EFS é elástico
• Sistemas de arquivos crescem e
diminuem automaticamente conforme
você adiciona ou remove arquivos
• Não é preciso provisionar capacidade
ou performance
• Você paga somente pelo que você
usa, não existe valor mínimo
2
12. • Sistemas de arquivos podem crescer
para uma escala de petabytes
• Throughput e IOPS escalam
automaticamente conforme o sistema
de arquivos cresce
• Baixa latência consistente
independente do tamanho do arquivo
• Suporte para milhares de conexões
NFS concorrentes
EFS é escalável3
13. Porque isso é importante?...
… para app
owners e
developers?
… para seu
negócio?
• Fácil mover para a nuvem código existente, aplicações
e ferramentas que hoje usam servidores NFS
• Storage de arquivos simples para novas aplciações
nativas para cloud
• Preço previsível sem investimento inicial
• Mais agilidade
• Gaste menos tempo gerenciando storage e mais
tempo focado no seu business
… para
administradores
de TI?
• Elimina a necessidade de gerenciar e manter
storage em larga escala
15. Alguns conceitos chave que precisamos entender
• Região
• Zona de Disponibilidade (AZ)
• Amazon Virtual Private Cloud (VPC)
16. Região
• Áreas geográficas onde os
serviços AWS estão
disponíveis
• Clientes escolhem a região
onde irão provisionar seus
recursos
• Onze regiões ao redor do
mundo
REGIÃO
17. Zona de Disponibilidade (AZ)
• Cada região tem múltiplas
localidades isoladas
conhecidas como zonas de
disponibilidade
• Links de baixa latência
entre AZs dentro de uma
região
• Ao lançar uma instância
EC2, o cliente escolhe qual
AZ
AVAILABILITY ZONE 3
EC2
AVAILABILITY ZONE 2
AVAILABILITY ZONE 1
EC2
EC2
EC2
REGIÃO
18. Virtual Private Cloud (VPC)
• Sessão isolada da nuvem
AWS, rede virtual definida
pelo cliente
• Ao lançar instâncias e
outros recursos, clientes
os colocam numa VPC
• Todos os novos clientes
tem uma VPC default
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2
EC2
EC2
EC2
19. O que é um sistema de arquivos?
• O recurso primário no EFS
• Onde você armazena arquivos e diretórios
• Você pode criar quantos sistemas de arquivos
você quiser pra cada conta.
20. Como acessar um sistema de arquivos a partir de
uma instância
• Você “monta” um sistema de arquivos numa
instância EC2 (comando padrão) — o sistema de
arquivos vai aparecer como um conjunto local de
diretórios e arquivos
• NFS v4 é padrão nas distribuições linux
mount –t nfs4
[file system DNS name]:/
/[user’s target directory]
21. O que é um “mount target”?
• Para acessar o seu sistema
de arquivos a partir das
instâncias numa VPC, você
cria mount targets na VPC
• Um mount target é um
endpoint NFSv4 endpoint
na sua VPC
• Um mount target tem um
endereço IP e um nome
DNS que você usa no seu
comando “mount”
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2
EC2
EC2
EC2
Mount
target
22. Juntando tudo, fica assim:
ZONA DE DISPONIBILIDADE 1
REGIÃO
ZONA DE DISPONIBILIDADE 2
ZONA DE DISPONIBILIDADE 3
VPC
EC2
EC2
EC2
EC2
File System do
Cliente
23. Existem três formas de configurar e
gerenciar um sistema de arquivos
• AWS Management Console
• AWS Command Line Interface (CLI)
• AWS Software Development Kit (SDK)
24. Cada uma lhe permite executar uma variedade de
tarefas de gerenciamento
• Criar um sistema de arquivos
• Criar e gerenciar mount targets
• Adicionar uma Tag num sistema de arquivos
• Excluir um sistema de arquivos
• Ver os detalhes dos sistemas de arquivos da sua conta AWS
25. Configurar e montar um sistema de arquivos leva
menos de um minuto
1. Criar um sistema de arquivos
2. Criar um “mount target” em cada AZ onde você
pretende acessar o sistema de arquivos
3. Habilitar o cliente NFS nas suas instâncias
4. Executar o comando “mount”
27. Vários mecanismos de Segurança
• Controle o tráfego de rede para e a partir dos seus sistemas de
arquivos (mount targets) usando os security groups e network
ACLs da sua VPC
• Controle o acesso aos arquivos e diretórios usando o
mecanismo padrão de permissões para diretórios e arquivos do
seu sistema operacional
• Controle o acesso administrativo (acesso a API) aos sistemas de
arquivos usando o AWS Identity and Access Management (IAM)
28. Apenas instâncias EC2 na VPC que você especificar
podem acessar o seu sistema de arquivos
Sistema de
arquivos do
Cliente
VPC
EC2
EC2
EC2
EC2
VPC
EC2
EC2
EC2
EC2
29. VPC
EC2
EC2
Security groups controlam quais instâncias na sua
VPC podem se conectar aos seus “mount targets”
Sistema de
arquivos do
Cliente
Security group:
sg-allowed
Security group:
Permit inbound traffic
from “sg-allowed”
Security group:
sg-not-allowed
30. EFS suporta permissões a nível de usuário para
arquivos e diretórios
• Configure permissões nos arquivos e diretórios para
especificar permissões read-write-execute para usuários
e grupos
31. Integração com IAM fornece segurança administrativa
• Use IAM policies para controlar quem usa
as APIs administrativas para criar,
gerenciar e excluir sistemas de arquivos
• EFS suporta permissões action-level e
resource-level
33. Em quais regiões posso usar o EFS?
• US-West (Oregon)
• US-East (Northern Virginia)
• EU (Ireland)
34. Dados são armazenados em múltiplas AZs para alta
disponibilidade e durabilidade
• Cada objeto do
sistema de
arquivos
(diretório,
arquivo, e link) é
redundantemente
armazenado em
múltiplas AZs na
mesma região
ZONA DE
DISPONIBILIDADE 1
REGIÃO
ZONA DE
DISPONIBILIDADE 2
ZONA DE
DISPONIBILIDADE 3
Amazon
EFS
35. Dados podem ser acessados a partir de qualquer AZ
na região enquanto mantém consistência total
• Suas instâncias EC2
podem se conectar ao
seu sistema de arquivos
EFS a partir de qualquer
AZ na região
• Todas as leituras e
escritas serão
totalmente consistentes
em todas as AZs — isto
é, uma leitura em uma
AZ retornará o dado
mais atualizado, mesmo
se este dado tiver sido
escrito em outra AZ
AVAILABILITY
ZONE 1
REGION
VPC
EC2
EC2
EC2
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
EC2
Write
Read
37. Preço simples e previsível
• Com o EFS, você paga somente pelo espaço de storage que você
usa
• Sem valor mínimo ou adiantamentos de pagamento
– Não é necessário provisionar adiantado
– Nenhuma outra taxa ou cobrança
• Preço do EFS: $0.30/GB-month
39. As arquiteturas de bancos de dados atuais são
monolíticas
Múltiplas camadas de
funcionalidades numa
única caixa
SQL
Transactions
Caching
Logging
40. As arquiteturas de bancos de dados atuais são
monolíticas
Mesmo quando você escala
horizontalmente, você ainda
está replicando a mesma
pilha de funcionalidades
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Application
41. As arquiteturas de bancos de dados atuais são
monolíticas
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Application Mesmo quando você escala
horizontalmente, você ainda
está replicando a mesma
pilha de funcionalidades
42. As arquiteturas de bancos de dados atuais são
monolíticas
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Storage
Application Mesmo quando você escala
horizontalmente, você ainda
está replicando a mesma
pilha de funcionalidades
43. Isto é um problema.
Para custo. Para flexibilidade.
E para disponibilidade.
44. Reimaginando o banco de dados relacional
E se você estevise inventando os bancos de dados hoje?
Você não o desenharia da mesma forma como nós fizemos em 1970.
pelo menos não inteiramente.
Você costruirira algo que escala horizontalmente, que se recupera
automaticamente de falhas, e que faz uso dos serviços AWS
existentes.
45. Bancos de dados reimaginados para a nuvem
Velocidade and disponibilidade dos bancos de dados comerciais de última
geração
Simplicidade e custo-benefício dos bancos de dados open source
Compatiblidade com MySQL
Precificação simples pay as you go
Entregue como um serviço gerenciado
46. Uma arquitetura orientada a serviços aplicada a um
banco de dados
• Movemos as camadas de logging e
storage para um storage multi-tenant,
que escala horizontalmente e que é
otimizado para bancos de dados
• Integramos com oustros serviços
AWS como Amazon EC2, Amazon
VPC, Amazon DynamoDB, Amazon
SWF, and Amazon Route 53 para as
operações de control plane
• Integrado com o Amazon S3 para
backup contínuo com
99.999999999% de durabilidade
Control PlaneData Plane
Amazon
DynamoDB
Amazon SWF
Amazon Route 53
Logging + Storage
SQL
Transactions
Caching
Amazon S3
47. • Se inscreva para ter acesso ao preview em:
https://aws.amazon.com/rds/aurora/preview
• Agora disponível nas regiões US West (Oregon) e EU (Ireland), além da
região US East (N. Virginia)
• Milhares de clientes já foram convidados para o preview
• Agora mudando para o unlimited preview; aceitando todos os requests em
2–3 semanas
• Lançamento oficial do produto nos próximos meses
Aurora preview
48. Preço simplificado
• Sem licenças
• Sem lock-in
• Pague somente o que você usa
Descontos
• 44% para 1 ano de reserva
• 63% para 3 anos de reserva
vCPU Mem Hourly Price
db.r3.large 2 15.25 $0.29
db.r3.xlarge 4 30.5 $0.58
db.r3.2xlarge 8 61 $1.16
db.r3.4xlarge 16 122 $2.32
db.r3.8xlarge 32 244 $4.64
• Storage consumed, up to 64 TB, is $0.10/GB-month
• IOs consumed are billed at $0.20 per million I/O
• Prices are for Virginia
Categoria Enterprise, preço open source
50. Estabelecendo nosso ecosistema
Business Intelligence Data Integration Query and Monitoring SI and Consulting
“It is great to see Amazon Aurora remains MySQL compatible; MariaDB connectors
work with Aurora seamlessly. Today, customers can take MariaDB Enterprise with
MariaDB MaxScale drivers and connect to Aurora, MariaDB, or MySQL without worrying about
compatibility. We look forward to working with the Aurora team in the future to further accelerate
innovation within the MySQL ecosystem.”— Roger Levy, VP Products, MariaDB
52. Simplifique o gerenciamento do banco de dados
• Crie um banco de dados em minutos
• Aplicação automática de patches
• Escale o processamento apertando um botão
• Backup contínuo para o S3
• Detecção de falhas e failover automático
Amazon RDS
53. Simplifique o gerenciamento do storage
• Read replicas estão disponíveis como targets para failover —sem
perda de dados
• Crie snapshots instantaneamente—sem impacto de performance
• Backup para o S3 contínuo e incremental
• Storage escala automaticamente até 64 TB—sem impacto de
performance ou disponibilidade
• Restriping, mirror repair, hot spot management e criptografia
automáticos
54. Simplifique a segurança dos dados
• Criptografia para proteger o dado armazenado
– AES-256; aceleração por hardware
– Todos os blocos no disco e no Amazon S3 são criptografados
– Gerenciamento de chaves via AWS KMS
• SSL para proteger o dado em transito
• Isolamento na rede via Amazon VPC por default
• Sem acesso direto aos nós
• Suporta padrões de segurançã de mercado e
certificações para proteção de dados
Storage
SQL
Transactions
Caching
Amazon S3
Application
56. Aurora storage
• Altamente disponível por padrão
– Replicação de 6 vias em 3 AZs
– 4 de 6 write quorum
• Diminui automaticamente para
3 de 4 se uma AZ está indisponível
– 3 de 6 read quorum
• SSD, escalável na horizontal, multi-tenant
– Storage escalável
– Até 64 TB
– Pague somente o que você usa
• Log-structured storage
– Muitos segmentos pequenos, cada um com seu
próprio redo log
– Log pages usados para regerar data pages
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
57. Escritas com baixa latência e consistentes
AZ 1 AZ 2
Primary
Instance
Standby
Instance
Amazon Elastic
Block Store
(EBS)
Amazon S3
EBS
mirror
EBS
EBS
mirror
AZ 1 AZ 3
Primary
Instance
Amazon S3
AZ 2
Replica
Instance
Melhorias
• Consistência—Tolerância a valores extremos
• Latência— replicação síncrona vs assíncrona
• Uso de network I/O significativamente mais eficiente
Log records
Binlog
Data
Double-write buffer
FRM files,
metadata
Type of writes
MySQL com standby Amazon Aurora
async
4/6 quorum
PiTR
Sequential
write
Sequential
write Distributed
writes
58. Self-healing, tolerante a falhas
• Perca duas cópias ou uma AZ sem impacto na leitura ou escrita
• Perca três cópias sem impacto de leitura
• Detecção de falha, replicação, e reparo automático
SQL
Transactio
n
AZ 1 AZ 2 AZ 3
Caching
SQL
Transactio
n
AZ 1 AZ 2 AZ 3
Caching
Read and write availabilityRead availability
59. Bancos de dados tradicionais
• Precisam fazer um replay dos logs
desde o último checkpoint
• Single-threaded no MySQL; requer
um número alto de acessos a
disco
Amazon Aurora
• Storage faz o replay dos redo
records sob demanda como parte
de uma leitura no disco
• Paralelo, distribuído, assíncrono
Checkpointed Data Redo Log
Crash no T0 requer
uma re-aplicação do SQL do redo
log desde o último checkpoint
T0 T0
Crash no T0 resultará em redo
logs sendo aplicados para cada segmento
sob demanda, em pararelo, de forma assíncrona
Recuperação de falha instantânea
60. Caches sobrevivem
• Nós movemos o cache para
fora do processo do banco de
dados
• Cache permanece quente no
evento de um restart do
banco de dados
• Instant crash recovery +
survivable cache =
recuperação de falhas
rapidamente e facilmente
SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
Processo do cache vive fora do processo do Banco e
permanece quente mesmo após um restart no banco
61. Múltiplos alvos para failover—sem perda de dados
Page cache
invalidation
Aurora Master
30% Read
70% Write
Aurora Replica
100% New
Reads
Shared Multi-AZ Storage
MySQL Master
30% Read
70% Write
MySQL Replica
30% New Reads
70% Write
Single-threaded
binlog apply
Data Volume Data Volume
Escalando as leituras no MySQL
• Replicas precisam fazer o replay dos logs
• Replicas aumentam a carga no master
• Replica lag pode crescer indefinidamente
• Failover resulta em perda de dados
62. Simule falhas usando SQL
• Para causar a falha de um componente no nó do banco de dados:
ALTER SYSTEM CRASH [{INSTANCE | DISPATCHER | NODE}]
• Para simular uma falha no storage:
ALTER SYSTEM SIMULATE percent_failure DISK failure_type IN
[DISK index | NODE index] FOR INTERVAL interval
• Para simular uma falha na rede:
ALTER SYSTEM SIMULATE percent_failure NETWORK failure_type
[TO {ALL | read_replica | availability_zone}] FOR INTERVAL interval
64. Performance de escrita (screenshot do console)
• MySQL Sysbench
• R3.8XL com 32 cores e
244 GB RAM
• 4 máquinas clientes
machines com 1,000
threads cada
65. Performance de leitura (screenshot do console)
• MySQL Sysbench
• R3.8XL com 32 cores e
244 GB RAM
• Único cliente with
1,000 threads
66. Lag na Read replica (screenshot do console)
• Aurora Replica com 7.27 ms replica lag com 13.8 K updates/second
• MySQL 5.6 no mesmo hardware tem ~2 s de lag com 2 K updates/second
67. Escritas escalam de acordo com o número de tabelas
-
10
20
30
40
50
60
70
10 100 1,000 10,000
ThousandsofWritesperSecond
Number of Tables
Performance de escrita e
quantidade de tabelas
Aurora
MySQL on I2.8XL
MySQL on I2.8XL with RAM Disk
RDS MySQL with 30,000 IOPS (Single AZ)
Tables
Amazon
Aurora
MySQL
I2.8XL
Local SSD
MySQL
I2.8XL
RAM Disk
RDS MySQL
30K IOPS
(Single AZ)
10 60,000 18,000 22,000 25,000
100 66,000 19,000 24,000 23,000
1,000 64,000 7,000 18,000 8,000
10,000 54,000 4,000 8,000 5,000
Write-only workload
1,000 connections
Query cache (default on for Amazon Aurora, off for MySQL)
68. Melhor concorrência
-
20
40
60
80
100
120
50 500 5,000
ThousandsofWritesperSecond
Concurrent Connections
Performance de escrita e
Concorrência
Aurora
RDS MySQL with 30,000 IOPS (Single AZ)
Conexões
Amazon
Aurora
RDS MySQL
30K IOPS
(Single AZ)
50 40,000 10,000
500 71,000 21,000
5,000 110,000 13,000
OLTP Workload
Variable connection count
250 tables
Query cache (default on for Amazon Aurora, off for MySQL)
69. Caching melhora a performance
-
50
100
150
200
250
300
350
400
100/0 50/50 0/100
ThousandsofOperations/Second
Read/Write Ratio
Performance com query cache on e off
Aurora without Caching
Aurora with Caching
RDS MySQL;30,000 IOPS (Single AZ) - without caching
RDS MySQL;30,000 IOPS (Single AZ) - with caching
R/W Ratio
Amazon
Aurora
Sem
Caching
Amazon
Aurora
Com
Caching
RDS MySQL
30K IOPS
Sem
Caching
RDS MySQL
30K IOPS
Com
Caching
100/0 160,000 375,000 35,000 19,000
50/50 130,000 93,000 24,000 20,000
0/100 64,000 64,000 16,000 16,000
OLTP workload
1,000 connections
250 tables
Query cache on/off tested
70. Replicas tem até 400 vezes menos lag
2.6 3.4 3.9 5.4
1,000 2,000 5,000 10,000
0
50,000
100,000
150,000
200,000
250,000
300,000
350,000
Updates per Second
ReadReplicaLaginMilliseconds
Lag na Read Replica
Aurora
RDS MySQL;30,000 IOPS (Single AZ)
Updates/
Second
Amazon
Aurora
RDS MySQL
30K IOPS
(Single AZ)
1,000 2.62 ms 0 s
2,000 3.42 ms 1 s
5,000 3.94 ms 60 s
10,000 5.38 ms 300 s
Write workload
250 tables
Query cache on for Amazon Aurora, off for MySQL (best
settings)