O documento discute estratégias para migração de dados para a nuvem, incluindo tipos de migração, passos para migração e serviços da AWS para migração. É apresentado o perfil do palestrante e conceitos como RDS, EC2 e DMS. São descritos tipos de migração como em um passo, dois passos e sem downtime, e passos como levantamento de informações e prototipagem. Ferramentas como Database Migration Service e Tsunami UDP são explicadas.
Acelerando sites e aplicações Web com uma CDNJose Papo, MSc
Esta apresentação mostra a importância da performance e da velocidade de uma aplicação do ponto de vista do usuário final e mostra dicas práticas de como acelerar seu site ou aplicação móvel
Neste caso de sucesso, os arquitetos nos apresentam como uma aplicação desenhada para milhões de usuários foi concebida, testada e implementada, atingindo a milhões de usuários durante a copa do mundo de futebol de 2014.
O AWS Database Migration Service ajuda você a migrar bancos de dados para a AWS de modo fácil e seguro. O banco de dados de origem permanece totalmente operacional durante a migração, minimizando períodos de inatividade para aplicativos que dependem do banco de dados.
Com o Amazon API Gateway e AWS Lambda é possível construir API de forma escalável, sem utilização de servidor. Nessa sessão será abordado arquiteturas, boas práticas e integrações entre os serviços.
Aprenda como gigantes do comércio eletrônico brasileiro como Magazine Luiza, Dafiti e Kanui já se beneficiam da escalabilidade, agilidade e segurança dos serviços da Amazon Web Services sem que precisem adivinhar a capacidade necessária para a BlackFriday, além de pagarem somente pelo uso.
Acelerando sites e aplicações Web com uma CDNJose Papo, MSc
Esta apresentação mostra a importância da performance e da velocidade de uma aplicação do ponto de vista do usuário final e mostra dicas práticas de como acelerar seu site ou aplicação móvel
Neste caso de sucesso, os arquitetos nos apresentam como uma aplicação desenhada para milhões de usuários foi concebida, testada e implementada, atingindo a milhões de usuários durante a copa do mundo de futebol de 2014.
O AWS Database Migration Service ajuda você a migrar bancos de dados para a AWS de modo fácil e seguro. O banco de dados de origem permanece totalmente operacional durante a migração, minimizando períodos de inatividade para aplicativos que dependem do banco de dados.
Com o Amazon API Gateway e AWS Lambda é possível construir API de forma escalável, sem utilização de servidor. Nessa sessão será abordado arquiteturas, boas práticas e integrações entre os serviços.
Aprenda como gigantes do comércio eletrônico brasileiro como Magazine Luiza, Dafiti e Kanui já se beneficiam da escalabilidade, agilidade e segurança dos serviços da Amazon Web Services sem que precisem adivinhar a capacidade necessária para a BlackFriday, além de pagarem somente pelo uso.
Webinar: Data warehouse na nuvem da AWS
Amazon Redshift é um serviço de data warehouse (DW), totalmente gerenciado, em escala de petabytes, que torna mais simples e econômica a análise todos os seus dados, utilizando as ferramentas de inteligência de negócios que você já dispõe. Comece aos poucos e aumente a escala até petabytes por menos de $1000 por terabyte por ano, com um décimo do custo das soluções tradicionais de DW.
o ESIG Academy é um programa interno de formação sobre diversos temas de tecnologias. A aula de hoje foi sobre a estrutura interna da JVM, linguagens baseadas em JVM (Kotlin, Scala, Closure, Groovy..), Java Memory Model (Thread Stack, Heap, Non-Heap, Native, etc), os algoritmos de Garbage Collection (Serial, Parallel, CMS e G1), Conceitos de Carga de CPU (Load Avarege), Threads states, Event Pool x Thread por Request, JMX e GraalVM (AOT, polyglot apps, comparativos)..
Usando a nuvem da AWS para Backup e Disaster RecoveryRodolfo Dantas
Empresas podem usar a nuvem da AWS para possibilitar backups e uma rápida recuperação de desastres (DR) para aplicações críticas, reduzindo gastos de infraestrutura e sem a necessidade de um segundo datacenter. A nuvem da AWS permite que arquiteturas de TI sejam elaboradas de maneira que, no caso de um desastre, recursos sejam rapidamente iniciados para garantir a estabilidade dos serviços e a continuidade do negócio, bem como a recuperação de backups previamente efetuados. Nesse sentido, é importante destacarmos os serviços AWS e os componentes relevantes que podem ser utilizados para os processos de recuperação de desastres e backup. Também é interessante mostrarmos exemplos de cenários sobre como se recuperar de um desastre, além de recomendações de como melhorar o plano de DR e alavancar o potencial da AWS para arquiteturas de recuperação de desastres.
Apresentação de Rodolfo Dantas no evento "Usando a nuvem AWS para Backup e Disaster Recovery", realizado no dia 13 de fevereiro no Rio de Janeiro e em 20 de fevereiro em São Paulo.
Você quer lançar a sua primeira aplicação em Big Data e não sabe como? Junte-se a nós nessa jornada e vamos construir aplicação utilizando Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon DynamoDB e Amazon S3.
"O aumento das demandas para coleta, armazenamento e análise de grandes quantidades de dados muitas vezes significa que as mesmas ferramentas e abordagens que funcionaram no passado, não irão funcionar mais. É por isso que muitas organizações estão mudando para uma arquitetura de data lake.
Um data lake é uma abordagem de arquitetura que permite armazenar enormes quantidades de dados em um local central, sendo prontamente disponível para ser categorizado, processado, analisado e consumido por diversos grupos dentro de uma organização.
Nesta apresentação introduziremos os conceitos-chave de um data lake e apresentaremos os aspectos relacionados à sua implementação. Destacaremos os principais componentes de data lake, tais como armazenamento, computação, analytics, bancos de dados, processamento de streams de dados, gerenciamento de dados e segurança. Discutiremos como escolher as tecnologias certas para cada componente do data lake, com base em critérios como estrutura de dados, latência de consulta, custo, taxa de requisição, tamanho do item, volume de dados, durabilidade e assim por diante. Também forneceremos uma arquitetura de referência e recomendações para começar com uma implementação de data lake na AWS.
Objetivos de aprendizado:
• Compreender os conceitos-chave e componentes de uma arquitetura de data lake
• Descrever como e quando usar um amplo conjunto de ferramentas analíticas e de gerenciamento de dados em uma arquitetura de data lake
• Obter insights sobre como começar com uma implementação de data lake na AWS"
https://aws.amazon.com/pt/blogs/big-data/introducing-the-data-lake-solution-on-aws/
Docker SP - Orquestrando docker via Marathon e Mesos na KonkerAndré Rocha
Apresentração para o Meetup Docker SP (19/10/17) falando um pouco da jornada da Konker implantando um cluster mesos e orquestrando docker via Marathon sem fazer uso da distribuição DC/OS.
Usando Amazon CloudFront para aumentar performance, disponibilidade e cache n...Amazon Web Services LATAM
O Amazon Cloudfront é o nosso serviço de CDN. Com a utilização desse serviço, é possível aumentar a performance, disponibilidade e segurança das suas aplicação, nessa apresentação, também será exposto formas de utilização e boas práticas.
O Amazon Cloudfront é o nosso serviço de CDN. Com a utilização desse serviço, é possível aumentar a performance, disponibilidade e segurança das suas aplicações, nessa apresentação, também será exposto formas de utilização e boas práticas.
O Amazon CloudFront se integra a outros produtos da Amazon Web Services para oferecer aos desenvolvedores e às empresas uma maneira fácil de distribuir conteúdo aos usuários finais com baixa latência, altas velocidades de transferência de dados e sem compromisso mínimo de utilização.
Webinar: Data warehouse na nuvem da AWS
Amazon Redshift é um serviço de data warehouse (DW), totalmente gerenciado, em escala de petabytes, que torna mais simples e econômica a análise todos os seus dados, utilizando as ferramentas de inteligência de negócios que você já dispõe. Comece aos poucos e aumente a escala até petabytes por menos de $1000 por terabyte por ano, com um décimo do custo das soluções tradicionais de DW.
o ESIG Academy é um programa interno de formação sobre diversos temas de tecnologias. A aula de hoje foi sobre a estrutura interna da JVM, linguagens baseadas em JVM (Kotlin, Scala, Closure, Groovy..), Java Memory Model (Thread Stack, Heap, Non-Heap, Native, etc), os algoritmos de Garbage Collection (Serial, Parallel, CMS e G1), Conceitos de Carga de CPU (Load Avarege), Threads states, Event Pool x Thread por Request, JMX e GraalVM (AOT, polyglot apps, comparativos)..
Usando a nuvem da AWS para Backup e Disaster RecoveryRodolfo Dantas
Empresas podem usar a nuvem da AWS para possibilitar backups e uma rápida recuperação de desastres (DR) para aplicações críticas, reduzindo gastos de infraestrutura e sem a necessidade de um segundo datacenter. A nuvem da AWS permite que arquiteturas de TI sejam elaboradas de maneira que, no caso de um desastre, recursos sejam rapidamente iniciados para garantir a estabilidade dos serviços e a continuidade do negócio, bem como a recuperação de backups previamente efetuados. Nesse sentido, é importante destacarmos os serviços AWS e os componentes relevantes que podem ser utilizados para os processos de recuperação de desastres e backup. Também é interessante mostrarmos exemplos de cenários sobre como se recuperar de um desastre, além de recomendações de como melhorar o plano de DR e alavancar o potencial da AWS para arquiteturas de recuperação de desastres.
Apresentação de Rodolfo Dantas no evento "Usando a nuvem AWS para Backup e Disaster Recovery", realizado no dia 13 de fevereiro no Rio de Janeiro e em 20 de fevereiro em São Paulo.
Você quer lançar a sua primeira aplicação em Big Data e não sabe como? Junte-se a nós nessa jornada e vamos construir aplicação utilizando Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon DynamoDB e Amazon S3.
"O aumento das demandas para coleta, armazenamento e análise de grandes quantidades de dados muitas vezes significa que as mesmas ferramentas e abordagens que funcionaram no passado, não irão funcionar mais. É por isso que muitas organizações estão mudando para uma arquitetura de data lake.
Um data lake é uma abordagem de arquitetura que permite armazenar enormes quantidades de dados em um local central, sendo prontamente disponível para ser categorizado, processado, analisado e consumido por diversos grupos dentro de uma organização.
Nesta apresentação introduziremos os conceitos-chave de um data lake e apresentaremos os aspectos relacionados à sua implementação. Destacaremos os principais componentes de data lake, tais como armazenamento, computação, analytics, bancos de dados, processamento de streams de dados, gerenciamento de dados e segurança. Discutiremos como escolher as tecnologias certas para cada componente do data lake, com base em critérios como estrutura de dados, latência de consulta, custo, taxa de requisição, tamanho do item, volume de dados, durabilidade e assim por diante. Também forneceremos uma arquitetura de referência e recomendações para começar com uma implementação de data lake na AWS.
Objetivos de aprendizado:
• Compreender os conceitos-chave e componentes de uma arquitetura de data lake
• Descrever como e quando usar um amplo conjunto de ferramentas analíticas e de gerenciamento de dados em uma arquitetura de data lake
• Obter insights sobre como começar com uma implementação de data lake na AWS"
https://aws.amazon.com/pt/blogs/big-data/introducing-the-data-lake-solution-on-aws/
Docker SP - Orquestrando docker via Marathon e Mesos na KonkerAndré Rocha
Apresentração para o Meetup Docker SP (19/10/17) falando um pouco da jornada da Konker implantando um cluster mesos e orquestrando docker via Marathon sem fazer uso da distribuição DC/OS.
Usando Amazon CloudFront para aumentar performance, disponibilidade e cache n...Amazon Web Services LATAM
O Amazon Cloudfront é o nosso serviço de CDN. Com a utilização desse serviço, é possível aumentar a performance, disponibilidade e segurança das suas aplicação, nessa apresentação, também será exposto formas de utilização e boas práticas.
O Amazon Cloudfront é o nosso serviço de CDN. Com a utilização desse serviço, é possível aumentar a performance, disponibilidade e segurança das suas aplicações, nessa apresentação, também será exposto formas de utilização e boas práticas.
O Amazon CloudFront se integra a outros produtos da Amazon Web Services para oferecer aos desenvolvedores e às empresas uma maneira fácil de distribuir conteúdo aos usuários finais com baixa latência, altas velocidades de transferência de dados e sem compromisso mínimo de utilização.
Transição para a nuvem: Desafios e EstratégiasDenodo
Watch full webinar here: https://bit.ly/3ofZRsD
As arquiteturas de dados em nuvem se tornaram o novo padrão. O baixo custo e a facilidade de gerenciamento da infra-estrutura fizeram com que até mesmo setores como o bancário e a saúde, tradicionalmente resistentes às mudanças, tenham começado a dar o salto. Entretanto, a transição para uma estratégia de nuvem não é fácil, e nem todo o software está adaptado para esse salto.
Nesta sessão, vamos rever:
- Estratégias de transição de nuvens
- Valor agregado e riscos destas estratégias
- Como a virtualização de dados se encaixa neste contexto
- Como o Denodo evoluiu para se posicionar como um software nativo na nuvem
Além disso, veremos uma pequena demonstração do uso do Denodo no AWS para rever as principais características deste tipo de implantação
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWSAmazon Web Services LATAM
A era dos ciclos anuais e semestrais de entrega de software está ficando para trás. Empresas líderes em seu segmento de mercado entregam software de alta qualidade em ciclos de poucos dias, em alguns casos, de poucas horas. Nesta sessão, iremos apresentar como você pode iniciar sua jornada para DevOps compartilhando boas práticas e ferramentas utilizadas pelos times de ‘duas pizzas’ da Amazon. Vamos mostrar como você pode acelerar sua produtividade implementando fluxos de integração e entrega contínua. E iremos introduzir os serviços que a AWS desenvolveu inspirados nas ferramentas e práticas internas da Amazon: AWS CodeCommit, AWS CodeBuild, AWS CodePipeline e AWS CodeDeploy.
https://aws.amazon.com/pt/products/developer-tools/
Neste webinar, você aprenderá como as empresas podem se valer da nuvem da AWS para automatizar os pipelines de desenvolvimento de software. Essa abordagem permite que sua equipe seja mais ágil, melhorando sua capacidade para entregar aplicações e serviços mais rapidamente.
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
"O Amazon DynamoDB é um serviço de banco de dados NoSQL, totalmente gerenciado, para aplicativos que precisam de latência consistente de um dígito de milissegundos em qualquer escala. Nesta sessão iremos explorar as capacidades e benefícios do DynamoDB em detalhes e iremos discutir como obter o máximo do seu banco de dados DynamoDB. Examinaremos as melhores práticas de design de schema com o DynamoDB em vários casos de uso, incluindo jogos, AdTech, IoT e outros.
Também exploraremos o design de índices eficientes, scanning e queries, e detalharemos as funcionalidades lançadas recentemente, incluindo o suporte a documentos JSON, Streams, Time-to-Live (TTL) e muito mais."
https://aws.amazon.com/pt/products/databases/
Nesta palestra do QCon Rio 2015, contamos como criar uma infraestrutura em nuvem com práticas DevOps e ter sucesso na Black Friday vendendo milhões. Falamos de AWS, Chef, Puppet, Ansible, Jenkins, Blue/Green deployments, deployment pipelines e mais algumas dicas para ter sucesso no grande dia do varejo.
Slides da palestra da Rivendel no QCon 2015 sobre como construir uma arquitetura escalável com cultura DevOps e uso das melhores práticas de Cloud para ter sucesso no Black Friday
Semelhante a Estratégias de migração para cloud (20)
3. Apresentação Pessoal
5 anos de experiencia
Analise e desenvolvimento de sistemas –
Instituto Federal de São Paulo (IFSP)
Experiencia em grandes clientes públicos e
privados
Linux, AWS, Virtualização, Hyperion
diegovlakatos@gmail.com
4. Tópicos
Tipos de migração
Passos de uma migração
Algumas estratégias e serviços
5. Conceitos - Siglas
Estratégia: arte de
aplicar com eficácia os
recursos de que se
dispõe ou de explorar
as condições favoráveis
de que porventura se
desfrute, visando ao
alcance de
determinados
objetivos.
6. RDS: Relational Database Service – Serviço de Banco
de Dados gerenciados pela AWS
EC2: Elastic cloud compute – Serviço de IaaS
DMS: Database migration service
7. Tipos de Migração
Migração em um passo:
• Boa opção para bases pequenas e que podem ser
paradas
• Pare o ambiente de origem, faça o backup, envie para
a nuvem, restaure o backup na nuvem, valide, altere
aplicação e reinicie-a
8. Tipos de Migração
Migração em dois passos:
Bases de qualquer tamanho /Menor downtime
possível
Backup full, envio pra nuvem, validação.
Parada da aplicação /Envio das diferenças
Validação / Virada de chave da aplicação
9. Tipos de Migração
Migração sem downtime:
• Aplicações criticas que não podem ser paradas
• Carregamento inicial - normalmente backup full
• 2º carregamento - diferenças entre os dados atuais e
o backup full restaurado na nuvem
• Replicação continua dos dados -- replicação síncrona
pode impactar na performance da base de origem,
prefira replicação assíncrona
• Quando as bases estiverem em sincronia e o
momento for adequado faça a virada de chave
10. Passos de uma Migração
Levantamento de informações:
• Quais objetos eu quero migrar?
• Meu sistema de origem tem a capacidade necessária e
esta configurado para suportar a migração
• Qual é o meu destino e quais configurações eu devo
realizar para obter a capacidade desejada.
• Qual é o tempo que tenho disponível para a migração?
11. Fatores a Considerar
• Tamanho da base
• Conectividade entre a origem e a Nuvem
• Software e versão do BD
• Tempo disponível
12. Calculo de tempo para
transferência de dados
http://www.thecloudcalculator.com/calculators/file-transfer.html
13.
14. Faça o Design da Migração
• Em conjunto com a prototipagem determine como
você pretende migrar a sua aplicação
• Os passos podem variar muito, dependendo do tipo de
migração que será feito
• Migração em uma ou múltiplas etapas
• Permite indisponibilidade?
• Replicação contínua (origem para BI / DR)
15. Prototipe a migração
• Normalmente é um processo iterativo
• Comece realizando uma pequena migração, com
apenas algumas tabelas para checar se tudo está
configurado de acordo.
• Teste os objetos que você considera que podem
apresentar dificuldades, como, LOBs, conversão de
character set, data types complexos
• Por fim, teste as tabelas maiores, para determinar
qual tipo de throughput você vai conseguir obter
16. Teste uma migração de
ponta-a-ponta
Depois de terminar a prototipagem teste uma migração
completa:
• Todos os objetos foram migrados?
• A migração ocorreu dentro dos limites de tempo
estabelecidos?
• Os erros/avisos presentes nos arquivos de log são uma
preocupação?
17. Faça a Migração
Quando estiver satisfeito com o seu plano e depois de
todos os testes é hora de migrar.
19. Enviando os dados para a
nuvem
• Ferramentas tradicionais: FTP, SCP
• storage gateway
• Snowball – export/import (fora do
Brasil)
• direct connect
• glacier
• kinesis firehose
20. s3
• 99,999999999% de durabilidade
• s3 multi part upload
• Permite envio de arquivos grandes dividindo-os em partes
menores, deve-se utilizar a API
• s3 transfer acceleration
• Utiliza os pontos de presença do cloudfront
• Só é cobrado se a transferência for mais rápida do que seria sem
o transfer acceleration
http://s3-accelerate-speedtest.s3-
accelerate.amazonaws.com/en/accelerate-speed-comparsion.html
21.
22.
23. Tsunami UDP
“Acelerador”
Usa TCP para o controle da transmissão e UDP para
envio
Prove mais througput que uma conexão TCP
Modelo Client/Server
Não permite envio em paralelo
24. Não criptografado
Como instalar:
cvs -z3 -d:pserver:anonymous@tsunami-
udp.cvs.sourceforge.net:/cvsroot/tsunami-udp co -P
tsunami-udp
sudo apt-get install git gcc
sudo apt-get install automake autoconf
cd tsunami-udp
./recompile.sh
sudo make install
Fonte: https://www.bluepiit.com/blog/tsunami-udp-
protocol-installation-setup-and-limitations/
25. - Transferência entre duas instancias
t2.small via internet
- Arquivo de 4,6Gb
Testando...
28. Database Migration Service -
DMS
Permite migrações homogêneas e heterogêneas
Pode ser usado para replicação continua
Origem e/ou Destino devem ser na aws
Cria apenas os objetos fundamentais para migrar os
dados, isto é, tabelas, chaves primarias, e
eventualmente índices primários
Deve-se desabilitar as dependências entre tabelas,
como por exemplo, constraints de chaves estrangeiras
Desabilite o archivelog no Oracle
29. Usando o DMS
mysql
350 mb
Origem em ec2
Destino RDS
48. Migrações heterogêneas na AWS
Schema Conversion Tool
Mudança da engine do banco de dados
Bancos de dados comerciais para open-source
(mysql/aurora, postgresql)
Descreve as mudanças que devem ser feitas para a
migração
Pode ser usado em conjunto ao DMS
Disponível para windows, linux e mac os
49. Converte os schemas e uma grande variedade de
códigos customizados (views, stored prodedures e
funções) para um formato compatível com a engine de
destino
Gera um relatório com as mudanças que devem ser
feitas
Atua no banco de destino criando os objetos
convertidos
Capaz de converter códigos SQL em aplicações JAVA,
C++,C#
http://docs.aws.amazon.com/SchemaConversionTool/
latest/userguide
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62. Conclusão
Planeje, Planeje, Planeje
Várias opções Escolha a ferramenta
que mais se adequa ao seu cenário.
Teste, comece pelo mais simples.