Marcelo Kruger apresenta sua experiência migrando um banco de dados PostgreSQL de 13TB entre nuvens AWS e Azure para a Neoway. A migração levou 49 horas, mas problemas de performance e replicação foram encontrados. Otimizações como ativação de cache de disco e testes melhoraram a situação.

1. P O S T G R E S + A Z U R E
M A R C E L O
K R Ü G E R
D A T A I N T E G R A T I O N
T E A M
TRANSFORMANDO DIFICULDADES EM OPORTUNIDADES

2. A P R E S E N T A Ç Ã O
FORMAÇÃO Ciências da Computação - UNIVALI/SJ
VIDA
PROFISSIONAL
Digitro Tecnologia: Integração de Dados e DBA (Oracle,
DB2 e PostgreSQL)
Cassol Centerlar: DBA Oracle
Neoway: Especialista de Dados e DBA PostgreSQL
PUBLICAÇÕES Efficient Execution of Conjunctive Complex Queries on
Big Multimedia Databases (Co-autor)
Baquara: A Holistic Ontological Framework for
Movement Analysis with Linked Data (Co-autor)
Fragmentação, caracterização e recuperação de
imagens em bases de dados Oracle (Autor)

3. N E O W A Y
100% Big Data
Fornecer soluções que vão além de exibir dados, mas sim gerar
informação e conhecimento para tomada de decisão
Não ser mais do mesmo, ser DIFERENTE!

4. B I G D A T A
Grande Volume de Dados, estruturados e não estruturados, oriundos de diversas fontes
=
Gerar conhecimento para auxiliar na tomada de decisão

5. B I G D A T A
Dados Conhecimento
Para isso, é necessário equipes e processos
=
Recursos de Hardware cada vez maiores
CPU / Memória / Disco / Estruturas de Redundância

6. D A T A C E N T E R F Í S I C O
Com o aumento no volume de dados armazenados é demandado mais
recursos de hardware
Como expandir de forma rápida, com menor custo, em um servidor
físico?
Adquirir + CPU, Memória, Discos, Storages, Servidores?
Quando custa em termos financeiros, e de pessoas, atualizar e manter
esta estrutura sempre em crescimento?

7. Pesquisa feita pela consultoria Gartner
com executivos de TI de dez países,
inclusive o Brasil, mostra que 44%
apontam a redução de custos como a
principal razão para contratar serviços
de cloud. Exame, 2015

8. C L O U D C O M P U T I N G
Principais Vantagens
Redução de Custos;
Escalabilidade;
Aumento da disponibilidade;
Atualização e manutenção de hardwares;
Acesso facilitado sem necessidade de ativos de redes;

9. Caso Neoway
Migrando PostgreSQL
entre nuvens

10. C E N Á R I O
Estrutura na Amazon AWS
CPU: Intel(R) Xeon(R) CPU E5-2670 (32 núcleos)
Memória: 250 GB
Discos: 11 discos SSD
Linux: CentOS Linux release 7.3.1611 (Core)
Arquitetura: 64 Bits
Banco de Dados: PostgreSQL Versão 9.5.6
Schemas do banco de dados divididos entre os diversos discos
(Tablespaces)
RAIDs de 4 a 6 discos

11. O B A N C O D E D A D O S
PostgreSQL Versão 9.5.6
Tamanho de 13,50 TB
Média de 1000 sessões abertas
Média de 600 GB de alteração diária

12. D I F I C U L D A D E S
Reduzir downtime durante a migração (Ambiente sem replicação);
Garantir a integridade de uma base com mais de 13TB;
Migrar da versão 9.5 para a versão 9.6;
Criar uma arquitetura com melhor performance que o banco na AWS;
Possibilitar um backup periódico do banco de dados sem afetar os
usuários que utilizam o banco de dados;
Aumentar a disponibilidade do bancos de dados, visto maturidade da
Azure frente a AWS.

13. A M I G R A Ç Ã O
Migração dos dados através de um PGDUMP - 12 Horas
Envio do backup para a S3 - 4 Horas
Download do backup da S3 para a Azure - 3 horas
Restauração do dump na Azure - 18 Horas
Ativação da Replicação - 12 Horas
Tempo total de migração para a Azure: 49 Horas

14. P R O B L E M A S P Ó S M I G R A Ç Ã O
Lentidão nas operações de consulta e inserção.
Processo de ETL que executava em 7 horas na AWS, passando a
executar em 28 horas.
Replicação com alto delay
Banco de dados replicado não aplicando as alterações vindas da
produção sem gerar delay. Mais de 800GB de alterações não aplicadas,
mais de 2 dias de diferença de dados entre os bancos.

15. P R O B L E M A S P Ó S M I G R A Ç Ã O

16. M E L H O R I A S A P L I C A D A S
Ativação da cache de disco no painel da Azure
Com a ativação da cache o iowait foi reduzido consideravelmente, e
melhorado o tempo das consultas e operações no banco de dados.
Query de ETL na Azure executando em 5 Horas. Antes na AWS em 7
horas
Entender a complexidade do cenário presente na Neoway
Compreender o volume de dados gerados e alterados pelas equipes
que utilizam o banco, e otimizar diversos parâmetros presentes no
Postgres

17. T E S T E S , T E S T E S E T E S T E S
Para evitar os problemas encontrados na migração é importante
Simular carga de dados no banco de dados
Execução de operações que elevem o lag de replicação
Simular concorrência entre demais processos e o banco de dados

18. O B R I G A D O !
M A R C E L O . K R U G E R @ N E O W A Y . C O M . B R