Watch full webinar here: https://bit.ly/3ofZRsD
As arquiteturas de dados em nuvem se tornaram o novo padrão. O baixo custo e a facilidade de gerenciamento da infra-estrutura fizeram com que até mesmo setores como o bancário e a saúde, tradicionalmente resistentes às mudanças, tenham começado a dar o salto. Entretanto, a transição para uma estratégia de nuvem não é fácil, e nem todo o software está adaptado para esse salto.
Nesta sessão, vamos rever:
- Estratégias de transição de nuvens
- Valor agregado e riscos destas estratégias
- Como a virtualização de dados se encaixa neste contexto
- Como o Denodo evoluiu para se posicionar como um software nativo na nuvem
Além disso, veremos uma pequena demonstração do uso do Denodo no AWS para rever as principais características deste tipo de implantação
GenAI y el futuro de la gestión de datos: mitos y realidades
Transição para a nuvem: desafios e estratégias
1. WEBINAR
Transição para a nuvem:
Desafios e estratégias
Evandro Pacolla
Sales Engineer, LATAM
Denodo
2. 2
Por que a transição para a Nuvem
Novos Recursos
▪ Baixo Custo operacional
▪ Nenhum investimento necessário em HW
▪ Mais flexibilidade
▪ Acesso de qualquer lugar
Novos riscos e desafios
▪ Segurança
▪ Latência de rede
▪ Desafios anteriores continuam a ser aplicados
3. 3
Opções de migração em nuvem
1. Mudança de localização (rehost)
1. Mova dados como é para o mesmo sistema, mas hospedado na nuvem.
2. Por exemplo Oracle para Oracle RDS na AWS.
2. Mudança de plataforma (replatform)
1. Movendo dados como são para um novo sistema nativo da nuvem
2. Por exemplo, mudar a DW de Teradata para Snowflake
3. Mudança de arquitetura (refactor)
1. Mudar para um novo sistema nativo da nuvem, modificando também esquemas e estruturas
de dados, fluxos de ingestão, ferramentas de emissão de relatórios, etc.
4. 4
Opções de migração - Pesquisa de Adoção em Nuvem
https://www.denodo.com/en/document/whitepaper/denodo-global-cloud-survey-2020
Pesquisa de Adoção em Nuvem, Denodo 2020 (250 clientes)
5. 5
A estratégia de dados na transição para a Nuvem
• Uma mudança completa na arquitetura é um processo
complexo com modificações em muitos pontos do ecossistema
dados
• No entanto, ele garante que a estratégia de dados também
avança com novas tendências
• Não é apenas uma mudança de nome no banco de dados
• Tente corrigir problemas ou limitações existentes na estratégia
atual
• Uma mudança desse tamanho envolve projetos multi-estágio
• Eles podem durar anos
• Envolver estados híbridos intermediários com sistemas de nuvem
e outros on-prem
6. 6
O que implica uma mudança de estratégia?
• Adotando opções nativas de SW para a nuvem
• AWS, Azure, Google oferecem alternativas em nuvem para todos os tipos de software
• Empresas especializadas somente em nuvem, como Snowflake, Databricks, Qubole, etc..
• Empresas tradicionais de software que migraram para a nuvem (por exemplo, Tableau, Denodo)
• Adoção de novos paradigmas de gestão de dados (ex. Data lakes, streaming) adaptando-se
a novas necessidades (data mining, machine learning, etc.)
• Migrando para opções de SaaS para aplicações
• Por exemplo, a partir de um CRM no local para Salesforce.com
• Aumento do uso de APIs para comunicação entre aplicativos e sistemas de dados
• Usando novos mecanismos de autenticação usando provedores de identidade
• E muitos outros aspectos
7. 7
Etapas da transição para a Nuvem
On-prem
Transição
para
Nuvem
Híbrido
100%
Nuvem
Múltiplas
Nuvens
8. 8
E se colocarmos tudo em um só sistema?
Aproveitando a mudança para a nuvem, não poderíamos consolidar todos os dados em um
único sistema, como um data lake? Isso é realista?
• Perda de funcionalidades: as capacidades de um data lake podem ser
completamente diferentes das dos sistemas originais
• Por exemplo, acesso por ID em um banco de dados operacional, sistemas de
rede, noSQL, etc.
• Grande investimento inicial: criar fluxos de ingestão é caro
• Vale a pena carregar dados que não sabemos se eles vão ser usados?
• E repositórios gigantes? Nós replicamos o DW?
• Custo de manutenção: uma vez criados, os fluxos devem ser mantidos para acomodar
alterações nas fontes (novas colunas, novas tabelas, etc.)
• Risco de inconsistências:
• Os dados devem ser atualizados periodicamente para refletir dados dos sistemas
originais
• "Data swamps“ ou Pântanos de dados, correndo o risco de acabar com várias
cópias, sem manter ou gerenciar, representando diferentes variantes dos
mesmos dados
12. 12
O valor da camada de acesso a dados virtuais
• Para usuários de negócios:
• Os usuários finais não precisam navegar pela complexidade da arquitetura de dados
implantada no modo nuvem ou híbrido (nuvem e on-prem, ou várias nuvens)
• Agilidade para pesquisar e acessar, de forma segura, quaisquer dados de uma única
plataforma
• Todos os dados são acessíveis usando protocolos padrão: SQL, Web Services (REST, Odata,
GraphQL), independentemente do formato e localização original.
• Para TI
• Independência das tecnologias de armazenamento e processamento de dados com a camada
de acesso
• Flexibilidade para mudar tecnologias e mover dados sem interromper o serviço
• Controle centralizado de segurança e governança para todos os dados
13. 13
Exemplo: Virtualização para facilitar a integração
Ponto de acesso comum para todos os dados tanto na
nuvem quanto no on-premisse
• Acesso a todos os dados de um único sistema
• Os dados são acessíveis diretamente das fontes
originais, sem a necessidade de carregá-lo ou copiá-lo
• Facilita a combinação de dados, independentemente
de sua localização e formato originais
• Defina um modelo de dados semântico, independente
das estruturas das fontes originais
• Adicionar segurança a qualquer acesso
• Estatísticas de documentação e uso incluídas no
Catálogo de Dados de Denodo
14. 14
Exemplo: virtualização para simplificar migrações
• Migrações em nuvem de projetos críticos
são complexas
• Eles raramente são concluídos em um
único passo
• Requerem múltiplas fases, que podem ser
prorrogadas por meses ou anos
• A virtualização facilita a separação do
acesso aos dados do armazenamento
• Isola mudanças no Sistema de Consumo
• Permite mover dados em fases sem exigir
modificações nas ferramentas de consumo
15. 15
Exemplo: virtualizar para acelerar e reduzir custos
• Muitos sistemas de nuvem cobram por uso. Por exemplo,:
• Snowflake cobra por “compute credits”
• AWS Athena por número de bytes lidos
• O uso de tecnologias de aceleração de consultas, como a de Denodo,
permite que você responda a consultas em menos tempo, e com menos
volume
• Consultas aceleradas não são apenas mais rápidas, mas também mais
baratas
• Até agora, essas tecnologias de aceleração só estavam disponíveis em
certas ferramentas de modelagem (BO, Microstrategy) e alguns sistemas on-
prem (Oracle, Teradata)
• Nenhum banco de dados para a nuvem ainda oferece esses recursos
• O Denodo oferece esses recursos independentemente das fontes e ferramentas
de emissão de relatórios
• Para más detalles:
SALES
10 billion rows
Sales summary
1 million rows
https://www.denodo.com/en/webinar/accelerate-your-queries-data-virtualization