WEBINAR
Transição para a nuvem:
Desafios e estratégias
Evandro Pacolla
Sales Engineer, LATAM
Denodo
2
Por que a transição para a Nuvem
Novos Recursos
▪ Baixo Custo operacional
▪ Nenhum investimento necessário em HW
▪ Mais flexibilidade
▪ Acesso de qualquer lugar
Novos riscos e desafios
▪ Segurança
▪ Latência de rede
▪ Desafios anteriores continuam a ser aplicados
3
Opções de migração em nuvem
1. Mudança de localização (rehost)
1. Mova dados como é para o mesmo sistema, mas hospedado na nuvem.
2. Por exemplo Oracle para Oracle RDS na AWS.
2. Mudança de plataforma (replatform)
1. Movendo dados como são para um novo sistema nativo da nuvem
2. Por exemplo, mudar a DW de Teradata para Snowflake
3. Mudança de arquitetura (refactor)
1. Mudar para um novo sistema nativo da nuvem, modificando também esquemas e estruturas
de dados, fluxos de ingestão, ferramentas de emissão de relatórios, etc.
4
Opções de migração - Pesquisa de Adoção em Nuvem
https://www.denodo.com/en/document/whitepaper/denodo-global-cloud-survey-2020
Pesquisa de Adoção em Nuvem, Denodo 2020 (250 clientes)
5
A estratégia de dados na transição para a Nuvem
• Uma mudança completa na arquitetura é um processo
complexo com modificações em muitos pontos do ecossistema
dados
• No entanto, ele garante que a estratégia de dados também
avança com novas tendências
• Não é apenas uma mudança de nome no banco de dados
• Tente corrigir problemas ou limitações existentes na estratégia
atual
• Uma mudança desse tamanho envolve projetos multi-estágio
• Eles podem durar anos
• Envolver estados híbridos intermediários com sistemas de nuvem
e outros on-prem
6
O que implica uma mudança de estratégia?
• Adotando opções nativas de SW para a nuvem
• AWS, Azure, Google oferecem alternativas em nuvem para todos os tipos de software
• Empresas especializadas somente em nuvem, como Snowflake, Databricks, Qubole, etc..
• Empresas tradicionais de software que migraram para a nuvem (por exemplo, Tableau, Denodo)
• Adoção de novos paradigmas de gestão de dados (ex. Data lakes, streaming) adaptando-se
a novas necessidades (data mining, machine learning, etc.)
• Migrando para opções de SaaS para aplicações
• Por exemplo, a partir de um CRM no local para Salesforce.com
• Aumento do uso de APIs para comunicação entre aplicativos e sistemas de dados
• Usando novos mecanismos de autenticação usando provedores de identidade
• E muitos outros aspectos
7
Etapas da transição para a Nuvem
On-prem
Transição
para
Nuvem
Híbrido
100%
Nuvem
Múltiplas
Nuvens
8
E se colocarmos tudo em um só sistema?
Aproveitando a mudança para a nuvem, não poderíamos consolidar todos os dados em um
único sistema, como um data lake? Isso é realista?
• Perda de funcionalidades: as capacidades de um data lake podem ser
completamente diferentes das dos sistemas originais
• Por exemplo, acesso por ID em um banco de dados operacional, sistemas de
rede, noSQL, etc.
• Grande investimento inicial: criar fluxos de ingestão é caro
• Vale a pena carregar dados que não sabemos se eles vão ser usados?
• E repositórios gigantes? Nós replicamos o DW?
• Custo de manutenção: uma vez criados, os fluxos devem ser mantidos para acomodar
alterações nas fontes (novas colunas, novas tabelas, etc.)
• Risco de inconsistências:
• Os dados devem ser atualizados periodicamente para refletir dados dos sistemas
originais
• "Data swamps“ ou Pântanos de dados, correndo o risco de acabar com várias
cópias, sem manter ou gerenciar, representando diferentes variantes dos
mesmos dados
9
O papel da virtualização de
dados em nuvem
10
Arquitetura típica de nuvem
11
Arquitetura típica de nuvem
12
O valor da camada de acesso a dados virtuais
• Para usuários de negócios:
• Os usuários finais não precisam navegar pela complexidade da arquitetura de dados
implantada no modo nuvem ou híbrido (nuvem e on-prem, ou várias nuvens)
• Agilidade para pesquisar e acessar, de forma segura, quaisquer dados de uma única
plataforma
• Todos os dados são acessíveis usando protocolos padrão: SQL, Web Services (REST, Odata,
GraphQL), independentemente do formato e localização original.
• Para TI
• Independência das tecnologias de armazenamento e processamento de dados com a camada
de acesso
• Flexibilidade para mudar tecnologias e mover dados sem interromper o serviço
• Controle centralizado de segurança e governança para todos os dados
13
Exemplo: Virtualização para facilitar a integração
Ponto de acesso comum para todos os dados tanto na
nuvem quanto no on-premisse
• Acesso a todos os dados de um único sistema
• Os dados são acessíveis diretamente das fontes
originais, sem a necessidade de carregá-lo ou copiá-lo
• Facilita a combinação de dados, independentemente
de sua localização e formato originais
• Defina um modelo de dados semântico, independente
das estruturas das fontes originais
• Adicionar segurança a qualquer acesso
• Estatísticas de documentação e uso incluídas no
Catálogo de Dados de Denodo
14
Exemplo: virtualização para simplificar migrações
• Migrações em nuvem de projetos críticos
são complexas
• Eles raramente são concluídos em um
único passo
• Requerem múltiplas fases, que podem ser
prorrogadas por meses ou anos
• A virtualização facilita a separação do
acesso aos dados do armazenamento
• Isola mudanças no Sistema de Consumo
• Permite mover dados em fases sem exigir
modificações nas ferramentas de consumo
15
Exemplo: virtualizar para acelerar e reduzir custos
• Muitos sistemas de nuvem cobram por uso. Por exemplo,:
• Snowflake cobra por “compute credits”
• AWS Athena por número de bytes lidos
• O uso de tecnologias de aceleração de consultas, como a de Denodo,
permite que você responda a consultas em menos tempo, e com menos
volume
• Consultas aceleradas não são apenas mais rápidas, mas também mais
baratas
• Até agora, essas tecnologias de aceleração só estavam disponíveis em
certas ferramentas de modelagem (BO, Microstrategy) e alguns sistemas on-
prem (Oracle, Teradata)
• Nenhum banco de dados para a nuvem ainda oferece esses recursos
• O Denodo oferece esses recursos independentemente das fontes e ferramentas
de emissão de relatórios
• Para más detalles:
SALES
10 billion rows
Sales summary
1 million rows
https://www.denodo.com/en/webinar/accelerate-your-queries-data-virtualization
Q&A
Thank you!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm,
without prior the written authorization from Denodo Technologies.

Transição para a nuvem: Desafios e Estratégias

  • 1.
    WEBINAR Transição para anuvem: Desafios e estratégias Evandro Pacolla Sales Engineer, LATAM Denodo
  • 2.
    2 Por que atransição para a Nuvem Novos Recursos ▪ Baixo Custo operacional ▪ Nenhum investimento necessário em HW ▪ Mais flexibilidade ▪ Acesso de qualquer lugar Novos riscos e desafios ▪ Segurança ▪ Latência de rede ▪ Desafios anteriores continuam a ser aplicados
  • 3.
    3 Opções de migraçãoem nuvem 1. Mudança de localização (rehost) 1. Mova dados como é para o mesmo sistema, mas hospedado na nuvem. 2. Por exemplo Oracle para Oracle RDS na AWS. 2. Mudança de plataforma (replatform) 1. Movendo dados como são para um novo sistema nativo da nuvem 2. Por exemplo, mudar a DW de Teradata para Snowflake 3. Mudança de arquitetura (refactor) 1. Mudar para um novo sistema nativo da nuvem, modificando também esquemas e estruturas de dados, fluxos de ingestão, ferramentas de emissão de relatórios, etc.
  • 4.
    4 Opções de migração- Pesquisa de Adoção em Nuvem https://www.denodo.com/en/document/whitepaper/denodo-global-cloud-survey-2020 Pesquisa de Adoção em Nuvem, Denodo 2020 (250 clientes)
  • 5.
    5 A estratégia dedados na transição para a Nuvem • Uma mudança completa na arquitetura é um processo complexo com modificações em muitos pontos do ecossistema dados • No entanto, ele garante que a estratégia de dados também avança com novas tendências • Não é apenas uma mudança de nome no banco de dados • Tente corrigir problemas ou limitações existentes na estratégia atual • Uma mudança desse tamanho envolve projetos multi-estágio • Eles podem durar anos • Envolver estados híbridos intermediários com sistemas de nuvem e outros on-prem
  • 6.
    6 O que implicauma mudança de estratégia? • Adotando opções nativas de SW para a nuvem • AWS, Azure, Google oferecem alternativas em nuvem para todos os tipos de software • Empresas especializadas somente em nuvem, como Snowflake, Databricks, Qubole, etc.. • Empresas tradicionais de software que migraram para a nuvem (por exemplo, Tableau, Denodo) • Adoção de novos paradigmas de gestão de dados (ex. Data lakes, streaming) adaptando-se a novas necessidades (data mining, machine learning, etc.) • Migrando para opções de SaaS para aplicações • Por exemplo, a partir de um CRM no local para Salesforce.com • Aumento do uso de APIs para comunicação entre aplicativos e sistemas de dados • Usando novos mecanismos de autenticação usando provedores de identidade • E muitos outros aspectos
  • 7.
    7 Etapas da transiçãopara a Nuvem On-prem Transição para Nuvem Híbrido 100% Nuvem Múltiplas Nuvens
  • 8.
    8 E se colocarmostudo em um só sistema? Aproveitando a mudança para a nuvem, não poderíamos consolidar todos os dados em um único sistema, como um data lake? Isso é realista? • Perda de funcionalidades: as capacidades de um data lake podem ser completamente diferentes das dos sistemas originais • Por exemplo, acesso por ID em um banco de dados operacional, sistemas de rede, noSQL, etc. • Grande investimento inicial: criar fluxos de ingestão é caro • Vale a pena carregar dados que não sabemos se eles vão ser usados? • E repositórios gigantes? Nós replicamos o DW? • Custo de manutenção: uma vez criados, os fluxos devem ser mantidos para acomodar alterações nas fontes (novas colunas, novas tabelas, etc.) • Risco de inconsistências: • Os dados devem ser atualizados periodicamente para refletir dados dos sistemas originais • "Data swamps“ ou Pântanos de dados, correndo o risco de acabar com várias cópias, sem manter ou gerenciar, representando diferentes variantes dos mesmos dados
  • 9.
    9 O papel davirtualização de dados em nuvem
  • 10.
  • 11.
  • 12.
    12 O valor dacamada de acesso a dados virtuais • Para usuários de negócios: • Os usuários finais não precisam navegar pela complexidade da arquitetura de dados implantada no modo nuvem ou híbrido (nuvem e on-prem, ou várias nuvens) • Agilidade para pesquisar e acessar, de forma segura, quaisquer dados de uma única plataforma • Todos os dados são acessíveis usando protocolos padrão: SQL, Web Services (REST, Odata, GraphQL), independentemente do formato e localização original. • Para TI • Independência das tecnologias de armazenamento e processamento de dados com a camada de acesso • Flexibilidade para mudar tecnologias e mover dados sem interromper o serviço • Controle centralizado de segurança e governança para todos os dados
  • 13.
    13 Exemplo: Virtualização parafacilitar a integração Ponto de acesso comum para todos os dados tanto na nuvem quanto no on-premisse • Acesso a todos os dados de um único sistema • Os dados são acessíveis diretamente das fontes originais, sem a necessidade de carregá-lo ou copiá-lo • Facilita a combinação de dados, independentemente de sua localização e formato originais • Defina um modelo de dados semântico, independente das estruturas das fontes originais • Adicionar segurança a qualquer acesso • Estatísticas de documentação e uso incluídas no Catálogo de Dados de Denodo
  • 14.
    14 Exemplo: virtualização parasimplificar migrações • Migrações em nuvem de projetos críticos são complexas • Eles raramente são concluídos em um único passo • Requerem múltiplas fases, que podem ser prorrogadas por meses ou anos • A virtualização facilita a separação do acesso aos dados do armazenamento • Isola mudanças no Sistema de Consumo • Permite mover dados em fases sem exigir modificações nas ferramentas de consumo
  • 15.
    15 Exemplo: virtualizar paraacelerar e reduzir custos • Muitos sistemas de nuvem cobram por uso. Por exemplo,: • Snowflake cobra por “compute credits” • AWS Athena por número de bytes lidos • O uso de tecnologias de aceleração de consultas, como a de Denodo, permite que você responda a consultas em menos tempo, e com menos volume • Consultas aceleradas não são apenas mais rápidas, mas também mais baratas • Até agora, essas tecnologias de aceleração só estavam disponíveis em certas ferramentas de modelagem (BO, Microstrategy) e alguns sistemas on- prem (Oracle, Teradata) • Nenhum banco de dados para a nuvem ainda oferece esses recursos • O Denodo oferece esses recursos independentemente das fontes e ferramentas de emissão de relatórios • Para más detalles: SALES 10 billion rows Sales summary 1 million rows https://www.denodo.com/en/webinar/accelerate-your-queries-data-virtualization
  • 16.
  • 17.
    Thank you! www.denodo.com info@denodo.com ©Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.