© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Entenda como o Data Flywheel pode
apoiá-lo em sua estratégia de dados
Hugo Rozestraten
Data Specialist Solutions Architect
Amazon Web Services
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
Data Flywheel
Migração de dados para a nuvem
Otimização de seu ambiente de banco de dados através de serviços gerenciados
Construa aplicações orientadas a dados utilizando banco de dados de propósito
específico
Construa ambientes de data lakes escaláveis
Inovação através de aprendizado de máquina e blockchain
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data Flywheel
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Benefícios
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Benefícios
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Migração de dados para a nuvem
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Migração de dados para a nuvem
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Migração de dados para a nuvem
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Migração de dados para a nuvem
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Migração de dados para a nuvem
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Serviços gerenciados de bancos de dados
Custo mais baixo
de gerenciamento de
bancos de dados
comparado com on
premises
Disponibilidad
e maior, mantendo
seu banco de dados
continuamente
disponível 24x7.
Economia de
Tempo do seu time de
administradores de
bancos de dados, tirando
tarefas que não agregam
valor
Escalabilidade
nível Enterprise
Crescer o seu ambiente
não exige compras de
hardware ou tarefas
administrativas, mesmo
pequenos negócios
podem crescer sem
preocupação.
Maior potencial
Adicionar novos
serviços como data
warehouses, in-
memory, grafo ou
time series não é um
sofrimento.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Requerimentos das aplicações hoje
Usuários: 1milhão+
Volume: TB–PB–EB
Localidade: Global
Desempenho: Milisegundos-
microsegundos
Nível Requisições: Milhões /min ou
/seg
Acesso: Web, Mobile, IoT, devices
Escalabilidade: Up-down, Out-In
Economia: Pague pelo que realmente
usa
Desenvolvimento: acesso APIs
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Como ?
Mude sua estratégia
de banco de dados
um único motor de banco de
dados para todas as
aplicações não atende mais
há algum tempo
Divida aplicações
complexas
Para assegurar escalabilidade e
disponibilidade, examine os
componentes das suas
aplicações.
Construa aplicações
distribuídas
Separe sua aplicação
complexa em microsserviços
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Opções de Bancos de Dados
Relacional Chave-valor Documento Em memória Grafo
Integridade
referencial,
transações ACID,
schema-on-write
Baixa latência,
buscas de chave
com alto
throughput e
rápida ingestão
de dados
Indexação e
armazenamento
de documentos
com suporte
para consulta
em qualquer
atributo
Latência de
microssegundos,
consultas
baseadas em
chaves e
estruturas de
dados
especializadas
Criação e
percurso em
relações de
dados de forma
fácil e rápida
Lift and shift,
ERP, CRM,
finanças
Leilão Real-time,
carrinho de
compras, social
Gerenciamento
de conteúdo,
personalização,
dispositivos
móveis
Leaderboards,
análise em
tempo real,
armazenamento
em cache
Detecção de
fraudes, redes
sociais,
ferramentas de
recomendação
Busca
Indexação e
busca de logs e
dados
semiestruturado
s
Catálogo de
produtos,
ajuda, e FAQs,
texto completo
Séries
temporais
Registro
imutável
Coletar,
armazenar e
processar dados
sequenciados por
tempo
Aplicações IoT,
rastreamento
de eventos
Histórico
completo,
imutável e
verificável de
todas as alterações
em dados de
aplicação
Sistemas
de registro, cadeia
de suprimentos,
cuidados à saúde,
cadastros,
financeiro
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data Lake
Os clientes querem:
Um único armazenamento de dados que seja escalável
e econômico
Para armazenar dados de forma segura em formatos
padrão
Analisar seus dados de várias maneiras
Data Lake na nuvem
Infra-estrutura
Armazenamento desacoplado
& Recursos de computação
Segurança &Governança
Migração de
dados
Serviços de
streaming
Data
Warehouse
Processos de
Big Data
Processamento
serverless
Real Time
Analytics
Analytics
Análise
Preditiva& Catálogo ETL
Gerenciamento de dados
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data Lake
Maior
abrangência
Mais
Seguro
Mais fácil
para
construir
Melhor
custo-
benefício
Amplamente
usado
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data Lake
Portfólio mais amplo e poderoso
Movimentação de Dados
Análises
Redshift
EMR (Spark &
Hadoop)
Athena
Elasticsearch
Service
Kinesis Data
Analytics
Glue (Spark &
Python)
S3/Glacier GlueLake
Formation
Visualização, Engajamento & Machine Learning
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate Transcrib
e
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Managed Streaming for Kafka
Infraestrutura e Gerenciamento
Pinpoint
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Aprendizado de máquina
Inicie com uma
estratégia de dados
Aprendizado de máquina
requer dados tratados,
acessíveis, certifique-se de ter
os dados antes de iniciar.
Identifique os
problemas de negócio
Encontre os melhores casos
de uso, considerando como
ML pode encantar seus
clientes, aumentar a
eficiência ou produtividade, e
direcionar a inovação.
Execute um piloto
Avalie possíveis pilotos tendo
em vista os use cases
prioritários, e determinando
as ferramentas, habilidades e
orçamentos necessários.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Insights preditivos
Com serviços de ML e AI da AWS
Serviços de IA que permitem aos
programadores fazer o plug-in
pré-construído
Funcionalidade de IA em seus
aplicativos
Serviços de plataforma ML que
tornam mais fácil para qualquer
desenvolvedor começar e se
aprofundar com ML
Estruturas e interfaces ML para
profissionais de aprendizado de
máquina
Amazon S3
Dados brutos Dados de formação
inicial
é anotado por
rotuladores humanos
Modelo de aprendizagem ativo
é treinado a partir de humanos
dados rotulados
Dados ambíguos são enviados para humanos
etiquetadores para anotações
Os dados rotulados por humanos são então enviados
de volta para retreinar e melhorar o
modelo de aprendizagem de máquina
Dados de treinamento do
modelo entende é
rotulado automaticamente
Dados de treinamento precisos
estão pronto para uso em
Amazon Sagemaker
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Blockchain
Amazon QLDB
Centralizada – autoridade central confiável, “livro
contábil” das transações
Imutável – diário imutável, cada transação é um bloco
sequencialmente encadeado
Verificável – sumário conciso, resumo, linhagem dos dados
no livro contábil
Transparente – log de informações completo e
transparente
Rápida – não exige consenso distribuído, escala e execução
mais rápidos
Exemplo: RH e folhas de pagamento
Amazon Managed Blockchain
Descentralizada – várias partes podem fazer transações,
com um nó emparelhado na rede
Imutável – blocos criptograficamente encadeados
Verificável – cada membro copia o livro contábil e pode
garantir e verificar se o conteúdo é exato.
Transparente – estruturas de blockchain autorizadas, como
o Hyperledger Fabric e Ethereum.
Sem intermediários – cada organização inicia uma nova
transação, a transação é replicada, podendo ser validada
por várias partes.
Exemplo: consórcio de varejistas com bancos e programas
de fidelidade
Obrigado!
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Hugo Rozestraten
hhug@amazon.com

AWS Innovate 2020 - Entenda como o Data Flywheel pode apoiá-lo em sua estratégia de dados - Hugo Rozestraten

  • 2.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Entenda como o Data Flywheel pode apoiá-lo em sua estratégia de dados Hugo Rozestraten Data Specialist Solutions Architect Amazon Web Services
  • 3.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Agenda Data Flywheel Migração de dados para a nuvem Otimização de seu ambiente de banco de dados através de serviços gerenciados Construa aplicações orientadas a dados utilizando banco de dados de propósito específico Construa ambientes de data lakes escaláveis Inovação através de aprendizado de máquina e blockchain
  • 4.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 5.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Data Flywheel
  • 6.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Benefícios
  • 7.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Benefícios
  • 8.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 9.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Migração de dados para a nuvem
  • 10.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Migração de dados para a nuvem
  • 11.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Migração de dados para a nuvem
  • 12.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Migração de dados para a nuvem
  • 13.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Migração de dados para a nuvem
  • 14.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 15.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Serviços gerenciados de bancos de dados Custo mais baixo de gerenciamento de bancos de dados comparado com on premises Disponibilidad e maior, mantendo seu banco de dados continuamente disponível 24x7. Economia de Tempo do seu time de administradores de bancos de dados, tirando tarefas que não agregam valor Escalabilidade nível Enterprise Crescer o seu ambiente não exige compras de hardware ou tarefas administrativas, mesmo pequenos negócios podem crescer sem preocupação. Maior potencial Adicionar novos serviços como data warehouses, in- memory, grafo ou time series não é um sofrimento.
  • 16.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 17.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Requerimentos das aplicações hoje Usuários: 1milhão+ Volume: TB–PB–EB Localidade: Global Desempenho: Milisegundos- microsegundos Nível Requisições: Milhões /min ou /seg Acesso: Web, Mobile, IoT, devices Escalabilidade: Up-down, Out-In Economia: Pague pelo que realmente usa Desenvolvimento: acesso APIs
  • 18.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Como ? Mude sua estratégia de banco de dados um único motor de banco de dados para todas as aplicações não atende mais há algum tempo Divida aplicações complexas Para assegurar escalabilidade e disponibilidade, examine os componentes das suas aplicações. Construa aplicações distribuídas Separe sua aplicação complexa em microsserviços
  • 19.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Opções de Bancos de Dados Relacional Chave-valor Documento Em memória Grafo Integridade referencial, transações ACID, schema-on-write Baixa latência, buscas de chave com alto throughput e rápida ingestão de dados Indexação e armazenamento de documentos com suporte para consulta em qualquer atributo Latência de microssegundos, consultas baseadas em chaves e estruturas de dados especializadas Criação e percurso em relações de dados de forma fácil e rápida Lift and shift, ERP, CRM, finanças Leilão Real-time, carrinho de compras, social Gerenciamento de conteúdo, personalização, dispositivos móveis Leaderboards, análise em tempo real, armazenamento em cache Detecção de fraudes, redes sociais, ferramentas de recomendação Busca Indexação e busca de logs e dados semiestruturado s Catálogo de produtos, ajuda, e FAQs, texto completo Séries temporais Registro imutável Coletar, armazenar e processar dados sequenciados por tempo Aplicações IoT, rastreamento de eventos Histórico completo, imutável e verificável de todas as alterações em dados de aplicação Sistemas de registro, cadeia de suprimentos, cuidados à saúde, cadastros, financeiro
  • 20.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 21.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Data Lake Os clientes querem: Um único armazenamento de dados que seja escalável e econômico Para armazenar dados de forma segura em formatos padrão Analisar seus dados de várias maneiras Data Lake na nuvem Infra-estrutura Armazenamento desacoplado & Recursos de computação Segurança &Governança Migração de dados Serviços de streaming Data Warehouse Processos de Big Data Processamento serverless Real Time Analytics Analytics Análise Preditiva& Catálogo ETL Gerenciamento de dados
  • 22.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Data Lake Maior abrangência Mais Seguro Mais fácil para construir Melhor custo- benefício Amplamente usado
  • 23.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Data Lake Portfólio mais amplo e poderoso Movimentação de Dados Análises Redshift EMR (Spark & Hadoop) Athena Elasticsearch Service Kinesis Data Analytics Glue (Spark & Python) S3/Glacier GlueLake Formation Visualização, Engajamento & Machine Learning QuickSight SageMaker Comprehend Lex Polly Rekognition Translate Transcrib e Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Managed Streaming for Kafka Infraestrutura e Gerenciamento Pinpoint
  • 24.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
  • 25.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Aprendizado de máquina Inicie com uma estratégia de dados Aprendizado de máquina requer dados tratados, acessíveis, certifique-se de ter os dados antes de iniciar. Identifique os problemas de negócio Encontre os melhores casos de uso, considerando como ML pode encantar seus clientes, aumentar a eficiência ou produtividade, e direcionar a inovação. Execute um piloto Avalie possíveis pilotos tendo em vista os use cases prioritários, e determinando as ferramentas, habilidades e orçamentos necessários.
  • 26.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Insights preditivos Com serviços de ML e AI da AWS Serviços de IA que permitem aos programadores fazer o plug-in pré-construído Funcionalidade de IA em seus aplicativos Serviços de plataforma ML que tornam mais fácil para qualquer desenvolvedor começar e se aprofundar com ML Estruturas e interfaces ML para profissionais de aprendizado de máquina Amazon S3 Dados brutos Dados de formação inicial é anotado por rotuladores humanos Modelo de aprendizagem ativo é treinado a partir de humanos dados rotulados Dados ambíguos são enviados para humanos etiquetadores para anotações Os dados rotulados por humanos são então enviados de volta para retreinar e melhorar o modelo de aprendizagem de máquina Dados de treinamento do modelo entende é rotulado automaticamente Dados de treinamento precisos estão pronto para uso em Amazon Sagemaker
  • 27.
    © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Blockchain Amazon QLDB Centralizada – autoridade central confiável, “livro contábil” das transações Imutável – diário imutável, cada transação é um bloco sequencialmente encadeado Verificável – sumário conciso, resumo, linhagem dos dados no livro contábil Transparente – log de informações completo e transparente Rápida – não exige consenso distribuído, escala e execução mais rápidos Exemplo: RH e folhas de pagamento Amazon Managed Blockchain Descentralizada – várias partes podem fazer transações, com um nó emparelhado na rede Imutável – blocos criptograficamente encadeados Verificável – cada membro copia o livro contábil e pode garantir e verificar se o conteúdo é exato. Transparente – estruturas de blockchain autorizadas, como o Hyperledger Fabric e Ethereum. Sem intermediários – cada organização inicia uma nova transação, a transação é replicada, podendo ser validada por várias partes. Exemplo: consórcio de varejistas com bancos e programas de fidelidade
  • 28.
    Obrigado! © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. Hugo Rozestraten hhug@amazon.com