O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Tendências de Big Data

400 visualizações

Publicada em

Você quer lançar a sua primeira aplicação em Big Data e não sabe como? Junte-se a nós nessa jornada e vamos construir aplicação utilizando Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon DynamoDB e Amazon S3.

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Tendências de Big Data

  1. 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Thiago Paulino | Arquiteto de Soluções 2016 Padrões de Arquitetura e Melhores Práticas de Big Data na AWS Tendências de Big Data
  2. 2. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. O que esperar dessa sessão? • Desafios de Big Data • Como simplificar o processamento dos dados? • Que tecnologias devo utilizar? • Porque? • Como? • Arquitetura de Referência • Padrões de Desenho
  3. 3. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Big Data crescendo, sempre Volume Velocidade Variedade
  4. 4. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Evolução de Big Data Batch •Relatórios Tempo Real •Alertas Predição • Forecast
  5. 5. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Várias ferramentas Glacier S3 DynamoDB RDS EMR Redshift Data Pipeline Kinesis Cassandra Kinesis- enabled app Lambda ML ElastiCache DynamoDB Streams SQS Elastic SearchKinesis Firehose
  6. 6. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Diferencie-se • Empresas muito parecidas • Pense com números • “Erre certo” http://amzn.to/1Wb1Lrw
  7. 7. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. http://imdb.to/1kRJDgn Diferencie-se • Empresas muito parecidas • Pense com números • “Erre certo”
  8. 8. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Existe uma arquitetura de referência? Que ferramentas deveria utilizar? Como? Por quê?
  9. 9. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Princípios Arquiteturais • “Data Bus” Desacoplado • Dados → Armazenamento→ Processamento→ Respostas • Ferramenta certa para o trabalho certo • Estrutura de dados, latência, taxa de transferência, padrões de acesso • Usar idéias com Arquitetura Lambda • Log imutável (append-only), batch/speed/serving layer • Aproveitar serviços gerenciados da AWS • Baixa ou nenhuma administração • Big data ≠ $$$$$$
  10. 10. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Simplificando o processamento de Big Data Ingerir / Coletar Armazenar Processar / Analizar Consumir / Visualizar dados respostas Tempo para as respostas (Latência) Taxa de transferência Custo
  11. 11. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Ingerir / Coletar
  12. 12. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Tipos de Dados • Transacional • Leituras e escritas em BD (OLTP) • Cache • Search • Logs • Streams • Arquivos • Arquivos de log (/var/log) • Coletores de logs e frameworks • Stream • Logs • Sensores & dados de IoT BD Armazenamento de Arquivos Armazenamento de Streams A iOS Android Web Apps Logstash LoggingIoTAplicações Dados Transacionais Arquivos Streams Mobile Apps Dados Indexados Search Collect Store LoggingIoT
  13. 13. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Armazenar
  14. 14. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Armazenamento de Streams A iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon ElastiCache SearchSQLNãoSQL Cache ArmazenamentodeStreamsFileStorage Dados Transacionais Arquivos Streams Mobile Apps Dados Indexados BD Arquivos Search Coletar Armazenar LoggingIoTAplicações 
  15. 15. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Opções de Armazenamento de Streams • Serviços Gerenciados AWS • Amazon Kinesis → streams • DynamoDB Streams → tabela + streams • Amazon SQS → fila • Amazon SNS → pub/sub • Não Gerenciados • Apache Kafka → stream
  16. 16. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Porque armazenamento de Streams? • Desacoplar consumidores & produtores • Buffer persistente • Coletar múltiplas streams • Preservar ordenação • Streaming MapReduce • Consumo paralelo 4 4 3 3 2 2 1 1 4 3 2 1 4 3 2 1 4 3 2 1 4 3 2 1 4 4 3 3 2 2 1 1 Produtor 1 Shard 1 / Partition 1 Shard 2 / Partition 2 Consumidor 1 Count of Red = 4 Count of Violet = 4 Consumidor 2 Count of Blue = 4 Count of Green = 4 Produtor 2 Produtor 3 Produtor N Key = Violet Kafka TopicDynamoDB Stream Kinesis Stream
  17. 17. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. E filas e Pub/Sub? • Desacoplar produtores & consumidores/assinantes • Buffer persistente • Coletar múltiplas streams • Sem ordenação • Sem consumo paralelo Não Amazon SQS • Amazon SNS pode rotear para mais filas SQS ou funções ʎ • Sem streaming MapReduce Consumidores Produtores Produtores Amazon SNS Amazon SQS fila Tópico Função ʎ AWS Lambda Amazon SQS fila Assinante
  18. 18. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Qual armazenamento de storage devo usar? Amazon Kinesis DynamoDB Streams Amazon SQS Amazon SNS Kafka Gerenciado Sim Sim Sim Não Ordenação Sim Sim Não Sim Entrega Pelo menos 1 vez Exatamente 1 vez Pelo menos 1 vez Pelo menos 1 vez Retenção 7 dias 24 horas 14 dias Configurável Replicação 3 AZ 3 AZ 3 AZ Configurável Taxa Transferência Sem Limite Sem Limite Sem Limite # Nodes Clientes Paralelos Sim Sim Não (SQS) Sim MapReduce Sim Sim Não Sim Tamanho Registro 1MB 400KB 256KB Configurável Custo Baixo Alto (custo tabela) Baixo-Médio Baixo (+admin)
  19. 19. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Armazenamento de Arquivos A iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon ElastiCache SearchSQLNoSQLCacheArmazenamentodeStreamsArmazenamentodeArquivos Transacional Arquivos Streams Mobile Apps Indexado BD Search Coletar Armazenar LoggingIoTAplicações
  20. 20. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Por que o S3 é bom para Big Data? • Suportado nativamente por frameworks de Big Data (Spark, Hive, Presto, etc.) • Sem necessidade de rodar clusters para storage (diferente do HDFS) • Permite rodar clusters Hadoop transientes & utilizar instâncias EC2 Spot • Múltiplos clusters distintos podem usar os mesmos dados • Número ilimitado de objetos • Alta taxa de transferência – sem limite agregado de taxa de transferência • Alta disponibilidade – tolera falha nas AZs • Desenhado para durabilidade de 99.999999999% • Tiered-storage (Standard, IA, Amazon Glacier) com políticas de ciclo de vida • Seguro – criptografia em trânsito com SSL, em descanso com client/server-side • Baixo custo
  21. 21. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. O que dizer sobre HDFS e Amazon Glacier? • Usar HDFS para dados frequentemente acessados (quente) • Usar Amazon S3 Standard para dados frequentemente acessados • Usar Amazon S3 Standard – IA para dados que não são frequentemente acessados • Usar Amazon Glacier para arquivar dados frios
  22. 22. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. BD + Search A iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon ElastiCache SearchSQLNoSQLCacheArmazenamentodeStreamsArquivos Transacionais Arquivos Streams Mobile Apps Indexados Coletar Armazenar LoggingIoTAplicações
  23. 23. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Quanto só se tem um martelo, tudo parece como um prego A Lei de Maslow ou Martelo de Maslow, popularmente mencionado com a frase “se tudo o que você tem é um martelo, tudo parece como um prego” é do livro “A Psicologia da Ciência”, de Abraham Maslow. Fonte: https://en.wikipedia.org/wiki/Law_of_the_instrument http://amzn.to/1MVHgO5
  24. 24. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Fonte: https://creativemarket.com/DearthCo/26223-When-you-are-a-hammer...
  25. 25. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. BD + Search – Anti-Pattern RDBMS BD + Search Aplicações
  26. 26. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Search + BD – Anti-Pattern Elastic Search Search + BD Aplicações
  27. 27. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Melhor prática – Ferramenta certa para o trabalho certo Data Tier Search Amazon Elasticsearch Service Amazon CloudSearch Cache Redis Memcached SQL Amazon Aurora MySQL PostgreSQL Oracle SQL Server NoSQL Cassandra Amazon DynamoDB HBase MongoDB Applications BD + Search
  28. 28. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Renove a caixa de ferramentas • Persistência poliglota http://amzn.to/1qUc0oq
  29. 29. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Views Materializadas Amazon ElasticSearch
  30. 30. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Que tipo de armazenamento devo usar? • Estrutura de Dados → Schema fixo, JSON, key-value • Padrões de Acesso → Armazene os dados no formato que você irá acessar • Características de acesso a dados → Quente, morno, frio • Custo → Melhor custo benefício
  31. 31. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Estruturas de Dados e Padrões de Acesso Padrões de Acesso O que usar? Put/Get (Key, Value) Cache, NoSQL Relacionamentos Simples → 1:N, M:N NoSQL Cross table joins, transação, SQL SQL Faceting, Search Search Estrutura de dados O que usar? Schema fixo SQL, NoSQL Sem Schema (JSON) NoSQL, Search (Key, Value) Cache, NoSQL
  32. 32. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Qual a temperatura do seu padrão de acesso aos dados?
  33. 33. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Quente Morno Frio Volume MB–GB GB–TB PB Tamanho do Item B–KB KB–MB KB–TB Latência ms ms, sec min, hrs Durabilidade Baixo–Alto Alto Muito Alto Taxa de acesso Muito Alto Alto Baixo Custo/GB $$-$ $-¢¢ ¢ Dados Quentes Dados Mornos Dados Frios
  34. 34. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Cache SQL Taxa de Acesso Alto Baixo Custo/GB Alto Baixo Latência Baixo Alto GlacierEstrutura NoSQL Quente Morno Frio Baixo Alto Search
  35. 35. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Que tipo de armazenamento devo usar? Amazon ElastiCache Amazon DynamoDB Amazon Aurora Amazon Elasticsearch Amazon EMR (HDFS) Amazon S3 Amazon Glacier Latência Média ms ms ms, sec ms,sec sec,min,hrs ms,sec,min (~ tamanho) hrs Volume de Dados GB GB–TBs (sem limite) GB–TB (64 TB Max) GB–TB GB–PB (~nodes) MB–PB (sem limite) GB–PB (sem limite) Tamanho Item B-KB KB (400 KB max) KB (64 KB) KB (1 MB max) MB-GB KB-GB (5 TB max) GB (40 TB max) Taxa de Acesso Alta - Muito Alta Muito Alta (sem limite) Alta Alta Baixa – Muito Alta Baixa – Muito Alta (sem limite) Muito Baixa Custo armazenamento GB/mês $$ ¢¢ ¢¢ ¢¢ ¢ ¢ ¢/10 Durabilidade Baixo - Moderada Muito Alta Muito Alta Alta Alta Muito Alta Muito Alta Quente Morno Frio
  36. 36. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Desenho orientado a custo • Exemplo: Deveria utilizar Amazon S3 ou DynamoDB? “Estou desenhando um projeto que irá aumentar consideravelmente o uso do Amazon S3 pelo meu time. Espero que você me ajude com algumas questões. A etapa atual do projeto requer trabalhar com muitos arquivos pequenos, talvez chegue a um bilhão durante o pico. O tamanho total deve ser na orderm de 1.5 TB por mês…” Taxa de acesso (Escritas/seg) Tamanho Objeto (Bytes) Tamanho Total (GB/month) Objetos por mês 300 2048 1483 777,600,000
  37. 37. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Desenho orientado a custo • Exemplo: Deveria utilizar Amazon S3 ou DynamoDB? https://calculator.s3.amazonaws.com/index.html
  38. 38. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3 ou DynamoDB? Taxa de acesso (Escritas/seg) Tamanho Objeto (Bytes) Tamanho Total (GB/month) Objetos por mês 300 2048 1483 777,600,000
  39. 39. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Taxa de acesso (Escritas/seg) Tamanho Objeto (Bytes) Tamanho Total (GB/month) Objetos por mês Cenario 1 300 2,048 1,483 3,888,00 Cenario 2 300 32,768 23,730 3,888,00 Amazon S3 Amazon DynamoDB usar usar
  40. 40. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Processar / Analizar
  41. 41. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AnalizarA iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon Redshift Impala Pig Amazon ML Streaming Amazon Kinesis AWS Lambda AmazonElasticMapReduce Amazon ElastiCache SearchSQLNoSQLCache ProcessamentoStreamingBatchInterativo Logging StreamStorage IoTAplicações FileStorage Quente Frio Morno Quente Quente ML Transacionais Arquivo Stream Mobile Apps Indexados Coletar Armazenar Analizar
  42. 42. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Processar / Analizar • Análise de dados é um processo de inspeção, limpeza, transformação, e modelagem de dados com o objetivo de descobrir informações úteis, chegar a conclusões e suportar a tomada de decisão. • Exemplos • Dashboards Interativos → Análise Interativa • Relatórios diários/semanais/mensais → Análise em Batch • Alertas billing/fraude, métricas de 1 min. → Análise em Tempo Real • Análise de sentimento, modelos de predição → Machine learning
  43. 43. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Análise Interativa • Grande quantidade de dados (mornos/frios) • Latência de segundos para retornar respostas • Exemplo: Dashboards self-service
  44. 44. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Análise em Batch • Utiliza uma grande quantidade de dados (quente ou morno) • Leva minutos ou horas para retornar respostas • Exemplos: Gerar relatórios diários, semanais ou mensais
  45. 45. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Análise em Tempo Real • Utiliza uma pequena quantidade de dados e faz perguntas • Leva um pequeno período de tempo (milisegundos ou segundos) para retornar as respostas • Tempo Real (evento) • Responder em tempo real a eventos que chegam em streams de dados • Exemplo: Billing/Alertas de Fraude/Advertisement/Recomendação • Quase Tempo Real (micro batch) • Operações quase em tempo real em pequenos quantidades de eventos em streams de dados • Exemplo: Métricas de 1 minuto
  46. 46. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Predição via Machine Learning • ML dá a computadores a habilidade de aprender sem serem explicitamente programados • Algoritmos de Machine Learning • Aprendizado Supervisionado ← programa que “ensina” • Classificação ← Esta transação é uma fraude? (sim ou não) • Regressão ← Qual o valor total desse cliente? • Aprendizado Não Supervisionado ← deixe ele aprender sozinho • Clustering ← Segmentação de Marketing
  47. 47. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Frameworks e ferramentas de análise • Machine Learning • Mahout, Spark ML, Amazon ML • Análise Interativa • Amazon Redshift, Presto, Impala, Spark • Processamento em Batch • MapReduce, Hive, Pig, Spark • Processamento de Streams • Micro batch: Spark Streaming, KCL, Hive, Pig • Tempo real: Storm, AWS Lambda, KCL Amazon Redshift Impala Pig Amazon Machine Learning Streaming Amazon Kinesis AWS Lambda AmazonEMR StreamsBatchInterativoML Analyze
  48. 48. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Que tecnologia de stream eu devo usar? Spark Streaming Apache Storm Amazon Kinesis Client Library AWS Lambda Amazon EMR (Hive, Pig) Escala / Taxa de Transferência ~ Nós ~ Nós ~ Nós Automático ~ Nós Batch ou Tempo Real Tempo Real Tempo Real Tempo Real Tempo Real Batch Gerenciamento Sim (Amazon EMR) Faça você mesmo Amazon EC2 + Auto Scaling Gerenciado pela AWS Sim (Amazon EMR) Tolerância a Falhas Single AZ Configurável Multi-AZ Multi-AZ Single AZ Linguagens de Programação Java, Python, Scala Qualquer linguagem via Thrift Java, via MultiLangDaemon ( .Net, Python, Ruby, Node.js) Node.js, Java, Python Hive, Pig, Linguagens de Streaming Alta
  49. 49. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Qual tecnologia de processamento de dados eu devo utilizar? Amazon Redshift Impala Presto Spark Hive Latência Consulta Baixa Baixa Baixa Baixa Média (Tez) – Alta (MapReduce) Durabilidade Alta Alta Alta Alta Alta Volume de Dados 1.6 PB Max ~Nós ~Nós ~Nós ~Nós Gerenciado Sim Sim (Amazon EMR) Sim (Amazon EMR) Sim (Amazon EMR) Sim (Amazon EMR) Armazenamento Nativo HDFS / S3A* HDFS / S3 HDFS / S3 HDFS / S3 Compatibilidade com SQL Alto Médio Alto Baixo (SparkSQL) Médio (HQL) Alta
  50. 50. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. E sobre ETL? Store Analyze https://aws.amazon.com/big-data/partner-solutions/ ETL
  51. 51. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Consumir / Visualizar
  52. 52. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Coletar Armazenar Analizar Consumir A iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon Redshift Impala Pig Amazon ML Streaming Amazon Kinesis AWS Lambda AmazonElasticMapReduce Amazon ElastiCache SearchSQLNoSQLCache StreamProcessingBatchInteractive Logging ArmazenamentoStreams IoTAplicações AmazenamentoArquivos Analysis&Visualization Quente Frio Morno Quente Lento Quente ML Rápido Rápido Transacional Arqquivos Streams Notebooks Predictions Apps & APIs Mobile Apps IDE Search ETL Amazon QuickSight
  53. 53. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Consumir • Predições • Análise e Visualização • Notebooks • • IDE • Aplicações & API Consume AnáliseeVisualização Amazon QuickSight Notebooks Predições Apps & APIs IDE Armazenar Analizar ConsumirETL Business Users Cientistas de Dados, Desenvolvedores
  54. 54. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Colocando tudo junto Coletar Armazenar Analizar Consumir A iOS Android Web Apps Logstash Amazon RDS Amazon DynamoDB Amazon ES Amazon S3 Apache Kafka Amazon Glacier Amazon Kinesis Amazon DynamoDB Amazon Redshift Impala Pig Amazon ML Streaming Amazon Kinesis AWS Lambda AmazonElasticMapReduce Amazon ElastiCache SearchSQLNoSQLCache StreamProcessingBatchInteractive Logging StreamStorage IoTApplications FileStorage Analysis&Visualization Quente Frio Morno Quente Lento Quente ML Rápido Rápido Amazon QuickSight Transacional Arquivos Streams Notebooks Predictions Apps & APIs Mobile Apps IDE Search ETL Arquitetura de Referência
  55. 55. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Padrões de arquitetura
  56. 56. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Cenário 1: Enterprise Data Warehouse Data Warehouse Architecture Data Sources Amazon S3 Amazon EMR Amazon S3 Amazon Redshift Amazon QuickSight
  57. 57. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Multi-Stage Decoupled “Data Bus” • Múltiplos estágios • Armazenamento desacoplado do processamento Armazenar Processar Armazenar Processar
  58. 58. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Cenário 2: Capturando e analisando dados de sensores Data Sources Amazon S3 Amazon Redshift Amazon QuickSight Amazon Kinesis Enabled App Amazon Kinesis Enabled App Amazon DynamoDB Reposting Dashboard Customer Access Amazon Kinesis 1 2 3 4 5 6 7 8 9
  59. 59. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Cenário 3: Analise de sentimento e redes sociais Social Media Data Amazon EC2 Amazon Lambda Amazon ML Amazon Kinesis Amazon S3 Amazon SNS 1 2 4 5 6 3 7
  60. 60. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Sumário • “Data Bus” Desacoplado • Dados → Armazenamento→ Processamento→ Respostas • Ferramenta certa para o trabalho certo • Estrutura de dados, latência, taxa de transferência, padrões de acesso • Usar idéias com Arquitetura Lambda • Log imutável (append-only), batch/speed/serving layer • Aproveitar serviços gerenciados da AWS • Baixa ou nenhuma administração • Big data ≠ $$$$$$
  61. 61. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Obrigado! Thiago Paulino | Arquiteto de Soluções

×