Seu primeiro aplicativo de Big Data

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Thiago Paulino | Arquiteto de Soluções
Setembro de 2016
Seu primeiro aplicativo de Big Data
Thoran Rodrigues | Founder & CEO BigData Corp.

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
O que esperar dessa sessão?
• Desafios de Big Data
• Como simplificar o processamento dos dados?
• Que tecnologias devo utilizar?
• Por quê?
• Como?
• Caso de sucesso (Thoran Rodrigues) BigData Corp.

Big Data crescendo, sempre
Volume
Velocidade
Variedade

Evolução de Big Data
Batch
•Relatórios
Tempo Real
•Alertas
Predição
• Forecast

Várias ferramentas
Glacier
S3 DynamoDB
RDS
EMR
Redshift
Data Pipeline
Kinesis
Cassandra
Kinesis-
enabled
app
Lambda ML
ElastiCache
DynamoDB
Streams
SQS
Elastic SearchKinesis Firehose

Diferencie-se
• Empresas muito parecidas
• Pense com números
• “Erre certo”
http://amzn.to/1Wb1Lrw

http://imdb.to/1kRJDgn
Diferencie-se
• Empresas muito parecidas
• Pense com números
• “Erre certo”

Existe uma arquitetura de referência?
Que ferramentas deveria utilizar?
Como?
Por quê?

Princípios Arquiteturais
• “Data Bus” Desacoplado
• Dados → Armazenamento→ Processamento→ Respostas
• Ferramenta certa para o trabalho certo
• Estrutura de dados, latência, taxa de transferência, padrões de
acesso
• Usar idéias com Arquitetura Lambda
• Log imutável (append-only), batch/speed/serving layer
• Aproveitar serviços gerenciados da AWS
• Baixa ou nenhuma administração
• Big data ≠ $$$$$$

Simplificando o processamento de Big
Data
Ingerir /
Coletar
Armazenar Processar /
Analizar
Consumir /
Visualizar
dados respostas
Tempo para as respostas (Latência)
Taxa de transferência
Custo

Ingerir /
Coletar

Tipos de Dados
• Transacional
• Leituras e escritas em BD
(OLTP)
• Cache
• Search
• Logs
• Streams
• Arquivos
• Arquivos de log (/var/log)
• Coletores de logs e
frameworks
• Stream
• Logs
• Sensores & dados de IoT
BD
Armazenamento
de Arquivos
Armazenamento
de Streams
A
iOS Android
Web Apps
Logstash
LoggingIoTAplicações
Dados Transacionais
Arquivos
Streams
Mobile
Apps
Dados
Indexados
Search
Collect Store
LoggingIoT

Armazenar

Armazenamento
de Streams
A
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
ElastiCache
SearchSQLNãoSQL
Cache
ArmazenamentodeStreamsFileStorage
Dados Transacionais
Arquivos
Streams
Mobile
Apps
Dados
Indexados
BD
Arquivos
Search
Coletar Armazenar


Opções de Armazenamento de Streams
• Serviços Gerenciados AWS
• Amazon Kinesis → streams
• DynamoDB Streams → tabela + streams
• Amazon SQS → fila
• Amazon SNS → pub/sub
• Não Gerenciados
• Apache Kafka → stream

Porque armazenamento de Streams?
• Desacoplar consumidores & produtores
• Buffer persistente
• Coletar múltiplas streams
• Preservar ordenação
• Streaming MapReduce
• Consumo paralelo
4 4 3 3 2 2 1 1
4 3 2 1
4 3 2 1
4 3 2 1
4 3 2 1
4 4 3 3 2 2 1 1
Produtor 1
Shard 1 / Partition 1
Shard 2 / Partition 2
Consumidor 1
Count of
Red = 4
Count of
Violet = 4
Consumidor 2
Count of
Blue = 4
Count of
Green = 4
Produtor 2
Produtor 3
Produtor N
Key = Violet
Kafka TopicDynamoDB Stream Kinesis Stream

E filas e Pub/Sub?
• Desacoplar produtores &
consumidores/assinantes
• Buffer persistente
• Coletar múltiplas streams
• Sem ordenação
• Sem consumo paralelo
Não Amazon SQS
• Amazon SNS pode
rotear para mais filas
SQS ou funções ʎ
• Sem streaming
MapReduce
Consumidores
Produtores
Produtores
Amazon SNS
Amazon SQS
fila
Tópico
Função
ʎ
AWS Lambda
Amazon SQS
fila
Assinante

Qual armazenamento de storage devo usar?
Amazon
Kinesis
DynamoDB
Streams
Amazon SQS
Amazon SNS
Kafka
Gerenciado Sim Sim Sim Não
Ordenação Sim Sim Não Sim
Entrega Pelo menos 1 vez Exatamente 1 vez Pelo menos 1 vez Pelo menos 1 vez
Retenção 7 dias 24 horas 14 dias Configurável
Replicação 3 AZ 3 AZ 3 AZ Configurável
Taxa Transferência Sem Limite Sem Limite Sem Limite # Nodes
Clientes Paralelos Sim Sim Não (SQS) Sim
MapReduce Sim Sim Não Sim
Tamanho Registro 1MB 400KB 256KB Configurável
Custo Baixo Alto (custo
tabela)
Baixo-Médio Baixo (+admin)

Armazenamento
de Arquivos
A
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
ElastiCache
SearchSQLNoSQLCacheArmazenamentodeStreamsArmazenamentodeArquivos
Transacional
Arquivos
Streams
Mobile
Apps
Indexado
BD
Search
Coletar Armazenar

Por que o S3 é bom para Big Data?
• Suportado nativamente por frameworks de Big Data (Spark, Hive, Presto, etc.)
• Sem necessidade de rodar clusters para storage (diferente do HDFS)
• Permite rodar clusters Hadoop transientes & utilizar instâncias EC2 Spot
• Múltiplos clusters distintos podem usar os mesmos dados
• Número ilimitado de objetos
• Alta taxa de transferência – sem limite agregado de taxa de transferência
• Alta disponibilidade – tolera falha nas AZs
• Desenhado para durabilidade de 99.999999999%
• Tiered-storage (Standard, IA, Amazon Glacier) com políticas de ciclo de vida
• Seguro – criptografia em trânsito com SSL, em descanso com client/server-side
• Baixo custo

O que dizer sobre HDFS e Amazon
Glacier?
• Usar HDFS para dados
frequentemente acessados
(quente)
• Usar Amazon S3 Standard
para dados
frequentemente acessados
• Usar Amazon S3 Standard
– IA para dados que não
são frequentemente
acessados
• Usar Amazon Glacier para
arquivar dados frios

BD +
Search
A
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
ElastiCache
SearchSQLNoSQLCacheArmazenamentodeStreamsArquivos
Transacionais
Arquivos
Streams
Mobile
Apps
Indexados
Coletar Armazenar

Quanto só se tem um martelo, tudo
parece como um prego
A Lei de Maslow ou
Martelo de Maslow,
popularmente
mencionado com a frase
“se tudo o que você tem é
um martelo, tudo parece
como um prego” é do livro
“A Psicologia da Ciência”,
de Abraham Maslow.
Fonte: https://en.wikipedia.org/wiki/Law_of_the_instrument
http://amzn.to/1MVHgO5

Fonte: https://creativemarket.com/DearthCo/26223-When-you-are-a-hammer...

BD + Search – Anti-Pattern
RDBMS
BD + Search
Aplicações

Search + BD– Anti-Pattern
Elastic Search
Search + BD
Aplicações

Melhor prática – Ferramenta certa para o
trabalho certo
Data Tier
Search
Amazon
Elasticsearch
Service
Amazon
CloudSearch
Cache
Redis
Memcached
SQL
Amazon Aurora
MySQL
PostgreSQL
Oracle
SQL Server
NoSQL
Cassandra
Amazon
DynamoDB
HBase
MongoDB
Applications
BD + Search

Renove a caixa de ferramentas
• Persistência poliglota
http://amzn.to/1qUc0oq

Views Materializadas
Amazon
ElasticSearch

Que tipo de armazenamento devo usar?
• Estrutura de Dados → Schema fixo, JSON, key-value
• Padrões de Acesso → Armazene os dados no formato que
você irá acessar
• Características de acesso a dados → Quente, morno, frio
• Custo → Melhor custo benefício

Estruturas de Dados e Padrões de
Acesso
Padrões de Acesso O que usar?
Put/Get (Key, Value) Cache, NoSQL
Relacionamentos Simples → 1:N, M:N NoSQL
Cross table joins, transação, SQL SQL
Faceting, Search Search
Estrutura de dados O que usar?
Schema fixo SQL, NoSQL
Sem Schema (JSON) NoSQL, Search
(Key, Value) Cache, NoSQL

Qual a temperatura do seu padrão de
acesso aos dados?

Quente Morno Frio
Volume MB–GB GB–TB PB
Tamanho do Item B–KB KB–MB KB–TB
Latência ms ms, sec min, hrs
Durabilidade Baixo–Alto Alto Muito Alto
Taxa de acesso Very Alto Alto Baixo
Custo/GB $$-$ $-¢¢ ¢
Dados Quentes Dados Mornos Dados Frios

Cache
SQL
Taxa de Acesso
Alto Baixo
Custo/GB
Alto Baixo
Latência
Baixo Alto
GlacierEstrutura
NoSQL
Quente Morno Frio
Baixo
Alto
Search

Que tipo de armazenamento devo usar?
Amazon
ElastiCache
Amazon
DynamoDB
Amazon
Aurora
Amazon
Elasticsearch
Amazon
EMR (HDFS)
Amazon S3 Amazon
Glacier
Latência
Média
ms ms ms, sec ms,sec sec,min,hrs ms,sec,min
(~ tamanho)
hrs
Volume de
Dados
GB GB–TBs
(sem limite)
GB–TB
(64 TB
Max)
GB–TB GB–PB
(~nodes)
MB–PB
(sem limite)
GB–PB
(sem limite)
Tamanho Item B-KB KB
(400 KB
max)
KB
(64 KB)
KB
(1 MB max)
MB-GB KB-GB
(5 TB max)
GB
(40 TB max)
Taxa de Acesso Alta -
Muito Alta
Muito Alta
(sem limite)
Alta Alta Baixa –
Muito Alta
Baixa –
Muito Alta
(sem limite)
Muito Baixa
Custo
armazenamento
GB/mês
$$ ¢¢ ¢¢ ¢¢ ¢ ¢ ¢/10
Durabilidade Baixo -
Moderada
Muito Alta Muito
Alta
Alta Alta Muito Alta Muito Alta
Quente Morno Frio

Desenho orientado a custo
• Exemplo: Deveria utilizar Amazon S3 ou DynamoDB?
“Estou desenhando um projeto que irá aumentar
consideravelmente o uso do Amazon S3 pelo meu time. Espero
que você me ajude com algumas questões. A etapa atual do
projeto requere trabalhar com muitos arquivos pequenos,
talvez chegue a um bilhão durante o pico. O tamanho total
deve ser na orderm de 1.5 TB por mês…”
Taxa de acesso
(Escritas/seg)
Tamanho Objeto
(Bytes)
Tamanho Total
(GB/month)
Objetos por mês
300 2048 1483 777,600,000

Desenho orientado a custo
• Exemplo: Deveria utilizar Amazon S3 ou DynamoDB?
https://calculator.s3.amazonaws.com/index.html

Amazon S3 ou DynamoDB?
Taxa de acesso
(Escritas/seg)
Tamanho
Objeto
(Bytes)
Tamanho
Total
(GB/month)
Objetos por
mês
300 2048 1483 777,600,000

Taxa de acesso
(Escritas/seg)
Tamanho Objeto
(Bytes)
Tamanho Total
(GB/month)
Objetos por mês
Cenario 1 300 2,048 1,483 777,600,000
Cenario 2 300 32,768 23,730 777,600,000
Amazon S3
Amazon DynamoDB
usar
usar

Processar /
Analizar

AnalizarA
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
Redshift
Impala
Pig
Amazon ML
Streaming
Amazon
Kinesis
AWS
Lambda
AmazonElasticMapReduce
Amazon
ElastiCache
SearchSQLNoSQLCache
ProcessamentoStreamingBatchInterativo
Logging
StreamStorage
IoTAplicações
FileStorage
Quente
Frio
Morno
Quente
Quente
ML
Transacionais
Arquivo
Stream
Mobile
Apps
Indexados
Coletar Armazenar Analizar

Processar / Analizar
• Análise de dados é um processo de inspeção, limpeza,
transformação, e modelagem de dados com o objetivo de
descobrir informações úteis, chegar a conclusões e suportar a
tomada de decisão.
• Exemplos
• Relatórios diários/semanais/mensais → Análise em Batch
• Alertas billing/fraude, métricas de 1 min. → Análise em Tempo Real
• Análise de sentimento, modelos de predição → Machine learning

Análise em Batch
• Utiliza uma grande quantidade de dados (quente ou morno)
• Leva minutos ou horas para retornar respostas
• Exemplos: Gerar relatórios diários, semanais ou mensais

Análise em Tempo Real
• Utiliza uma pequena quantidade de dados e faz perguntas
• Leva um pequeno período de tempo (milisegundos ou segundos)
para retornar as respostas
• Tempo Real (evento)
• Responder em tempo real a eventos que chegam em streams de dados
• Exemplo: Billing/Alertas de Fraude/Advertisement/Recomendação
• Quase Tempo Real (micro batch)
• Operações quase em tempo real em pequenos quantidades de eventos em
streams de dados
• Exemplo: Métricas de 1 minuto

Predição via Machine Learning
• ML dá a computadores a habilidade de aprender sem serem
explicitamente programados
• Algoritmos de Machine Learning
• Aprendizado Supervisionado ← programa que “ensina”
• Classificação ← Esta transação é uma fraude? (sim ou não)
• Regressão ← Qual o valor total desse cliente?
• Aprendizado Não Supervisionado ← deixe ele aprender sozinho
• Clustering ← Segmentação de Marketing

Frameworks e ferramentas de análise
• Machine Learning
• Mahout, Spark ML, Amazon ML
• Análise Interativa
• Amazon Redshift, Presto, Impala, Spark
• Processamento em Batch
• MapReduce, Hive, Pig, Spark
• Processamento de Streams
• Micro batch: Spark Streaming, KCL, Hive, Pig
• Tempo real: Storm, AWS Lambda, KCL
Amazon
Redshift
Impala
Pig
Amazon Machine
Learning
Streaming
Amazon
Kinesis
AWS
Lambda
AmazonEMR
StreamsBatchInterativoML
Analyze

Que tecnologia de stream eu devo usar?
Spark Streaming Apache Storm Amazon Kinesis Client
Library
AWS Lambda Amazon EMR (Hive, Pig)
Escala / Taxa de
Transferência
~ Nós ~ Nós ~ Nós Automático ~ Nós
Batch ou Tempo
Real
Tempo Real Tempo Real Tempo Real Tempo Real Batch
Gerenciamento Sim (Amazon EMR) Faça você mesmo Amazon EC2 + Auto
Scaling
Gerenciado pela AWS Sim (Amazon EMR)
Tolerância a Falhas Single AZ Configurável Multi-AZ Multi-AZ Single AZ
Linguagens de
Programação
Java, Python, Scala Qualquer
linguagem via Thrift
Java, via
MultiLangDaemon (
.Net, Python, Ruby,
Node.js)
Node.js, Java, Python Hive, Pig, Linguagens de
Streaming
Alta

Qual tecnologia de processamento de
dados eu devo utilizar?
Amazon
Redshift
Impala Presto Spark Hive
Latência
Consulta
Baixa Baixa Baixa Baixa Média (Tez) – Alta
(MapReduce)
Durabilidade Alta Alta Alta Alta Alta
Volume de
Dados
1.6 PB
Max
~Nós ~Nós ~Nós ~Nós
Gerenciado Sim Sim
(Amazon EMR)
Sim
(Amazon EMR)
Sim
(Amazon EMR)
Sim
(Amazon EMR)
Armazenamento Nativo HDFS / S3A* HDFS / S3 HDFS / S3 HDFS / S3
Compatibilidade
com SQL
Alto Médio Alto Baixo (SparkSQL) Médio (HQL)
Alta

E sobre ETL?
Store Analyze
https://aws.amazon.com/big-data/partner-solutions/
ETL

Consumir /
Visualizar

Coletar Armazenar Analizar Consumir
A
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
Redshift
Impala
Pig
Amazon ML
Streaming
Amazon
Kinesis
AWS
Lambda
Amazon
ElastiCache
SearchSQLNoSQLCache
StreamProcessingBatchInteractive
Logging
ArmazenamentoStreams
IoTAplicações
AmazenamentoArquivos
Analysis&Visualization
Quente
Frio
Morno
Quente
Lento
Quente
ML
Rápido
Rápido
Transacional
Arqquivos
Streams
Notebooks
Predictions
Apps & APIs
Mobile
Apps
IDE
Search
ETL
Amazon
QuickSight

Consumir
• Predições
• Análise e Visualização
• Notebooks
•
• IDE
• Aplicações & API
Consume
AnáliseeVisualização
Amazon
QuickSight
Notebooks
Predições
Apps & APIs
IDE
Armazenar Analizar ConsumirETL
Business
Users
Cientistas de
Dados,
Desenvolvedores

Colocando tudo junto
Coletar Armazenar Analizar Consumir
A
iOS Android
Web Apps
Logstash
Amazon
RDS
Amazon
DynamoDB
Amazon
ES
Amazon
S3
Apache
Kafka
Amazon
Glacier
Amazon
Kinesis
Amazon
DynamoDB
Amazon
Redshift
Impala
Pig
Amazon ML
Streaming
Amazon
Kinesis
AWS
Lambda
Amazon
ElastiCache
SearchSQLNoSQLCache
StreamProcessingBatchInteractive
Logging
StreamStorage
IoTApplications
FileStorage
Analysis&Visualization
Quente
Frio
Morno
Quente
Lento
Quente
ML
Rápido
Rápido
Amazon
QuickSight
Transacional
Arquivos
Streams
Notebooks
Predictions
Apps & APIs
Mobile
Apps
IDE
Search
ETL
Arquitetura de Referência

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Experiência da BigData Corp.
Thoran Rodrigues
Founder & CEO

“A AWS viabilizou a existência da
nossa empresa”
• A BigData Corp. é uma empresa
especializada na captura e
estruturação de dados da web,
atendendo clientes nas mais
diferentes verticais e mercados.
• O principal produto da empresa
são os dados capturados e
estruturados.
“A AWS permitiu uma
ESCALA DE
PROCESSAMENTO
inédita para uma
empresa do nosso
porte.”
- Thoran Rodrigues,
Founder & CEO

O Desafio
• Big Data começa com dados, mas
como viabilizar a captura de dados e
estruturação em grande escala?
- # de servidores (dezenas de
milhares);
- Armazenamento (petabytes /
semana);
- Processamento e análise
(ferramentas especializadas).

Solução

Sumário
• “Data Bus” Desacoplado
• Dados → Armazenamento→ Processamento→ Respostas
• Ferramenta certa para o trabalho certo
• Estrutura de dados, latência, taxa de transferência, padrões de
acesso
• Usar idéias com Arquitetura Lambda
• Log imutável (append-only), batch/speed/serving layer
• Aproveitar serviços gerenciados da AWS
• Baixa ou nenhuma administração
• Big data ≠ $$$$$$

Obrigado!

Seu primeiro aplicativo de Big Data

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (12)

Semelhante a Seu primeiro aplicativo de Big Data

Semelhante a Seu primeiro aplicativo de Big Data (20)

Mais de Amazon Web Services LATAM

Mais de Amazon Web Services LATAM (20)

Seu primeiro aplicativo de Big Data