TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - Apache kudu

1© Cloudera, Inc. All rights reserved.
Apache Kudu
Fast Analytics on Fast Data
Alan Silva acs@cloudera.com
Claudio Takamiya ct@cloudera.com

Alan Silva
Ficha criminal
• Cumpriu a primeira pena finalizando o seu
Bacharelado em Matemática;
• Reincidente, concluiu seu mestrado na UFSCar;
• Trabalhou com arquitetura e desenvolvimento em
algumas empresas de segurança da informação e
telecomunicações;
• Com o intuito de reduzir a pena, participou de
forma voluntária em alguns projetos opensource;
• Hoje atua como cúmplice direto na adoção de
projetos com Big Data em grandes organizações;
Silva
Alan
Senior Solutions Architect

Claudio Seidi Takamiya
Ficha criminal
• Cumpriu pena na Universidade de São Paulo -
Bacharelado em Ciência da Computação
• Solto por bom comportamento depois de 4 anos;
• Fez parte do grupo de Arquitetura da Telefonica –
Vivo.
• Realiza PoC nas empresas;
• Não coloca comentários em seu código;
Takamiya
Claudio
Senior Systems Engineer

01-13© Copyright 2010-2016 Cloudera. All rights reserved. Not to be reproduced or shared without prior written consent from Cloudera.
§ The leader in Apache Hadoop-based software and services
–Founded by Hadoop experts from Facebook, Yahoo, Google, and Oracle
§ Provides support, consulting, training, and certification for Hadoop users
–A global leader with 1,000+ employees spanning more than 20 countries
§ Staff includes committers to virtually all Hadoop projects
–Many authors of industry standard books on Apache Hadoop projects
About Cloudera (1)

Vendor Integration
BI/Analytics ETL Database OS/Cloud/
System
Management
Hardware

Agenda
Storage para Dados Analíticos Atualizáveis
• Onde o Kudu se encaixa
• Em que situações o Kudu é indicado
• Melhor forma de usar
• Arquitetura do Kudu
• Modelando Tabelas para Kudu
• Benefícios do Kudu
• Exemplo: Caso de Uso Ideal para Kudu
• Entendendo a Complexidade
• Onde o Kudu se aplica?
• Utilização do Kudu para Workload Analítico

”Para quem só sabe usar
martelo, todo problema é
um prego”
(Abraham Maslow)

Storage para Dados Analíticos Atualizáveis
Analítico simples em real-time e atualizações com Apache Kudu
Kudu: Storage para análises rápidas em “dados rápidos”
• Simplifica arquitetura para construir aplicações analíticas
real-time
• Projetada para a próxima geração de hardware para um
desempenho analítico superior através dos frameworks
• Engine de Armazenamento nativo para o Ecossistema
Hadoop
Flexibilidade da ferramenta adequada para cada caso de
uso em uma única plataforma
• Base de Dados analítco: Kudu + Impala
• Aplicações real-time simples com Kudu + Spark
Casos de Uso
• Dados de Séries Temporais
• Analítico de Dados de Maquinas (IoT)
• Relatórios Online (Online reporting)
STRUCTURED
Sqoop
UNSTRUCTURED
Kafka, Flume
PROCESS, ANALYZE, SERVE
UNIFIED SERVICES
RESOURCE MANAGEMENT
YARN
SECURITY
Sentry, RecordService
STORE
INTEGRATE
BATCH
Spark, Hive, Pig
MapReduce
STREAM
Spark
SQL
Impala
SEARCH
Solr
OTHER
Kite
NoSQL
HBase
FILESYSTEM
HDFS
RELATIONAL
Kudu
OBJECT
Cloud

HDFS
Fast Scans, Analítico
e Processamento de
Dados Armazenados
Atualizações
rápidas on-line
& Serviço de
dados
Armazenamento
(Active Archive)
Análises Rápidas
(em dados que mudam
muito rapidamente ou
atualizados
frequentemente)
Onde o Kudu se encaixa
Casos de uso que ficam entre HDFS e HBase são difíceis de gerenciar
Estático
Mudanças Rápidas
Atualizações
Frequentes
HBase
Append-Only
Real-Time
Arquitetura
Híbrida Complexa
Gap
Analítico
Rítmo das Análises
Rítmodos Dados

HDFS
Fast Scans, Analítico
e Processamento de
Dados Armazenados
Atualizações
rápidas on-line
& Serviço de
dados
Armazenamento
(Active Archive)
Análises Rápidas
(em dados que mudam
muito rapidamente ou
atualizados
frequentemente)
Onde o Kudu se encaixa
Casos de uso que ficam entre HDFS e HBase são difíceis de gerenciar
Estático
Mudanças Rápidas
Atualizações
Frequentes
HBase
Append-Only
Real-Time
Gap
Analítico
Rítmo das Análises
Rítmodos Dados
Cobertura
Aplicações Analíticas
Modernas geralmente
requerem fluxo
complexo de dados &
dificuldade de integrar
Hbase & HDFS

Em que situações o Kudu é indicado?
Uma combinação simultânea de leituras e escritas sequencias e randômicas
Consegue inserir dados de séries
temporais em real time? Quanto
demora a preparação da análise?
Os resultados saem em tempo hábil
para tomar alguma ação?
Consegue lidar com grandes
volumes de dados gerados por
máquinas? Tem ferramentas para
identificar ameaças? Seu sistema
consegue fazer machine learning?
Quão rápido você adiciona os seus
dados para seu banco de dados?
Você está enfrentando um tradeoff
entre a capacidade de realizar
análises amplas e a capacidade de
fazer atualizações? Você omite
dados?
Dados de Séries Temporais Analítico em Dados de Máquinas Online Reporting

Melhor forma de usar
Kudu se beneficia com a Integração com o ecossistema Hadoop
Spark – Stream Processing para Kudu
• Padrão aberto para processamento em stream;
• Eficaz em automação de processo de decisão e Machine
Learning;
• Casos de Usos: Dados de Séries Temporais & Machine Data
Analytics
Impala – High-Performance BI & SQL para Kudu
• Padrão aberto para queries SQL interativas;
• Capacidade de carga de trabalho de banco de dados analítico
com flexibilidade, escalabilidade e arquitetura aberta
• Casos de uso incluso: Online Reporting

”Hoje não vou dar, vou é
distribuir”
(Filme :Bruna Surfistinha, 2011)

Arquitetura do Kudu
Principais componentes
Kudu
• É um engine de armazenamento standalone
• Armazena dados ”tipados” em modelo tabular para
acessos rápidos
• Tabelas Kudu são tipicamente de terabytes ou petabytes
de tamanho
• O design do Kudu é para acesso randômico e queries
analíticas em dados estruturados:
ü É possível realizar varreduras (scans), pesquisas
randômicas, e atualizações nos dados em tabelas.
• Os dados armazenados no Kudu são organizados em
tabelas:
ü As tabelas são particionadas em pedaços menores
chamados de tablets
ü Os tablets são armazenados nos servidores Kudu
Tablet

Arquitetura do Kudu
Formato colunar e Tipos Explícitos
Kudu
• Os tipos de dados em Kudu são explicitos:
ü Diferente do estilo NoSQL ”tudo é byte”
ü Possibilita o uso de codificações específicas por tipos
de colunas, ex: bit-packing para inteiros;
• Tipos explícitos facilita a disponibilização de metadados no
estilo SQL para outras ferramentas usadas em BI ou
ferramentas de exploração de dados
A B C
A1 B1 C1
A2 B2 C2
A3 B3 C3 A1 A2 A3 B1 B2 B3 C1 C2 C3
A1 B2 C1 A2 B2 C2 A3 B3 C3
Kudu: armazenamento baseado em colunas
Banco de dados relacional: armazenamento
baseado em linha

Arquitetura do Kudu
Acesso e Ingestão de Dados
• O Kudu possui conectores que suportam diversos engines
SQL:
ü Apache Impala
ü Spark SQL
• Junto com o Kudu é empacotado um componente Sink
para o Apache Flume
• Um conector Apache Sqoop para Kudu já está disponível
com um patch
Apache Impala
Conectores SQL
Sink

Modelando tabelas para Kudu
Critérios de um bom design
Critérios:
• Os dados devem ser distribuídos de forma que a leitura e a gravação
sejam espalhadas uniformemente entre os tablet servers
(Particionamento);
• Os tablets devem ter um crescimento a uma taxa uniforme e a carga
deve ser uniforme entre os tablets (Particionamento);
• Os ”scans” devem ler o mínimo de dados necessários para atender uma
query (Desenho da chave primária);

Modelando tabelas para Kudu
Critérios de um bom design
Particionamento:
Estratégia (ex) Escrita Leitura Crescimento do Tablet
range(time)
todas escritas vão
para última partição
Em varreduras as
partições podem ser
descartadas
Novos tablets
podem ser adicionadas
hash(host, metric)
Escritas são
distribuídas de
forma uniforme
Em varreduras em
hosts específicos e
métricas especificas
podem ser descartadas
Tablets podem crescer
muito

Beneficios do Kudu
Benefícios:
• Simplifica bastante a arquitetura da solução. Na Arquitetura Lambda a
ingestão dos dados é simplificada, pois não é necessária a materialização
de várias views;
• O acoplamento da aplicação Web é muito menor. Não é necessário a
criação de nenhuma tabela para uma nova visão (query) e pode usar o
SQL para realizar as consultas. Com o Hbase seria necessário usar a API
Java ou Thrift;
• O Kudu já está preparado para a próxima geração de Hardware, tirando
melhor proveito de SSD e Persistent Memory (3D Xpoint);

PRODUCER
KAFKA
Tópico Evento 1
Tópico Evento 2
Regra de Negócio
(Streaming)
Broker de
mensagens
Armazenamento Engine MPP
Exemplo: Caso de uso ideal para Kudu
Arquitetura sem Kudu – Analítico: Relatório Online
JDBC
Dashboard
Web
É Possível,
também...

Arquitetura antes do Kudu – Analítico: Relatório Online
PRODUCER
KAFKA
Tópico Evento 1
Tópico Evento 2
Regra de Negócio
(Streaming)
Broker de
mensagens
Dashboard
Web
JDBC
Batch Layer
Serving Layer
Speed Layer
Stream de
dados
Spark Stream
Processo
Stream
Incrementa as
viewsAdição de novos dados
View
1
View
2
View
3Hbase (Real Time)
View
1
View
1
View
1
Impala (Parquet)
HDFS
Job Batch
(Spark - Transformação em
formato Parquet)
Processamento
Batch recorrente
merge
Spark
Query
Arquitetura

Qual o desafio?
Complexidade:
• Vários componentes para
equilibrar;
• Forte acoplamento da
aplicação;
• Difícil manutenção.

Entendendo a complexidade
HBase
Alguns princípios para modelagem Hbase:
• Desenho da solução por caso de uso:
• Leitura, Gravação ou Ambos;
• Design de Schema é a combinação de:
• Design de chaves (linha e coluna);
• Segregação de dados em ”column families”;
• Escolha de compressão e tamanho de blocos;
• ”Denormalization, Duplication, and Intelligent Keys” - DDI

HBase
Chave-Valor
Ignora Linhas
Ignora Store Files
Filtro
Chave
Desempenho
Aumenta a Cardinalidade

HBase
ID CLIENTE
1 José
2 Luis
3 Hugo
Tabela: Clientes
ID LIVRO
1 Guerra dos Tronos: As crônicas do Fogo e Gelo
2 Senhor dos Anéis: A sociedade do Anel
3 O Hobbit
4 Harry Potter e a Câmara Sec..
Tabela: Livros
id Id_cli Id_livro data
1 1 2 15/07/2015
2 1 3 11/10/2016
3 2 1 22/03/2016
4 3 1 13/06/2017
5 3 4 11/09/2016
Tabela: Compras
key Id_cli Dt_livro:1 Dt_livro:2 Dt_livro:3 Dt_livro:4
1 1 15/07/2015 11/10/2016
2 2 22/03/2016
3 3 13/06/2017 11/09/2016
CF:f1

HBase
Complicações:
• Dificuldade de criar um modelo que atenda todas as visões para o
relatório online;
• Para oferecer uma leitura rápida para aplicações Webs, ou análise dados
online, podemos usar jobs MapReduce para criar tabelas otimizadas
para leitura (dados desnormalizados);
• Novas visões podem exigir mudanças nos Jobs MapReduce;
• A aplicação Web (Relatório Online) está fortemente acoplado ao modelo
das tabelas do HBase.

Onde o Kudu se aplica?
Financeiro/Seguros
• Stream market data
• Detecção e Prevenção
de Fraude em tempo
Real
• Monitoração de Risco
Varejo
• Ofertas em Real Time
• Indicação de Ofertas
baseadas em localização
Setor Público
• Monitoração Geo-
espacial
• Detecção de Riscos e
Ameaças em Tempo Real
• Monitoração de Saúde
PúblicaServiços
• Monitoração Real-time
de consumo/ofertas
• Grid health monitoring
IoT & Indústrias
• Correlação e
Monitoração de sensores
em Tempo Real
• Manutenção Preditiva
• Garantia de Qualidade
na Manufatura

”You must unlearn what you
have learned”
(Filme: Start Wars – Episódio V, 1980-
Mestre Yoda)

PRODUCER
KAFKA
Tópico Evento 1
Tópico Evento 2
Regra de Negócio
(Streaming)
Broker de
mensagens
Utilização do Kudu para Workload Analítico
Relatório Online
JDBC
Dashboard
Web

Por onde começar?
Usuários
Baixar o Kudu / VM de teste:
getkudu.io
Lista de discussão:
kudu-user@googlegroups.com
Artigo que mostra a
motivação do Kudu:
getkudu.io/kudu.pdf
Desenvolvedores
Contribuíndo com o Kudu:
github.com/cloudera/kudu (commits)
gerrit.cloudera.org (reviews)
issues.cloudera.org (KUDU JIRA)
Lista de desenvolvimento do
Kudu:
kudu-dev@googlegroups.com
Contribuições e Participações são sempre bem-vindas!

One more thing…
https://www.meetup.com/pt-BR/Cloudera-Brasil-Meetup/

Obrigado!

TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - Apache kudu

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - Apache kudu

Semelhante a TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - Apache kudu (20)

Mais de tdc-globalcode

Mais de tdc-globalcode (20)

Último

Último (20)

TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - Apache kudu