SlideShare uma empresa Scribd logo
1 de 29
Baixar para ler offline
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
列指向DB HPVertica
~その圧倒的な高速検索の謎を解き明かす~
2013年5月30日
日本ヒューレット・パッカード株式会社
HPソフトウェア事業統括 Vertica事業部
プリセールスマネージャー 相澤 恵奏
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
Vertica事例(WWで2500社以上)
Communications
Consumer
Marketing
Online Web and
Gaming
Healthcare RetailFinancial Services
大統領選挙
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3
HP Vertica Analytics Platform
Big Dataのためのリアルタイム解析データベースプラットフォーム
 高速性: 列指向RDBMSの超高速検索
ANSI-SQL99に準拠しているRDBMS:SQLを使用して大量データの超高速分析、検索が可能
(従来製品より50~1000倍の高速性)
 拡張性: 超並列処理(MPP)アーキテクチャによるスケールアウト
x86サーバにLinuxをインストールしたものを並べていくことにより、無限の拡張性
 簡易性: 既存のDBAが直ちに利用可能 複雑なチューニング不要
 柔軟性: スモールスタートからエンタープライズ規模まで
アプライアンスでは無く、ソフトウェアは製品での販売(1Tbyte ~)
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4
Vertica = 解析用プラットフォームソフトウェア製品
分析・検索処理に特化したDBエンジンです。
Database
Database
(OLTP)
Apps.
Files
レポート
OLAP
アプリ
ダッシュ
ボード
データの
抽出、変換、
ロード
(ETL)
データ
ソース
データ
抽出
解析用
DBエンジン
データ
分析
既存の業務データ
・分析SQL
・UDx
ODBC
JDBC
HDFS
ODBC
JDBC
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5
Vertica Systems 概要
2008 Top 10
Tech
Startups
2007 “Cool
Vendor” Data
Mgmt.
2008 Top
100 Best
Startups
2007 Top 20
Cutting Edge
Technologies
• 分析用DBソフトウェアベンダー
• 設立:2005年
• 本社:米国 マサチューセッツ州
• Michael Stonebrakerが産みの親
Postgres, C-Storeの開発者
• 注目ベンチャーとして数々の賞を受賞
• 2011/3/22 HPが買収完了を発表
• 2012/12/1 HPに統合完了
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6
Michael Stonebrakerによるデータベース開発
INGRES POSTGRES Aurora C-store
RDBMS Object DB CEP
Column-
oriented DB
Ingres Corp.
Computer
Associates
Illustra
Informix
StreamBase
Systems
Vertica
Hewlett
Packard
1970 1980 2000 2010
商用化
技術継承
技術
Sybase
SQL Server
Aster Data
Greenplum
Netezza
・B-trees
・Replication
・Rules/triggers
・Object relational
・Complex data
type
・Streaming
data
‘processing
・Column oriented
・Compression
・MPP
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7
HP Vertica Analytics Platformの特徴
自動パフォーマンス
チューニング
Database Designer
Columnar storage
and execution
Continuous
performance
ClusteringCompression
列指向RDBMS データ圧縮機能
超並列
アーキテクチャー
ノードダウン時の継
続実行機能
HDFS Connector
NEW
Verticaから HDFSに配置されている
ファイルの読み込みが可能
標準のBI, ETLツールと連携
Analytics
R言語をサポート
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8
Columnar storage and execution
5/05/09
5/06/09
5/05/09
5/06/09
143.74
143.75
37.03
37.13
AAPL
AAPL
BBY
BBY
AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE N
YSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09
AAPL NYASE NYAASE NYSE NYASE NGG YSE NYGGGSE
NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE
NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE
NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
AAPL
AAPL
BBY
BBY
143.74
143.75
37.03
37.13
5/05/09
5/06/09
5/05/09
5/06/09
AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09
AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09
Reads 3 columns
Reads all columns
SELECT AVG(price) FROM tickstore
WHERE symbol = ‘AAPL” AND date = ‘5/06/09’
行指向 - 従来型
SELECT AVG(price) FROM tickstore
WHERE symbol = ‘AAPL” AND date = ‘5/06/09’
ディスクI/Oとメモリ量の
劇的な削減
列指向 - Vertica
検索に最適なカラム(列)指向のRDBMS
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9
データの属性に応じた最適な圧縮アルゴリズムで50~90%のデータ圧縮
データ検索時のI/O量が減り、より高速な処理を実現
物理ストレージの容量削減
処理日 お客様番号 取引データ
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
0000001
0000001
0000003
0000003
0000005
0000011
0000011
0000020
0000026
0000050
0000051
0000052
5/05/2009, 16
RLE
アルゴリズム
0000001
0
2
2
4
10
10
19
25
49
Delta
Encoding Raw Data Compressed Data
100.25
302.43
991.23
73.45
134.09
843.11
208.13
114.29
83.07
43.98
229.76
LZO
アルゴリズム
ÞìÃp:±æ+©>
Hì&ì¥YÛ¡×¥
©éa½?50ÓJ
Compression
データ圧縮機能
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10
シェアードナッシング方式によりリニアに性能向上
すべてのノードが同じ役割を実行可能
node01
専用データ領域
node02
専用データ領域
node03
専用データ領域
node01
Massively Parallel Processing (MPP)
SymmetricMulti-Processing (SMP)
MPP
SMP密結合
•HP Neoiew
性能
ノード数
性能
ノード数
従来型DBMS(データ共有型)
Vertica
node02 node03
検索クエリ
3 4
10
3
Clustering
超並列処理(MPP)アークテクチャー
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11
#3 #4 #5 #6#1
node01
#2
最大2つのレプリカを保持可能
自動リプリケーションによる障害発生時サービス継続
node02 node03 node04 node05 node06
#3 #4 #5#6 #1 #2
#1 #2 #3 #4#5 #6
ノードダウン時の継続実行機能Continuous performance
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12
DB管理者
> 論理スキーマ
・テーブル作成
> サンプルセット
・良く使用するクエリ
・サンプルデータ
最高のパフォーマンスが出せる物理デザインを提供
 自動で最適なデータ圧縮、列の並び替えを行い、検索を高速化
 定型検索に最適なデータ配置を追加で作成することが可能
 INDEXの作成は不要
ハード構成を考えず論理設計 物理構成を考慮しデータ配置
DB管理者の負担を最小限に
Database Designer (DBD)
> 物理スキーマ作成、データ圧縮
・最適な検索になるようデータ圧縮、列の
並び替えを自動的に実施
・定常的なデータの取り込みを考慮
DBデザイン機能
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13
Projectionとは?
Projectionは物理スキーマとして定義
各列の圧縮方法、列の配置、分散KEYの定義、がProjectionには含まれる。
データが格納されるのはTableでは無く、Projectionになる。
日付 エリア 店舗 顧客ID 売上高
date varchar(10) varchar(10) Int Int
日付 エリア 店舗 顧客ID 売上高
0701 東京 新宿 10001 100
0701 東京 新宿 10002 1,000
0702 名古屋 名古屋 10003 1,0000
0703 大阪 梅田 10004 2,400
0703 東京 池袋 10005 1,600
0704 東京 新宿 10006 6,400
0705 東京 品川 10007 1,000
0706 大阪 梅田 10008 1,100
0706 名古屋 名古屋 10009 1,300
エリア 店舗 売上高
大阪 梅田 2,400
大阪 梅田 1,100
東京 池袋 1,600
東京 品川 1,000
東京 新宿 100
東京 新宿 1,000
東京 新宿 6,400
名古屋 名古屋 1,0000
名古屋 名古屋 1,0000
顧客ID 売上高
10001 100
10002 1,000
10003 1,0000
10004 2,400
10005 1,600
10006 6,400
10007 1,000
10008 1,100
10009 1,300
Projection-1 Projection-2 Projection-3
Verticaでは、Tableは論理スキーマとして定義
create table table1(日付 date ,エリアvarchar(10) ,店舗 varchar(10),顧客ID(int),売上高(int));
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14
Projectionとは?
Table
ユーザはProjectionを意識する必要なく、
Tableに対してクエリーを実行すれば良い。
SuperProjection
すべての列を含み、汎用的な圧縮、
並び替えを事前にしているデータセット
Query Specific
Projection
必要な列のみ
クエリーに特化した
圧縮並び替え
Query Specific
Projection
必要な列のみ
クエリーに特化した
圧縮並び替え
もっとも検索コストが低いプロジェクションをVerticaが自動選択
ユーザはProjectionを意識する必要はない
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15
最適な圧縮、最適な列配置、 最適なソートが事前に実施されたデータセット
Projectionとは?
Table:A Table:B
Query Specific Projection
(特定のクエリーに特化したProjection)
SELECT A.1c,A.2c from TableA where A.3 = 100;
DatabaseDesinerがクエリーを解析し、
クエリーに最適なProjectionを追加で作成
1 2 3
Query Specific Projection
Pre-JOIN-Projection
(事前にJOINしたProjection)
SELECT A.5c,B.2c from TableA,TableB where A.3c = B.3c;
すべてのクエリーに汎用的に対応できる、
SuperProjection(Comprehensive Projection)
すべての列を含み、列の型やカーディナリティーを考慮して、
DatabaseDesinerが自動的に作成
圧
縮 圧
縮
圧
縮 圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
圧
縮
Pre-Join Projection
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16
1256678
1254038
1278858
1230807
Student_ID
1210466
1249290
1244262
1252490
1267170
1248100
1243483
1230382
1240224
1222781
1231806
1246648
Cappiello, Emilia
Dalal, Alana
Orner, Katy
Frigo, Avis
Name
Stober, Saundra
Borba, Milagros
Sosnowski, Hillary
Nibert, Emilia
Popovic, Tanisha
Schreckengost, Max
Porcelli, Darren
Sinko, Erik
Tarvin, Julio
Lessig, Elnora
Thon, Max
Trembley, Allyson
F
F
F
M
Gender
F
F
F
F
F
M
M
M
M
F
M
F
Sophomore
Senior
Junior
Senior
Class
Junior
Freshman
Junior
Sophomore
Freshman
Senior
Junior
Freshman
Sophomore
Junior
Sophomore
Junior
62
92
76
64
Score
90
96
68
59
95
76
67
91
85
63
82
100
D
A
C
D
Grade
A
A
D
F
A
C
D
A
B
D
B
A
自動で最適なデータ配置を作成
Example query:
select avg( Score ) from example where
Class = ‘Junior’ and Gender = ‘F’ and Grade = ‘A’
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.17
1256678
1254038
1278858
1230807
Student_ID
1210466
1249290
1244262
1252490
1267170
1248100
1243483
1230382
1240224
1222781
1231806
1246648
Cappiello, Emilia
Dalal, Alana
Orner, Katy
Frigo, Avis
Name
Stober, Saundra
Borba, Milagros
Sosnowski, Hillary
Nibert, Emilia
Popovic, Tanisha
Schreckengost, Max
Porcelli, Darren
Sinko, Erik
Tarvin, Julio
Lessig, Elnora
Thon, Max
Trembley, Allyson
F
F
F
M
Gender
F
F
F
F
F
M
M
M
M
F
M
F
Sophomore
Senior
Junior
Senior
Class
Junior
Freshman
Junior
Sophomore
Freshman
Senior
Junior
Freshman
Sophomore
Junior
Sophomore
Junior
62
92
76
64
Score
90
96
68
59
95
76
67
91
85
63
82
100
D
A
C
D
Grade
A
A
D
F
A
C
D
A
B
D
B
A
Queryに最適化されたカラム配置に並び替え
データ保持イメージ①
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18
1256678Cappiello, EmiliaF Sophomore 62D
1254038Dalal, AlanaF Senior 92A
1278858Orner, KatyF Junior 76C
1230807Frigo, AvisM Senior 64D
1210466Stober, SaundraF Junior 90A
1249290Borba, MilagrosF Freshman 96A
1244262Sosnowski, HillaryF Junior 68D
1252490Nibert, EmiliaF Sophomore 59F
1267170Popovic, TanishaF Freshman 95A
1248100Schreckengost, MaxM Senior 76C
1243483Porcelli, DarrenM Junior 67D
1230382Sinko, ErikM Freshman 91A
1240224Tarvin, JulioM Sophomore 85B
1222781Lessig, ElnoraF Junior 63D
1231806Thon, MaxM Sophomore 82B
1246648Trembley, AllysonF Junior 100A
Student_IDNameScoreClassGender Grade
並
び
替
え
S
O
R
T
データ保持イメージ②
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19
A
D
B
A
Junior
Senior
Freshman
Junior
Sophomore
Sophomore
Junior
Junior
F
F
F
M
F
F
F
F
M
M
M
F
M
F
1256678Cappiello, EmiliaSophomore 62D
1254038Dalal, AlanaSenior 92A
1278858Orner, Katy76C
1230807Frigo, Avis64D
1210466Stober, SaundraJunior 90
1249290Borba, Milagros96
1244262Sosnowski, Hillary68
1252490Nibert, Emilia59F
1267170Popovic, TanishaF Freshman 95A
1248100Schreckengost, MaxSenior 76C
1243483Porcelli, DarrenJunior 67D
1230382Sinko, ErikM Freshman 91A
1240224Tarvin, Julio85
1222781Lessig, Elnora63D
1231806Thon, MaxSophomore 82B
1246648Trembley, Allyson100
Student_IDNameScoreClassGender Grade
A
圧
縮
データ保持イメージ③
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20
A
D
B
A
Junior
Senior
Freshman
Junior
Sophomore
Sophomore
Junior
Junior
F
F
F
M
F
F
F
F
M
M
M
F
M
F
1256678Cappiello, Emilia62
1254038Dalal, Alana
Sophomore
Senior 92
1278858Orner, Katy76
1230807Frigo, Avis64
1210466Stober, SaundraJunior 90
1249290Borba, Milagros96
1244262Sosnowski, Hillary68
1252490Nibert, Emilia59
1267170Popovic, TanishaF Freshman 95A
1248100Schreckengost, MaxSenior 76
D
C
1243483Porcelli, Darren67
1230382Sinko, ErikM 91
1240224Tarvin, Julio85
1222781Lessig, Elnora63
C
D
1231806Thon, Max
Junior
Freshman
Sophomore 82
D
A
F
D
A
B
1246648Trembley, Allyson100
Student_IDNameScoreClassGender
F
Grade
AJunior
Junior
Junior
Junior
Junior
A
A
90
100
1st I/O
Reads entire
column
2nd I/O 3rd I/O 4th I/O
offset offset
データ保持イメージ④
-検索スピード
Example query:
select avg( Score ) from example where
Class = ‘Junior’ and Gender = ‘F’ and Grade = ‘A’
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21
Create Projection文
SELECT
EXAMPLE. gendar ,
EXAMPLE.class ,
EXAMPLE.grade ,
EXAMPLE.score
FROM EXAMPLE
CREATE PROJECIOTN student_table_P1(
gendar ENCODING RLE ,
class ENCODING RLE ,
grade ENCODING RLE ,
score ENCODING DELTVAL
) AS
列の選択&
圧縮率の指定
実データの指定
ORDER BY EXAMPLE.gendar ,
EXAMPLE.class ,
EXAMPLE.grade
列の並び替え
SEGMENTED BY HASH(EXAMPLE.class , EXAMPLE.score) ALL NODES;
ノードに分散する
HASH KEYの指定
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22
Verticaの特徴 - 圧倒的な検索パフォーマンス
列指向
データベース
• ディスクI/Oを劇的に削減
• 列指向に最適されたDBエン
ジンにより高速検索
• 50~1000倍の高速化
データ圧縮
• 最大90%の圧縮率
• 圧縮したままで内部演算
処理
超並列
アーキテクチャー
• Shared Nothing クラスタリン
グによるリニアな性能向上
• No Specialized Node
• 業界標準x86サーバ
(ソフトウェア製品)
高可用性
• 最大2つのレプリカを保持可能
• 自動リプリケーションによる障害
発生時サービス継続
自動データベース
デザイン
• 対話形式のGUIにより容易
にDBの管理が可能
• 検索に最適なデータ配置を
システムが自動的に作成
データロード
• メモリ経由とディスク直接
の2方式のロード
• ローディング中もクエリー
のパフォーマンスは低下
しない
標準的なSQL
インタフェース
• ANSI SQL-99準拠
• JDBC/ODBC/ADO.net
ドライバ
拡張分析
• 空間解析などの独自の関数
をあらかじめ用意
• R言語や事前に用意された
SDKでUser Defined Function
の作成可能
• 関数は並列アーキテク
チャーで利用可能
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.23
DEMO
#1 Vertica install (インストールの簡易性)
#2 DBD(DatabaseDesigner) (自動チューニングの説明)
#3 R言語との連携
#4 Hadoopとの連携
#5 Udxの例(Github掲載のSentimental分析の実装)
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.24
VMware Workstation 8
3 Nodes on Vmware Workstation
Install 環境(例)
each
1 processer core
1.6 GB Memory
Red Hat
Enterprise
Linux 6.2
Red Hat
Enterprise
Linux 6.2
VM VM
HP EliteBook 2540p
Function Setup + Usage
-- Define function
CREATE LIBRARY rlib
AS ‘/path/rcode.R’ LANGUAGE 'R';
CREATE TRANSFORM FUNCTION Kmeans
AS LANGUAGE 'R' NAME 'kmeansCluFactory' LIBRARY rlib;
-- Use function
CREATE TABLE point_data (
x FLOAT, y FLOAT );
SELECT Kmeans(x, y)
OVER() FROM point_data;
R Source Code
UDx in R Example: K-Means Clustering
# Example: K-means (k=5)
# Input: two-dimensional points
# Output: the point coordinates plus their assigned
# cluster
kmeansClu <- function(x)
{
cl <- kmeans(x,5,10)
res <- data.frame(x[,1:2], cl$cluster)
res
}
kmeansCluFactory <- function()
{
list(name=kmeansClu,
udxtype=c("transform"),
intype=c("float","float"),
outtype=c("float","float","int"),
outnames=c(“col1",“col2","cluster") )
}
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.26
C++でのUserDefinedFunctionの設定方法
C++(UserDefinedFunciton)に関して
• Github上に様々なExtentionPackagesが準備されている。
• https://github.com/vertica/Vertica-Extension-Packages
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.27
Hadoop連携に関して
■HDFS上のファイルをロード
dbadmin=> copy test1234 with source hdfs(url='http://192.168.47.30:50070/webhdfs/v1/user/root/test.csv', username='root');
Rows Loaded
-------------
4
(1 row)
■HDFS上のファイルをExternal Tableとして定義
dbadmin=> create external table hadoop_bb (a int, b int) as copy source
hdfs(url='http://192.168.47.30:50070/webhdfs/v1/user/root/test.csv', username='root');
CREATE TABLE
dbadmin=> select * from hadoop_b;
a | b
---+---
1 | 2
2 | 3
3 | 4
4 | 5
(4 rows)
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28
HadoopとVerticaによるデータ活用支援サービス
VerticaHadoop
分散処理基盤 Hadoop
大規模データ分析に用いられるソフトウ
エアのデファクト・スタンダード
分析データベースVertica
大量データからの高速な検索に適した
新世代カラム指向データベース
Connectors
$ € ¥
Flume
Sqoop
さまざまなデータ
ERPを代表としたビジネスデータ
は もちろんのこと様々なデータ
を集める
テータを収集し、それぞれのクラスタに向く処理を実行し、データを受け渡して利用・
連携・保管し、データを活用する支援をいたします。
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.29
はじめようHadoopとVertica ! パッケージ
並列処理のスケールアウトと組み合わせの良さを実感できる最小構成
標準バンドル
Cloudera Enterprise
1年間365日24時間保守込みのサブスクリプション
Vertica 1TB License
ライセンスと1年間平日 9:00-17:30保守
Red Hat Enterprise Linux Server
1年間365日24時間保守込みのサブスクリプション
HP BladeSystem c7000エンクロージャおよびGbEスイッチ
HP ProLiant BL460c Gen8サーバ
x 8 = ( 1+4 Hadoop ) + ( 3 Vertica )
各ブレード CPU: 1P/8C Memory :32GB Disk: 900GB x2
1年間 365日24時間保守
初期セットアップ作業
Vertica
3 Node
Hadoop
1+4 Node
HadoopとVerticaによるデータ活用支援サービスと ソフトウエアとハードウエアおよびセットアップ作業を、
ひとつのパッケージで ご提供いたします。

Mais conteúdo relacionado

Mais procurados

Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)NTT DATA Technology & Innovation
 
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用Yahoo!デベロッパーネットワーク
 
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...NTT DATA Technology & Innovation
 
趣味と仕事の違い、現場で求められるアプリケーションの可観測性
趣味と仕事の違い、現場で求められるアプリケーションの可観測性趣味と仕事の違い、現場で求められるアプリケーションの可観測性
趣味と仕事の違い、現場で求められるアプリケーションの可観測性LIFULL Co., Ltd.
 
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門Kohei Tokunaga
 
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)NTT DATA Technology & Innovation
 
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション土岐 孝平
 
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウYoichi Kawasaki
 
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)NTT DATA Technology & Innovation
 
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...NTT DATA Technology & Innovation
 
HA環境構築のベスト・プラクティス
HA環境構築のベスト・プラクティスHA環境構築のベスト・プラクティス
HA環境構築のベスト・プラクティスEnterpriseDB
 
雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニングyoku0825
 
Java ORマッパー選定のポイント #jsug
Java ORマッパー選定のポイント #jsugJava ORマッパー選定のポイント #jsug
Java ORマッパー選定のポイント #jsugMasatoshi Tada
 
DockerとPodmanの比較
DockerとPodmanの比較DockerとPodmanの比較
DockerとPodmanの比較Akihiro Suda
 
インフラエンジニアのためのRancherを使ったDocker運用入門
インフラエンジニアのためのRancherを使ったDocker運用入門インフラエンジニアのためのRancherを使ったDocker運用入門
インフラエンジニアのためのRancherを使ったDocker運用入門Masahito Zembutsu
 
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話JustSystems Corporation
 
HTTP2 最速実装 〜入門編〜
HTTP2 最速実装 〜入門編〜HTTP2 最速実装 〜入門編〜
HTTP2 最速実装 〜入門編〜Kaoru Maeda
 
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?Kouhei Sutou
 
カスタムプランと汎用プラン
カスタムプランと汎用プランカスタムプランと汎用プラン
カスタムプランと汎用プランMasao Fujii
 
BuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルドBuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルドAkihiro Suda
 

Mais procurados (20)

Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨(JJUG CCC 2020 Fall講演資料)
 
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用
Apache Igniteインメモリーデータ処理プラットフォーム:特徴&利活用
 
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
 
趣味と仕事の違い、現場で求められるアプリケーションの可観測性
趣味と仕事の違い、現場で求められるアプリケーションの可観測性趣味と仕事の違い、現場で求められるアプリケーションの可観測性
趣味と仕事の違い、現場で求められるアプリケーションの可観測性
 
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
 
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
 
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
 
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ
15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ
 
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQLのgitレポジトリから見える2022年の開発状況(第38回PostgreSQLアンカンファレンス@オンライン 発表資料)
 
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...
PostgreSQL 12は ここがスゴイ! ~性能改善やpluggable storage engineなどの新機能を徹底解説~ (NTTデータ テクノ...
 
HA環境構築のベスト・プラクティス
HA環境構築のベスト・プラクティスHA環境構築のベスト・プラクティス
HA環境構築のベスト・プラクティス
 
雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング雑なMySQLパフォーマンスチューニング
雑なMySQLパフォーマンスチューニング
 
Java ORマッパー選定のポイント #jsug
Java ORマッパー選定のポイント #jsugJava ORマッパー選定のポイント #jsug
Java ORマッパー選定のポイント #jsug
 
DockerとPodmanの比較
DockerとPodmanの比較DockerとPodmanの比較
DockerとPodmanの比較
 
インフラエンジニアのためのRancherを使ったDocker運用入門
インフラエンジニアのためのRancherを使ったDocker運用入門インフラエンジニアのためのRancherを使ったDocker運用入門
インフラエンジニアのためのRancherを使ったDocker運用入門
 
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話
DDDとクリーンアーキテクチャでサーバーアプリケーションを作っている話
 
HTTP2 最速実装 〜入門編〜
HTTP2 最速実装 〜入門編〜HTTP2 最速実装 〜入門編〜
HTTP2 最速実装 〜入門編〜
 
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?
MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね!?
 
カスタムプランと汎用プラン
カスタムプランと汎用プランカスタムプランと汎用プラン
カスタムプランと汎用プラン
 
BuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルドBuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルド
 

Semelhante a A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa

[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは?  by 日本ヒューレット・パッ...[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは?  by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...Insight Technology, Inc.
 
Tokyo webmining発表資料 20111127
Tokyo webmining発表資料 20111127Tokyo webmining発表資料 20111127
Tokyo webmining発表資料 20111127kan_yukiko
 
KUROKO IR説明資料
KUROKO IR説明資料KUROKO IR説明資料
KUROKO IR説明資料RelianceData
 
楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発Rakuten Group, Inc.
 
Japan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionJapan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionAkira Kitamura
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...Insight Technology, Inc.
 
Impless event 20201110
Impless event 20201110Impless event 20201110
Impless event 20201110SBIR3Japan
 
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例Amazon Web Services Japan
 
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...オラクルエンジニア通信
 
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介Satoshi Kitajima
 
【KSKアナリティクス】Pentaho紹介
【KSKアナリティクス】Pentaho紹介【KSKアナリティクス】Pentaho紹介
【KSKアナリティクス】Pentaho紹介KSK Analytics Inc.
 
White paper ecommercesearch_japanto_psale30_interface
White paper ecommercesearch_japanto_psale30_interfaceWhite paper ecommercesearch_japanto_psale30_interface
White paper ecommercesearch_japanto_psale30_interface隼人 橋川
 
zozo bigquery policy tag usage
zozo bigquery policy tag usagezozo bigquery policy tag usage
zozo bigquery policy tag usageKeisukeTaniguchi2
 
04 citynet awsセミナー_クラウドでビックデータのスモールスタート
04 citynet awsセミナー_クラウドでビックデータのスモールスタート04 citynet awsセミナー_クラウドでビックデータのスモールスタート
04 citynet awsセミナー_クラウドでビックデータのスモールスタート充博 大崎
 
クラウドでビックデータのスモールスタート
クラウドでビックデータのスモールスタートクラウドでビックデータのスモールスタート
クラウドでビックデータのスモールスタートYukihito Kataoka
 
流通Bms aws 20150527
流通Bms aws 20150527流通Bms aws 20150527
流通Bms aws 20150527Hideki Ojima
 
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14Tomohisa Igarashi
 
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...Insight Technology, Inc.
 
MySQL製品概要
MySQL製品概要MySQL製品概要
MySQL製品概要yoyamasaki
 

Semelhante a A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa (20)

[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは?  by 日本ヒューレット・パッ...[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは?  by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
 
Tokyo webmining発表資料 20111127
Tokyo webmining発表資料 20111127Tokyo webmining発表資料 20111127
Tokyo webmining発表資料 20111127
 
KUROKO IR説明資料
KUROKO IR説明資料KUROKO IR説明資料
KUROKO IR説明資料
 
楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発
 
Japan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionJapan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final version
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
 
Impless event 20201110
Impless event 20201110Impless event 20201110
Impless event 20201110
 
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
 
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
 
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
 
【KSKアナリティクス】Pentaho紹介
【KSKアナリティクス】Pentaho紹介【KSKアナリティクス】Pentaho紹介
【KSKアナリティクス】Pentaho紹介
 
White paper ecommercesearch_japanto_psale30_interface
White paper ecommercesearch_japanto_psale30_interfaceWhite paper ecommercesearch_japanto_psale30_interface
White paper ecommercesearch_japanto_psale30_interface
 
zozo bigquery policy tag usage
zozo bigquery policy tag usagezozo bigquery policy tag usage
zozo bigquery policy tag usage
 
中国市場提言(大津山)
中国市場提言(大津山)中国市場提言(大津山)
中国市場提言(大津山)
 
04 citynet awsセミナー_クラウドでビックデータのスモールスタート
04 citynet awsセミナー_クラウドでビックデータのスモールスタート04 citynet awsセミナー_クラウドでビックデータのスモールスタート
04 citynet awsセミナー_クラウドでビックデータのスモールスタート
 
クラウドでビックデータのスモールスタート
クラウドでビックデータのスモールスタートクラウドでビックデータのスモールスタート
クラウドでビックデータのスモールスタート
 
流通Bms aws 20150527
流通Bms aws 20150527流通Bms aws 20150527
流通Bms aws 20150527
 
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14
JBoss.org – SwitchYardコミュニティ開発者の日常 - JJUG CCC 2014 Spring - R1-4 - #ccc_r14
 
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
 
MySQL製品概要
MySQL製品概要MySQL製品概要
MySQL製品概要
 

Mais de Insight Technology, Inc.

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Insight Technology, Inc.
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明するInsight Technology, Inc.
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーンInsight Technology, Inc.
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームInsight Technology, Inc.
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門Insight Technology, Inc.
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー Insight Technology, Inc.
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?Insight Technology, Inc.
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Insight Technology, Inc.
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?Insight Technology, Inc.
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...Insight Technology, Inc.
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 Insight Technology, Inc.
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Insight Technology, Inc.
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]Insight Technology, Inc.
 

Mais de Insight Technology, Inc. (20)

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
Docker and the Oracle Database
Docker and the Oracle DatabaseDocker and the Oracle Database
Docker and the Oracle Database
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
 
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL ServicesLunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
 

A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa

  • 1. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 列指向DB HPVertica ~その圧倒的な高速検索の謎を解き明かす~ 2013年5月30日 日本ヒューレット・パッカード株式会社 HPソフトウェア事業統括 Vertica事業部 プリセールスマネージャー 相澤 恵奏
  • 2. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2 Vertica事例(WWで2500社以上) Communications Consumer Marketing Online Web and Gaming Healthcare RetailFinancial Services 大統領選挙
  • 3. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3 HP Vertica Analytics Platform Big Dataのためのリアルタイム解析データベースプラットフォーム  高速性: 列指向RDBMSの超高速検索 ANSI-SQL99に準拠しているRDBMS:SQLを使用して大量データの超高速分析、検索が可能 (従来製品より50~1000倍の高速性)  拡張性: 超並列処理(MPP)アーキテクチャによるスケールアウト x86サーバにLinuxをインストールしたものを並べていくことにより、無限の拡張性  簡易性: 既存のDBAが直ちに利用可能 複雑なチューニング不要  柔軟性: スモールスタートからエンタープライズ規模まで アプライアンスでは無く、ソフトウェアは製品での販売(1Tbyte ~)
  • 4. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4 Vertica = 解析用プラットフォームソフトウェア製品 分析・検索処理に特化したDBエンジンです。 Database Database (OLTP) Apps. Files レポート OLAP アプリ ダッシュ ボード データの 抽出、変換、 ロード (ETL) データ ソース データ 抽出 解析用 DBエンジン データ 分析 既存の業務データ ・分析SQL ・UDx ODBC JDBC HDFS ODBC JDBC
  • 5. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5 Vertica Systems 概要 2008 Top 10 Tech Startups 2007 “Cool Vendor” Data Mgmt. 2008 Top 100 Best Startups 2007 Top 20 Cutting Edge Technologies • 分析用DBソフトウェアベンダー • 設立:2005年 • 本社:米国 マサチューセッツ州 • Michael Stonebrakerが産みの親 Postgres, C-Storeの開発者 • 注目ベンチャーとして数々の賞を受賞 • 2011/3/22 HPが買収完了を発表 • 2012/12/1 HPに統合完了
  • 6. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6 Michael Stonebrakerによるデータベース開発 INGRES POSTGRES Aurora C-store RDBMS Object DB CEP Column- oriented DB Ingres Corp. Computer Associates Illustra Informix StreamBase Systems Vertica Hewlett Packard 1970 1980 2000 2010 商用化 技術継承 技術 Sybase SQL Server Aster Data Greenplum Netezza ・B-trees ・Replication ・Rules/triggers ・Object relational ・Complex data type ・Streaming data ‘processing ・Column oriented ・Compression ・MPP
  • 7. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7 HP Vertica Analytics Platformの特徴 自動パフォーマンス チューニング Database Designer Columnar storage and execution Continuous performance ClusteringCompression 列指向RDBMS データ圧縮機能 超並列 アーキテクチャー ノードダウン時の継 続実行機能 HDFS Connector NEW Verticaから HDFSに配置されている ファイルの読み込みが可能 標準のBI, ETLツールと連携 Analytics R言語をサポート
  • 8. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8 Columnar storage and execution 5/05/09 5/06/09 5/05/09 5/06/09 143.74 143.75 37.03 37.13 AAPL AAPL BBY BBY AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE N YSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09 AAPL NYASE NYAASE NYSE NYASE NGG YSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09 NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS AAPL AAPL BBY BBY 143.74 143.75 37.03 37.13 5/05/09 5/06/09 5/05/09 5/06/09 AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09 AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09 Reads 3 columns Reads all columns SELECT AVG(price) FROM tickstore WHERE symbol = ‘AAPL” AND date = ‘5/06/09’ 行指向 - 従来型 SELECT AVG(price) FROM tickstore WHERE symbol = ‘AAPL” AND date = ‘5/06/09’ ディスクI/Oとメモリ量の 劇的な削減 列指向 - Vertica 検索に最適なカラム(列)指向のRDBMS
  • 9. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9 データの属性に応じた最適な圧縮アルゴリズムで50~90%のデータ圧縮 データ検索時のI/O量が減り、より高速な処理を実現 物理ストレージの容量削減 処理日 お客様番号 取引データ 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 0000001 0000001 0000003 0000003 0000005 0000011 0000011 0000020 0000026 0000050 0000051 0000052 5/05/2009, 16 RLE アルゴリズム 0000001 0 2 2 4 10 10 19 25 49 Delta Encoding Raw Data Compressed Data 100.25 302.43 991.23 73.45 134.09 843.11 208.13 114.29 83.07 43.98 229.76 LZO アルゴリズム ÞìÃp:±æ+©> Hì&ì¥YÛ¡×¥ ©éa½?50ÓJ Compression データ圧縮機能
  • 10. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10 シェアードナッシング方式によりリニアに性能向上 すべてのノードが同じ役割を実行可能 node01 専用データ領域 node02 専用データ領域 node03 専用データ領域 node01 Massively Parallel Processing (MPP) SymmetricMulti-Processing (SMP) MPP SMP密結合 •HP Neoiew 性能 ノード数 性能 ノード数 従来型DBMS(データ共有型) Vertica node02 node03 検索クエリ 3 4 10 3 Clustering 超並列処理(MPP)アークテクチャー
  • 11. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11 #3 #4 #5 #6#1 node01 #2 最大2つのレプリカを保持可能 自動リプリケーションによる障害発生時サービス継続 node02 node03 node04 node05 node06 #3 #4 #5#6 #1 #2 #1 #2 #3 #4#5 #6 ノードダウン時の継続実行機能Continuous performance
  • 12. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12 DB管理者 > 論理スキーマ ・テーブル作成 > サンプルセット ・良く使用するクエリ ・サンプルデータ 最高のパフォーマンスが出せる物理デザインを提供  自動で最適なデータ圧縮、列の並び替えを行い、検索を高速化  定型検索に最適なデータ配置を追加で作成することが可能  INDEXの作成は不要 ハード構成を考えず論理設計 物理構成を考慮しデータ配置 DB管理者の負担を最小限に Database Designer (DBD) > 物理スキーマ作成、データ圧縮 ・最適な検索になるようデータ圧縮、列の 並び替えを自動的に実施 ・定常的なデータの取り込みを考慮 DBデザイン機能
  • 13. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13 Projectionとは? Projectionは物理スキーマとして定義 各列の圧縮方法、列の配置、分散KEYの定義、がProjectionには含まれる。 データが格納されるのはTableでは無く、Projectionになる。 日付 エリア 店舗 顧客ID 売上高 date varchar(10) varchar(10) Int Int 日付 エリア 店舗 顧客ID 売上高 0701 東京 新宿 10001 100 0701 東京 新宿 10002 1,000 0702 名古屋 名古屋 10003 1,0000 0703 大阪 梅田 10004 2,400 0703 東京 池袋 10005 1,600 0704 東京 新宿 10006 6,400 0705 東京 品川 10007 1,000 0706 大阪 梅田 10008 1,100 0706 名古屋 名古屋 10009 1,300 エリア 店舗 売上高 大阪 梅田 2,400 大阪 梅田 1,100 東京 池袋 1,600 東京 品川 1,000 東京 新宿 100 東京 新宿 1,000 東京 新宿 6,400 名古屋 名古屋 1,0000 名古屋 名古屋 1,0000 顧客ID 売上高 10001 100 10002 1,000 10003 1,0000 10004 2,400 10005 1,600 10006 6,400 10007 1,000 10008 1,100 10009 1,300 Projection-1 Projection-2 Projection-3 Verticaでは、Tableは論理スキーマとして定義 create table table1(日付 date ,エリアvarchar(10) ,店舗 varchar(10),顧客ID(int),売上高(int));
  • 14. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14 Projectionとは? Table ユーザはProjectionを意識する必要なく、 Tableに対してクエリーを実行すれば良い。 SuperProjection すべての列を含み、汎用的な圧縮、 並び替えを事前にしているデータセット Query Specific Projection 必要な列のみ クエリーに特化した 圧縮並び替え Query Specific Projection 必要な列のみ クエリーに特化した 圧縮並び替え もっとも検索コストが低いプロジェクションをVerticaが自動選択 ユーザはProjectionを意識する必要はない
  • 15. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15 最適な圧縮、最適な列配置、 最適なソートが事前に実施されたデータセット Projectionとは? Table:A Table:B Query Specific Projection (特定のクエリーに特化したProjection) SELECT A.1c,A.2c from TableA where A.3 = 100; DatabaseDesinerがクエリーを解析し、 クエリーに最適なProjectionを追加で作成 1 2 3 Query Specific Projection Pre-JOIN-Projection (事前にJOINしたProjection) SELECT A.5c,B.2c from TableA,TableB where A.3c = B.3c; すべてのクエリーに汎用的に対応できる、 SuperProjection(Comprehensive Projection) すべての列を含み、列の型やカーディナリティーを考慮して、 DatabaseDesinerが自動的に作成 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 Pre-Join Projection
  • 16. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16 1256678 1254038 1278858 1230807 Student_ID 1210466 1249290 1244262 1252490 1267170 1248100 1243483 1230382 1240224 1222781 1231806 1246648 Cappiello, Emilia Dalal, Alana Orner, Katy Frigo, Avis Name Stober, Saundra Borba, Milagros Sosnowski, Hillary Nibert, Emilia Popovic, Tanisha Schreckengost, Max Porcelli, Darren Sinko, Erik Tarvin, Julio Lessig, Elnora Thon, Max Trembley, Allyson F F F M Gender F F F F F M M M M F M F Sophomore Senior Junior Senior Class Junior Freshman Junior Sophomore Freshman Senior Junior Freshman Sophomore Junior Sophomore Junior 62 92 76 64 Score 90 96 68 59 95 76 67 91 85 63 82 100 D A C D Grade A A D F A C D A B D B A 自動で最適なデータ配置を作成 Example query: select avg( Score ) from example where Class = ‘Junior’ and Gender = ‘F’ and Grade = ‘A’
  • 17. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.17 1256678 1254038 1278858 1230807 Student_ID 1210466 1249290 1244262 1252490 1267170 1248100 1243483 1230382 1240224 1222781 1231806 1246648 Cappiello, Emilia Dalal, Alana Orner, Katy Frigo, Avis Name Stober, Saundra Borba, Milagros Sosnowski, Hillary Nibert, Emilia Popovic, Tanisha Schreckengost, Max Porcelli, Darren Sinko, Erik Tarvin, Julio Lessig, Elnora Thon, Max Trembley, Allyson F F F M Gender F F F F F M M M M F M F Sophomore Senior Junior Senior Class Junior Freshman Junior Sophomore Freshman Senior Junior Freshman Sophomore Junior Sophomore Junior 62 92 76 64 Score 90 96 68 59 95 76 67 91 85 63 82 100 D A C D Grade A A D F A C D A B D B A Queryに最適化されたカラム配置に並び替え データ保持イメージ①
  • 18. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18 1256678Cappiello, EmiliaF Sophomore 62D 1254038Dalal, AlanaF Senior 92A 1278858Orner, KatyF Junior 76C 1230807Frigo, AvisM Senior 64D 1210466Stober, SaundraF Junior 90A 1249290Borba, MilagrosF Freshman 96A 1244262Sosnowski, HillaryF Junior 68D 1252490Nibert, EmiliaF Sophomore 59F 1267170Popovic, TanishaF Freshman 95A 1248100Schreckengost, MaxM Senior 76C 1243483Porcelli, DarrenM Junior 67D 1230382Sinko, ErikM Freshman 91A 1240224Tarvin, JulioM Sophomore 85B 1222781Lessig, ElnoraF Junior 63D 1231806Thon, MaxM Sophomore 82B 1246648Trembley, AllysonF Junior 100A Student_IDNameScoreClassGender Grade 並 び 替 え S O R T データ保持イメージ②
  • 19. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19 A D B A Junior Senior Freshman Junior Sophomore Sophomore Junior Junior F F F M F F F F M M M F M F 1256678Cappiello, EmiliaSophomore 62D 1254038Dalal, AlanaSenior 92A 1278858Orner, Katy76C 1230807Frigo, Avis64D 1210466Stober, SaundraJunior 90 1249290Borba, Milagros96 1244262Sosnowski, Hillary68 1252490Nibert, Emilia59F 1267170Popovic, TanishaF Freshman 95A 1248100Schreckengost, MaxSenior 76C 1243483Porcelli, DarrenJunior 67D 1230382Sinko, ErikM Freshman 91A 1240224Tarvin, Julio85 1222781Lessig, Elnora63D 1231806Thon, MaxSophomore 82B 1246648Trembley, Allyson100 Student_IDNameScoreClassGender Grade A 圧 縮 データ保持イメージ③
  • 20. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20 A D B A Junior Senior Freshman Junior Sophomore Sophomore Junior Junior F F F M F F F F M M M F M F 1256678Cappiello, Emilia62 1254038Dalal, Alana Sophomore Senior 92 1278858Orner, Katy76 1230807Frigo, Avis64 1210466Stober, SaundraJunior 90 1249290Borba, Milagros96 1244262Sosnowski, Hillary68 1252490Nibert, Emilia59 1267170Popovic, TanishaF Freshman 95A 1248100Schreckengost, MaxSenior 76 D C 1243483Porcelli, Darren67 1230382Sinko, ErikM 91 1240224Tarvin, Julio85 1222781Lessig, Elnora63 C D 1231806Thon, Max Junior Freshman Sophomore 82 D A F D A B 1246648Trembley, Allyson100 Student_IDNameScoreClassGender F Grade AJunior Junior Junior Junior Junior A A 90 100 1st I/O Reads entire column 2nd I/O 3rd I/O 4th I/O offset offset データ保持イメージ④ -検索スピード Example query: select avg( Score ) from example where Class = ‘Junior’ and Gender = ‘F’ and Grade = ‘A’
  • 21. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21 Create Projection文 SELECT EXAMPLE. gendar , EXAMPLE.class , EXAMPLE.grade , EXAMPLE.score FROM EXAMPLE CREATE PROJECIOTN student_table_P1( gendar ENCODING RLE , class ENCODING RLE , grade ENCODING RLE , score ENCODING DELTVAL ) AS 列の選択& 圧縮率の指定 実データの指定 ORDER BY EXAMPLE.gendar , EXAMPLE.class , EXAMPLE.grade 列の並び替え SEGMENTED BY HASH(EXAMPLE.class , EXAMPLE.score) ALL NODES; ノードに分散する HASH KEYの指定
  • 22. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22 Verticaの特徴 - 圧倒的な検索パフォーマンス 列指向 データベース • ディスクI/Oを劇的に削減 • 列指向に最適されたDBエン ジンにより高速検索 • 50~1000倍の高速化 データ圧縮 • 最大90%の圧縮率 • 圧縮したままで内部演算 処理 超並列 アーキテクチャー • Shared Nothing クラスタリン グによるリニアな性能向上 • No Specialized Node • 業界標準x86サーバ (ソフトウェア製品) 高可用性 • 最大2つのレプリカを保持可能 • 自動リプリケーションによる障害 発生時サービス継続 自動データベース デザイン • 対話形式のGUIにより容易 にDBの管理が可能 • 検索に最適なデータ配置を システムが自動的に作成 データロード • メモリ経由とディスク直接 の2方式のロード • ローディング中もクエリー のパフォーマンスは低下 しない 標準的なSQL インタフェース • ANSI SQL-99準拠 • JDBC/ODBC/ADO.net ドライバ 拡張分析 • 空間解析などの独自の関数 をあらかじめ用意 • R言語や事前に用意された SDKでUser Defined Function の作成可能 • 関数は並列アーキテク チャーで利用可能
  • 23. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.23 DEMO #1 Vertica install (インストールの簡易性) #2 DBD(DatabaseDesigner) (自動チューニングの説明) #3 R言語との連携 #4 Hadoopとの連携 #5 Udxの例(Github掲載のSentimental分析の実装)
  • 24. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.24 VMware Workstation 8 3 Nodes on Vmware Workstation Install 環境(例) each 1 processer core 1.6 GB Memory Red Hat Enterprise Linux 6.2 Red Hat Enterprise Linux 6.2 VM VM HP EliteBook 2540p
  • 25. Function Setup + Usage -- Define function CREATE LIBRARY rlib AS ‘/path/rcode.R’ LANGUAGE 'R'; CREATE TRANSFORM FUNCTION Kmeans AS LANGUAGE 'R' NAME 'kmeansCluFactory' LIBRARY rlib; -- Use function CREATE TABLE point_data ( x FLOAT, y FLOAT ); SELECT Kmeans(x, y) OVER() FROM point_data; R Source Code UDx in R Example: K-Means Clustering # Example: K-means (k=5) # Input: two-dimensional points # Output: the point coordinates plus their assigned # cluster kmeansClu <- function(x) { cl <- kmeans(x,5,10) res <- data.frame(x[,1:2], cl$cluster) res } kmeansCluFactory <- function() { list(name=kmeansClu, udxtype=c("transform"), intype=c("float","float"), outtype=c("float","float","int"), outnames=c(“col1",“col2","cluster") ) }
  • 26. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.26 C++でのUserDefinedFunctionの設定方法 C++(UserDefinedFunciton)に関して • Github上に様々なExtentionPackagesが準備されている。 • https://github.com/vertica/Vertica-Extension-Packages
  • 27. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.27 Hadoop連携に関して ■HDFS上のファイルをロード dbadmin=> copy test1234 with source hdfs(url='http://192.168.47.30:50070/webhdfs/v1/user/root/test.csv', username='root'); Rows Loaded ------------- 4 (1 row) ■HDFS上のファイルをExternal Tableとして定義 dbadmin=> create external table hadoop_bb (a int, b int) as copy source hdfs(url='http://192.168.47.30:50070/webhdfs/v1/user/root/test.csv', username='root'); CREATE TABLE dbadmin=> select * from hadoop_b; a | b ---+--- 1 | 2 2 | 3 3 | 4 4 | 5 (4 rows)
  • 28. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28 HadoopとVerticaによるデータ活用支援サービス VerticaHadoop 分散処理基盤 Hadoop 大規模データ分析に用いられるソフトウ エアのデファクト・スタンダード 分析データベースVertica 大量データからの高速な検索に適した 新世代カラム指向データベース Connectors $ € ¥ Flume Sqoop さまざまなデータ ERPを代表としたビジネスデータ は もちろんのこと様々なデータ を集める テータを収集し、それぞれのクラスタに向く処理を実行し、データを受け渡して利用・ 連携・保管し、データを活用する支援をいたします。
  • 29. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.29 はじめようHadoopとVertica ! パッケージ 並列処理のスケールアウトと組み合わせの良さを実感できる最小構成 標準バンドル Cloudera Enterprise 1年間365日24時間保守込みのサブスクリプション Vertica 1TB License ライセンスと1年間平日 9:00-17:30保守 Red Hat Enterprise Linux Server 1年間365日24時間保守込みのサブスクリプション HP BladeSystem c7000エンクロージャおよびGbEスイッチ HP ProLiant BL460c Gen8サーバ x 8 = ( 1+4 Hadoop ) + ( 3 Vertica ) 各ブレード CPU: 1P/8C Memory :32GB Disk: 900GB x2 1年間 365日24時間保守 初期セットアップ作業 Vertica 3 Node Hadoop 1+4 Node HadoopとVerticaによるデータ活用支援サービスと ソフトウエアとハードウエアおよびセットアップ作業を、 ひとつのパッケージで ご提供いたします。