1. 【マクロミル】
カラム型データベースで
分析システムを40倍高速化
マクロミル 林 正浩、瀧澤
インサイトテクロノジー 石川
2012/11/15
17:00～17:45
伸
雅也

2. 最近のリサーチの定番ロイヤリティ指標：
ＮＰＳ （Ｎｅｔ Ｐｒｏｍｏｔｅｒ Ｓｃｏｒｅ）
親友に心の底から奨められるモノありますか？
「このサービスを同僚や友人に薦められますか」
2

3. あなたが友人や家族に
親友に心の底から奨められるモノありますか？
心の底から奨められるモノは何ですか？
3

4. はじめに
親友に心の底から奨められるモノありますか？
4

5. はじめに
多数の友人にも奨め、自身でも大人買いしています。
5

6. はじめに
Vectorwiseも今では無くてはならないもの
多くの方に自信をもって薦められるテクノロジー
しかし、我々も出会ったのはつい１年前
無知から今日までのいきさつを赤裸々に共有します
6

7. どんな現場だったのか：弊社紹介
大企業的なFactベースの決裁プロセスが必須
 ネットリサーチのリーディングカンパニー
 東証１部上場
 従業員数：836名 （連結）
 連結売上：171億円、経常利益：40億円


（2013年6月期決算）
売上前年比：120% 過去最高の収益を実現
非連続的成長を目指し
新規事業への積極的投資行っております
7

8. どんな現場だったのか： 弊社ＤＮＡ
「早い」 「安い」 「旨い」 を実現したい
リサーチ“牛どん化”計画、
ネットリサーチの分野では成功
より広範囲なクライアントの
マーケティングニーズに応えたい
新規事業として
食品・日用品メーカーの
意志決定の起点である
POSデータの提供をしたい
8

9. どんな現場だったのか： ＰＯＳシステムの概要
数百億件の集計を10秒以内で処理する必要あり
かつ 格安で実装したい
データ提供元
スーパー
チェーン
ドラッグ
チェーン
その他
数千店以上
弊社
POSシステム
①POSデータ
管理システム
③集計システム
（クロス集計と
グラフ描画）
②Web上での集
計指示、結果確
認、各種処理
（UI）
④運用管理
（マスタ管理、
クライアント管
理）
クライアント様
集計処理
レポート作成処理
集計条件を自由に変えられる
結果を画面での確認できる
Ｅｘｃｅｌでのレポート出力可能
グラフがオブジェクトである
食品メーカー
データ件数：数百億データ容量：数ＴＢ
日用品メーカー
9

10. プロジェクトで実現したいこと
POS市場にも 「早い」 「安い」 「旨い」
早い
データ処理スピード（クライアント要望、競合比較）
開発期間を極力短納期で。
安い
新規事業→システム投資押さえたい
メンテナンス費用も抑えたい
旨い
開発プロジェクトを無事着地させる
開発者のモチベーションが全開になるプロジェクト
10

11. 開発ベンダーからの提案内容
１０社へＲＦＰ→様々な提案が出てきたが・・・
BI（フロント）
ＤＷＨ（バック）
ハード
Ａ社
クラウド
DB
ミドルウェア
Ｗｅｂ
レポート主力
（グラフ描画） (Excel Export）
Hadoop
＋Oracle
スクラッチ
Ｂ社
オンプレミス
PostgreSQL
ＢＩツール
Ｃ社
オンプレミス
Ｄ社
オンプレミス
ＭｙＳＱＬ
インメモリＢＩツール
スクラッチ
11

12. 開発ベンダーからの提案内容
レスポンスとコストの双方を満たせるものがない
12

13. 出会い
途方に暮れていたところにＶｅｃｔｏｒｗｉｓｅと出会う
想定コスト、要求処理速度の両方を満たせそう
■インサイトテクノロジー社からの提案
ＤＷＨ（バック）
ハード
DB
ミドルウェア
InsightQube Vectorwise
BI（フロント）
Ｗｅｂ
レポート主力
（グラフ描画） (Excel Export）
スクラッチ
13

14. 出会い
TPC-Hベンチマークの結果はOracleなどと比較し、
1/2のハードで,２倍以上の性能,1/5～1/10のコスト
→４０倍のパフォーマンスが得られる事になる
TPC-H ベンチマークのトップ 8 （Non-Clustered 1TB ）
2012/1現在
Vectorwise
Performance
(QphH@1TB)
3 May 2011
400,000
Source: www.tpc.org / Jan 10, 2012
300,000
Oracle
200,000
Oracle
Sybase IQ
15 Dec 2010
3 Jun 2011
Microsoft
Microsoft
30 Aug 2011
5 Apr 2011
26 Apr 2010
Oracle
26 Sep 2011
80 cores
2TB RAM
32 cores
0.5TB RAM
Microsoft
32 cores
1 TB RAM
64 cores
0.5TB RAM
7 Dec 2011
64 cores
0.5TB RAM
32 cores
0.5TB RAM
140,181
164,747
173,962
436,788
209,534
219,888
201,487
134,117
$12.15 US
100,000
80 cores
2TB RAM
$6.85 US
$1.37 US
$0.88 US
$9.53 US
$1.86 US
$4.60 US
$1.30 US
40 cores
1TB RAM
0
Price/Performance
US$/QphH@1TB
TPC-Hのベンチマーク・スコア：QphH:時間毎のトランザクション数（グラフ縦軸：トランザクション数）
Price/QphH:トランザクションにいくらの費用（HW、Software、保守*ベンダ指標）がかかったかを示す
14

15. 決定に到った経緯
情報が皆無の状況から検証に取りかかった
国内にはほぼ実績がない
 弊社内：「Vectorwise、カラムナーDBノウハウ無し」
 開発ベンダー１０数社：「Vectorwise全く知らない」
 国内ファーストユーザーになる！？ （なってしまう？！）
「至急、検証して確固たる裏を取れ！」・・・
 １．処理スピードは本当に速いのか？
 ２．検証は短期間に実施可能か？
 ３．実装上で問題が出た場合の体勢に不安はないか？
15

16. 検証をどう乗り越えたか
親友に心の底から奨められるモノありますか？
開発現場で何か起きたか
16

17. 検証、実証、開発
現場のリアル像
パネルディスカッション
マクロミル 林 正浩、瀧澤
インサイトテクロノジー 石川
伸
雅也

18. Ｑ．Vectorwise って
親友に心の底から奨められるモノありますか？
本当に速いの?
18

19. Ｑ．そもそも検証のは
親友に心の底から奨められるモノありますか？
簡単？
19

20. Ａ．簡単に試せました
 ユーザーズガイド等も日本語化されており、トライしやす



かった。
AWSインスタンスでもデータロードスピードの速さにびっくり。
親友に心の底から奨められるモノありますか？
処理スピードはすぐに実感できた。
社内の検証用ハイスペックPCはWindows版であったが
Linux版とほとんど違いなく動き、独自で検証するハードル
が低かった。
採用決定する前段階からインサイトテクノロジー社の多大
なるサポートを受けることができた。
20

21. Ａ．そして本当に速かった
 重要マイルストーンである「ローデータ数億件から数千万レ
親友に心の底から奨められるモノありますか？

コードのGroupByを3秒以内」の目標がすぐに確認できた。
件数を増やしても処理スピード増加率はマイルドであった。
21

22. Ｖｅｃｔｏｒｗｉｓｅの
パフォーマンスを
親友に心の底から奨められるモノありますか？
実感したできごと
（動画）
22

23. Ｑ．Viewを使いたい
親友に心の底から奨められるモノありますか？
Union All View って
使える?
23

24. Ａ．検証して見ましょう!
親友に心の底から奨められるモノありますか？
24

25. 検証結果詳細
詳細検証結果
は非公開
→個別検証はインサイトテクノロジー社へ
ご相談ください。
25

26. Ｑ．カラムナーDBに
親友に心の底から奨められるモノありますか？
更新処理を
させても良い?!
26

27. 更新処理 INSERT
27

28. 更新処理 UPDATE
28

29. 更新処理 DELETE
29

30. Ｑ．オンプレとクラウド
親友に心の底から奨められるモノありますか？
どっちがいい?
30

31. Ｑ．他に良かった
親友に心の底から奨められるモノありますか？
ところは?
31

32. Ｑ．じゃあ
親友に心の底から奨められるモノありますか？
悪かったところは?
32

33. お願い１．
親友に心の底から奨められるモノありますか？
難しいSQLだと
オプティマイザが…
33

34. お願い２．
親友に心の底から奨められるモノありますか？
可用性を高める
機能が欲しい
34

35. お願い３．
親友に心の底から奨められるモノありますか？
あとは値段が安くなると
最高なのだが…
35

36. 質疑応答
親友に心の底から奨められるモノありますか？
36