[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～ by Taichi Ishikawa

db tech showcase 2013 Tokyo

配布版

正確でスピーディーな決断を促す、
日立の高速データアクセス基盤
～性能検証事例と活用効果～
2013/11/15
株式会社日立製作所情報・通信システム社
ITプラットフォーム事業本部ビッグデータソリューション部

石川太一
© Hitachi, Ltd. 2013. All rights reserved.

Contents
１. 本日、皆様と共有したいこと

２. なぜ、データ処理の高速化が必要か
３. 事例に見る、利活用の阻害要因
４. データマートレス化が生み出す価値
５. データマートレス化を実現する、高速データアクセス基盤

６. 高速化は手段であり、目的じゃない


1

１. 本日、皆様と共有したいこと


2

１-１ビッグデータ時代に求められるＩＴ基盤

取り扱うデータ処理要件に応じて、適材適所の
ソリューションを選択し、課題を解決したい。
ノンストップＤＢ

可用性を高めます

現実世界
事務所
工場
店舗

Hitachi Advanced Data Binder
プラットフォーム *1

/ ＯＲＡＣＬＥ

トランザクション情報

基幹系

グリッドバッチ

マーケティング

経営/業務

情報系

調達ＤＢ
製造ＤＢ
販売ＤＢ
：
ＤＢ

素早くフィード
バックします

マートレスで
データを活用
できます

高速データアクセス基盤

加工・収集

ＥＴＬ

分析・活用

セントラル

DataStage

ＤＷＨ

ORACLE RAC
on FLASH

基幹バッチ

ストリームデータ処理基盤

本日のテーマ

バッチ時間を
短縮します

消費者

履歴情報

報告書
センサー
ＳＮＳ

収集

ＤＢ

大量データを
一次処理できます
インメモリデータグリッド

集計

ＤＢ

蓄積

非構造データを
素早く集計します
かんたんＨａｄｏｏｐ

*1: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実
証・評価」（中心研究者：東大喜連川教授）の成果を利用。

履歴ＤＢ

事実データと、
トレーサビリティの確保

効率よく
蓄積できます
時系列データ処理基盤


3

１-２ビッグデータ時代に、日立が注目した技術

ＳＱＬか、ＮｏＳＱＬなのか？
それは取り扱うデータの種類によって決まります。ビジネス判断を行なうためには、
非構造データも、最終的にデータを構造化して扱えるようにする必要があります。
構造化データ
契約
受発注
売上

基幹系
調達ＤＢ
製造ＤＢ

判断

ＲＤＢＭＳの技術が進化

情報系
マート

稼働ログ

選択する技術の考え方

販売ＤＢ
：
ＤＢ

非構造

セントラル
ＤＷＨ

収集
ファイル

集計

蓄積

ファイル

履歴
ファイル

Ｈａｄｏｏｐ、インメモリデータグリッド、等の技術が進化

非構造データ

ＳＱＬ
構造化
内部

ファクト

ＥＴＬ

ＮｏＳＱＬ
外部

加工・収集

ＳＮＳ
センサー

！

サマリ

速度

精度

出典：日立製作所
http://www.hitachi.co.jp/products/it/bigdata
/column/column01.html

日立は、ビジネス判断に直結する
セントラルＤＷＨ、つまりＳＱＬの高速化技術に着目

4


5

２. なぜ、データ処理の高速化が必要か


6

２-１企業がおかれている環境

グローバル化の進展により、市場競争が激化。
５割の企業が、１０社以上と競合。
主要な競合数

Ｑ．（n=216）
貴社がおかれている
競争環境として、
最も当てはまるものは？
出典： JEITA/IDC Japan
「IT経営に対する日米企業の相違分析」
(2013年10月)

0%

20%

40%

きわめて限定的（数社程度）

60%
5～9社程度

80%
10～49社

100%
50社以上

競争が激しい状況下で、ＩＴに何を期待しますか？


7

２-２競争環境において、ＩＴに期待する効果

市場変化への迅速な対応、意思決定の迅速化など、
新たなＩＴ活用への期待が高まっている。
ＩＴに期待する効果

Ｑ．（n=216、3つを選択）
今後、貴社やあなたの
部門が競争していく上で、
ＩＴに期待する効果は？

社内業務効率化／労働時間減少
市場環境変化への迅速な対応
意思決定の迅速化
新規顧客の獲得
顧客の嗜好やニーズの把握
製品/サービス提供迅速化/効率化
人件費の削減

出典： JEITA/IDC Japan
「IT経営に対する日米企業の相違分析」
(2013年10月)

新規製品／サービスの開発
既存顧客の維持
社内情報共有の容易化
調達費用のコスト削減
将来の市場動向／トレンド予測
社外情報提供効率化／提供量増大
0%

10%

20%

30%

40%

50%

60%

新たなＩＴの活用。次は何に取り組みますか？

8


9

２-４新たな価値を創造するために

約６０％の企業が、ビッグデータ利活用を
自社の検討課題と認識。
ビッグデータへの取り組み

Ｑ．
貴社ではビッグデータ活用が、
組織的な検討課題に
あげられていますか？
出典：株式会社野村総合研究所
2012年12月25日
ビッグデータの利活用に関するアンケート調査
http://www.nri.co.jp/news/2012/121225.html

具体的な事例から見える、利活用の阻害要因とは？

10

３. 事例に見る、利活用の阻害要因


11

３-１なぜ今、データが爆発的に増えるのか？

流通業におけるビッグデータへの期待と課題
チャンスロスを削減し、お客さまへの気の利いたサービス、情報を提供したい。
さらには顧客情報を掛け合わせ、顧客単位のサービスを提供したいのだが・・・。

単品販売情報

（POS売上明細）
•会社
•店
•ライン
•クラス
•棚
•単品

×

時系列

•年
•期
•四半期
•月
•週
•日
•曜日
•時間帯

×

店舗販売


顧客情報


階層

Omni-channel
アプローチ

One to One

チャンスロス削減
気の利いたサービス

原因究明
顧客接点
未来予測
強化
顧客単位サービスの拡大

利用チャネル

•会員種別
•年代
•性別
•居住エリア
•ロイヤリティ
•家族、収入
など

ＣＲＭ

×

Access

Log
サイト訪問履歴
商品参照履歴



×



問い合わせ、
会話内容
クレーム

つぶやき、

コメント、
情報発信

×

データの掛け合わせで、
処理データ量が飛躍的に増加。
ＥＣ,
ネットスーパー

コンタクト
センター活用

ＳＮＳ
経営者

ＣＲＭ： Customer Relationship Management

12

３-２データ件数の増加で表面化する課題の典型例

日々、さまざまな角度からデータを分析したいが・・・。
□分析軸は多様。軸が増えれば、レポート作成処理も増大。
例えば分析軸が３次元になれば、合計１６５種（※１）のレポートを作成する必要がある。
※１１６５種=時間軸(６)×商品軸(７)×組織軸(４)－３

□分析処理に時間がかかり、タイムリーにレポートできない。
１種の分析処理に４０分程度かかるもの（※２）もある。
※２２６億件の売り上げ明細から得意先を分析するＳＱＬ処理。

□そこで、レポートごとに事前集計（データマートを作成）する
夜間バッチ処理を走らせているが、このバッチ処理に１３．５時間かかっている。
データマート数

１６５種
商品軸

【課題】

顧客
ﾃﾞｰﾀ

データマートの作成に１３．５時間
タイムリーな意思決定ができない。
組織軸

データマートを作る方式は
一般的なのか？

時間軸

13

３-３ＤＷＨで典型的な、データマートアーキテクチャ

目的別にデータを事前集計することで、
データ分析者に対する操作性を高める方式。
基幹システム
ＰＯＳシステム

セントラル
ＤＷＨ

目的別
データマート

時系列に蓄積

商品別に売り上げを知りたい。
店舗別に売り上げを知りたい。

日々再作成
ＣＲＭシステム

顧客
マスター

商品
マスター

調達システム

顧客別の購入
商品ＴＯＰ１０は？

顧客
ﾃﾞｰﾀ

売上
明細
データ
店舗
マスター

データ分析

地域
マスター

ある商品の店舗別、
月別売上げの推移は？

利点定型的な分析（定点観測）は、素早くできる
課題

データ量に比例してマート作成時間が増大

14

３-４データマートアーキテクチャの、もう一つの課題

定型分析業務に向くアーキテクチャだが、
変化と競争の激しい環境では課題がある。
□組織や商材の変化に対応し難い
・データマートの再設計が必要など、維持コストが増加する。

□仮説検証型の非定型分析が苦手
・データマートの設計と開発を伴うため、仮説検証に時間もコストもかかる。
・バッチ突き抜け問題で、新たなデータマートを追加し難い。
・ＳＮＳや操作ログなどの新しいデータ（視点）を取り入れにくい。
目的別データマート
組織や商材が変化する
度に、再設計が必要

顧客
ﾃﾞｰﾀ

新たな分析視点を増やすたびに
マートの設計と開発を伴うため、
仮説検証型の非定型分析が苦手

組織や業務の変化に追従し難く、新たな価値を生み出し難い

15

３-５新しいデータを活用し、新たな価値を創造するには

試行錯誤で分析できないと、価値創造は進まない。
離反顧客の分析、需要分析、クレーム分析など新しいデータを
新しい視点で掛け合わせ、仮説検証を繰り返したいのだが・・・。


（POS売上明細）
•会社
•店
•ライン
•クラス
•棚
•単品

×

時系列

•年
•期
•四半期
•月
•週
•日
•曜日
•時間帯

×


顧客情報


階層

Omni-channel
アプローチ

One to One

チャンスロス削減
気の利いたサービス

原因究明
顧客接点
未来予測
強化
顧客単位サービスの拡大

利用チャネル

•会員種別
•年代
•性別
•居住エリア
•ロイヤリティ
•家族、収入
など

×

Access

Log
サイト訪問履歴
商品参照履歴



×

問い合わ
せ、
会話内容



クレーム



つぶやき、
コメント、
情報発信

×

データの種類、件数が増大しても、

データマートを作らずに、非定型的な分析ができないか？

16

３-７マートレス化を実現する、高速データアクセス基盤
業界標準ベンチマーク「ＴＰＣ-Ｈ＠１００ＴＢ」で世界初登録※1
ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒプラットフォーム※2
□多種多様なデータ結合処理（ＪＯＩＮ）を高速化
□大量データのローディングを高速化
高速検索
契約

多種データ

売上

ＳＮＳ

収集/加工

受発注

Hitachi Advanced Data Binder プラットフォーム
超高速データベースエンジン
Hitachi Advanced Data Binder
（ＲＤＢＭＳ） ※3

データ
ソース

ＢＩ
ツール

ＪＤＢＣ/ＯＤＢＣ/ＣＬＩ
（ＳＱＬインタフェース）
※4 ※5 ※6 ※7

日立サーバ
業務
アプリケーション

センサー
稼働ログ

価値を創造

大量データ

日立ストレージ

具体的に、どのような価値を生み出す基盤なのか？
※1 TPC-H - Top Ten Performance Results Version 2 Results（http://www.tpc.org/tpch/results/tpch_perf_results.asp）
※2 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」
（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用。
※3 RDBMS : Relational DataBase Management System ※4 JDBC : Java Database Connectivity ※5 ODBC : Open Database Connectivity
※6 CLI : Call Level Interface ※6 SQL : Structured Query Language

17

４. データマートレス化が生み出す価値


18

４-１もし、データマートレス化を実現できたら？
セントラルＤＷＨの性能を飛躍的に高め、さらに
データの種類、量が増大しても、その性能を維持できたら？
セントラル
ＤＷＨ

基幹システム

時系列に蓄積

顧客
マスター

調達システム

コンタクトセンタ

ＷＥＢ
アクセスログ

クレーム
コメント
店舗
マスター

商品
マスター
売上
明細
データ

アクセス
ログ
地域
マスター

ＳＮＳ
コメント

目的別
データマート

データ分析

□従来までのデータ集計を高速化
□新しいデータの掛け合わせを高速化
□データの量が増えても性能維持

顧客
ﾃﾞｰﾀ

セントラルＤＷＨを
ダイレクトに分析

クレーム分析から、
死に筋商品の原因は？

離反顧客の一覧は？その対策は？
ＳＮＳを掛け合わせた需要予測は？

効率化と共に、新商品やサービスなどの新しい価値の創造を促進

19

４-２マートレス化で、既存業務を改善－流通業
４０分かかっていた分析処理を、２２秒に短縮。
１６５種のデータマートを、６個に削減し、

※２６億件の売り上げ明細から
得意先を分析するＳＱＬ処理

１３.５時間かかっていたバッチ処理を、７.５分に短縮。
□バッチ突き抜けを解消し、素早くレポートを作成。タイムリーな意思決定が可能に。
□組織や商材の変化にも柔軟に対応できる。
□新しいデータを、新しい視点で掛け合わせ、試行錯誤で仮説検証を繰り返せる。

基幹システム


セントラル
ＤＷＨ

目的別
データマート

データ分析

目的別データマート
を削減し、

顧客
ﾃﾞｰﾀ
セントラルＤＷＨを
ダイレクトに分析

新しい視点での仮説検証で得られた効果とは？

20

４-３業務改善例－流通業
□「日別」集計から「時間帯」別集計へ。
品切れや余剰の防止と、食品の作る/見切るタイミングを調整。

□顧客の併売分析の実現(バスケット、買い回り)
ターゲット商品を決めて、顧客の併売分析をすることで、セット商品化、
プロモーション、店舗改善などに活かす。

日別から「時間帯別」集計へ
商品Ａ
商品Ａ

商品Ａ

単価
単価

10月単価
販売個数
10月
販売個数
10月1日
1日販売個数

1日

在庫
在庫
在庫
単価
単価

10月単価
販売個数
10月
販売個数
10月2日
2日販売個数

2日

在庫
在庫

在庫

9時
9時

9時

10時
10時

10時

品切れ
品切れ
品切れ

0

・・・
・・・

・・・

顧客の併売分析の実現
20時
20時

20時

時間軸で見える

00

項目が見える
項目が見える
項目が見える

余剰

5

55

レシート 059
顧客番号 A03

レシート 123
顧客番号 A03

x社ランドセル
…

y社羊羹
…

同一顧客の
複数レシートを
組み合わせて判断

ランドセルと一緒に購買されているものは？
(祖父・祖母へのお返しもあるのか？)

データマートレス化により、
開発、維持コストを削減しつつ、品ぞろえ、対面サービスを改善

21

４-８データマートレス化で進む、ビッグデータ利活用

仮説検証の試行錯誤を容易にし、価値創造を促進。
非定型分析を高速化することが、利活用の鍵。

１
２
３
４

業務課題の整理と解決方法の仮説立案
データを集める。データを概観する。加工して使えるようにする。

仮説とデータを突き合わせる
データを分析（試行錯誤）する。解決方法を絞り込む。

データマートレスでの
非定型分析が必要

アクション
業務改善を実施する。改善結果の評価データを収集する。

結果を評価し、フィードバックをかける
評価データを定点観測し、効果の有無を確認する。

定型分析の
高速化が必要

22

５. データマートレス化を実現する、
～性能検証事例と、アーキテクチャ～


23

５-１販売管理モデル -性能検証事例

検証協力：株式会社ＤＴＳ

投影のみ

検証環境と、測定シナリオ

ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒ
プラットフォーム

□システム構成
・サーバ
BladeSymphony BS520
(16コア、メモリ96GB)
・ストレージ
Hitachi Unified Storage 130
・データベース
Hitachi Advanced Data Binder V1

ＣＳＶ

①

□データモデル

□性能検証のシナリオ

・販売管理モデル
テーブル名

分類

②

データ件数

レコードサイズ

売上情報

TRN

66億件

150バイト

商品分類マスタ

MST

7件

52バイト

商品マスタ

MST

528件

86バイト

担当者マスタ

MST

12件

111バイト

店舗マスタ

MST

3575件

426バイト

エリアマスタ

MST

4件

103バイト

センターマスタ

MST

3件

①データロード時間
６６億件（８年分相当）のデータを
一括ロードする時間を計測。

54バイト

②データ検索時間
６６億件（８年分相当/約1ＴＢ）のデータ
から１００万件（１日分）のデータを検索
する時間を計測。


24

５-２性能検証結果－ ①データロード時間
投影のみ

検証結果
ＣＳＶ

①

②

①データロード時間
６６億件（８年分相当/約１ＴＢ）のデータを一括ロードする時間。

合計

取込処理時間

インデックス作成時間

スクリーンをご覧ください。
４時間９分48秒 2時間24分20秒

1時間45分28秒

数年分相当の大量データでも、夜間運用で十分処理可能

25

５-３性能検証結果－ ②データ検索時間
投影のみ

検証結果
ＣＳＶ

①

②データ検索時間

②

６６億件（８年分相当/約１ＴＢ）のデータベースに格納された７つの表を、
結合(ＪＯＩＮ)、グルーピング（ＧＲＯＵＰＢＹ）、集計（ＳＵＭ）、ソート（ＯＲＤＥＲＢＹ）
した結果、１００万件（１日分）のデータを抽出する時間。

４.７

平均スクリーンをご覧ください。
秒
STAFF_ID

売上データ

地区マスタ

センターマスタ

SHOP_ID

担当者マスタ

店舗マスタ

AREA_ID

CENTER_ID

AREA_ID

RELAY_ID

SHOP_ID
商品区分マスタ

商品マスタ

STAFF_ID

CLASS_ID

GOODS_ID

GOODS_ID

CLASS_ID

大量データからの部分抽出、集計処理を高速化し、
データマートレス化を実現できます

26

５-４どんな技術で高速化したのか？

非順序型実行原理に基づいて設計された、
超高速データベースエンジン。
※

従来、決定的な順序性だったデータアクセス処理（ＳＱＬ）を、
並列実行単位に自動分割し、非決定的な処理順序で実行。
大量の非同期Ｉ/Ｏを発行し、データアクセス処理性能を高める技術。
※喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理。

従来のＤＢＭＳ（順序型）
従来型
データベースエンジン

非順序型ＤＢＭＳ
超高速

決定的な
処理順序
時間

同期入出力
発行

Ｉ/Ｏ処理完了の待ち時間が、
ＣＰＵ実行時間の多くを占める。

データベースエンジン

非決定的な
処理順序

時間

超大量

ＳＱＬの多重実行
度を高めやすい

非同期入出力
発行

Ｉ/Ｏ処理完了を待たずに、
次の処理を実行できる。

27

５-５大量の非同期Ｉ/Ｏを発行し、性能を向上
ＳＱＬを並列実行単位に自動分割することで、Ｉ/Ｏ発行数を
２桁増加させ、自社従来比約１００倍のアクセス性能を発揮。
※1

【従来方式】：順序型実行方式
サーバ
ストレージ

検索処理(μs)
検索処理(μs)

【新方式】：非順序型実行原理
サーバ

パーティショニング不要。
分割キー不要でＳＱＬを
高多重に自動分割。

同期I/O処理(ms)
同期I/O処理(ms)
ストレージ

多重度を高めるには、パーティショニングや
スケールアウトなどのチューニングが必要。

秒あたりのＩ/Ｏ回数
数１００回
▽

１５，０００回超

タスク割当

検索処理

Ｉ/O完了待ち

ディスクI/O

検索実行時間
９００秒
▽

９秒(１００倍)

※1 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類に
よって高速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。


28

５-６大量なＩ/Ｏを発行－デモンストレーション
投影のみ

デモンストレーションでご確認ください。


29

５-７スケールアップ型だから、シンプルに高速化できる
データ量の増加や性能低下に伴う、パーティショニングやス
ケールアウトの設計、運用、チューニングが不要。

スケールアウト型
（構成が複雑）
従来方式

スケールアップ型
（シンプル）
新方式
トータルコストを
抑えられる

複雑な構成だから、
設計も、運用も難しい

データ

データ

データはストライプ化論理ボリュームに分散配置し、物理的なデータの偏りは
ストレージ層で自動再配置して解消する。

30

５-８ Hitachi Advanced Data Bindeｒプラットフォーム

※1

超高速データベースエンジンと、事前検証済みのサーバ、
およびストレージとを組み合わせたベストプラクティスモデル

販売開始：2013年10月30日
出荷開始：2013年12月末日(予定)

※2013年10月現在の仕様となります。製品の仕様は予告無く変更される場合がございます。

モデル名

エントリーモデル

スタンダードモデル

ユーザデータ容量

3.3 TB

9.0 TB

18.0 TB

CPUコア

6コア

8コア

20コア

メモリー

基本構成

デスクサイドモデル

96GB

96GB

192GB

ユーザデータ容量の拡張

不可

運用管理機能

なし

価格（サポート別）

1,050万円
（税抜1,000万円）

可能（オプション）
あり

（統合システム運用管理JP１を同梱）

個別見積もり

※1 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」
（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用。


31

６. 高速化は手段であり、目的じゃない


32

６-１ビッグデータ利活用の、落とし穴

ビッグデータの利活用は手段のひとつ。
業務課題を整理し、仮説を立てない限り活用は進まない。

１
２
３
４

でも、
どうすれば？

業務課題の整理と解決方法の仮説立案
データを集める。データを概観する。加工して使えるようにする。

仮説とデータを突き合わせる
データを分析（試行錯誤）する。解決方法を絞り込む。

データマートレスでの
非定型分析が必要

アクション
業務改善を実施する。改善結果の評価データを収集する。

結果を評価し、フィードバックをかける
評価データを定点観測し、効果の有無を確認する。

定型分析の
高速化が必要

33

６-２日立のデータアナリスティクスマイスターサービス

ビッグデータ利活用の専門家がビジョン構築から
システム要件の定義まで、トータルサポート。

お任せ
ください！

データ・アナリティクス・
マイスター

【URL】http://www.hitachi.co.jp/products/it/bigdata/approach/service.html

お客さまの課題を解決できるＩＴシステムを、実現するには？

34

６-３日立の高速データアクセス基盤をご活用ください。
業務課題の整理から、課題解決を行なう基盤の提供まで、
トータルに支援させていただきます。

情報活用がリードする
ビジネスと社会

データ・アナリティクス・
マイスター

ビッグデータ利活用



35

END
正確でスピーディーな決断を促す、
～性能検証事例と活用効果～

2013/11/15
株式会社日立製作所情報・通信システム社
ＩＴプラットフォーム事業本部ビッグデータソリューション部
石川太一


他社所有名称等に関する表示
・
・
・
・

製品の内容・仕様は、改良のために予告なしに変更する場合があります。
Hadoop は，Apache Software Foundationの商標です。
OracleとJavaは，Oracle Corporation 及びその子会社，関連会社の米国及びその他の国における登録商標です。
本資料に記載の会社名，製品名は，それぞれの会社の商標もしくは登録商標です。


39

[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～ by Taichi Ishikawa

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a [C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～ by Taichi Ishikawa

Semelhante a [C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～ by Taichi Ishikawa (20)

Mais de Insight Technology, Inc.

Mais de Insight Technology, Inc. (20)

[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～ by Taichi Ishikawa