[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社入江純

© Hitachi, Ltd. 2015. All rights reserved.
ビッグデータ・IoT時代のキーテクノロジー、
CEPで「今」を掴む！
入江純
株式会社日立製作所
情報・通信システム社
ITプラットフォーム事業本部
2015/6/12

最近話題のIoT (Internet of Things)、
IoTの普及に伴い、重要となるビッグデータ利活用
その利活用方法の一つが
CEP (Complex Event Processing)
0ー1 はじめに
1
本日はCEPの特長と”HOW TO”をご紹介
「CEP使ってみよう」というきっかけになれば幸いです

１．CEPとは
２．CEPの技術的な特長とその原理
３．CEPの”HOW TO” -事例から見る使い方-
４．まとめ
Contents
2

１．CEPとは
４．まとめ
Contents
3

1ー1 ビッグデータの時代 (コト・ヒト・モノ)
通話ログ
電力メーター
カーナビつぶやき
コンテンツダウンロード
ＳＮＳ
ネット購入
業務処理
監視映像
Big Data
ヒト
Human
モノ
Things
環境・気象データ
設備監視
ＧＰＳ
動画・画像・音声
スマートフォン
診断画像・
電子カルテ
物流トレース
運行情報
ＩＣカード利用
人の移動
コト
Works
サービス
4
ITで処理できる世界は、日々拡大されている

1ー2 CEPによるビッグデータの利活用
5
分析可視化
CEP
ValueBig Data
リアルタイム
CEPは、ビッグデータから価値を生み出すための手段

Data B
1ー3 ビッグデータ → 価値ある情報の創出 (1)
1つの値ではなく、値の変化に意味がある
■ 逐次発生し続けるデータから、価値ある情報を抽出
■ 意味ある「値の集合」を分析することで価値ある情報を抽出
■ 統計分析、傾向分析、相関分析など、分析方法はさまざま
Data A
Data C
時刻
発生データ
6

Data B
Data A
Data C
時刻
発生データ
7
<例> 傾向分析
傾き

Data B
Data A
Data C
時刻
発生データ
8
<例> 軌跡分析
動線

Data B
Data A
Data C
時刻
発生データ
9
<例> 相関分析
関係性

顧客行動指向マーケティング流通分野
金融分野証券取引サービス
ITシステム保守運用サービス保守分野
交通状況モニタリング交通分野
通信状況分析サービス通信分野
設備省電力サービス電力分野
医療分野オーダーメイド医療
行政分野世論 (SNS) 分析、意思決定支援
1ー7 ビッグデータから生み出される新ビジネス
10

１．CEPとは
４．まとめ
Contents
11

2ー1 CEP基盤の動作原理
12
取引情報
商品データ売上データ
DB操作で
集計・分析
ストック型データ処理 (従来DBMS)
デ
ー
タ
DB DB
データをDBに蓄積(ストック)してから
集計・分析
一括処理データ保存必要
操作ログ
RFIDPOSデータ
センサデータ
データが発生する度に
流れるように(フロー)逐次集計・分析
リアルタイム処理データ保存不要
リアルタイム
集計・分析
リアルタイム
表示
フロー型データ処理 (CEP)
複合イベント処理
データの
量と質が変化
データ発生時にリアルタイムに処理する”フロー型データ処理”

事前登録
稼動情報
通信データ
ICカード
運行データ
ネットワーク
入力情報
分析シナリオ分析結果
ダッシュボード
(見える化)
結果ファイル
uCosminexus Stream Data Platform
CEP基盤
2ー2 CEP基盤の技術的特長
出力情報
日立の
CEP基盤
13
フロー型データ処理を実現するCEP基盤の技術
■ ウィンドウ演算により、時系列データの分析を実現
■ インメモリ差分計算により、無駄のない超高速処理を実現
■ SQLの拡張言語CQLにより、分析シナリオの定義を実現
株a,15
株a,1
株b,2
株a:計15
株b: 計6
株a,1
株b,2
株a,4
株b,6
株a,9
株a,3
株b,4
株a,5
株a,6
ウィンドウ演算
インメモリ差分計算
CQLによるシナリオ定義

時系列
データ 100 99 2 1 0101102
ウィンドウで切り取られた処理対象の時系列データ
■ ウィンドウの種類
・データの数 (ROWS) 例：直近の100取引分を対象にする
・時間 (RANGE) 例：直近3分間分を対象にする
・グループ分け (PARTITION) 例：各銘柄の最新5取引分を対象にする
14
2ー3 ウィンドウ演算
無限に続く時系列データを効率よく処理
■ ウィンドウにより、時系列データの分析範囲を定義
■ 分析に必要なデータだけを抽出することで、データ処理を効率化
■ 分析シナリオに複数種のウィンドウを提供

株価指数の計算処理の例
A社, xxx円, xxx株
B社, xxx円, xxx株
C社, xxx円, xxx株
：
xxxxx時価総額
株価, 株式数
A社, yyy円, yyy株
B社, xxx円, xxx株
C社, xxx円, xxx株
：
yyyyy A社, xxx円, xxx株xxxxx A社, yyy円, yyy株－＋
分析対象データ、中間計算
結果はメモリ中に保持
変化のあった株価のみを演算
スライディング・ウインドウスライディング・ウインドウ
15
2ー4 インメモリ差分計算
圧倒的な超高速処理を実現
■ インメモリデータ処理により、ディスクI/Oを排除
■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減
■ 分析対象のデータ数に依存しない、一定の計算量で処理を実現

ISTREAM (
SELECT id, SUM(val) AS s
FROM str [ROWS 3]
GROUP BY id);
…ストリーム化演算
CQLの例
選択、結合
集合演算など
ストリーム化演算
時系列
データ
中間結果入力・出力
…ウィンドウ演算
処理モデル
リレーション
ウィンドウ演算関係演算
16
2ー5 CQLによるシナリオ定義
幅広い業務に対応可能なクエリ言語を提供
■ SQLを拡張した言語であるため、習得は容易
■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行
■ アプリケーションの個別開発と比較して、開発効率を大幅に向上

１．CEPとは
４．まとめ
Contents
17

3ー1 事例概要
18
データセンターで無線センサーを利用したIoT事例
データセンターにおける運用コストの大部分は「空調費」
そのため、空調の電力消費を抑えることでコスト低減ができる
そこで日立では…
CEP×無線センサーによる空調制御最適化
で空調の省電力化を実現
※説明を簡単にするため、一部実例とは異なる部分があります。

3ー2 データセンターにおけるCEPソリューション
19
※ムービーは以下URLからも閲覧可能です
「日立の考えるビッグデータ活用」
http://www.hitachi.co.jp/products/it/bigdata/case/movie01.html
まずはムービーをご覧ください

3ー2 データセンターにおけるCEPソリューション
20
空調制御最適化のあらすじ
空調の電力消費が多いのは全体の室温をもとにした過冷却が原因
↓
無線センサーを用いてサーバーラック単位の温度が測定可能に
↓
細かな空調制御により効率的な空調制御を実現
温度の高い箇所にだけ
効率良く送風できれば
空調費を抑えられる！温度高
温度低
温度低

© Hitachi, Ltd. 2015. All rights reserved. 21
3ー3 部分的な温度測定と異常の予兆検知
サーバー筐体吸気温度
排気温度
空調制御最適化の方法
1. 無線センサーによるサーバーの吸気温度・排気温度を測定
2. CEPを用いた分析による局所的な熱溜まり異常の予兆を検知
無線センサーによる温度測定 CEPによる異常の予兆検知
吸気温度
排気温度
吸気温度が排気温度を超えそう！
⇒異常の予兆
！
熱溜まり異常
＝(吸気温度＞排気温度)となる状態

3ー4 異常の予兆検知を実現するシステム構成
温度データ入力
uCSDP
空
調
制
御
用
情
報
出
力
uCSDPの役割
サーバの吸気温度・排気温度から、熱溜まり異常の予兆を検知
フィードバックを受けて
自動的に空調制御
各サーバの吸気温度・
排気温度を計測
※uCSDP・・・日立のCEP基盤「uCosminexus Stream Data Platform」

uCSDPで実現したいシナリオ
サーバの吸気温度・排気温度から、熱溜まり異常の予兆を検知
＝吸気温度が排気温度を超える予兆を検知
シナリオ定義
直近10分間で吸気温度が排気温度の
80%を超える割合が10%以上存在する
状態(＝熱溜まり異常の予兆)を検知
23
3ー5 異常の予兆検知を実現するシナリオ
吸気温度
排気温度
排気温度
の80%
直近10分間
10%
以上
論理構造温度データ入力データ件数の集計熱溜まり異常の予兆検知
CQL
熱溜まり異常の予兆を検知するロジック
tempSensor
allCount
heatCount
heatRate heatCheck

3ー6 予兆検知を実現するCQL：温度データ入力
吸気温度
排気温度
REGISTER STREAM tempSensor (
timeStamp TIMESTAMP,
id INT,
tempIn DOUBLE,
tempOut DOUBLE
);
…センサーID
…時刻
…吸気温度
…排気温度
CQL tempSensor
allCount
heatCount
heatRate heatCheck

3ー7 予兆検知を実現するCQL：データ件数の集計
REGISTER QUERY allCount
SELECT id, COUNT(id) AS cnt
FROM tempSensor [RANGE 10 MINUTE]
GROUP BY id;
REGISTER QUERY heatCount
SELECT id, COUNT(id) AS cnt
FROM tempSensor [RANGE 10 MINUTE]
WHERE tempIn > (tempOut * 0.8)
GROUP BY id;
COUNT関数でデータ件数を集計
WHERE句で条件(吸気温度>排気温度×80%)を指定
全データ件数を
集計するクエリ
吸気温度が排気温度の
80%を超えた件数を
集計するクエリ
直近10分間のデータが集計対象
CQL tempSensor
allCount
heatCount
heatRate heatCheck

3ー8 予兆検知を実現するCQL：異常の予兆検知
REGISTER QUERY heatRate
SELECT all.id, (heat.cnt / all.cnt) * 100 AS rate
FROM allCount AS all, heatCount AS heat
WHERE all.cnt > 0 AND all.id = heat.id;
REGISTER QUERY heatCheck ISTREAM (
SELECT id, rate
FROM heatRate
WHERE rate >= 10
);
CQL tempSensor
allCount
heatCount
heatRate heatCheck
吸気温度が排気
温度の80%を
超えた割合を
算出するクエリ
割合が10%
以上かどうかを
判定・出力する
クエリ
(吸気温度>排気温度×80%)である割合を算出
2つのクエリを結合
算出した割合が10％以上なら、IDとその割合を抽出
ISTREAMによるストリーム化演算
により予兆検知結果を出力

3ー9 その他の分析例
・・・
SELECT CORREL(a, b) AS cor
・・・
2種類のデータの相関係数を算出
→ 「データの関連性」を分析
相関係数>0
相関係数<0
通常の
状態
いつもと
違う！
・・・
SELECT
AVG(v) AS avgValue,
STDDEV(v) AS sdValue
・・・
相関分析外れ値検知
データの発生確率を算出
→ 「確率的な外れ値」を検知
通常の
範囲
外れ値を検知
相関係数を算出
平均値を算出
標準偏差を算出

3ー10 uCSDPによる簡単ソリューション
コーディングレスでシナリオ作成ができるuCSDPなら、
少ない工数でシステム構築ができるため、
業務課題の解決、ビジネス価値の創出に注力できます

１．CEPとは
４．まとめ
Contents
29

4ー1 まとめ
分析可視化
CEP
ValueBig Data
リアルタイム
CEPは、ビッグデータから価値を生み出すための手段

4ー2 さいごに
31
ご清聴ありがとうございました
最近話題のIoT (Internet of Things)、
IoTの普及に伴い、重要となるビッグデータ利活用
その利活用方法の一つが
CEP (Complex Event Processing)
本日はCEPの特長と”HOW TO”をご紹介
「CEP使ってみよう」というきっかけになれば幸いです

ビッグデータ・IoT時代のキーテクノロジー、
CEPで「今」を掴む！
入江純
株式会社日立製作所
情報・通信システム社
ITプラットフォーム事業本部
2015/6/12
※製品の改良により予告なく記載されている仕様が変更になることがあります。

[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社入江純

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a [db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社入江純

Semelhante a [db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社入江純 (20)

Mais de Insight Technology, Inc.

Mais de Insight Technology, Inc. (20)

Último

Último (7)