Checklist for Analytics on Hadoop

1. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
1
ビッグデータ・アナリティクスへの取り組みをモダナイズする
～今、Hadoopを始めるためのチェックリスト８項目～
SAS Institute Japan Ltd.
Analytical Platform Practice
Izumi Kobayashi

2. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
MODERNIZE モダナイズ
mod・ern・ize
Verb
Adapt (something) to modern needs or habits,
typically by installing modern equipment or
adopting modern ideas or methods
【動詞】
新しい技術を導入したり、 あるいは、新しいアイデアや方
法を適用して、 新しいニーズや習慣に適応すること

3. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
3
アナリティクス環境のモダナイゼーションが求められている
顧客・市場・サービスの多様化
顧客・市場・競合の変化の加速
技術進化による利用可能データの増加
従来の技術ではコスト高
従来の技術では間に合わない
Hadoopの採用が加速している理由

4. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
4
1 Hadoopについて理解する
2 インメモリ・アナリティクスの活用を検討する
3 分析のためのデータ準備プロセスを見直す
4 データを探索し新しい洞察を得る
5 アドバンスト・アナリティクスについて理解する
6 テキスト・アナリティクスの本当の活用方法
7 アナリティクスでビジネス価値を生み出すために
8 スキルの評価
Hadoopを始めるために知っておくべきこと－チェックリスト８項目－

5. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
5
1. Hadoopについて理解する
Hadoopとは、安価なH/Wを並べることにより、非常に大量のデータ
を蓄積し、そのデータを並列に処理する技術・方法である
HDFS
分散ストレージ
YARN
リソース管理
Map
Reduce
データ処理
Pig,Hiveなど
データ処理
その他
データ処理
アナリティクス
Hadoopプラットフォーム

6. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
6
2.インメモリ・アナリティクスの活用を検討する
Map Reduceは、大規模バッチ処理を目的としており、I/O依存で、
決して“高速”ではない。対話的な分析やアドバンスト・アナリティクス
には向いておらず、インメモリ・アナリティクス技術が不可欠である
HDFS
分散ストレージ
インメモリ・アナリティクス基盤
インメモリ・アナリ
ティクス基盤
SMPアーキテクチャ分散並列アーキテクチャ

7. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
7
3.分析のためのデータ準備プロセスを見直す
EDWでは、あらかじめ整備されたデータを目的に沿って準備するのに
対しHadoopでは、とりえあえず格納し、使用する際に整備・加工・ク
レンジングする。分析者がHadoop上でデータ加工できることが重要
従来のアプローチ
整備された・繰り返し分析
ビッグデータに対するアプローチ
反復的＆探索的分析
ビジネス・ユーザー
が「問い」を決める
IT部門が問いに
応えるためのデー
タを整備する
IT部門が、創造
的な発見のため
の基盤を提供す
る
ビジネスユーザー
はどのような「問
い」をすべきかを
探索する

8. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
8
4.データを探索し新しい洞察を得る
Hadoop上のビッグデータやAllデータに対して、データの品質、傾向
や関連性、重要性を即座に理解することが必要。IT部門の作業を
待つことなく、分析者自身で実施できる環境が求められる。
ビジュアライゼーション
インメモリ・アナリティクス
対話型
記述統計
セルフサービス

9. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
9
5.アドバンスト・アナリティクスについて理解する
ビッグデータをビジネス価値に変えるためには、単なる集計や記述統
計では不十分である。データマイニング、テキストマイニングや機械学
習といったアドバンスト・アナリティクスが必要となる。
アドバンスト・アナリティクスの例
• パターン検知
• 分類
• 予測
• レコメンデーション
• 最適化

10. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
10
6.テキスト・アナリティクスの本当の活用方法
Hadoopを採用する理由の一つとして、テキストデータを格納すること
が多い。これはHDFSの特徴から理にかなっている。多くの場合テキ
ストデータは予測モデリングのインプットにして初めて価値をもたらす
予測
モデリング
アクション レビュー構造化
データ
データ
準備
データ
探索
テキスト
データ
形態素
解析
タグ付
分類
顧客ID 属性 行動 行動
1
2
3
4
単なる前準備

11. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
11
7.アナリティクスでビジネス価値を生み出すために
ビッグデータアナリティクスからビジネス価値を生み出すためには、予測
モデルを用いてよりよい意思決定に繋がるアクションを実施する必要
がある。Hadoop内あるいは業務システムにスコアリング機能が必要
予測
モデル
予測
モデリング
最新の
データ
スコアリン
グ結果
アクション
スコアリング処理
例
• 解約予兆
• レコメンデーション
• 債権回収
• 故障予兆
• 営業活動最適化
• 与信管理
• 不正予兆
将来をより良い方向へ導くためのアクションのためのモデル

12. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
12
8.スキルの評価
ビッグデータ・アナリティクスによってビジネス価値を創出するためには、
プログラミング、コンピューター・サイエンス、モデリング、創造的な思考
やコミュニケーション能力など、多岐にわたるスキルが求められる。
そのすべてを一人で備えるケース（データ・サイエンティスト）はあまり多
くない。したがって、アナリティクス・チーム全体でこれらのスキルをカ
バーできていればよい。その場合に重要となるのは、「アナリティクス」
そのものの価値を良く理解しているリーダーである。

13. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
13
さいごに： ビッグデータ・アナリティクスを成功に導くマインドセット
従来の考え方
SCARCITY MINDSET
• 技術に縛られる
• 作業中心
• コスト削減に集中
• 許可が下りなければ
実行できない
新しいトレンド
ABUNDANT MINDSET
• 技術を活力にする
• 発見中心
• バリュー創出に集中
• 禁止されない限り実
行してよい

14. Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
14
お問い合わせ先
SAS Institute Japan マーケティング本部
JPNSASInfo@sas.com