Mais conteúdo relacionado Mais de Shigeru Kishikawa (20) ビッグデータ6. ③ 多様・非構造であること。
防犯カメラの
映像
基幹DB
ウェブの
購買履歴は基幹DBにあるが、
購入に至るまで、
アクセスログ
購入をしなかった経緯は
基幹DBの分析だけではわからない。
5
7. 参考: 誰がビッグデータと言い始めたのか?
1997 2008 2010
John R. Mashey Nature ビッグデータ特集 英Economist誌
Chief Scientist, SGI
大量データ活用特集
その他、医療の世界における「EBM:evidence-based medicine(根拠に基づいた医療)」 や、
科学の世界における「Data Centric Science 」も関連する潮流と言える。
6
10. 理由1: この10年間の「電子化・自動化」の進展により
使えるデータがたまってきたため。
2001年以降の10年間においてどのような変化があったのか?
2002年のITバブル崩壊の印象が強すぎるが、確実に電子化・自動化は進展していた。
FOMA
Suica iPod
サービス
2001年交通系サービス開始 FOMAサービス開始
2004年ショッピングサービス開始 iPod 第1世代
登場
GPSの標準搭載は2004年~
当時は500円玉サイズ、
1ユニット17万円。
(今は数百円)
9
11. 理由2: 利用サイド事業者にて、IT活用の段階を
進めざるを得ない競争状態に入ったため。
「IT活用」「情報化」は一つの意味ではない。
「電子化・自動化」ができていることと、「事業に寄与する知見導出」ができていることには大きな隔たりがある。
同業種の中で「第二の壁」を越えた事業者と越えてない事業者が勝負しようとしたとき、競争力に大きな差が生ずる。
第1の壁 第2の壁
電子化・自動化 データから、
ができているか? 事業に寄与する知見が
導出できているか?
未解決群 解決群 未解決群 解決群
そ 電子化をして、本業の効率化
れ には成功したけれど、
ぞ 社内稟議は、紙とハンコがぐ
るぐると社内を回る。 このステップを乗り越えた事
業れ 「書類保管費用の削減」など、 「まだまだしゃぶりつくせてい
者の 業者が、「データ活用、ビジネ
顧客情報は担当者の手帳に 情報活用とは別の面からのイ ない」「IT活用の余地はある
の段 スインテリジェンスの優等生」
手書きで保存されているだけ、 ンセンティブが働き、この10 はず」という想いを抱いている。
状階 として、取り上げられる。
況に など。 年間で大きく進展。
あ
る キーワードは
事 「電子化はしたけれども…」
現在は、この段階の
事業者が多い。
10
12. 理由3: ビッグデータを「取得・生成」「蓄積」「処理・分析」
するためのツールが成熟してきたため。
データを蓄積する
データを把握する・収集する データを処理・分析する
処理可能な状態にする
▼大量処理の基盤
各種センサ技術の成熟
クラウドコンピューティング環境 (IaaSほか)
ミドルウェアとして通信の活
用およびクラウドとの連携を
促すAndroid ▼大量に蓄積する
▼大量のデータを処理する
移動体通信 DWH NoSQL /
データウェアハウス
モジュールの活用
▼データを分析可能な状態とする Scipy NumPy…
情報発信や閲覧・購買・コ
ミュニケーション動態把握。
MDM
(公開APIからのデータ収集) マスターデータ管理
トレーニングを重ねた
優れたアルゴリズム
二次利用可能な 可
視
統計データ等 ▼秘匿と活用の両立 化
PPDM プライバシ保護データマイニング 技
(匿名化、秘密計算、再構築計算) 術
人手による入力データや SDC 統計的開示抑制
クリックストリーム
▼ためずに、処理する(リアルタイム処理)
業務付随データ
(事業者保有データ) CEP (複合イベント処理)、ストリーム・コンピューティング
11
16. “Gang of Four” 消費者の一般的なデータに関する「四強」
Google Facebook
一般的な「興味(interest)」に関する広範なデータ。 ソーシャルグラフ・データ。
それを多くの媒体(動画、Blog、写真)などにわたっ 誰をつつけば、誰に訴求するか、ということが分かり
て保有。 うる。
財布情報は持っていない。
Apple
Amazon.com 消費者接点を魅力的なデバイスで押さえている。
一般的な「物品」の購買データを膨大に保有。 iTunes Storeを介して、財布情報を保有。
そもそも”Data is King”を標榜。 デジタルコンテンツを中心としたインタレストと購買実
物品のみならず、デジタルコンテンツの販売にも大き 績を保有。
く拡大。
当然にして財布情報を保有。
15
17. 「利用サイド事業者」「支援サイド事業者」の動向
ビッグデータの ビッグデータの
利用サイド 支援サイド
事業者 事業者
製造、流通、金融… 従来のITベンダ等
などの事業会社
四強以外の事業者においても、
ユニークなデータを取得・保有している
内製事業者 ケースはある。(Paypal, Twtitter等)
Google, Amazon.comなどの 国内事業者でもクックパッドなどは
ウェブサービス事業者等 データ外販サービス「たべみる」を実施。
彼らがビッグデータ活用を強く牽引している。
16
19. 事例
Amazon Kindle Popular Highlights パーソナライズドリコメンデーション
Amazon.comの基本思想は”Data is King.”この思想は小売 昔は、「おむつとビール」。
情報の範囲を越えて拡大中。 ITの登場により、この10年で格段に進歩したのは、「フィード
「電子書籍上でハイライトされた箇所」に関する情報をクラウド バックを個人単位で行う」こと。Amazon.comに代表される、
上に集約・共有を開始。 ECサイトでのリコメンデーションはその典型例。
Popular Highlightsは、電子書籍における「アンダーライン」情
報を集約。 先鋭的な事例としての「カジノでの引き止め」。
マーケティングや、製品開発上の活用が想定される。
GOOG-411による、音声認識アルゴリズムの洗練 スマート○○
自社の音声認識アルゴリズムを洗練させるべく、大量のデー 例: スマート・イリゲーション(水撒き)
タを収集するためだけのサービス提供。 現状において世界の水の7割は農業に使われているが、その
多くが非効率に使われている。天気予報(近く雨が降るかどう
かといった情報)や、各種センサーから得られるデータを活用
「世界中のクルマの情報を集めて、開発に利用する」
することにより、最適な配水を行おうとするものである
例えば、あるお客さんが買ったクルマのエンジンなどの状態
が全部、メーカー側で見える。
そうなれば、クルマの時間的な状態の変化がリアルタイムで
分かるので、問題があったらすぐに手を打てます。
クルマの性能や品質を飛躍的に向上させる仕掛け作りは、
ネットワークなしには考えられません。
「世界中のクルマの情報を集めて、開発に利用する」ことを夢
として持っています。
(出典: インターネットITS協議会)
18
20. 販売促進に関する事例
南アフリカにて開発の “Dynamic Discount Solution”(DDS) は
通信設備の混雑状況に基づき、リアルタイムでの割引施策を行い混雑を平準化。
トラフィックが集中する時間帯においては、料金を高くし、脆弱なインフラにおいても耐えられるよう使用を平準化する。
類似のサービスとして、”Billing and Revenue management”サービスの一環として、“Location Based Charging”の提供も行っている。
これは、2008年に開設した現地研究所(Ericsson Innovation Center in South Africa)から登場したもの。
▼ Ericssonによる、 “Dynamic Discount Solution”(DDS)
時間帯や場所により設定される
通話料金の割引状況を示す。
参考: http://wn.com/Dynamic_Discount
http://www.esato.com/board/viewtopic.php?topic=186740
19
21. 1
ここが要らなくなった
わけではないが…
ビッグデータ活用の類型化と具体的な事例
蓄積したデータの リアルタイムにデータを分析して
分析結果をフィードバック【ストック型】 フィードバック 【フロー型】 なにをもって「リアルタイ
ム」とするかは、業種業
製品開発 スマートグリッド 態、データの利用目的
によって異なる。
系全体 への アルゴリズム改良 スマート~
フィードバック ウェブ動線、陳列棚の配置最適化 … よりリアルタイムに、
2
… よりパーソナルに、
施策を講ずる必要があると
考える傾向が強まる。
ECサイトにおけるリコメンデーション 行動ターゲティング広告
… クレジットカードの不正検知
個別 への 技術的に可能と
高速での証券取引
フィードバック なりつつあること。
…
20
22. ビッグデータとは何か? (再)
ビッグデータとは、 “事業に役立つ知見を導出するための、「高解像」「高頻度生成」「多様・非構造」なデータ」”
事業実施上のニーズの変化 結果求められるデータ(ビッグデータ)の特徴
パーソナライゼーションなど
個々に施策を講じたい。
ビッグ
リアルタイムに施策を講じたい。 データ
多面的な判断材料に基づいて
施策を講じたい。
21
25. 人材不足
シリコンバレーにおいても、データ解析人材の争奪戦が始まっている。
「統計学の素養があって、
“Hadoop”が使える、
優秀なやつが入れば、
すぐに年棒10万ドル出すぜ!」
2011年3月 Strata Conference 2011
今後10年間で
最もセクシーな職業は
統計家である。
2009年 Hal Varian, Google Chief Economist
24
26. プライバシ・機微データの取扱
課題としての「プライバシ」 / 英国Allow社のケース
Allowは消費者の個人情報売買をサポートするサービス。
Personal information like your name and address is being traded for profit every day.
Now you can help stop this trade and
turn your data into cash for yourself with ALLOW’s new, free service.
http://www.i-allow.com/
25
27. 誤用・不適切利用
リコメンデーション機能の不適切な推薦がトラブルの原因となったケースもある。
事例
「この商品を買った人はこんな商品も買っています」
ネット通販大手アマゾン・ドット・コムでは、欲しい商品を検索すると、その説明画面に、こんな「おすすめ」商品
が表示される。ほかの利用者の購入実績などから、自動的に導き出される一覧だ。
この春、アマゾン日本版で不思議な現象が起きた。ある洗剤の商品名を検索すると、何の関係も無さそうな「お
すすめ」商品が次々に現れる。薬品、家電製品用のタイマー付きコンセント、ポリ袋、そして「自殺」に関連する
書籍。
このころ、浴室などで硫化水素ガスを発生させる自殺が、各地で相次いでいた。ある洗剤と薬品を混ぜると、ガ
スが発生する。そんな情報がネットで流布していた。
特定の洗剤を買った人が、混ぜるとガスを発生させるという薬品を買い、「自殺」関連書籍を買っていた――。
「おすすめ」が示していたのは、そういうことだった。アマゾンジャパンは対策をとり、現在この表示は出てこない。
出典: 2008/11/05 朝日新聞
違法ではない。有害かと尋ねられれば疑問。だが、健全な状態ではない。
26
30. 「膨大な情報」との付き合い方は、事業者ごとに大きく段階が異なる。
「膨大な情報(ビッグデータ)」の取り扱いに関する進捗は、事業者ごとにその段階が大きく異なる。
米国ではデータの「流通事業」なども、その端緒が見え始めている
しかし、本領域こそが 2
情報基盤事業であるし、
今はここが 1 着手している事業者も増大中
ボリュームゾーン
第3の壁: データ活用が自社
第1の壁: 電子化・自動化 第2の壁: データが活用できる状
内に閉じてしまっていることが
が不十分であることが課題 態になっていないことが課題。
課題。
未解決群 解決群
「書類保管費用の削減」など、情 電子化をして、本業の効率化に このステップを乗り越えた事業者 「情報を買ってきて、それを活か
ス 報活用とは別の面からのインセ は成功したけれど、「まだまだ が、「データ活用、ビジネスインテ そう」という考え方や、「自社に死
テ ンティブが働き、比較的進展しつ しゃぶりつくせていない」という想 リジェンスの優等生」として、取り 蔵している情報の資本回転率が
ッ つある。 いを抱いている。 上げられる。 低い」という問題意識はまだまだ
プ
の しかし、「顧客情報は担当者の手 低い。
概 帳に手書きで保存されているだ ここで商機を見出そうとする、
況 「電子化はしたけれども…」
け」といったケースもまだまだ多 データ流通事業者が、尐しずつ
い。 ではあるが登場しつつある。
29
34. まとめ
従前より「データ分析の重要性」を説きながらも看板倒れに終わったブームはいくつもあったが、
電子化・自動化が成熟したこの段階における「データ分析の重要性」は、これまでと比べても蓋
然性の高い潮流。
一般の事業者においては「製品開発」「販売促進」「保守・メンテナンス」など、多様な業務プロセ
スでの効用が期待できる。
逆に効用を得ていかない限りにおいては、ビッグデータ活用を進める競合と比較して务位に置
かれる。
ITベンダ等の支援サイド事業者にとっては、電子化・自動化が究極の成熟(クラウド)に伴う市場
縮小を克服するための、新市場と言える。決して容易な市場ではないが、進出せざるを得ない。
「我社にはビッグデータはない」というのは誤解。貴社には価値がなくても、他社には価値がある
データがあるかもしれない。
最大のボトルネックは人材不足。事業とITとデータリテラシに富む人材の獲得・養成が不可欠。
33