27. 目的:データマイニング+WEB勉強会@東京
データマイニングの方法論を用い
蓄積されたデータを有効活用していく方法を学ぶ
統計解析
Web API
データマイニング
Amazon Web Service
楽天 Web Service 対応分析 時系列分析
Twitter API Recruit Web Service 回帰分析
Yahoo! Web Service クラスター分析
はてな Web Service 判別分析
主成分分析 因子分析
(Bookmark/Graph/Keyword,…)
カーネル法
Google Data API 樹木モデル
(Calendar/Maps/BookSearch/
FinancePortfolioData,…) ニューラルネットワーク
サポートベクターマシン
… …
最適解探索
アルゴリズム
27
28. 目的:データマイニング+WEB勉強会@東京
データマイニングの方法論を用い
蓄積されたデータを有効活用していく方法を学ぶ
統計解析
Web API
データマイニング
Amazon Web Service
楽天 Web Service 対応分析 時系列分析
Twitter API Recruit Web Service 回帰分析
Yahoo! Web Service クラスター分析
はてな Web Service 判別分析
主成分分析 因子分析
(Bookmark/Graph/Keyword,…)
カーネル法
Google Data API 樹木モデル
(Calendar/Maps/BookSearch/
FinancePortfolioData,…) ニューラルネットワーク
サポートベクターマシン
… 免疫型最適化 Particle Swam …
Memetic Ant Colony
遺伝的 熱力学的
シミュレーテドアニーリング
力学モデルによる最適化
タブーサーチ グラフ
…
最適解探索
アルゴリズム
28
29. 目的:データマイニング+WEB勉強会@東京
データマイニングの方法論を用い
蓄積されたデータを有効活用していく方法を学ぶ
統計解析
Web API
データマイニング
Amazon Web Service
楽天 Web Service 対応分析 時系列分析
Twitter API Recruit Web Service 回帰分析
Yahoo! Web Service クラスター分析
はてな Web Service 判別分析
主成分分析 因子分析
(Bookmark/Graph/Keyword,…)
カーネル法
Google Data API 樹木モデル
(Calendar/Maps/BookSearch/
FinancePortfolioData,…) ニューラルネットワーク
サポートベクターマシン
… 免疫型最適化 Particle Swam …
Memetic Ant Colony
遺伝的 熱力学的
シミュレーテドアニーリング
力学モデルによる最適化
タブーサーチ グラフ
…
最適解探索
アルゴリズム
29
41. 活動領域
ソーシャルメディアのデータマイニング活用
2300万人以上の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス提供
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
41
49. 数理解析手法の実ビジネスへの適用
2004年 博士号取得後
数理解析手法を実ビジネス適用の方法論構築
主な領域
◆活動の数理モデル化・解析手法
◆活動の分析手法・再構築手法
◆活動の実行制御・実績解析システム
…
内容抜粋
“Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes
Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource
to an Unmanned Machine Shop”, assignment",
49
50. 数理解析手法の実ビジネスへの適用:活動例
活動の統一グラフモデルを構築・解析
Unified graphical model of processes and resources
青字:割付モデル属性
[ ] : Optional
Node ・priority(優先度) Edge
・duration(予定時間)
[・earliest(再早開始日時) ] Process Edge
Process [・deadline(納期) ]
[・or(条件集約数) ]
前プロセスの終了後に後プロセスが
プロセスを表す 開始できること表す
・attributes(属性)
preemptable(中断可否),
successive(引継ぎ可否)
Uses Edge
workload(作業負荷) Processが使用する
uses uses uses uses uses uses Assign Region を表す
Assign Region Assigns from Edge
同一Resourceを割付け続ける Assign Regionに
assigns from assigns from 指定Resourceの子Resource集合の
範囲を表す
assigns assigns 中から割付けることを示す
企業01 [process]
has has [startDate(開始日時)]
[endDate(終了日時)] Assigns Edge
製品01 組織A StartDateからEndDateまでの間
Resource has Assign RegionにResourceを
割付対象要素を表す has has has has has has 割付けることを表す
・capacity(容量)
・calender(カレンダー)
AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge
東さん Resourceの所有関係を表す
50
52. 数理解析手法の実ビジネスへの適用:活動例
ビジネスとともに
学術分野でも貢献
変動性から生じる動的な課題
・リソースの競合 ・滞留 ・納期遅延 …
一品一様な業務プロセスを含む
統計解析・制御数理モデル
・統計的な有効変数算出
・統計数理モデル化
-優先順位制御
-実行タイミング制御
-統計フィードバック
-適正リソース量算出
・予測数理体系
論文(体系の一部)
M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,
“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation
to an Unmanned Machine Shop”,
CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 52
53. 思い
より広く蓄積されたデータを有効活用し
世界の未来をよりよいものにしていきたい
データマイニング+WEB勉強会@東京
Google Group: http://groups.google.com/group/webmining-tokyo 53
54. 現在の活動領域
ソーシャルメディアのデータマイニング活用
2300万人以上の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス配信
日々20億以上の活動の活用
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
54
55. よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
55
56. よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
56
67. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
67
70. 大規模データマイニング基盤
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
KPI Inspection
KPI Views
Business
Planning
70
71. 大規模データマイニング基盤
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API
Log API
Service
… …
71
72. 大規模データマイニング基盤
Hadoop
全行動ログ/サービスデータ 投入
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
72
73. 大規模データマイニング基盤
Pig
少ない記述量での一次集計/簡易KPI算出
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
… MapReduce
Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
73
74. 大規模データマイニング基盤
Zebra
1次集計データのスキーマ管理
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
Data Mining/Machine Learning
… MapReduce
Business
Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
74
75. 大規模データマイニング基盤
MapReduce/Perl/Java
時系列処理・ゲーム分散シミュレーション等
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
75
76. 大規模データマイニング基盤
R
統計解析・データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
R
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
76
77. 大規模データマイニング基盤
Mahout
大規模データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
77
78. 大規模データマイニング基盤
データマイニング・機械学習による
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Hive Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
78
79. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
79
94. 大規模データマイニング基盤
統一行動記述
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Hive Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
94
106. 世界中の人々へ
蓄積されたデータを有効活用し
世界中の人々への適切なサービス提供を実現したい
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
106
107. 世界中の人々へ
蓄積されたデータを有効活用し
世界中の人々への適切なサービス提供を実現したい
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
107
118. 世界中の人々へ
蓄積されたデータを有効活用し
世界中の人々への適切なサービス提供を実現したい
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
118 118
122. 大規模データマイニング基盤
データマイニング・機械学習による
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Hive Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
122
123. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
123