佐賀大学の学生向けに。 データを扱う上での基本事項を、特に Why と How に焦点を当てて紹介しています。

1. データ分析と向き合う
- Why と How に絞って -
畠山 大有 | Daiyu Hatakeyama
Architect && Software Engineer && Applied Data Scientist
Microsoft Japan
/dahatake
@dahatake
/in/dahatake
/dahatake
/dahatake

2. 国内外の企業・社会でのITを活用した
Responsible AI、Sustainability などの
各種プロジェクトに参画中。
そこでの学びを、講演・Blog・サンプル
コード
などで 社会に Feedback 中。
得意技: Architecture Design, Coding, Database,
Data Science, Video Streaming, Full text Search など
佐賀県 – SAGA Smart Tech Adviser
やつしろ×Tech コンソーシアム – 相談役
SUNABACO – Technical Fellow
MCP (MCSD, MCAD, MCSE, MCSA, MCDBA, MCTS, MCPD)
| MCT | OCP (Oracle Master Platinum) | SCJ-P | ITIL
foundation
https://github.com/dahatake
https://qiita.com/dahatake
/dahatake
@dahatake
/in/dahatake
/dahatake
/dahatake
daiyu.hatakeyama@microsoft.co
m

3. Why ?

4. 蒸気 や 電気 ソフトウェア
(+AI)
AI

5. Data に関する 私の 2つ の ”お気に入り”
主要な指標を追跡するには、
ダッシュボードアプリケーションが
必要
そうすれば、意思決定を行う際に
無視できる Data 項目が増える
Data を持つ != Data を活用
する
Data > あなたの視点。常に
そうではありません。
このようなデータを無視す
るつもりはありませんが、
私の豊富なマーケティング
経験も考慮しなければなり
ません。

6. “1つ の正確な測定は
1,000名 の専門家の意見に
匹敵する”
グレース・ホッパー - Wikipedia

7. ※1 Life of Thomas Alva Edison | Biography | Articles and Essays | Inventing Entertainment: The Early Motion Pictures and Sound Recordings of the Edison Companies | Digital Collections | Library of Congress (loc.gov)
Case Files: Thomas A. Edison | The Franklin Institute
※2 "I think there is a world market for maybe five computers." – Lexology
No. 1059: Inventing the Computer (uh.edu)
※3 Ken Olsen – Wikipedia

8. 状況を理解している人
が
データを見たほうが早
い

9. 近畿日本鉄道 鳥羽線 五十鈴川駅より徒歩約30分
近畿日本鉄道 山田線・鳥羽線 宇治山田駅より車約15分
JR東海 参宮線・近畿日本鉄道 山田線 伊勢市駅より車約15
分
三重交通バス 内宮前停留所より徒歩2分
業種 : 飲食業と小売業
(※ 小売は自社開発モノが 7 割)
三重県伊勢市宇治今在家町13
年中無休 11AM – 3PM
http://www.ise-ebiya.com/
© 2017 Ebiya Ltd. All rights reserved.

10. ×
×
人手不足
×
人件費高騰

11. 来客予測
提供時間
クレーム
皆 Happy
© 2017 Ebiya Ltd. All rights reserved.

12. スタッフが
見たい数字
(シフトに生かす)
社長が
見たい数字
© 2017 Ebiya Ltd. All
rights reserved.

13. © 2017 Ebiya Ltd. All
rights reserved.
スタッフ
が
見たい数
字
(半調理など
事前準備や
社長が
見たい数字
(事業評価)

14. © 2017 Ebiya Ltd. All
rights reserved.
社長が
見たい数字
(事業評価)

15. © 2017 Ebiya Ltd. All
rights reserved.
入口そばは
回転が良く
客単価も高い

16. © 2017 Ebiya Ltd.
All rights reserved.
お座敷は
回転が悪く
客単価も低い

17. Data Analytics
最初の一歩

18. データ可視化
1変数の解析
多変数の解析
予測
最適化・自動
化
工程能力指数
コスト(クレーム、人件費、欠品)
稼働率
箱ひげ
図
ヒストグラ
ム
検定
回帰分析
相関分析
主成分分析
外観検査
品質特性値予測
製造工程
自動化
リソース最適化
ソフトセンサー
クレーム
率 各工程データを統合して活用
統合デー
タ
機械学習
モデル解
釈
Power BI
Power BI

19. 工程データがサイロ化されているため、
工程全体を考慮した品質管理ができない状態に
工程1 工程2 工程3 工程N
・・
・
原材料
データ
ソース ?
?
どこの工程が原因か
わからない...
データがバラバラで
関係性がすぐにわからな
い...

20. 統合データにより工程をまたがった分析が可
能に
工程1 工程2 工程3
統合データ
工程N
・
・
・
品質不良の原因を迅速に把握可能
原材料
運転条件 外部環境
作業員特性 `

22. • 何を意味しているのか?
• いつ、どこで、取得したの
か?
• 入手漏れが無いのか?
• 項目同士に関連があるの
か?
• 欠損や例外がどれだけ
「ゴミデータからは、
ゴミの結果しか生まれな
い」

23. DeviceID OEM Name SSD (GB)
CPU Clock
(GHz) Region OS Install Date
1 Hewlett Packard 500 3.2 US 12/12/2016
2 HP 1000 1233 US 05/02/2017
3 Hewlett-Packard 250 -7.8 USA 05/32/2017
4 hp 217 4.2 MEA 04/10/2016
5 Hewlet Packard NA 4.1 Latam 05/15/2087
6 DELL 250 0 Japan 03/13/2017
7 dell NULL 9.2 Japan 04-17-2016
8 “” 500 3.5 China 2015.02.141
9 Hewlett pakerd 500 2.8 China 3/2
答え: No… なぜなのか見ていきましょう

24. DeviceID
OEM Name
DeviceID OEM Name SSD (GB) …
1 Hewlett Packard 500 …
2 HP 1000 …
3 Hewlett-Packard 250 …
4 hp 217 …
5 Hewlet Packard NA …
6 DELL 250 …
7 dell NULL …
8 “” 500 …
9 Hewlett pakerd 500 …
目的: 不足値や一貫性の無い値 の是正

25. OS Install Date
OS Install Date
CPU Clock
OS Install Date
*
Region
…
CPU Clock
(GHz) Region OS Install Date
… 3.2 US 12/12/2016
… 1233 US 05/02/2017
… -7.8 USA 05/32/2017
… 4.2 MEA 04/10/2016
… 4.1 Latam 05/15/2087
… 0 Japan 03/13/2016
… 9.2 Japan 04-17-2016
… 3.5 China 2015.02.141
… 2.8 China 3/2
*注意: 範囲選択を注意して行わないと、モデルの安定性に影響がある

26. データが整ったら…

27. largest
value
smallest
value
Histogram
Boxplot
Median
Outliers
目的: データのパターンや課題をチェックする

28. Positive (right) skew
データの傾きをチェック
(ロングテール)
Mean
Median
Tip: (Generally) If mean is right of
median, data is right skewed.
あなたのデータはどんな形状をしていますか?
• よくあるパターンなのか、異なるのか?
• 処理する価値があるのか?
Mean (average) = 0
バイモーダル分布
 = 2
m = 0
Mean (average) 凡そ Median
最頻値
(最も数が多い値)
正規分布(Gaussian or “Bell curve”)

30. どんな因果関係があるのか?

31. データを
作る事もある

32. ここまでは
構造化データのお話
世の中には
非構造化データもあ
る

33. Speech
Language
Vision
メタデータの自動抽出への道が
開けた!

34. 行動履歴

35. Feature 抽出
Surface は
品川で買えるみた
い!
XXX店は
いつも混んでいて
嫌
Named Entity
Extraction

36. 更に学ぶために

37. microsoft/Data-Science-For-Beginners: 10 Weeks, 20 Lessons, Data
Science for All! (github.com)
Power BI で分析レポートを作成して使用する - Learn | Microsoft
Docs

39. 1
2
3
高品質な17,000のコース
（日本語は900コース以上）
ビジネス、テクノロジー、クリエイティブなどの多
様なカテゴリーから成る学習コースをご提供
データに基づいたコース設計と
パーソナライゼーション機能
リンクトインの会員データをもとにコース開発を実施
リンクトインプロフィール情報（スキル、経験等）に
基づいた推奨コースをAI機能を使い受講者に表示
マイクロラーニング
短時間でPC・モバイルからいつでもどこでも受
講可能

40. Step-by-Step Achievements スムーズな学習環境
 無料
 日本語対応
 ブラウザーのみでOK
ハンズオン環境も含めて
 ダウンロード可能なサンプ
ルコード
 Product/Service, 技術レベル,
job role, などに応じたガイダ
ンス
 Video, チュートリアル, ハンズ
オン
 スキルアップを促す
 ユーザー プロファイ
ル毎に
カスタマイズ
www.microsoft.com/learn

41. www.microsoft.com/ja-jp/events

42. Invent with purpose.