This is used in Machine Learning study class based on Handson Machine Learning with Scikit-learn and Tensorflow

1. 2章
エンドツーエンド の機械学習プロ
ジェクト
SCIKIT-LERANとTENSORFLOWによる実践機械学習

2. 機械学習プロジェクトの主要ステップ
データを観察する
データ
前処理
訓練する
モデル
微調整

3. 機械学習プロジェクトの主要ステップ
全体の構図を掴む
データ
を手に入れる
データを観察
する
データ
前処理
訓練する モデル微調整
ソリューション
を
プレゼン
本番稼働
メンテナンス
モニタリング

4. 1全体の構図を掴む
• データサイエンティストの仕事は
データ分析するだけじゃない！

5. 1全体の構図を掴む
• そのプロジェクトがどうやったら”成功”になるのかを把握し、全体
の構図を掴んでからプロジェクトを始めなければならない
=> End to End

6. 1全体の構図を掴む
~性能指標の選択~
• データ収集、データ分析を始める前に
「どうやったら”成功”になるか」という点から
機械学習プロジェクトの性能指標を決定する。

7. 1全体の構図を掴む
~性能指標の選択(回帰)~
性能指標
決定係数 R^2
平均二乗誤差 RMSE Root Mean Squared Error
平均絶対誤差 MAE Mean Absolute Error

8. 1全体の構図を掴む
~性能指標の選択(回帰)~
• 回帰モデルでは、一般的に平均二乗誤差(RMSE)が望ましいとされている。
RMSE：大きな値を重視
外れ値の影響を受けやすいため、正規分布(ベル型曲線)に近い分
布だと性能が高いものになる
MAE：小さな値を重視
外れ値となる区域が多い場合にその外れ値を無視できるので性
能が高いものになる

9. IIデータを手に入れる
• どのようなデータがどのような形で欲しいのか
そのフォーマットで得やすい形でデータを集める必要がある
=> データを集められるものを作る、もしくは要求する

10. III データを観察する
-受け取ったデータ-
受け取ったデータ
データ
タイプ
データ
変換
収集

11. III データを観察する
• そのデータちゃんと正しい形になってる？

12. III データを観察する
受け取ったデータ
データ
タイプ
データ
変換
収集
間違った収集方法
データの形
適切でない変換

13. III データを観察する
間違った収集方法
収集できる上限下限があるetc.
データの形
データによって単位が違うetc.
適切でない変換
データが不適切な範囲でスケーリングされているetc.
=> データがどのように処理されたかを把握しておくとGood

14. III データを観察する
-データの盗み見-
• 人間は全てのデータを見てはいけない

15. III データを観察する
-データの盗み見-
人間は恐るべきパターン検知能力を持っているため、
データの全体を見てしまうと
複雑すぎるパターンを当てはめ
それに思考がつられてしまう可能性がある

16. IV データの前処理
~データクリーニング~
• データに欠損値がある場合の対応
https://www.ibm.com/blogs/solutions/jp-ja/wp-content/uploads/sites/2/2016/03/Im
1欠損値があるデータを削除
2 欠損値が多い属性を削除
3 0,平均,中央値で値を埋める
計算できないカ
テゴリ属性など

17. IV データの前処理
~ワンホットエンコーディング~
• カテゴリA,B,Cなど数値で表せない属性があった際、
=> ダミー変数がよく使用される。
カテゴリA = 0
カテゴリB = 1 など
カテゴリC =2

18. IV データの前処理
~ワンホットエンコーディング~
• MLアルゴリズムは、数値で近いか遠いか判断するため、
ダミー変数では、AとBはAとCよりも近いと判断されてし
まう。
 ワンホットエンコーディング
ある要素だけ1で他の要素は0
特徴量が多くなるとカテゴリーEmbeding で次元削減(ベクトル化)
SMLのように順番になってるものなら012で表現してもok

19. IV データの前処理
~特徴量のスケーリング~
• 入力データの数値が大きくなったりすると、計算が遅く
なったりするため、スケールを変換して
小さくしたりすると良い
1 最小最大スケーリング
2 標準化

20. IV データの前処理
~特徴量のスケーリング~
• 1 最小最大スケーリング
0(最小)~1(最大)にスケール変換する。
外れ値の影響が大きくなるが、ニューラルネット
ワークと相性がいい
2 標準化
データを正規分布に沿うように変換する
外れ値の影響が少なくなるが、ニューラルネットとは相性が悪い