社内勉強会での発表資料です。ロジスティック回帰分析を題材に、特徴量が高次元になった場合に過学習が発生する様子、正則化によって過学習が抑制される様子を具体例で決定境界の図を描画しながら説明しました。 発表資料に対応する Notebook ファイルを Gist で公開しています。 https://gist.github.com/y-uti/5127117445f28e5d5c66f7b5c66d262b

1. 目で見る過学習と正則化
内山 雄司 (@y__uti)
2019-03-11 社内勉強会

2. 自己紹介
内山 雄司 (@y__uti)
◦ http://y-uti.hatenablog.jp/ (phpusers-ja)
仕事
◦ 受託開発の会社 (株式会社ピコラボ) でプログラマをしています
興味
◦ プログラミング言語処理系
◦ 機械学習
2019-03-11 社内勉強会 2

3. 目標 (説明しようとしていること)
1. 特徴量を増やせば複雑なデータも分類できる
2. 増やし過ぎると過学習が発生する
3. 正則化という手法で過学習を抑えこむ
2019-03-11 社内勉強会 3

4. 本日の食材
sklearn.datasets.make_circles
2019-03-11 社内勉強会 4
データの生成方法
1. 半径 0.8 の円周上に 1 を配置
2. 半径 1.0 の円周上に 0 を配置
3. σ = 0.1 のガウス雑音を加える
☞ 半径 0.9 の円 が正しい決定境界

5. 本日の食材
sklearn.datasets.make_circles
2019-03-11 社内勉強会 5
データの生成方法
1. 半径 0.8 の円周上に 1 を配置
2. 半径 1.0 の円周上に 0 を配置
3. σ = 0.1 のガウス雑音を加える
☞ 半径 0.9 の円 が正しい決定境界
☞ 直線では上手く分類できない

6. 線形基底関数モデル
2019-03-11 社内勉強会 6

7. アプローチ
今回のデータは「直線では分類できない」
もう少し正確に言うと：
特徴量 x, y に対して ax + by + c の正負では分類できない
そこで x, y にさまざまな関数を適用して特徴量を増やす
w1f1(x,y) + w2f2(x,y) + w3f3(x,y) + ... + c
うまく fi を見つければ分類できるかもしれない
ポイント：fi で変換した後はただのロジスティック回帰
2019-03-11 社内勉強会 7

8. 多項式特徴量
sklearn.preprocessing.PolynomialFeatures
2019-03-11 社内勉強会 8
from sklearn.preprocessing import PolynomialFeatures
polynomial_features = PolynomialFeatures(
degree=3,
interaction_only=False,
include_bias=True).fit_transform([[2, 3]])
print(polynomial_features)
結果：[[ 1. 2. 3. 4. 6. 9. 8. 12. 18. 27.]]

9. 多項式特徴量
sklearn.preprocessing.PolynomialFeatures
2019-03-11 社内勉強会 9
from sklearn.preprocessing import PolynomialFeatures
polynomial_features = PolynomialFeatures(
degree=3,
interaction_only=False,
include_bias=True).fit_transform([[2, 3]])
print(polynomial_features)
結果：[[ 1. 2. 3. 4. 6. 9. 8. 12. 18. 27.]]
x y xx xy yy xxx xxy xyy yyy組合せ：
0 次 1 次 2 次 3 次次数：

10. 多項式特徴量を利用する
sklearn.pipeline.Pipeline
1. 元の特徴量から多項式特徴量を作成する
2. ロジスティック回帰を適用する
2019-03-11 社内勉強会 10
pipeline = Pipeline(steps=[
('poly', PolynomialFeatures(degree=3,
interaction_only=False, include_bias=False)),
('clf', LogisticRegression(
C=1e100, solver='lbfgs', max_iter=10000))])
pipeline.fit(features, labels)
パラメータのうち特に注意が必要なものは以下の 2 つ
◦ include_bias = False 定数項 (0 次の特徴量) を除外する
◦ C=1e100 正則化なしで試すため大きな数を指定

11. 多項式特徴量の威力
degree = 1 (正解率 52%)
2019-03-11 社内勉強会 11

12. 多項式特徴量の威力
degree = 2 (正解率 82%)
2019-03-11 社内勉強会 12

13. 多項式特徴量の威力
degree = 3 (正解率 82%)
2019-03-11 社内勉強会 13

14. 多項式特徴量の威力
degree = 4 (正解率 81%)
2019-03-11 社内勉強会 14

15. 多項式特徴量の威力
degree = 5 (正解率 84%)
2019-03-11 社内勉強会 15

16. 多項式特徴量の威力
degree = 6 (正解率 89%)
2019-03-11 社内勉強会 16

17. 多項式特徴量の威力
degree = 7 (正解率 96%)
2019-03-11 社内勉強会 17

18. 多項式特徴量の威力
degree = 8 (正解率 100%)
2019-03-11 社内勉強会 18

19. 多項式特徴量の威力
degree = 9 (正解率 100%)
2019-03-11 社内勉強会 19

20. 多項式特徴量の威力
degree = 10 (正解率 100%)
2019-03-11 社内勉強会 20

21. 過学習
2019-03-11 社内勉強会 21

22. 学習データに対する正解率
8 次の特徴量まで利用すると正解率 100% になったが・・・
2019-03-11 社内勉強会 22
degree = 2 (正解率 82%) degree = 8 (正解率 100%)

23. ≠ 予測性能
同じ分布から生成された別のサンプルデータに適用すると・・・
2019-03-11 社内勉強会 23
degree = 2 (正解率 87%) degree = 8 (正解率 61%)

24. 過学習とは
学習データに含まれるノイズを過剰に拾ってしまう
◦ 結果として未知のデータに対する予測性能は下がってしまう
◦ 特徴量が高次元になるほど過学習が発生しやすくなる
2019-03-11 社内勉強会 24

25. 過学習を避ける方法
1. 学習データを増やす
2. 良い特徴量を設計する (良いモデルを選択する)
3. 正則化
2019-03-11 社内勉強会 25

26. 学習データを増やす
学習データを 100 個から 1,000 個に増やした場合
2019-03-11 社内勉強会 26

27. 良い特徴量を設計する
下図のような結果から適切なモデルを選択する
2019-03-11 社内勉強会 27
データをよく見て適切な特徴量を見つける
◦ 今回の問題なら「原点からの距離」を特徴量とすればよい

28. 正則化
2019-03-11 社内勉強会 28

29. 特徴量の重みの分布
過学習の状況では特徴量の重みが爆発
2019-03-11 社内勉強会 29

30. 正則化とは
特徴量の重みに応じた値を損失関数に上乗せする
L2 正則化：
2019-03-11 社内勉強会 30
(https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression より引用)

31. 正則化とは
特徴量の重みに応じた値を損失関数に上乗せする
L2 正則化：
2019-03-11 社内勉強会 31
(https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression より引用)
正則化項：特徴量の重みを 0 にしようとする力
負の対数尤度：データを正しく分類しようとする力
コスト：両者のバランスを決めるパラメータ

32. 特徴量の重みの分布 (C=1)
コストを小さく設定すると特徴量の重みが小さく抑えられる
2019-03-11 社内勉強会 32

33. コストによる正解率の変化
実験内容
◦ 8 次の特徴量まで利用
◦ コストパラメータの設定値を変えながら正解率を描画
2019-03-11 社内勉強会 33

34. 決定境界が変化する様子
degree=8, C=1e10
2019-03-11 社内勉強会 34

35. 決定境界が変化する様子
degree=8, C=1e7
2019-03-11 社内勉強会 35

36. 決定境界が変化する様子
degree=8, C=1e4
2019-03-11 社内勉強会 36

37. 決定境界が変化する様子
degree=8, C=1e1
2019-03-11 社内勉強会 37

38. 決定境界が変化する様子
degree=8, C=1e-2
2019-03-11 社内勉強会 38

39. 決定境界が変化する様子
degree=8, C=1e-5
2019-03-11 社内勉強会 39

40. 各特徴量の重み
実験内容
◦ 8 次の特徴量まで利用
◦ コストパラメータの設定値を変えながら各特徴量の重みを描画
2019-03-11 社内勉強会 40

41. 重みの L2-norm と切片
実験内容
◦ 8 次の特徴量まで利用
◦ コストパラメータの設定値を変えながら重みの L2-norm と切片を描画
2019-03-11 社内勉強会 41

42. L1 正則化
2019-03-11 社内勉強会 42

43. L1 正則化
疎な解を求めたいときに利用する
L2 正則化 (特徴量の二乗和)：
L1 正則化 (特徴量の絶対値の和)：
2019-03-11 社内勉強会 43
(数式はいずれも https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression より引用)

44. コストによる正解率の変化
実験内容
◦ 8 次の特徴量まで利用。solver='liblinear', penalty='l1' を指定
◦ コストパラメータの設定値を変えながら正解率を描画
2019-03-11 社内勉強会 44

45. 決定境界が変化する様子
degree=8, C=1e5
2019-03-11 社内勉強会 45

46. 決定境界が変化する様子
degree=8, C=1e3
2019-03-11 社内勉強会 46

47. 決定境界が変化する様子
degree=8, C=1e1
2019-03-11 社内勉強会 47

48. 決定境界が変化する様子
degree=8, C=1e0
2019-03-11 社内勉強会 48

49. 決定境界が変化する様子
degree=8, C=1e-1
2019-03-11 社内勉強会 49

50. 各特徴量の重み
実験内容
◦ 8 次の特徴量まで利用。solver='liblinear', penalty='l1' を指定
◦ コストパラメータの設定値を変えながら各特徴量の重みを描画
2019-03-11 社内勉強会 50

51. 重みの L1-norm と切片
実験内容
◦ 8 次の特徴量まで利用。solver='liblinear', penalty='l1' を指定
◦ コストパラメータの設定値を変えながら重みの L2-norm と切片を描画
2019-03-11 社内勉強会 51

52. おわり
＆質疑応答
2019-03-11 社内勉強会 52