Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
「ランダムフォレスト回帰」のハイパーパラメーター
- 1. 第37回REQUIRE研究会 「ランダムフォレスト回帰」 の ハイパーパラメーター 梅沢 淳 国立がん研究センター 社会と健康研究センター 基盤研究グループ コホート連携研究部 連携推進研究室 研究員・情報技術担当
- 2. 自己紹介 • ミニ疫学会ような組織の一人情シス風研究者 • 中小ITベンダーより多く煩雑なITインフラ • 施錠部屋、屋根裏、宴会・センベロ・角打 • 「これからはITの時代」「どこでも大丈夫」 「忖度スキルが巧み」「UME BOSS」 • 疫学×Python:ワークショップ（EPIxPy ）運営 • 推し：日本酒、MCZ黄、後藤温･･･ REQUIRE：㉜DB、㉞ML、㉟VS、㊲RFRの通算4度目
- 3. アウトライン 1. ハイパーパラメーターとは （5分） • 黒魔術？パラメーターとの違い？ • DTR/RFR/GBRの比較 2. RFRのハイパーパラメーター （20分） • 前提、パラメーターチューニング、キーワード ★ハイパラ18個の説明 3. RFRのハイパーパラメーターの設定 （10分） ★グリッドサーチによる主要ハイパラ最適値探索 4. まとめ （5分）
- 4. Limitation • 疫学・統計・機械学習のいずれも未修了 • かと言ってゴリゴリ技術者でもない • 当初「Python概要」に手挙げしましたが 樹海へいざなった人がいます！ • 「Rでは？SASでは？Stata, SPSS, Matlab…」→ • 「DL？Lasso？SVM, ベイズ, GAN …」→
- 6. 機械学習プロジェクトの流れ 問題 設定 • 問題を定式化する • 機械学習をしないで良い方法を考える 道具 選び • システム設計を考える ・アルゴリズムを選定する • 特徴量、教師データとログの設計をする ・前処理をする モデル 作成 • 学習 • パラメーターチューニング 実装 • システムに組み込む 「仕事ではじめる機械学習」有賀、中山、西林 オライリージャパン 精度の良いモデルを作るため の工程、作業
- 8. A random forest guided tour, Biau-Scornet, 2016, DOI 10.1007/s11749-016-0481-7 青枠：ハイパーパラメーター（？） ➥モデル生成過程で必要なパラメーターを得るための引数？
- 11. HP DTR RFR GBR n_estimators ① #0.22 ③ #0.22 criterion ① +0.18 ② +0.18 ⑤ +0.18 max_depth ③ ③ ⑨ min_samples_split ④ #0.18 ④ #0.18 ⑥ #0.18 min_samples_leaf ⑤ #0.18 ⑤ #0.18 ⑦ #0.18 min_weight_fraction_leaf ⑥ ⑥ ⑧ max_features ⑦ ⑦ ⑭ max_leaf_nodes ⑨ ⑧ ⑰ min_impurity_decrease ⑩ +0.19 ⑨ +0.19 ⑩ +0.19 min_impurity_split ⑪ ⑩ ⑪ bootstrap ⑪ oob_score ⑫ n_jobs ⑬ random_state ⑧ ⑭ ⑬ verbose ⑮ ⑯ warm_start ⑯ ⑱ ccp_alpha ⑬ +0.22 ⑰ +0.22 ㉓ max_samples ⑱ +0.22 splitter ② presort ⑫ -0.22 ⑲ -0.22 loss ① learning_rate ② subsample ④ init ⑫ alpha ⑮ validation_fraction ⑳ +0.20 n_iter_no_change ㉑ +0.20 tol ㉒ +0.22 決定木（回帰木）：DTR ランダムフォレスト回帰：RFR 勾配ブースティング（回帰）：GBR のハイパラ一覧 version0.18: 2016/9/28 version0.19: 2017/8/12 version0.22: 2019/12/3 vesrion0.22.2.post1: 2020/3/3 version0.23: In Development + New in # Changed in - Deprecated 木（回帰木）の生成に関するハイパラ？ 木の進化に関するハイパラ？ 森の生成に関するハイパラ？ アンサンブル学習に関するハイパラ？
- 12. ハイパーパラメーターとは まとめ • モデル学習前に設定するパラメーター（引数） • より良いモデルを作るために設定（調節）する ＝パラメーターチューニング • モデルによって様々だが、同じものもある • 開発に伴い追加、編集、削除が生じる （あと触れてないですが…） • 言語やライブラリによって異なる • 別のハイパラに影響を与えるハイパラもある
- 15. ちょっとだけ手入れされた木
- 16. 前提 • インターフェース： Python • ライブラリ： Scikit-learn※ ※よって今回提示するハイパーパラメーターは すべてScikit-learnでのもの DTR: sklearn.tree.DecisionTreeRegressor RFR: sklearn.ensemble.RandomForestRegressor GBR: sklearn.ensemble.GradientBoostingRegressor • データセット 平均住宅価格: skelearn.datasets.load_boston └ train_test_splitで7:3に学習用、テスト用に分割
- 17. パラメーターチューニング • 目的 制約（モデルの目的、データ、リソース）の中で 汎化性能を保持しつつ予測精度の高いモデルにな るようにハイパラを適切に設定すること → 「データサイエンティストの力量」説 • 手法 過学習しないように制限を科す 交差検証を行い過学習を和らげる モデルが複雑な時に罰則を科す →正則化 表現力（複雑性）が足りない際には葉や深さを増やす 前の学習を利用する 見込みの薄い学習は早期に打ち切る
- 19. RFRハイパラ一覧 No. 名前 1 n_estimators 2 criterion 3 max_depth 4 min_samples_split 5 min_samples_leaf 6 min_weight_fraction_leaf 7 max_features 8 max_leaf_nodes 9 min_impurity_decrease No. 名前 10 min_impurity_split 11 bootstrap 12 oob_score 13 n_jobs 14 random_state 15 verbose 16 warm_start 17 ccp_alpha 18 max_samples 木の複雑性を制御木の本数を制御 木のランダムネスの制御 Special Thanks 三谷先生
- 21. n_estimators 木（弱学習器）の本数を定 める整数型ハイパラ。 Ver.0.22では初期値が10か ら100へとパワーアップ！ Int 指定した整数が木の本数。 多い方が良く、GBRのよう に多すぎても過学習は生じ ないが、計算時間が比例的 に増える。 ･･･ RFR GBR 1 100 n_estimators = 100 1001 2 3 4 random_state=321 n_estimators Test score Wall time[s] 1 0.687 0.019 10 0.825 0.043 初期値 100 0.846 0.326 1000 0.850 3.030 10000 0.850 30.200 3
- 22. max_depth 木の深さを定めるおなじみ の数値型ハイパラ。 深くすることで複雑性が増 すが、深くしすぎると過学 習になりやすい。 None 葉のサンプル数が min_samples_splitを下 回るまで木が成長を続ける。 Int 指定した整数が木の深さ。 max_depth=2 None GBRDTR 9 RFR 3 3 2段目から数える random_state=321 max_depth Test score Wall time[s] 1 0.541 0.168 3 0.793 0.192 5 0.836 0.233 7 0.840 0.267 9 0.841 0.294 11 0.843 0.316 13 0.846 0.314 25 0.846 0.321 初期値 None 0.846 0.326
- 23. min_ samples_split 節ノードにおける分割可能 なサンプル数の最小値を定 める数値型ハイパラ。 Int 指定した整数が最小値。 float 指定した小数にn-sam plesを掛けると最小値。 2 GBRDTR 6 RFR 4 4 min_sample_split=3 sample= 5 3 2 分割可能 分割不可能 random_state=321 min_samples_split Test score Wall time[s] 0.02 0.842 0.277 0.1 0.816 0.229 0.2 0.773 0.215 0.3 0.722 0.186 0.4 0.674 0.166 0.5 0.671 0.177 0.6 0.545 0.160 1.0 0.000 0.000 初期値 2 0.846 0.326 3 0.846 0.305 4 0.844 0.305 5 0.842 0.288 6 0.841 0.315 7 0.844 0.283 8 0.842 0.288 9 0.840 0.279 10 0.841 0.267 20 0.835 0.248 30 0.825 0.240 50 0.786 0.213
- 24. min_impurity_ decrease 節ノードを分割するか否か の不純度の閾値を定める浮 動小数点型ハイパラ。 float 指定した少数が不純度の閾 値となり、その値かそれ以 上になった際に節ノードは 分割される。 0.0 GBRDTR 10 RFR 10 9 random_state=321 min_impurity_decrease Test score Wall time[s] 初期値 0.00 0.846 0.326 0.10 0.841 0.261 0.20 0.837 0.264 0.30 0.834 0.245 0.40 0.832 0.238 0.50 0.829 0.232 0.60 0.824 0.234 0.70 0.820 0.228 0.80 0.818 0.218 0.90 0.816 0.225 1.00 0.813 0.222 min_impurity_ decrease=0.0 1サンプルでも 条件に合致しな いなら不純度は 0を超えるので 分割可能
- 25. min_ samples_leaf 葉ノードのサンプル数の最 小サンプル数を定める数値 型ハイパラ。 int 指定した整数が最小サンプ ル数。 float 指定した小数にn_samples を掛ると最小サンプル数。 1 GBRDTR 7 RFR 5 5 random_state=321 min_samples_leaf Test score Wall time[s] 0.001 0.805 0.254 0.002 0.779 0.232 0.03 0.771 0.222 0.04 0.758 0.210 0.05 0.740 0.201 初期値 1 0.846 0.326 2 0.831 0.288 3 0.821 0.273 4 0.805 0.255 5 0.794 0.258 min_ samples_leaf=2 23 5 いずれもこれ 以上分割できない
- 26. min_weight_ fraction_leaf 葉ノードになるための（す べての入力サンプルの）重 みの総和の最小比重を定め る浮動小数点数型ハイパラ。 データが不均衡の際に利用。 float 0.0の場合、重みを考慮し ない。 0.0 GBRDTR 8 RFR 6 6 random_state=321 min_weight_fraction_leaf Test score Wall time[s] 初期値 0.00 0.846 0.326 0.01 0.819 0.281 0.02 0.791 0.248 0.03 0.781 0.248 0.04 0.775 0.236 0.05 0.770 0.222 0.10 0.725 0.203 0.20 0.660 0.187
- 27. max_leaf_nodes 葉ノードの総量を定める整 数型ハイパラ。 最適なノードは不純度を相 対的に減少させる葉を優先 して育てる。 None 無制限。 Int 指定した整数が葉の最大量。 None GBRDTR 17 RFR 9 8 random_state=321 max_leaf_node Test score Wall time[s] 10 0.817 0.225 20 0.835 0.253 30 0.838 0.266 40 0.839 0.285 50 0.841 0.286 60 0.842 0.302 70 0.843 0.286 80 0.844 0.298 90 0.844 0.309 100 0.845 0.308 110 0.845 0.316 120 0.845 0.318 初期値 None 0.846 0.326 4 1 2 5 6 7 3 8 9 max_leaf_nodes =10 葉ノードの数 は10以下だが 分割したら2枚 以上増えるた めここまで
- 28. ccp_alpha コストの複雑さの整理（枝 刈り）における複雑性を定 める浮動小数点数型ハイパ ラ。過学習を抑えるために 使用。Ver.0.22で新登場！ non-negative float 初期値では刈り込みは行わ れない。最大複雑性コスト が指定した小数を下回ると、 そのサブツリーは剪定対象 に選ばれる。 ccp_alpha=0.1 0.0 GBRDTR 23 RFR 13 17 random_state=321 ccp-alpha Test score Wall time[s] 初期値 0.0 0.846 0.326 0.1 0.841 0.345 0.2 0.838 0.353 0.3 0.834 0.350 0.4 0.834 0.350 0.5 0.828 0.345 0.6 0.824 0.353 0.7 0.821 0.351 0.8 0.820 0.355 0.9 0.819 0.347 1.00 0.814 0.355 複雑すぎる (過学習疑い) ので枝打ち 0.050.3
- 29. bootstrap 木の生成にブートストラッ プサンプルを使うか否かを 定めるブール型ハイパラ。 TRUE ブートストラップ(※) サン プルであろうとなかろうと 木の生成に使われる FALSE それぞれの木の生成には完 全なデータが使われる ※データの重複を許しランダムに抽出さ れた学習データの作成を繰り返すこと ※「回帰タスクではサンプリングせずに すべてを候補とします。」との記載も。 TrueRFR 11 bootstrap=True =False 1 … 100 random_state=321 bootstrap Test score Wall time[s] 初期値 TRUE 0.846 0.326 FALSE 0.736 0.420
- 30. max_featues 節ノードの分割に用いる特 徴量の最大値を定める自在 型ハイパラ。 auto n_features特徴量数。 int 指定した整数が最大値。 float n_featuresに指定し た少数をかけ合わせたもの。 sqrt n_featuresの平方根。 log2 n_features二進対数。 None autoと同等。 auto GBRDTR 14 RFR 7 7 max_featues =3 tax, NOX, AGE tax<407 YES NO 11 0.844 0.299 12 0.842 0.336 初期値 AUTO 0.846 0.326 sqrt 0.843 0.214 log2 0.843 0.208 None 0.846 0.325 random_state=321 n_features=13 max_features Test score Wall time[s] 1 0.811 0.175 2 0.840 0.188 3 0.843 0.199
- 31. max_samples ブートストラップで抽出す るサンプル数を定める数値 系ハイパラ。 None X.shope[0]（すなわち学習 用サンプル数）。 Int 指定した数値が最大値 float 指定した少数×学習 用サンプル数。 max_samples=None NoneRFR 18 重複を許し かつ元の サンプルと 同じ長さ random_state=321 max_samples Test score Wall time[s] 0.1 0.770 0.157 0.2 0.796 0.187 0.3 0.822 0.222 0.4 0.832 0.243 0.5 0.826 0.247 0.6 0.833 0.268 0.7 0.842 0.316 0.8 0.841 0.306 0.9 0.837 0.319 初期値 None 0.846 0.326
- 32. criterion サンプルを分割する際の品 質となる目的関数を定める 文字型ハイパラ。 Ver.0.18からは新たにmae が仲間入り！ mse 評価にMean Square Error （ 平均二乗誤差）を利用。 外れ値の影響を和らげる。 mae 評価にMean Absolute Error （平均絶対誤差）を利用。 外れ値をより大きな誤差と して扱う。 mse GBRDTR 5 RFR 1 2 random_state=321 criterion Test score Wall time[s] 初期値 mse 0.846 0.326 mae 0.843 1.270 criterion=‘mse’ criterion=‘mae’ mse=80 mse =50 mse =40 mae=7 mae =5 mae =3
- 33. random_state ランダムシードを固定する ための整数型ハイパラ。 モデルの再生性の担保に必 要。 None ランダムに出力。 Int ランダムだけど固定された 値を出力。 None GBRDTR 13 RFR 8 14 全てランダム ランダムだけど 同じ値に固定 random_state Test score Wall time[s] 初期値 None 0.840-0.856 0.310-0.326 321 0.825 0.043 0 0.846 0.321 -1 Error Error 100000000 0.841 0.325
- 34. oob_score 決定係数を見積もるために 「out-of-bag*」サンプルを 使うか否かを定めるブール 型ハイパラ。 bool 初期値は「使わない」。 out-of-bagとはバギングで 利用しなかったサンプルの こと。 FalseRFR 12 random_state=321 oob_score Test score Wall time[s] 初期値 Flase 0.846 0.326 TRUE 0.846 0.349 入力サンプル oob_score=True バギングされた サンプル 使われなかった サンプル 学習器 誤差を 評価
- 35. warm_start 前の学習機を再利用するか を定めるブール型ハイパラ。 bool 初期値では利用しない。 False GBR 18 RFR 16 random_state=321 warm_start Test score Wall time[s] 初期値 Flase 0.846 0.326 TRUE 0.846 0.314
- 39. 「ランダムフォレスト回帰」の ハイパーパラメーターとは まとめ • 2020年3月現在（ver.0.22.2現在）18個あるが、 なくなるもの、あまり気にしなくても良いもの がある（今後も追加、修正、削除は生じそう） • 単独で変化させても総じて初期値で高精度 • ありえない（意味のない）組み合わせもある “min_sample_split=2”と”min_sample_leaf=2” • 入力データ数（サンプル数）や過去の学習結果 と関係するものもある
- 41. 前提 • インターフェース： Python • ライブラリ： Scikit-learn※ ※よって今回提示するハイパーパラメーターは すべてScikit-learnでのもの DTR: sklearn.tree.DecisionTreeRegressor RFR: sklearn.ensemble.RandomForestRegressor GBR: sklearn.ensemble.GradientBoostingRegressor • データセット 平均住宅価格: skelearn.datasets.load_boston └ train_test_splitで7:3に学習用、テスト用に分割 再掲
- 42. パラメーターチューニング • 目的 制約（モデルの目的、データ、リソース）の中で 汎化性能を保持しつつ予測精度の高いモデルにな るようにハイパラを適切に設定すること → 「データサイエンティストの力量」説 • 手法 過学習しないように制限を科す 交差検証を行い過学習を和らげる モデルが複雑な時に罰則を科す →正則化 表現力が不足している際には節、葉、深さを増やす 前の学習を利用する 見込みの薄い学習は早期に打ち切る 再掲
- 46. ハイパラ調整手法 • 手動（ハイパラずかん記載内容はこの手法） • グリッドサーチ／ランダムサーチ 探索するハイパラとその値や範囲を指定して探 索する、半自動化的な手法 • ベイズ最適化 計算したパラメータ ーの履歴に基づいて ベイズ確率の枠組み で推定する手法 Random search for hyper-paramerter optimaization, Bergstra et.al, 2012
- 47. グリッドサーチ • ハイパラ毎に複数の 値を設定した際、そ の交点となる組み合 わせを総ざらいする。 • 時間は掛かるが、全 ての組み合わせを手 動でやるのは辛い。 0.836 → 0.854 にあがった！ けど初期値の 精度と同程度？ 4×4×4＝64通り の探索で約2分
- 48. 追試 96通り
- 49. AutoML • Automated Machine Learning 専門的な知識がなくてもデータさえあれば機械学 習を実践できる手法全般。「AIの民主化」を担う。 • Optuna（ Preferred Networks） TPE（Tree-structured parzen Estimator）というアル ゴリズムでハイパラの最適値を探索できるフレー ムワーク。APIが充実。 動かせませ んでした。 申し訳ござ いません。 https://tech.preferred.jp/ja/blog/optuna-release/
- 50. 実験についての考察反省 • 反省１：データが少ない 回帰タスクの適当なサンプルデータにたどり着け なかった。少ないデータセットでもいくつかやっ て結果を見比べる予定も頓挫。 • 反省２：データがヌルい feature_inportance（右図）では ２つの特徴量（LSTAT、RM） の重要度が突出している。 • 反省３：探索が不十分 ランダムサーチ、ベイズ最適 化Optunaなど試せることは 残っている。 初期値のまま実行時
- 52. 「ランダムフォレスト回帰」 のハイパーパラメーター設定 まとめ • 難しい。下手にいじると精度が落ちる • 初期値が予想以上に優秀 • RFR以外のあらゆる関数にハイパラが存在し、 さらなる理解が必要 やはり以下などと複合的に挑むべき • データセットによる違い／特徴量抽出 • モデル選定／アンサンブル • モデルの評価／バリデーション
- 53. まとめ
- 54. 「ランダムフォレスト回帰」 のハイパーパラメーターとは • モデル作成のための関数へ渡す、 入力データ以外の引数と考えて差し支えないかと • 初期値でも精度はでる。より良いモデルを作るに は幅広い視野の元での適切な設定（調整）が必要 • 設定（調整）のためのツールに頼りきるのは危険。 せめて選んだハイパラとその根拠の説明は必須 Take home message →反省の弁 • ご利用と学習は計画的に （目標を明確にし、利用可能なリソースの範囲内で） 「決定木の気持ちになって考える」 必要な情報が入力として与えられているか 相互作用を直接表現できる特徴量か 「Kaggleで勝つ データ分析の技術」 門脇、阪田、保坂、平松 技術評論社
- 55. 謝辞 • 手挙げメールから私のM性を敏感に察知し、 見事血反吐を吐かせてくださった清水先生 • 私のような異分子にも門戸を広げて成長の機会 をくださった奥村先生、研究会の皆さま • ときに巻き込み巻き込まれつつ修練に付き合っ てくださるDS勉強会、 EPIxPyの仲間たち • なんやかんや私の自由な修練を温かく見守って くださるありがたい職場の上司・同僚の皆さま
- 56. 参考書籍 • 東京大学のデータサイエンティスト育成講座 • Kaggleで勝つデータ分析の技術 • 機械学習のための「前処理」入門 • 仕事ではじめる機械学習 • pandasライブラリ活用入門 • THE HUNDRED-PAGE MACHINE LEARNING BOOK