経験ベイズ木（IBIS 2017）

経験ベイズ木（IBIS 2017）
T1-05 : 経験ベイズ木関野正志 masashi_sekino@so-netmedia.jp ノードの出力を確率分布でモデル化して、ベイズ推定で統一的に扱う決定木を提案します。決定木経験ベイズ木 • 二値／カテゴリカル（二値／多クラス分類木） • 連続値（二乗誤差に基づく回帰木）タスクに応じた確率分布ベルヌーイ分布、正規分布、ポアソン分布、指数分布・・ • 交差エントロピー • Ｇｉｎｉ係数周辺尤度ルール検証データノードの出力（扱う課題）分割の規準分割の停止枝刈りの規準ベイズ推定決定木の良さを活かしつつパラメータフリー化！任意の分布に一般化！
提案法の位置づけ経験ベイズ木一般化線形モデル出力の分布を任意の分布に一般化した決定木モデル出力の分布を任意の分布に一般化した線形モデルノンパラベイズ要素分布について周辺化してサンプル割り当てについて解くという点で共通アンサンブル学習 Random Forest, GBDT, etc. 決定木の替わりに、経験ベイズ木を弱学習器に用いるアンサンブル学習も可能
背景決定木の利点と課題最大深さ親ノードの最小サイズ子ノードの最小サイズ子ノードの最小比率子ノードの最大数最小ゲイン識別タスク回帰タスクタスク専用の評価基準・平均情報量・ Gini係数二乗誤差課題１：決定木はタスクが限定されている。課題２：分割停止のルールがたくさんある。決定木 • データの標準化などの前処理が要らない。 • 前向き解法で大規模データに適用しやすい。 • 学習したモデルの可読性が高い。＝実務上、モデルの挙動を確認しやすい。 • 組み合わせ特徴量の探索にも使える。 100サンプル 10サンプル 90サンプル 20サンプル 70サンプル広告主サイト訪問あり広告主サイト訪問なし類似広告クリック歴なし類似広告クリック歴ありクリック率高い！クリック率なかなか！クリック率低い！など実用上とても使いやすいモデル！
アプローチベイズ推定周辺尤度予測分布尤度事前分布・・事後分布による期待値確率モデル：事後分布・・ベイズの定理 • モデル（確率モデル、事前分布）とベイズの定理から自然に導出される推定法 • 簡単に実現できる分布は限られるが、モデルが適切なら一般的に高精度になることが多い。経験ベイズ法複数のモデルがあるとき、データ全体がひとつのモデルから得られているとしたときの、モデルの事後分布：周辺尤度を最大化するモデルを選ぶ（経験ベイズ法）ベイズ推定におけるモデルの良さを測る尺度事後確率最大化でモデルをひとつ選ぶ
提案法経験ベイズ木経験ベイズ木学習データ全体決定木学習データを説明変数で分割して、別々の予測値を割り当てるモデル木全体の対数周辺尤度＝葉ノードの対数周辺尤度の和 ⇒ 決定木の分割の規準を対数周辺尤度で置き換える。決定木 20 70 10 広告主サイト訪問あり広告主サイト訪問なし類似広告クリック歴なし類似広告クリック歴あり平均クリック率高い！平均クリック率なかなか！平均クリック率低い！ 100サンプル 10サンプル 90サンプル 20サンプル 70サンプル広告主サイト訪問あり広告主サイト訪問なし類似広告クリック歴なし類似広告クリック歴ありクリック率高い！クリック率なかなか！クリック率低い！ 20 70 10 広告主サイト訪問あり広告主サイト訪問なし類似広告クリック歴なし類似広告クリック歴ありクリック率の予測分布出力を平均値でなく分布でモデル化クリック率の予測分布クリック率の予測分布分割停止は対数周辺尤度に基づいて決定できる！タスクに応じた任意の分布を用いることができる！
決定木学習アルゴリズム指数型分布族の対数周辺尤度 • 各説明変数の各区切り位置で分割したときの gainを計算 ⇒ 高速に評価可能でないと厳しい • 既存の決定木で用いられている平均情報量・ Gini係数などは、１サンプル出し入れしたときの評価値は、１サンプル分の値の足し引きで計算できる。平均情報量 Gini係数ベルヌーイ分布正規分布指数型分布族の対数周辺尤度は十分統計量の和で計算でき、サンプルを出し入れしたときの値も高速に評価可能変えるのはここ！
周辺尤度に基づく枝刈り／Multi-Split 周辺尤度に基づく枝刈り • 決定木全体の対数周辺尤度は葉ノードの対数周辺尤度の和であり、これを最大化するように枝刈りする。 • 葉ノードから自身以降の部分木の最大対数周辺尤度を計算して親に渡していき、親単独の対数周辺尤度が、子ノードの最大対数周辺尤度の和を上回る場合に枝刈り（子を除く）していくことで、木全体の対数周辺尤度を最大化する。連続値説明変数のMulti-Split • 二分割ではgainが得られないが、多分割であれば大きな gainが得られる可能性がある。 • そこで、連続値説明変数を分割位置の探索時に、全ての異なる値を別のノードとする状態から、Greedyに周辺尤度を増加させるようにマージを繰り返すことで、連続値説明変数に対する複数の区切り位置を求め、多分木（Multi-split tree）を構成する。
ブートストラップ複製データ１ブートストラップ複製データＴ予測値 Random Empirical Bayesian Trees Random Forest • 学習データのブートストラップ複製を用いて、要素木を学習する。 • 要素木の各分割ステップにおいて、説明変数全てから探索するのではなく、いくつかのランダムに選択した説明変数の中で探索する。 • 分類タスクでは予測ラベルの多数決、回帰タスクでは予測値の平均を出力する。 Random Empirical Bayesian Trees • 分割の停止に関しては経験ベイズ木に任せる。 • 要素木の本数、分割に用いる説明変数の個数はREBTでもハイパーパラメータとなる。要素木として経験ベイズ木を用いる学習データ・・・学習学習・・・予測予測単独予測値・・・単独予測値多数決／平均
ＣＶ精度が最も良い深さの決定木／ランダムフォレストとほぼ同等の精度２クラス分類二分木＋枝刈り経験ベイズ木多分木二分木＋枝刈り Random EBTs 多分木決定木ランダムフォレスト深さがベストな決定木との対戦結果深さがベストなRFとの対戦結果
カテゴリカル分布を用いる二分木＋枝刈りの経験ベイズ木/REBTが高精度多クラス分類二分木＋枝刈り多分木マルチベルヌーイカテゴリカルマルチベルヌーイカテゴリカル経験ベイズ木決定木二分木＋枝刈り多分木マルチベルヌーイカテゴリカルマルチベルヌーイカテゴリカル Random EBTs ランダムフォレスト
経験ベイズ木はCV-MSEが最も良い決定木と同等、二分木＋枝狩りのREBTが高精度回帰タスク二分木＋枝刈り経験ベイズ木多分木決定木ランダムフォレスト二分木＋枝刈り Random EBTs 多分木
• 決定木の分割の規準を対数周辺尤度に置き換える経験ベイズ木を提案 • 経験ベイズ木は • 出力の分布を任意の分布に一般化 • 検証データを用意せずに、対数周辺尤度を規準に枝刈りする手法を提案 • 対数周辺尤度を規準に、連続値説明変数をMulti-splitする手法も提案 • ベンチマークテストの結果、 • 多分木よりも２分木＋枝刈りの性能が良い。 • ２クラス分類、回帰タスクでは経験ベイズ木とREBTはそれぞれ深さを最適化した決定木やランダムフォレストと同等程度 • 多クラス分類ではカテゴリカル分布を用いる経験ベイズ木とREBTがそれぞれ深さを最適化した決定木やランダムフォレストよりも高精度となった。 • 多クラス分類では１対他学習がよく取られる方法であるが、これに対応するマルチベルヌーイよりもカテゴリカル分布での性能が良かった。まとめ

Check these out next

経験ベイズ木（IBIS 2017）

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Destaque(7)

Último(20)

経験ベイズ木（IBIS 2017）