Mais conteúdo relacionado
Semelhante a Deep Forest: Towards An Alternative to Deep Neural Networks (20)
Deep Forest: Towards An Alternative to Deep Neural Networks
- 2. 論文概要
■ 現在の深層モデル
– ニューラルネットワーク
■ Deep Forest(gcForest)を提案
– 決定木アンサンブルアプローチ
– 広範囲のタスクでDNNと競える高い性能
■ IJCAI 2017
■ 論文URL
– https://arxiv.org/abs/1702.08835
Deep Learning が他のモジュールでも実現できるか?
2
- 3. 関連研究
■ Deep neural decision forests. [Kontschieder et al.,2015]
– DNNの特徴を利用したランダムフォレスト
– DNNより性能が向上
– ICCV2015 best paper
– DNNとの組み合わせ
■ gcForestはDNNの代替
3
- 4. Deep Neural Network
■ 強力
■ 様々なタスクで成功
– 特に視覚、音声情報を含むタスク
■ 欠点
– 訓練データが大量に必要
■ 現実のタスクでは、ラベル付けされたデータが不足
■ ラベリングのコストが高い
– モデルが複雑
■ 訓練には強力な計算設備が必要
■ ハイパーパラメータが多い上に、学習性能がその調整に依存
■ 理論的な解析が難しい
4
- 5. Deep Neural Network
■ 表現学習
– 生の入力から特徴を抽出する
– DNNにとって重要
■ 大規模なデータを活用するためには、学習モデルのキャパ
シティも大きい必要がある
■ gcForestを提案
これらの特性を他の学習モデルに与えることが出来れば、
DNNと競える性能を達成することができるのでは?
5
- 12. 各フォレストの学習
■ K-fold cross validation(実験ではK=3)
■ カスケードの拡張
1. 新しいレベルを拡張
2. カスケード全体の性能を検証セットで推定
3. 性能が大幅に向上しなければ、学習終了
– カスケードレベルが自動的に決定される
– DNNがモデルの複雑さが固定されているのとは対照的に、適切
な時に学習を終了し、モデルの複雑さを適応的に決定
– 大規模なものに限らずに、様々なスケールのデータに適用可
12
- 21. 実験
■ gcForest, DNN, その他学習アルゴリズムの比較
■ 目的
– gcForestが簡単なパラメータ調整で、DNNと競える性能を達成で
きることを検証する
■ 全ての実験で、gcForestは同じカスケード構造を使用
– 各レベルは、それぞれ500個の木を含む4つの完全ランダム決定
木フォレストと4つのランダムフォレストで構成
– タスク固有のチューニングを行うと性能が向上することに注意
21
- 22. 実験
■ カスケードの訓練
– カスケードレベル数は自動的に決定
– 訓練セットを育成セットと推定セットに分割(8:2)
■ 育成セットを使用してカスケードを拡大
■ 推定セットを使用して性能を推定する
– 新しいレベルを増やしても性能が向上しない場合はカスケード
の成長は終了し、推定レベル数を取得
– 成長セットと推定セットをマージした訓練セットで再訓練
22
- 24. 実験
■ DNN
– 活性化関数:ReLU
– 損失関数:クロスエントロピー
– 最適化手法:adadelta
– Dropout率:0.25 , 0.5
■ (データのスケールに応じて使用)
– ネットワーク構造のハイパーパラメータはタスク間で固
定できない
■ 検証セットで様々なアーキテクチャを検討し、最高の性能
も持つものを選択し、訓練セットで再訓練し、テスト精度
を報告
24
- 35. 実験結果⑤(感情分類)
■ CNN
– Convolutional neural networks for sentence classification. [Kim,
2014]
■ MLP
– 入力-1024-512-256-出力
■ gcForest
– tf-idfは空間的関係、連続的関係を持たないことから、Multi-
grained scanningは使用しない
35
- 36. 実験結果⑤(感情分類)
■ 計算時間(訓練)
– 実験環境
■ CPU:Intel E5 2695 v4 CPUs (18 cores) ×2
■ GPU:NVIDIATITAN X
■ IMDBデータセット:特徴5000、25000例
– gcForest(CPU)
■ カスケードレベル毎に267.1秒
■ 9レベルで終了したので合計で2404秒(40分)
– MLP(CPU)
■ 収束に50エポック
■ 1エポックに93秒、合計4650秒(77.5分)
– MLP(GPU)
■ 1エポックに14秒、合計700秒(11.6分)
36
- 37. 実験結果⑥(低次元データ)
■ UCIデータセット
– LETTER
■ 文字画像の特徴データベース、手紙を特定
– ADULT
■ 国税調査データに基づいて、所得が$50,000/年を超える
かどうかを予測
– YEAST
■ タンパク質の細胞局在部位の予測
特徴数 訓練データ数 テストデータ数
LETTER 16 16,000 4,000
ADULT 14 32,561 16,281
YEAST 8 1,038 446
37