O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

[DL輪読会]Learning by Association - A versatile semi-supervised training method for neural networks[CVPR2017]

1.441 visualizações

Publicada em

2017/6/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Publicada em: Tecnologia
  • Seja o primeiro a comentar

[DL輪読会]Learning by Association - A versatile semi-supervised training method for neural networks[CVPR2017]

  1. 1. Learning by Association A versatile semi-supervised training method for neural networks 東京大学大学院 中山研究室 横田匡史
  2. 2. Semi-Supervised Learning ‣ グラフベース データの類似グラフを作りラベルを伝搬 ‣ 決定境界をデータから遠ざける(擬似データetc) 1.学習したモデルを用いて ラベルなしデータをラベル付け(pseudo-label etc.) 2.または、ラベル付きデータにノイズを入れる(VAT) ‣ 多様体学習 多様体の推定にラベル無しデータ用いる(Tanget Manifold Classifier) ‣ 生成モデル ラベルなしデータを特徴量学習に用いるか 不完全データとして学習に用いる(VAE etc.) →今回のテーマは、”グラフベース”と”決定境界をデータから遠ざける”の中間 (参考: https://www.slideshare.net/beam2d/semisupervised-learning-with-deep-generative-models)
  3. 3. Idea 記憶 イヌ! 人間は、学習サンプルに関連付けて考えることができるので 少数サンプルでも正確に回答できる。 →学習サンプルとラベルなしデータを紐付けながら学習する 事で同じことができないか?
  4. 4. Idea Labeled Unlabeled Labeled 同じクラスの2つのラベル付きデータの間に適切な ラベルなしデータを紐付けられるように学習する。
  5. 5. Overview Unlabeled Label X Label Y walkerが「ラベル付き→ラベルなし→ラベル付き」と遷移させた時 にスタートとゴールのクラスが同じになるように学習させる。この 時のwalkerは類似度から算出される遷移確率に従い行動する。
  6. 6. Method
  7. 7. Method • A: ラベル付きデータ • B: ラベルなしデータ • AiのデータとBjのデータの類似度Mij: 内積 • この類似度Mを元にwalkerの遷移確率を求める
  8. 8. Method • Transaction Probability • Round Trip Probability
  9. 9. Walker Loss 同じクラス間のPathの確率は一様分布に、異なるクラス間のPathの 遷移確率が0にさせる。しかし、これだけだと難しいラベルなしデー タ(Ex. MNISTの1に似た7のラベルなし画像)の遷移確率も0に近づい てしまい、簡単なデータだけが残ってしまう。 (※H: cross entropy)
  10. 10. Visit Loss Unlabeled Label X Label Y ここの微妙なポイントも 有効に活用したい。
  11. 11. Visit Loss Aiから全てのBに対する遷移確率が一様分布にさせる →明らかなデータだけでなく難しいデータも遷移確率 が上がるようにする。 (※H: cross entropy)
  12. 12. Loss Function • は、通常の教師ありで用いる softmax cross entropy。 • 実際にはVisit Lossには正則化の力が大きいので重 みをかけた方が良い結果が得られている(後述)。 Total Loss Function
  13. 13. Experiment
  14. 14. Experiment - 検証項目 ‣ 提案手法を用いて性能が上がるかどうか ‣ 上手くラベルなしデータを関連付けできているか ‣ Domain Adaptation(SVHN→MNIST)への応用 - Dataset ‣ MNIST: (labeled: 100 or 1000 or All, unlabeled: labeledで使ってないデータ) ‣ STL-10: (labeled: 5k, unlabeled: 100k) ‣ SVHN: (labeled: 0 or 1000 or 2000 or All, unlabeled: labeledで使ってないデータ) ✓ 訓練用データの中のラベル付きデータを一部だけ使い、残りはラベル無しとし て学習を行う。
  15. 15. Setting • Batch Size: 100 • Optimizer: Adam • 出力層以外の活性化関数: elu • 正則化項: L2 norm (重み:10-4)
  16. 16. MNIST Result
  17. 17. 遷移確率の変化(MNIST) 学習前 学習後
  18. 18. MNIST エラー分析 筆者らの主張では、ラベル付きデータにない特徴がテストに存 在したため(Ex. 4の上が閉じていて9に似ている)間違えてしまっ ている。 全ラベルデータ テストデータの 間違えた部分 テストデータの Confusion Matrix
  19. 19. SLT-10 学習データにないクラスのデータを入力しても、比較 的近いラベルなしデータの関連付けができている。
  20. 20. SVHN Result 少ないサンプルにおいては、先行研究よりかは精度良い。
  21. 21. SVHN ラベルなしデータの効果検証 ラベルなしデータが多くなるにつれて、精度は良 くなっている。
  22. 22. Visit Lossの効果検証 Labeled Data Size: 1000 Visit Lossが大きすぎるとモデルへの正則化が強すぎて、上 手く学習できない。データのバリアンスに応じて重みを調整 すべき。(Ex. labeledとunlabeledが似ていない場合、Visit Lossは小さくする。)
  23. 23. Domain Adaptation DA: Domain-Adversarial Training of Neural Network[2016 Ganin et. al.] DS: Domain separation networks [2016 Bousmalis et. al.] 教師あり 学習 教師あり 学習 Domain Adaptation
  24. 24. まとめ • ラベルなしデータとラベルありデータに関連付ける ように学習する。 • ラベル付きデータが少なくても、比較的上手く学習 ができる。 • Visit Lossは、データのバリアンスを見て設定する 。 • Domain Adaptationに応用しても上手くいった

×