O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

NIPS2015概要資料

2016/01/20 NIPS2015読み会の冒頭で会議全体の特徴と傾向を紹介した資料です。
http://connpass.com/event/24620/

  • Entre para ver os comentários

NIPS2015概要資料

  1. 1. NIPS 2015 概要紹介 ⽐⼾将平 Preferred Networks America, Inc.
  2. 2. ⾃⼰紹介 l  ⽐⼾将平(HIDO Shohei) l  TwitterID: @sla l  専⾨:データマイニング、機械学習 l  経歴: l  2006-2012: IBM東京基礎研究所データ解析グループ l  機械学習のアルゴリズム研究開発(主に異常検知) l  2012-2014: 株式会社Preferred Infrastructure l  ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー l  2014-: 株式会社Preferred Networks l  2015-: Preferred Networks America, Inc. @ シリコンバレー l  Chief Research Officer l  NIPSは2013年に続いてのワークショップ発表&参加 2
  3. 3. NIPS 2015 l  第29回のNIPS l  ICML(32回)に次ぐ伝統 l  期間: 2015年12⽉7〜12⽇ l  チュートリアル1⽇ l  本会議3⽇ l  ワークショップ2⽇ l  開催地: ケベック州モントリオール l  ほぼフランス語圏 3
  4. 4. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 4
  5. 5. ⽐較: ICML 2015 Main Conference l  招待講演とベストペーパー以外は6並列セッション 5
  6. 6. NIPSの特徴(1) シングルトラック l  頑なに⼤ホール l  アクセプト論⽂の多くは ポスター発表のみ l  わずか3%程度がOral発表 l  20分 l  + 7%程度がSpotlight発表 l  5分 6
  7. 7. 「NIPSでオーラル発表しました」の意味 l  招待講演とおなじ⼤ホール、2000+席 7
  8. 8. NIPS特徴(2) 過酷なポスター発表 l  400+件のポスター l  普通のポスター セッションは各90-120分 l  NIPSは各300分(5時間) 8
  9. 9. 夜中12時まで5時間セッション ⽴ちっぱなし x 4⽇連続 l  各⽇約100件ずつ l  時間で割ると1時間20件 l  1ポスター3分で⾒て回って やっと全て⾒て回れる l  ポスター会場にはイスを 「絶対に」置かない主義 l  ※理解⼒的にも体⼒的にも 全制覇はほぼ無理 9
  10. 10. NIPSの特徴(3) 尖ったワークショップ l  40種類のワークショップ / 2⽇間 = 20並列開催 l  最先端: Reasoning, Attention, Memory (RAM) Workshop l  マイナー: Quantum Machine Learning, Time Series l  分野特化: Reinforcement Learning, Computational Biology l  ソフトウェア: Machine Learning Systems 10
  11. 11. ワークショップといえど全く気を抜けないNIPS l  普通の国際会議 l  ワークショップ期間は過疎化 l  NIPSは90%くらい⼈が残る感覚 l  ただ参加者が偏る&深層学習⼈気 l  特に混雑:深層強化学習 l  開始30分前に全席が埋まった l  プロジェクタ前に体育座り l  昨年の反省は⽣かされたか? l  Deep Learning Workshopの爆発 →別⽇のSymposiaに格上げ 11
  12. 12. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 12
  13. 13. 論⽂統計 13 l  投稿数は403/1838、アクセプト率は約22%、⼤きく変わらず l  最も多いジャンルはディープラーニング(それでも10%) l  ディープラーニング会議ではない(最適化、学習理論、ベイズ…)
  14. 14. トレンド(1) 複雑化するニューラルネットワーク l  画像認識、⾳声認識タスクのCNNのみでは研究になりにくい l  1. Recurrent NN (LSTM)やAttentionを⽤いた⼿法 l  2. 複数のデータソースを組み合わせる(例: 画像x⽂章) l  3. もっと⽬新しいタスクに新しいネットワーク構造を提案する 14 Ladder Network A. Rasmus et. al. (松元さん発表) End-to-End Memory Network S. Sukhbaatar et. al. (海野さん発表)
  15. 15. トレンド(2) 深層学習による⽣成モデル l  DeepDream以降、特に⾃然な画像の⽣成への注⽬ l  Ex. Neural Artistic Style (chainer-goghの元論⽂) l  Encode-Decodeに加えてGenerative Adversarial Netが⽬⽴つように 15 Laplacian Pyramid of GAN E. L. Denton et. al. (濱⽥さん発表) Deep Visual Analogy-Making S. Reed et. al.
  16. 16. トレンド(3) 続く深層強化学習の進化 l  NIPS2013のDQN論⽂ by DeepMind以来のATARIゲーム中⼼ l  Recurrent Netによって時系列性を取り込んで⻑期予測、など l  物理シミュレーションベースの動作獲得系(UC Berkeley盛ん) 16 Learning Continuous Control Policies by Stochastic Value Gradients N. Hees et. al. (DeepMind, 藤⽥さん発表) Action-Conditional Video Prediction using Deep Networks in Atari Games J. Oh+
  17. 17. トレンド(4) ⾮凸最適化 l  深層学習のほとんどは⾮凸最適化であるのにしたがって活発化 l  ⾮同期SGDや様々な近似法に関する収束性や性能の話が増加 17 Hessian-Free Optimization for MDRNN M. Cho et. al. (瀬⼾⼭さん発表) Asynchronous SGD for Non-convex Opt. X. Lian+
  18. 18. トレンド(5) Probabilistic Programming & Inference l  Tutorial on Probabilistic Programming l  Workshop on Approximate Bayesian Inference l  Workshop on Approximate Bayesian Computation l  Workshop on Black-box Optimization 18 Automatic Variational Inference in Stan A. Kucukelbir et. al. (柏野さん発表) “A Year of Approximate Inference” Blog by Shakir Mohamed (DeepMind)
  19. 19. その他雑感 l  流⾏ったarXiv論⽂の確認のような雰囲気もある(特に深層学習) l  「あれ、この論⽂出たのまだ今年だったっけ…?」 l  ⼀⽅arXivに出てないもの、ポスターで初めて認識できるもの l  ポスターセッションで著者に直接質問できるのも参加価値 l  Tech giantの圧倒的存在感 l  Google > Facebook = Microsoft Research >> Others l  Google DeepMind勢の多さ(100⼈以上来てたらしい) l  それ以外の新しいスタートアップのプレゼンスも増加 l  論⽂発表、スポンサー、デモ、ワークショップ主催など l  OpenAIの設⽴発表(イーロン・マスクらが主導) l  「⼤学を辞めて⺠間研究所に移ると給料も研究時間も増える」⽪⾁ 19
  20. 20. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 20
  21. 21. NIPS 2015 参加者数: 3,755 l  前年のほぼ1.5倍 l  ここ10年、指数的な伸びを続けている l  ⼀⽅、投稿数はそこまで⼤きく増えてはいない l  研究者が増えたというより 企業や他分野に裾野が広がった (お⾦の匂いに寄せられて) 21
  22. 22. NIPS 2006 Sponsors (9) 22
  23. 23. NIPS 2011 Sponsors (15) 23
  24. 24. NIPS 2015 Sponsors (41) >> Last year (28) 24
  25. 25. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 25
  26. 26. 論⽂を書こう!&読もう!→NIPSに参加しよう! 26
  27. 27. NIPS 2016 @ バルセロナ 27 l  北⽶以外ではスペインにしか⾏かないNIPS (2011年はグラナダ)
  28. 28. NIPS 2017 @ ロングビーチ l  寒冷地を離れ海辺のリゾート地 28

×