Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 機械学習研究の現状とこれから
Semelhante a 機械学習研究の現状とこれから (20)
Mais de MLSE
機械学習研究の現状とこれから
- 1. 2018年5月17日 機械学習研究の 現状とこれから 機械学習研究の 現状とこれから 理化学研究所 革新知能統合研究センター 東京大学 大学院新領域創成科学研究科 杉山 将 日本ソフトウェア科学会 機械学習工学研究会
- 2. 2 自己紹介 現職： 理化学研究所・センター長：研究者とともに 東京大学・教授：学生とともに 企業・技術顧問：エンジニアとともに 専門分野： 機械学習の理論・アルゴリズム開発 機械学習の実世界応用 （音声，画像，言語，脳波，ロボット， 自動車，光学，広告，医療，生命など）
- 3. 機械学習の国際会議の動向 参加者数が激増： ICML: International Conference on Machine Learning NIPS: Neural Information Processing Systems 企業のスポンサーも非常に活発： 00年代前半：アメリカのIT企業(Google, IBM, Yahoo, Microsoft...) 00年代後半：世界中のIT企業 (Amazon, Facebook, Linkedin, Tencent, Baidu, Huawei, Yandex…) 10年代：製造・金融など様々な業種のスタートアップ～大企業 3 2013 2014 2015 2016 2017 ICML 900 1200 1600 3000+ 2400 (Sydney) NIPS 1200 2400 3800 6000+ 7500+ (California)
- 4. ICML2016の採択論文の分布 4 アメリカ 企業 .com フランス イギリス イスラエル スイス 日本（１０件≒３％） ドイツ カナダ • アメリカ一強 （多数の中・韓・印・欧を含む） • 日本人は非常に少ない • 中国が猛烈な勢いで追い上げ
- 5. 機械学習研究の現状と課題 現状の機械学習によって， 音声認識，画像理解，言語翻訳 などはヒトと同等以上の性能を達成 しかし，更なる飛躍には課題がある： 機械学習技術の研究開発に多大なコスト： 世界中の企業が研究者・技術者を青田買い ビッグデータの収集に多大なコスト： ネットからビッグデータが取れない問題は， 現状の機械学習技術では精度が悪い 様々な規制がネック： 個人情報保護，倫理規定・・・ 5
- 6. 講演の流れ 1. 機械学習技術の研究開発に多大なコスト 2. ビッグデータの収集に多大なコスト 3. まとめと今後の展望 6
- 9. 各タスクに特化したアプローチ 各タスクに特化したアルゴリズムを 開発した方が，原理的には 生成的アプローチよりも性能が良い しかし，様々なタスクに対して個別に 研究開発を行うのは大変： アルゴリズム考案 理論的性能評価 高速かつメモリ効率の良い実装 エンジニアの技術習得 9
- 11. 11 確率密度比に基づく機械学習 多くの機械学習タスク群は 複数の確率分布を含む しかし，これらのタスクを解くのに，それぞれ の確率分布そのものは必要ない 確率密度関数の比が分かれば十分である 各確率分布は推定せず， 密度比を直接推定する r(x) = p(x) q(x) 非定常環境下での適応学習，ドメイン適応， マルチタスク学習，二標本検定，異常値検出， 変化点検知，クラスバランス推定，相互情報 量推定，独立性検定，特徴選択，十分次元削 減，独立成分分析，因果推論，クラスタリング， オブジェクト適合，条件付き確率推定，確率的 パターン認識 Sugiyama, Suzuki & Kanamori, Density Ratio Estimation in Machine Learning, Cambridge University Press, 2012
- 12. 12 最小二乗密度比適合 データ： ， 真の密度比 との二乗誤差を最小にする ように密度比モデル を学習： Kanamori, Hido & Sugiyama (JMLR2009) r(x) min ® J(®) J(®) = 1 2 r®(x) ¡ r(x) 2 q(x)dx r(x) = p(x) q(x) fxq j g nq j=1 i:i:d: » q(x)fxp i g np i=1 i:i:d: » p(x)
- 13. ここまでのまとめ 密度比は，単純な最小二乗法で最適推定できる 多くの学習タスクが実は最小二乗法で解ける： 重点サンプリング： ダイバージェンス推定： 相互情報量推定： 条件付き確率推定： 各機械学習タスクを直接解くのではなく，抽象化 したタスクの集合に対する解法を開発する 13
- 15. ビッグデータを用いた機械学習 画像認識，音声認識，機械翻訳などで， 人間と同等かそれ以上の性能を達成 しかし，応用分野によっては， 教師付きビッグデータを簡単に取れない 医療データ解析 インフラの管理 自然災害の防災・減災 機能材料の開発 限られた情報からの学習が重要！ 15
- 20. 新手法１：正例とラベルなし データからの分類 20 負例が全くなくても，正例とラベルなしデータ だけから，最適な分類ができる 例： クリック vs. 非クリック 友達 vs. 非友達 正 ラベルなし （正と負の混合） du Plessis, Niu & Sugiyama (NIPS2014, ICML2015) Niu, du Plessis, Sakai, Ma & Sugiyama (NIPS2016) Kiryo, du Plessis, Niu & Sugiyama (NIPS2017)
- 21. 新手法２：半教師付き分類 21 「正例とラベルなしデータからの分類」は最適 それに「正例と負例からの分類」を組み合わせ ても最適 正 負 ラベルなし Sakai, du Plessis, Niu & Sugiyama (ICML2017) Sakai, Niu & Sugiyama (MLJ2018)
- 22. 新手法３：正信頼度からの分類 正クラスのデータしか取れない： 他社のデータは取れず自社のデータしか取れない 成功例は入手できても失敗例は入手できない 信頼度さえ分かれば， 最適な分類ができる 22 Ishida, Niu & Sugiyama (arXiv2017) 正信頼度 95% 70% 5% 20%
- 23. 新手法４：類似データ対からの分類 類似データ対： 同じクラスに属する標本対 しかしクラスはわからない 財産，宗教，政治など，デリケートな質問に対して， 明示的に趣向を回答するのははばかられる 「あの人と同じ」であれば回答しやすい！ 類似データ対と ラベルなしデータだけから 最適な分類ができる 23 Bao, Niu & Sugiyama (ICML2018)
- 24. 新手法５：教師なし分類 24 クラスタ構造がない場合でも，クラス比の異なる ラベルなしデータが２セットあれば，教師付き 学習と同じ収束率を達成可能 クラス比 =3:7 クラス比 =7:3 du Plessis, Niu & Sugiyama (TAAI2013)
- 25. 新手法６：補ラベルからの分類 多クラスの訓練データのラベル付けは高コスト 多数の候補クラスから正しいものを選ぶ必要がある 補ラベル： パターンが属さないクラスの ラベル（補ラベル）を与える 補ラベルをつけるのは低コスト 「間違ったラベル」だけから， 最適な分類ができる！ 25 Ishida, Niu & Sugiyama (NIPS2017) クラス 1 クラス 2 決定 境界クラス 3
- 26. 弱教師付き学習のまとめ 低ラベル付けコストで 高精度な機械学習 手法が有用！ 26 UU, PU, PNU, SU, Pconf, Comp… あらゆるデータを 有効活用！ ラベルあり （教師付き学習） ラベルなし （教師なし学習） ラベルありとなし （半教師付き学習） 高 低学習の精度 高 高低 Sugiyama, Sakai, Ishida & Niu Machine Learning from Weak Supervision, MIT Press, in preparation. ラ ベ ル 付 け コ ス ト
- 27. 流行りの深層学習との関係は？ 深層学習＝深層モデルを使った機械学習 学習法の研究はモデルの研究と直交！ 27 線形 カーネル 深層 … モデル 加法 教師付き学習 教師なし学習 … 強化学習 学習法 新しい学習法を作れば， 最新の深層モデルと組合せ可！
- 29. 今後の展望 人工知能（過去）： １次ブーム（１９６０年頃）： 記号処理，論理推論 ２次ブーム（１９８０年頃）： エキスパートシステム ニューラルネット（過去） ： １次ブーム（１９６０年頃）： パーセプトロン（１層） ２次ブーム（１９９０年頃）： 誤差逆伝播法（多層） 29 機械学習（現在）： １９９５年頃～：統計・凸最適化 １９９５年頃～：ベイズ推論 ２０１０年頃～：深層学習 知能の要素技術を高度化 汎用人工知能（将来）： 知能の要素技術を統合