強化学習における好奇心
•Transferir como PPTX, PDF•
5 gostaram•3,937 visualizações
強化学習のアルゴリズムの中で，複雑な環境の探索のために内発的報酬を用いているアルゴリズムを紹介した資料です．未知の状態への探索を促していることから「好奇心」を用いた探索とも呼ばれます．元々は別の場所で公開していた資料でしたが，いくつかの修正を加えて，こちらに改めてアップしました．
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
強化学習における好奇心
- 1. 強化学習における好奇心 東京大学 大学院工学系研究科 技術経営戦略学専攻 今井 翔太 Twitter：えるエル@ImAI_Eruel Email:imais@weblab.t.u-tokyo.ac.jp
- 4. 自己紹介 今井 翔太（Shota Imai） 所属：東京大学大学院 工学系研究科 技術経営戦略学専攻 松尾研究室 研究分野：強化学習、マルチエージェント，ゲームAI 4 https://xtrend.nikkei.com/atcl/ contents/technology/00007/ メディア（日経クロストレンド） の記事執筆 強化学習の聖典 『Reinforcement Learning』 の翻訳（分担） 最近の活動 Twitter：えるエル@lmAI_Eruel 高専AIサマースクール， 東京大学松尾研究室 強化学習サマースクール講師 https://twitter.com/ImAI_Eruel その他，ゲームAIに関する本の執筆など
- 5. 目次 強化学習・深層強化学習の基礎 報酬がスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 5
- 6. 目次 強化学習・深層強化学習の基礎 報酬がスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 6
- 7. 強化学習 用語 1 簡単に出てくる用語のみ解説します エージェント - 行動の主体 環境 - エージェントが行動を実行して試行錯誤を行い - 報酬を受け取る場所 行動(Action) - 環境内のエージェントの行動 状態(State) - エージェントが環境から受け取る観測 報酬(Reward) - 環境内での行動に対し環境から与えられる評価値． - 複数行動の結果得る報酬和の最大化が強化学習の目的 7
- 8. 強化学習 用語 2 軌道(Trajectory) - 環境における状態，行動，報酬の列 方策(Policy) - 状態の入力に対して行動を返す．強化学習における学習対象 • 決定論的方策：𝜋(𝑠) = 𝑎 • 確率的方策：𝜋(𝑎|𝑠) = 𝑃[𝑎|𝑠] 価値関数(Value function) - ある状態や行動に対する，将来的な報酬和を考慮した評価値 遷移確率 - ある状態𝑠𝑡で行動𝑠𝑡を行った場合にある状態𝑠𝑡+1に遷移する確率P[𝑠𝑡+1|𝑠𝑡, 𝑎 𝑡] 8
- 9. 主な深層強化学習アルゴリズム 資料中に登場するいくつかの基本的な深層強化学習アルゴリズム について簡単に解説 DQN系統のアルゴリズム - DQN - DDQN - Dueling Network 分散深層強化学習 - A3C - Golira 方策更新の安定化手法 - TRPO - PPO 9
- 10. DQN系統のアルゴリズム 本資料で，比較アルゴリズムとして出てくるのは以下 DQN(Deep-Q-Network) - 最初の深層強化学習アルゴリズム - Q値を出力する深層ニューラルネットを学習 - 過去の経験を貯めるExperience Replayや損失関数の教師信号を出力するTarget Networkを 導入 DDQN(Double DQN) - DQNの損失関数で，ターゲットで使う行動価値評価を行うネットワークと，評価する行動価値 の行動を選択するネットワークを分離 Dueling Network - 行動価値関数には，行動による影響を受けない部分が含まれるため分離 - 行動による影響が大きいアドバンテージ関数と行動が関係ない状態価値関数に分ける 10
- 11. 分散型深層強化学習 A3C(Asynchronous Advantage Actor-Critic) - 複数エージェントで探索を行い，非同期に勾配情報をparameter serverに送り，本命の方策を - 更新 - 方策と価値関数評価のNN出力を分けたActor-Criticアルゴリズム - 価値関数は複数ステップ先を考慮した更新を行う - CPUで効率的な学習可 Gorila（General Reinforcement Learning Architecture） - Experience Replayに経験を集めるActor，ネットワークのパラメータ情報を保持するParameter Server，勾配を計算するLearnerで構成 - 複数のゲームでDQNより遥かに高速に高パフォーマンス 11
- 12. 方策更新の安定化手法 方策更新の際，場合によって突然大幅に偏った方向に 更新されることを防ぐため，方策更 新の範囲に制約を設けたアルゴリズム TRPO(Trust Region Policy Optimization) - 方策の大幅な更新を防ぐため，ニューラルネットの パラメータ更新に制約を加える - 更新前と更新後のパラメータのKLダイバージェンスの値が𝛿以下（信頼区間 Trust Region）に なるよう制約 PPO(Proximal Policy Optimization) - TRPOは実装が複雑であり，アルゴリズムのアーキテクチャによっては適応不可なので， 制約条件を改善 - 更新前と更新後のパラメータの比を方策更新量に応じてクリッピングすることで，方策の更新 を抑える 12
- 20. Montezuma’s Revenge 弱すぎる主人公 1 マリオ モンテズマ 落 下 落 下 グシャ！高所からの落下で も大丈夫 低所から の落下で も死亡 20
- 21. Montezuma’s Revenge 弱すぎる主人公 2 マリオのジャンプ モンテズマのジャンプ 余裕で敵を飛び越えられ る 空中のブロックも楽々飛 び移れる 敵を飛び越えることすら難しい低空ジャ ンプ タイミングを見計らってジャンプしない と激突して即死 ジャンプで高台に飛び移ることは不可能 21
- 23. どれくらい難しい？ 最初の深層強化学習アルゴリズムDQN(Deep-Q-Networkの)Atari2600におけるスコアが 以下 DQNを用いた探索ではスコ ア０点（！！）で一切攻略 できず 23
- 24. 目次 強化学習・深層強化学習の基礎 報酬がスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 24
- 29. ゲームダンジョンの探索例 １回 １回 ０回 複数進行方向の候補がある 今まで１度行ったことがある 方向（青色矢印）は目的地に たどり着かなかったので除外 今まで行ったことがない方向 （赤色矢印）の方向を目指 す！ ドラゴンクエスト2 ロンダルキアの洞窟 29
- 33. 内発的報酬による探索の例 MBIB-EB カウントによる内発的報酬 ある状態𝑠で選択した行動aの回数をカウントし，𝑛(𝑠, 𝑎)とする 𝑛(𝑠, 𝑎)の逆数を内発的報酬として与えると，𝑛(𝑠, 𝑎)が少ない (新規性が高い)状態遷移の 価値評価が高まる 内発的報酬 𝑛(𝑠, 𝑎 𝑟𝑖𝑔ℎ𝑡)＝4𝑛(𝑠, 𝑎𝑙𝑒𝑓𝑡)＝2 𝑛(𝑠, 𝑎 𝑑𝑜𝑤𝑛)＝4 𝑛(𝑠, 𝑎 𝑢𝑝)＝1 いままであまり選択しなかった行動を選択 すると，内発的報酬は， 𝛽 𝑛(𝑠, 𝑎 𝑢𝑝) = 𝛽 1 𝛽 𝑛(𝑠, 𝑎𝑙𝑒𝑓𝑡) = 𝛽 2 と大きくなり，行動価値， 𝑄 𝑠, 𝑎 𝑢𝑝 や 𝑄 𝑠, 𝑎𝑙𝑒𝑓𝑡 は高く評価される 一方，今まで何度も選択した行動を選択す ると，内発的報酬は， 𝛽 𝑛(𝑠, 𝑎 𝑑𝑜𝑤𝑛) = 𝛽 𝑛(𝑠, 𝑎 𝑟𝑖𝑔ℎ𝑡) = 𝛽 2 と小さくなり，行動価値， 𝑄 𝑠, 𝑎 𝑑𝑜𝑤𝑛 や 𝑄 𝑠, 𝑎 𝑟𝑖𝑔ℎ𝑡 は低く評価される 33
- 35. 目次 強化学習・深層強化学習の基礎 報酬がスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 35
- 36. 環境から得る情報量を用いた内発的報酬 VIME: Variational Information Maximizing Exploration[Houthooft+] 論文概要 環境に対する情報量の改善＝好奇心とし，情報量が改善されるような状態遷移に対して 多くの内発的報酬を付与 情報量の改善は，状態遷移前後の環境のダイナミクスの分布間のKLダイバージェンス ※非常に数式が多い論文．概念的な部分を中心に話します 36
- 37. 情報量の改善による内発的報酬の生成方式 37 環境に対する情報量Ｉの改善を内発的報酬とみなす 情報量Iはとある状態𝑠𝑡における遷移確率の分布と， 𝑠𝑡から𝑠𝑡+1に遷移した 後の分布のKLダイバージェンス（確率分布間の距離）で表す 記号 𝜉𝑡 = {𝑠1, 𝑎1, . . . , 𝑠𝑡}:時刻𝑡までの状態と行動による遷移の列 𝑠𝑡：時刻tにおける状態 𝑎 𝑡：時刻tでとった行動 𝑝 𝑠𝑡+1 𝑠𝑡, 𝑎 𝑡; 𝜃 ：𝑠𝑡で行動𝑎 𝑡を選択したとき状態𝑠𝑡+1に遷移する確率．θでパラメトライズ 情報量改善の式 内発的報酬そのも の
- 38. 遷移確率の分布とKLダイバージェンス 𝑝(𝜃|ξ 𝑡, at, st+1) 𝑝(𝜃|ξ 𝑡) 行動𝑎 𝑡行動前の遷移確率は 赤色の分布 行動𝑎 𝑡によって状態𝑠𝑡+1 に遷移後は青色の分布に 分布がどれだけ変形したか，状態𝑠𝑡+1に遷移してどれだけの情報を得たかを， 確率分布間のKLダイバージェンスで測り，変化分を報酬としている 38
- 40. 実験結果 TRPOと，TRPO+BNNの予測誤差による内的報酬を用いたもの，TRPO にVIMEを適用したものを比較 普通のTRPOではまったく学習できていない（見えにくいが，グラフ底辺の青 ライン） MountainCarではL2もうまくいっているが，他２つではまったく学習できな いない VIMEを適用すると，全タスクで学習が安定かつ早く高いパフォーマンスに 到達 40
- 41. 疑似的な状態カウントと内発的報酬を組み合わせた探索 Unifying Count-Based Exploration and Intrinsic Motivation[Bellemare+] 論文概要 既存のカウントベースによる内発的報酬の 手法を状態候補が極めて多いタスクに応用 するのは難しい 対策として状態の密度推定を用いた疑似的な状態カウントを導入することで，内発的報 酬を生成 41
- 42. 状態の密度推定を用いた疑似カウント 状態の密度を推定することで，状態の疑似カウントが可能となる 以下，必要な記号の定義と疑似カウントの導出 記号 42 ：n回目の状態遷移後とある状態xである確率（密度） ←疑似カウントの総数，xの疑 似カウント共に1を加えるだ け ：n回目の状態遷移後にxを観測したという前提で，n+1 回目 の状態遷移後再びとある状態xを観測する確率 ここで， 𝑛を全ての状態の疑似カウントの合計， 𝑁 (x)を ある 状態𝑥の疑似カウントとするすると，先ほどの𝜌と 𝜌’は， と計算可能． この二つの値を用いて式変形すると， となり，どうやら，𝑥の密度𝜌(𝑥)と全状態の疑似カウントさえ求 めれば， 𝑥の疑似カウントを計算できるとわかる
- 43. 密度の計算法 例えば２×２マスのブロックで，各セルが確率的に選ばれた色（赤，青，黄，緑）で 塗られるとする 何個かブロックを生成すると，以下のようになった ここで，9回目にまたブロックを生成するとして，黄緑緑緑のブロックが出る 確率は？ →7回目に同じ組み合わせが出ている．８回中１回この組み合わせが出ているので 出現確率は直観的に1/8 じゃあ，緑黄赤赤の生成確率は？ 同じ組み合わせはなさそうなので，確率0？ →左上のセルに緑が2/8，右上のセルに黄が3/8，左下のセルに赤が1/8，右下の セルに赤が3/8の頻度で発生しているので，2/8×3/8×1/8×3/8＝18/4096＝ 0.004が生成確率（密度）𝜌と言えそう 生成回数 左上 右上 左下 右下 1 赤 青 黄 緑 2 赤 青 黄 青 3 黄 黄 緑 赤 4 緑 黄 緑 青 5 赤 青 青 赤 6 緑 青 赤 黄 7 黄 緑 緑 緑 8 青 黄 黄 赤 43
- 48. CTS-Based Pseudo-counts: 実験結果 大抵のタスクで高パフォーマンス 特に，Montezuma’s Revengeで圧倒的なスコア →この手法が発表された当時からつい最近までSOTAだった 48
- 49. 状態のハッシュ化を用いたカウントによる内発的報酬 #Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning[Haoran+] 論文概要 高次元な探索空間でも，疑似カウントではない普通の状態カウントを用いた内発 的報酬を得るため，状態をハッシュ化 状態をハッシュ化する前の良い特徴抽出法についても検討 49
- 52. simHashの計算 1. 𝐷次元のランダムなベクトルをガウス分布から生成 2. 観測した状態𝑠と上記で生成したベクトルの内積をとる 3. 内積して得られた値をある基準で0か1に分類 4. ３で得た値にガウス分布からサンプリング した𝑘 × 𝐷の行列𝐴をかけたものをハッ シュ値𝛷(𝑠)とする 𝑘：ハッシュの粒度 52
- 57. 実験結果/ハッシュ前の学習手法の比較 TRPOをそのまま用いる AEを用いる BASSを用いる ピクセルそのまま の場合を比較 ＡＥで学習して特徴抽出するのが一番よさそう BASSを用いた場合は，Montezuma’s Revenge で圧倒的な性能 ※BASS:Atari2600用にデザインされた前処理 57
- 58. 実験結果/Atari2600 simHashを用いた場合は大抵のゲームで結構なスコアを出せる ただ，ゲーム個別なら他にも良いアルゴリズムがある →例えば，内的報酬の手法としては，重要ベンチマークであるMontezuma’s Revengeで先 行研究の疑似カウントに負けている DQNベースとの差分として，TRPOではexperience replayを使用できないのがマイナス 58
- 59. 観測の識別器を用いて推定した密度を内発的報酬とする探索 EX2: Exploration with Exemplar Models for Deep Reinforcement Learning [Fu+] 論文概要 新しい状態は現在までに観測していない明らかに違う状態であるため，あるモデルで他 の状態と簡単に識別可能 簡単に判別できる状態＝新しい状態とし，観測した状態を他の状態と識別するモデルの 出力を用いて内発的報酬を生成 59
- 60. Exemplar Model あるデータセットX={𝑥1, … 𝑥 𝑛}に対し，新たに与えられたデータ𝑥𝑖(exemplar)と，過去に 観測したデータを識別できるよう学習された識別器𝐷(𝑥)を用意(exemplar modelと呼ぶ) 探索の中で，新たなデータ𝑥(観測)が与えられるとき，その観測が容易に今まで観測した 状態と容易に区別できれば，その観測は新しいと考える Exemplar modelの出力により観測状態𝑥の密度を推定し，内発的報酬として利用 60
- 62. 最適な識別器と密度 状態が連続の場合 状態が連続の場合，𝛿 𝑥∗ (𝑥∗)→∞となり，𝐷 → 1に収束してしまう このとき，(𝛿 𝑥∗ ∗ 𝑞)(𝑥∗)とすればすべての𝑥に対し，以下の比例関係は保たれる(＊は畳み 込み) δにノイズqを加えて平滑化したとき，Dは以下のようになる 62
- 64. 実験評価 提案手法の有効性を評価するため，以下のベンチマークで評価 - 単純な2次元迷路タスク:2D Maze - 物体制御タスク：SwimmerGather, SparseHalfCheetah - 観測が第三者視点のAtariゲーム:Freeway, Frostbite, Venture - 観測が一人称視点の探索:VizDoom 比較手法 - 提案手法の２モデル:k-exemplar - 一般的な方策学習手法：TRPO - カーネル密度推定による報酬：KDE - ハッシュによる状態カウント:Hashing - 情報量の改善による内的報酬：VIME 64
- 67. まったく報酬が与えられない環境における探索 (ICLR2019 Accepted) Large-Scale Study of Curiosity-Driven Learning [Burda, Edwards, Pathak+] 論文概要 様々なゲームの強化学習で「外的な報酬がまったくない場合にどれくらいパフォーマン スを発揮できるかを検討した論文 VAEなどを用いた画像からの特徴抽出や学習の様々な工夫を用い，内発的報酬のみで複数 ゲームで高パフォーマンスを確認 67
- 68. 予測誤差による内的報酬生成 観測𝑥𝑡と，その時選択する行動𝑎 𝑡から，次の観測𝑥𝑡+1がどうなるか予測するモデル 𝑓(𝑥𝑡, 𝑎 𝑡)を考える（順モデル） モデルの出力と実際に𝑥𝑡で𝑎 𝑡を選択した場合の次の観測𝑥𝑡+1を用いて二乗誤差を計算し， NNを学習 既に観測した遷移は予測精度が高くなり（二乗誤差が小さくなる），観測が少ない遷移 は予測精度が低くなる（二乗誤差が大きい） 68
- 69. 観測からの表現獲得 環境から得られる生の観測𝑥でなく，Φ (𝑥)によって，タスク攻略のためにより良い表現 を得られるか議論 この表現は，以下の３つの要素を満たすことが望ましい - stable:特徴抽出器は学習と共に変化するため， 得られる表現も変化．この変化は最小限にす る - compact：低次元で，生の観測𝑥の不必要な部分は無視できる - sufficient：得た表現は重要な情報を全て含む 69
- 70. 様々な表現獲得法 Pixel: 観測画像をそのまま表現として使用する Random Features(RF): ランダムに初期化したニューラルネットなどに観測を入力して得た出力 Variational Auto Encoders(VAE): VAEによって低次元の潜在変数zを得る Inverse Dynamics Features(IDF): とある状態𝑠𝑡と遷移先の状態𝑠𝑡+1から間の行動𝑎 𝑡を出力するモデルを用い，特徴抽出器Φを学習 70
- 79. 自分に関係あるものだけに注目した好奇心による探索 Curiosity-driven Exploration by Self-supervised Prediction [Pathak+] 論文概要 エージェントの行動に関係があるもののみに注目するため特徴抽出を行い，予測誤差に より内発的報酬を生成 特徴抽出のため順モデルと逆モデルを組み合わせた予測を行って報酬を生成する ICM(Intrinsic Curiosity Module)を提案 79
- 81. ICMのアーキテクチャ 逆モデル順モデ ル 内的報酬生成 状態𝑠𝑡と次の状態 𝑠𝑡+1の特徴を獲得 ２つの特徴から間 の行動を予測 →良い特徴抽出が できるφを学習 Φ(𝑠𝑡)と𝑎 𝑡を入力し， 次の状態の予測値 𝛷(𝑠𝑡+1)を出力 81
- 85. 実験/VizDoom VizDoomを用い，テスト環境での報酬獲得の難易度を調整しつつ 迷路探索課題を行う Train Mapで一切の外部報 酬なしに事前学習を行う Test Mapでは，報酬の獲得 難易度を調整するため， エージェントの発生地点 （青点）を変える ゴールに到達した場合に外 部報酬+1それ以外は0 以下の設定で，エージェントのスタート地点を変更する (a)報酬が多い場合(dense)：青点のどこか (b)報酬がスパースな場合(sparse)：Room13 ゴールまで270ステップ (c)報酬が極めてスパースな場合(very sparse):Room17 ゴールまで350 ステップ 85
- 94. ランダム初期化したネットワークの蒸留と 予測誤差による内発的報酬 EXPLORATION BY RANDOM NETWORK DISTILLATION [Burda,Edwards+] 論文概要 状態を入力する二つのネットワークとして，ランダムに初期化したネットワークと， このネットワークの出力を真似るよう蒸留するネットワークを用意 両方のネットワークの出力の誤差を内発的報酬とし，新しい状態に対して探索を促進 RL手法として初めてMontezuma’s Revengeで人間を超えるスコア 94
- 95. 本手法で利用したいニューラルネットの特性 1. 単純に学習が不足している 2. 出力が確率的である（先ほど紹介したNoisy TV問題） 3. モデルがよくない 4. ネットワーク内の最適化プロセスがよくない １を利用すると，今まで散々悩んできた未知の状態の 評価がうまくいくのでは？ また，ニューラルネットは似た入力に対しては似た出力をするため，状態が高次元でも状 態の近さを考慮した 評価が可能 →この論文のアイディア 95
- 96. Random Network Distillationによる内発的報酬生成 二つのネットワーク，ターゲットネットワーク，予測ネットワークを用意 両ネットワークに，評価したい状態を入力 予測ネットはターゲットの出力を真似るよう学習を行い，両出力の二乗誤差が内的報酬 となる →新しく観測した状態に大しては内発的報酬が大きくなる 96 ゲーム 画像𝑠𝑡 ゲーム 画像𝑠𝑡 ターゲットネットワーク →出力を真似される側 ランダムに初期化する 予測ネットワーク →出力をマネする側 ターゲットの出力を真似できる よう学習（蒸留）を行う 同じ構造のモデル 蒸留 ターゲット ネットの出力 予測ネットの 出力 外部報酬etと足し合わせ，最終的な報酬とする 予測誤差による内的報酬
- 99. 実験結果 Montezuma’s Revengeでは，SOTAだった疑似カウントを用いた手法(先ほど解説し た論文Unifying Count-Based Exploration and Intrinsic Motivation)を超えてSOTA RND以外でも結構強いが，他半分では疑似カウントの方が強い 99
- 101. しかし・・・ RND発表からわずか数週間後，Uberの研究 者からとんでもない発表が Montezuma’s Revengeにおける現最強アルゴリズム Go-Exploreの登場！！ 101
- 102. ほんの 三週間程度 102
- 103. ３ 年 ３週間 103
- 104. 過去に保存した良い状態に戻ってスタート地点とする 探索手法 Go-Explore: a New Approach for Hard-Exploration Problems [Ecoffet+] 論文概要 報酬がスパースな環境で，従来の好奇心による探索とはまったく違う探索手法を提案 学習を２段階に分け，第１段階で状態の記憶とスタート地点の変更による探索，第２段 階でデモ軌道ロバストな方策を獲得 Montezuma’s RevengeでRNDを超えSOTA 今まで紹介してきた好奇心/内発的報酬に よる探索手法とは異なる枠組みの手法 104
- 105. 従来の好奇心による探索手法の問題点 緑色の部分が内的報酬を獲得できる場所（新規状態） 渦の中心ほど，深い探索が必要 一度は内的報酬に従って，深い状態まで探索を行っても，何らかの理由 で 別エリアの探索に切り替わった場合を考える そうすると，既に探索済みの場所（白い部分）は内的報酬が得られない ため，深い状態に到達するための探索が難しくなる 105
- 106. Go-Explore/大まかな手法の概要 ２つのフェーズに分けてエージェントの学習を行う フェーズ１：目標状態到達まで探索 - 探索をしながら，特定の状態”Cell”をArchiveに追加 - 探索のスタート時にArchiveからランダムにCellを選択し, その状態まで移動 - その状態からスタートしてランダム探索(繰り返し) フェーズ２：方策のロバスト化 - フェーズ１で得られた軌道のうち目標に到達した軌道を 通るような方策を模倣学習で獲得 106
- 107. フェーズ１ 状態の保存と始点変更による探索 目標状態に到達できる軌道を得るため，タスクの目標状態到達まで， 以下の手順を繰り返す 1. あるCellからエージェントをスタートさせる．このCellはArchiveから選択 (Go back to it) 2. 移動用の方策でCellまで移動する 3. Cellからランダム探索し，特定の状態，または軌道に遭遇したとき，Archiveに状態と 軌道を保存（Explore from it） 4. 探索を終了し，1に戻る 107
- 113. フェーズ２の詳細 模倣学習のアルゴリズムとしてはBackwards Imitation Learningを使用 オリジナルの軌道と異なっていても，獲得 スコアが上であればそちらを採用 →オリジナルの軌道は目標状態に到達さえすれば途中経過は気にしないため，余分な行動 も含んでいる（例えばストックが０にならない程度の死，無意味なバック） フェーズ１とは異なり，このフェーズではニューラルネットを使用して方策を学習 113
- 114. Backwards Imitation Learning デモンストレーションの軌道の中で，終 端から始点に向かって数ステップずつ学 習する 1. 終端からスタート 2. kステップ分，始点方向へ戻る 3. 戻った先から，スタート地点となった終 端まで行動する このときの動きで得た軌道のスコア≧オリ ジナル軌道のスコアとなるまで3を実行 4. 終端をずらして1に戻る これらの手順を，元のデモンストレーショ ンの始点にたどり着くまで実行 114
- 115. 実験 Montezuma’s Revenge ドメイン知識ありの場合と，ドメイン知識なしの場合に分けて，Go-Exploreを Montezuma’s Revengeで評価 ドメイン知識としては，現在の部屋番号，カギの情報などを使用 デフォルトではAtariはゲーム挙動が決定論的であるがテスト時には確率的にしたい →以下の仕様を追加 no-ops:スタート地点におけるランダム時間停止 sticky-action:確率的に同じ行動を繰り返す ※本資料ではMontezumaの実験のみ解説 115
- 118. 余談/Treasure room curse Montezuma’s Revengeの最後の部屋では，スコアUPのアイテムを複数入手可能 本来，アイテムをいくつか取得すると，自動的に主人公が落下して、次のレベルに進む が，ある操作により，永遠にアイテム取得可 Go-Exploreは学習中にこのバグを発見 118
- 120. 人間の生体反応から学び，危険に対する応答を内発的報酬とす る手法(ICLR2019 Accepted) Visceral Machines: Risk-Aversion in Reinforcement Learning with Intrinsic Physiological Rewards [McDuff+] 論文概要 人間は，危険が近づいたとき，自律神経の働きによる生体反応を元に内発的なフィード バックを得て行動選択を行っている 運転時の観測画像と，運転者の生体反応パルスを用いて学習したCNNの出力により 内発的報酬を生成 運転タスクで本手法を適用することで，サンプル効率を改善し，エピソード終了 （衝突）までの時間も上昇 120
- 123. 観測した状態と過去に観測した状態からの離れ具合で内発的報酬 を生成(ICLR2019 Accepted) EPISODIC CURIOSITY THROUGH REACHABILITY [Savinov, Raichuk, Marinier+] 論文概要 観測の記憶機構を導入し，現在の観測と過去の観測を比較することで，内的報酬を生成 埋め込みにより観測の表現を獲得し，現在の状態と過去の状態の観測がステップ数的に 離れていれば大きな内発的報酬を生成 123
- 124. 提案手法の構成 Reachability network(R-net) 状態を埋め込むEmbedding networkと埋め込み表現から状態間ステップ数を計り，閾値と比較して0か1を出力す るComparator networkで構成 Memory buffer 過去に大きな内発的報酬を得た状態表現を保存する Reachability buffer R-netにより，現在の観測とMemory buffer内の全状態を比較した結果を保存 Reward bonus estimation module Rechability bufferの要素全てを入力とし，内発的報酬を決定 124
- 126. 壊れやすい物体操作のための優しい操作を内発的報酬により 獲得 Learning Gentle Object Manipulation with Curiosity-Driven Deep Reinforcement Learning [Huang, Zambelli] 論文概要 ロボットによる壊れやすい物体操作には，強すぎる操作をした場合の罰則を与える必要 があるが，これだけでは局所解に陥る これを回避するため，ペナルティに加えて，環境に対する予測誤差の内発的報酬と， ペナルティに対する予測誤差の内的報酬を導入 https://sites.google.com/view/gentlemanipulation 126
- 127. 複数の内発的報酬の導入 Impact Penelty: 時刻𝑡でエージェントが与えた衝撃に対する罰則報酬 Deynamics-based surprise 複数ネットワークに行動と状態を入力し，各ネットワークの出力の分散が大きければ 大きな報酬を生成 Penalty-based surprise Dynamicsの場合と同じく，複数ネットワークに状態と行動を入力した場合の出力の分散を 元に報酬生成 最終的な報酬はタスク報酬と これらの組み合わせ 学習手法としてはD4PGを使用 127
- 129. 目次 強化学習・深層強化学習の基礎 報酬なスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 129
- 130. 参考文献，サイト，資料 1 強化学習・深層強化学習の基礎 Richard S Sutton and Andrew G Barto. Reinforcement learning: An introduction, volume 1. Bradford, 1998. David Silver, Aja Huang, Chris J Maddison, Arthur Guez, Laurent Sifre, George Van Den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, et al. Mastering the game of go with deep neural networks and tree search. Nature, 529(7587):484–489, 2016. Hado Van Hasselt, Arthur Guez, and David Silver. Deep reinforcement learning with double q-learning. In AAAI, volume 2, page 5. Phoenix, AZ, 2016. Ziyu Wang, Nando de Freitas, and Marc Lanctot. Dueling network architectures for deep reinforcement learning. In ICML, 2016. Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, Tim Harley, David Silver, and Koray Kavukcuoglu. Asynchronous methods for deep reinforcement learning. In ICML, pages 1928–1937, 2016. Arun Nair, Praveen Srinivasan, Sam Blackwell, Cagdas Alcicek, Rory Fearon, Alessandro De Maria, Vedavyas Panneershelvam, Mustafa Suleyman, Charles Beattie, Stig Petersen, et al. Massively parallel methods for deep reinforcement learning. arXiv preprint arXiv:1507.04296, 2015. J. Schulman, S. Levine, P. Moritz, M. I. Jordan, and P. Abbeel, “Trust region policy optimization”, in ICML, 2015. John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. CoRR, abs/1707.06347, 2017. Y. Duan, X. Chen, R. Houthooft, J. Schulman, and P. Abbeel, “Benchmarking deep reinforcement learning for continous control”, in ICML, 2016. Bellemare, Marc G, Naddaf, Yavar, Veness, Joel, and Bowling, Michael. The arcade learning environment 130
- 131. 参考文献，サイト，資料 2 報酬なスパースな環境と好奇心による探索 Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba. Openai gym, 2016. Unity ML-agents. https://github.com/Unity-Technologies/ml-agents. S. P. Singh, A. G. Barto, and N. Chentanez. Intrinsically motivated reinforcement learning. In NIPS, 2005. Strehl, A. L. and Littman, M. L. (2008). An analysis of model-based interval estimation for Markov decision processes. Journal of Computer and System Sciences, 74(8):1309 – 1331. 論文紹介 環境から得る情報量を用いた内発的報酬 R. Houthooft, X. Chen, Y. Duan, J. Schulman, F. De Turck, and P. Abbeel. Vime: Variational information maximizing exploration. In NIPS, 2016. Stadie, B. C., Levine, S., and Abbeel, P. (2015). Incentivizing exploration in reinforcement learning with deep predictive models. arXiv preprint arXiv:1507.00814. 疑似的な状態カウントと内発的報酬を組み合わせた探索 Marc Bellemare, Sriram Srinivasan, Georg Ostrovski, Tom Schaul, David Saxton, and Remi Munos. Unifying count-based exploration and intrinsic motivation. In NIPS, pages 1471–1479, 2016. Bellemare, M., Veness, J., and Talvitie, E. (2014). Skip context tree switching. In Proceedings of the 31st International Conference on Machine Learning, pages 1458–1466. 状態のハッシュ化を用いたカウントによる内発的報酬 Haoran Tang, Rein Houthooft, Davis Foote, Adam Stooke, OpenAI Xi Chen, Yan Duan, John Schulman, Filip DeTurck, and Pieter Abbeel. # exploration: A study of count-based exploration for deep reinforcement learning. In NIPS, pages 2750–2759, 2017. Charikar, Moses S. Similarity estimation techniques from rounding algorithms. In Proceedings of the 34th Annual ACM Symposium on Theory of Computing (STOC), pp. 380–388, 2002. 131
- 132. 参考文献，サイト，資料 3 観測の識別器を用いて推定した密度を内発的報酬とする探索 J. Fu, J. D. Co-Reyes, and S. Levine. EX2: Exploration with exemplar models for deep reinforcement learning. NIPS, 2017. まったく報酬が与えられない環境における探索 Yuri Burda, Harri Edwards, Deepak Pathak, Amos Storkey, Trevor Darrell, and Alexei A. Efros. Large-scale study of curiosity-driven learning. In arXiv:1808.04355, 2018. 自分に関係あるものだけに注目した好奇心による探索 Deepak Pathak, Pulkit Agrawal, Alexei A. Efros, and Trevor Darrell. Curiosity-driven exploration by self- supervised prediction. In ICML, 2017. ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 Yuri Burda, Harrison Edwards, Amos Storkey, and Oleg Klimov. Exploration by random network distillation. arXiv preprint arXiv:1810.12894, 2018. 過去に保存した良い状態に戻ってスタート地点とする探索手法 Adrien Ecoffet, Joost Huizinga, Joel Lehman, Kenneth O Stanley, and Jeff Clune. 2019. Go-Explore: a New Approach for Hard-Exploration Problems. arXiv preprint arXiv:1901.10995 (2019) Tim Salimans and Richard Chen. Learning montezuma’s revenge from a single demonstration. arXiv preprint arXiv:1812.03381, 2018. Reinforcement Learning @ NeurIPS2018 https://www.slideshare.net/yukono1/reinforcement-learning- neurips2018 2018-12-07-NeurIPS-DeepRLWorkshop-Go-Explore http://www.cs.uwyo.edu/~jeffclune/share/2018_12_07_NeurIPS_DeepRLWorkshop_Go_Explore.pdf 132
- 133. 参考文献，サイト，資料 4 その他好奇心による探索手法 Nikolay Savinov, Anton Raichuk, Raphael Marinier, Damien Vincent, Marc Pollefeys, Timothy Lillicrap, and Sylvain Gelly. Episodic curiosity through reachability. arXiv preprint arXiv:1810.0227, 2018. Daniel McDuff and Ashish Kapoor. Visceral Machines: Reinforcement Learning with Intrinsic Rewards that Mimic the Human Nervous System. arXiv preprint arXiv:1805.09975, 2018. Sandy H. Huang and Martina Zambelli and Jackie Kay and Murilo F. Martins and Yuval Tassa and Patrick M. Pilarski and Raia Hadsell. Learning Gentle Object Manipulation with Curiosity-Driven Deep Reinforcement Learning. arXiv preprint arXiv:1903.08542, 2019 133
- 134. 目次 強化学習・深層強化学習の基礎 報酬なスパースな環境と好奇心による探索 論文紹介 - 環境から得る情報量を用いた内発的報酬 - 疑似的な状態カウントと内発的報酬を組み合わせた探索 - 状態のハッシュ化を用いたカウントによる内発的報酬 - 観測の識別器を用いて推定した密度を内発的報酬とする探索 - まったく報酬が与えられない環境における探索 - 自分に関係あるものだけに注目した好奇心による探索 - ランダム初期化したネットワークの蒸留と予測誤差による内発的報酬 - 過去に保存した良い状態に戻ってスタート地点とする探索手法 - その他好奇心による探索手法 参考文献 おまけ/強化学習の勉強資料紹介 134
- 136. piqcy本の実装はTensorFlowベースなのに対し，こち らはPytorchベースで解説．網羅度は高くなく，古典 的強化学習の話題がほんの少しと，PyTorchによる深 層強化学習アルゴリズムの実装がほとんどを占める． PyTorchを中心に使っているのであれば，piqcy本と セットで使うのもあり．後半にはAWSのGPUインス タンス環境構築法や，学習手順が載っている． 今から強化学習を始めるならまずはこの一冊．知識 の網羅度も極めて高く，古典的強化学習から深層強 化学習までPythonコード付きで解説．後半はトップ カンファレンスに出てくるような論文の内容を交え， 発展的な話題．著者のTwitterアカウント名から 「piqcy本」，表紙から「緑本」などと呼ばれたり． 入門者向けの参考書 入門者にオススメの書籍 機械学習スタートアップシリーズ Pythonで学ぶ強化学習 入門から実践まで 久保 隆宏 (著) つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 株式会社電通国際情報サービス 小川雄太郎 136
- 137. ここで紹介する本では一番薄く，いかにも「速習」 だが，見た目とタイトルに反してガチガチ理論重視 の本．学習の初期で手を出す本ではなく，ある程度 強化学習に慣れてから，理論的な部分を追求したい 人向け．深層強化学習は，後半に訳者により追加執 筆されたものがあり，これはかなりわかりやすい． 強化学習の基礎的な話題から始まるが，方策勾配の部分 や，発展的理論などは数学的要素が強く難易度は高め． 強化学習の和書としてはたぶん唯一強化学習の工学応用 についても多く書かれており，ロボット，医療応用など 様々．深層強化学習は後半の方にAlphaGoやDQN系統の アルゴリズムが少し．各章は独立しているため，学びた い所を拾い読みがよい．初期の版は誤植がかなり多いの で注意 難しめの参考書 これからの強化学習 牧野 貴樹 , 澁谷 長史他 速習 強化学習 ―基礎理論とアルゴリズム― Csaba Szepesvari, 小山田 創哲他 137
- 138. 洋書だが，英語は平易でわかりやすい．実装はPytorchを使用．かなり実装重視の本であり，数式による 解説よりは，実装上の解説がほとんど．実装は著者のオリジナルライブラリ「ptan」を使用することに なる．ptanでエージェントの探索部分をほとんどラップしてしまっているため，個人的にはあまりよく ない仕様．ただ，本に書いてある通りの操作で非常に簡単にDQNからDDPG，進化戦略のアルゴリズム までPyTorchで実装可能．とにかく多くのアルゴリズムを動かしてみたい人向け． 洋書 Deep Reinforcement Learning Hands-On: Apply modern RL methods, with deep Q- networks, value iteration, policy gradients, TRPO, AlphaGo Zero and more Maxim Lapan 138
- 139. おまけ/Web上のリソース1 分野別 強化学習本のバイブル，通称”Sutton本”の第２版ドラフト - ２版は現在我々が翻訳中 http://incompleteideas.net/book/bookdraft2018jan1.pdf 先ほど紹介した『速習 強化学習』の原著Web版 https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf 深層強化学習全体の解説 深層強化学習アルゴリズムの紹介からベンチマーク，転移学習などの発展的な話題まで 扱った教科書『An Introduction to Deep Reinforcement Learning 』のドラフト https://arxiv.org/pdf/1811.12560.pdf DeepMindによる講義動画 DeepMindの一流研究者による，強化学習・深層強化学習のみではなく，深層学習の基礎 から言語処理，生成モデルなどの話題も含めた総合的な講義動画．DeepMindの研究者ら による深層学習研究のアドバイスも随所にあり． https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs 139