Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
強化学習4章
- 4. 4 手順 1. 方策πを用いて終端状態までデータをサンプルする 2. 価値関数の推定 3. エピソード終了毎に価値関数を更新 モンテカルロ法 𝑠 𝑎 𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 終端状態𝑡 = 𝑇 𝑡 = 1 𝑡 = 0 ・ ・ ・ モンテカルロ法のバックアップ木 モンテカルロ法の問題点 • エピソード終了まで価値関数を更新できない ため，オンライン学習に向かない • 推定値の偏り（バイアス）が小さい反面，推 定値の分散（バリアンス）が大きくなる
- 5. 5 TD学習(時間的差分学習：Temporal Difference learning) 𝑠 𝑎 𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 オンラインで価値関数の更新を行う手法 推定価値関数の更新式 1ステップ毎に価値関数の更新を行う
- 6. 6 おまけ（動的計画法） 𝑠0 (0) 𝑎0 (0) 𝑎0 (2) 𝑎0 (1) 𝑠1 (2) 𝑠1 (1)𝑠1 (0) 𝜋 𝑎0 𝑠0 𝑝 𝑇 𝑠1 𝑎0 , 𝑠0 𝑔(𝑎0, 𝑠0) 𝑎1 (2) 𝑠T 2
- 10. 10 バッチ学習でのベルマン方程式 ある方策 π (固定)に従い収集した履歴データℎ 𝑇 π が既に手元にある（バッチ学習） 推定価値関数の更新式（近似ベルマン方程式） 繰り返し適用することで，縮小性より不動点に収束する T → ∞ の極限で 𝐵はBπ に収束するため， 𝑉∞は𝑉π に一致する ベルマン方程式
- 12. 12 オンライン学習でのベルマン方程式 ロビンス・モンローの条件 を満たせば，t → ∞ の極限で以下が成り立つ (確率的近似の収束性) ベルマン方程式の一意性(2章)より 𝑉は真の価値関数𝑉π に収束する ロビンス・モンローアルゴリズム
- 13. 13 ベルマン方程式の解の一意性（再掲） a. ベルマン最適方程式の解になる関数 は， を満たすが，それは最適価値関数 ただ１つ． b．定常方策 のベルマン期待方程式の解になる関数 は， を満たすが，それは の価値関数 ただ１つ．
- 14. 14 TD学習（時間的差分学習） 上式を解釈しやすいように以下のように書き換える 次ステップの価値の推定値と現在の価値の推定値の差分 TD誤差 新しい推定値 ← 古い推定値 ＋ ステップサイズ（新しい推定値 ー 古い推定値） 確率的勾配降下法と同じ原理
- 15. 15 TD学習 [入力] S，Aは既知．行動の入力に対して次状態と報酬を出力するモデル． π，γ，α，終了条件． [出力] 方策πの推定価値関数 1. 初期化 推定価値関数を任意に初期化・t＝0に初期化・初期状態𝑠0を観測 2. 環境との相互作用 方策 に従い行動𝑎 𝑡を選択し環境に入力，環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3. 学習 TD誤差を計算 推定価値関数を更新 4. 終了判定 終了条件を満たしていれば終了 それ以外は手順2から繰り返す
- 20. 20 後方観測的なTD(λ)学習
- 21. 21 後方観測的なTD(λ)学習 ∞Tt τ 時間ステップ T 時点では第1項のみ計算可能 時間ステップ T までに状態 s に訪問した時間ステップの集合を以下で定義 状態 s の時間ステップ T までのTD(λ)誤差の和
- 22. 22 後方観測的なTD(λ)学習 状態 s の時間ステップ T までに計算可能な誤差項 時間ステップ T 以降の誤差項 これらを用いて，
- 24. 24 後方観測的なTD(λ)学習 ＋ ＋ ・・・ ✖️ 𝑧𝑡,λ(𝑠)は状態sに直近どれだけ滞在したかを表す統計量と解釈でき， の大小 によってどの程度過去の情報を現在の価値に反映させるかを調整する
- 25. 25 後方観測的なTD(λ)学習 以上より，前方観測的なTD(λ)学習の近似として以下の更新式が考えられる ∞Tt τ Tが大きくなるほど は と比べて相対的に大きくなる したがって， となり，後方観測的なTD(λ)学習は前方観測的なTD(λ) 学習の近似となる
- 27. 27 前方と後方の違い 前方観測的なTD(λ)学習 後方観測的なTD(λ)誤差 • 前方観測的なTD(λ)では時間ステップtに滞在している状態𝑠𝑡についてのみ推定 価値関数の更新をしないが，後方観測的なTD(λ)ではすべての状態について更新 する • 後方観測的なTD(λ)誤差は現在の経験から求まるため即座に推定価値関数の更新 ができるためオンライン学習に向いている
- 31. 31 最適方策の推定 価値反復法に基づいて適当な閾値𝜖 > 0を用いて 収束していれば，最適方策は以下の通り推定できる 収束条件 ベルマン行動最適作用素 の性質について考える 作用素の適用は妥当か？
- 39. 39 オンライン学習 TD学習の導出と同様にして，近似ベルマン行動作用素による（Valueベース）オ ンライン学習法を導出する 近似ベルマン行動最適作用素 ⇨ Q学習（Off-Policy） 近似ベルマン行動期待作用素 ⇨ SARSA（On-Policy）
- 40. 40 Q学習 各時間ステップtでデータ{𝑎 𝑡, 𝑟𝑡, 𝑠𝑡+1 }が得られる度に最適行動価値関数の推定 値を更新 TD誤差を用いて以下のように書き換え可能 TD誤差 適当な条件下で推定値は真の最適行動価値関数に収束する
- 41. 41 Q学習の収束性 マルコフ決定過程M(π)の各時間ステップt+1で関数 をQ学習 に従い更新するとき， であり， ・ の初期化条件： ・累積学習率の条件（ロビンス・モンローの条件）： を満たすなら， は最適行動価値関数 に収束する． 証明略
- 42. 42 方策オフ型学習（Off-Policy） Q学習はOff-Policy 挙動方策：ε-greedy方策 推定方策：greedy方策 𝑠𝑡 𝑎 𝑡 𝑠𝑡+1 Q関数の更新 推定方策に挙動方策とは異なる方 策を採用する Off-Policy 挙動方策（behavior policy） エージェントが行動を決定するた めの方策 推定方策（target policy） 行動価値を更新するための方策 𝑎 𝑡+1
- 43. 43 Q-learning algorithm 1．初期化 推定値 を任意に初期化 初期状態𝑠0を環境から観測 2．環境との相互作用 に従い行動𝑎 𝑡を選択し，環境に入力 環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3．学習 推定値を更新 4．終了判定 終了条件を満たしていれば終了 それ以外は として繰り返す
- 45. 45 方策オン型学習（On-Policy） 𝑠𝑡 𝑎 𝑡 𝑠𝑡+1 Q関数の更新 SARSAはOn-Policy 推定方策に挙動方策を採用する On-Policy 挙動方策：ε-greedy方策 推定方策：ε-greedy方策 挙動方策（behavior policy） エージェントが行動を決定するた めの方策 推定方策（target policy） 行動価値を更新するための方策 𝑎 𝑡+1
- 46. 46 On-PolicyとOff-Policyの違い Reinforcement Learning : An Introduction 挙動方策 𝜀 = 0.1のε-greedy方策を使用 SARSA 推定方策もε-greedy方策である ため確率的に崖に落ちるのを避 けた迂回ルートが最適となる Q-learning 推定方策がgreedy方策であるた め崖に落ちることがなく最短 ルートが最適となる しかし，挙動方策により確率的 に崖に落ちるため報酬の総和は SARSAと比べて小さい
Notas do Editor
- 標本近似の妥当性 近似作用素が真の作用素に収束することが言いたい
- エルゴード性：各状態の滞在確率の極限は初期状態に依存しない