Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Mais de Arata Honda
Prml 3 3.3
- 1. PRML 3.1 – 3.2 M2 Arata Honda Mathematical Informatics Lab, NAIST Nov, 2th ,2016 1
- 2. 3章 : 線形回帰モデル 回帰問題の復習 与えられたD次元の入力(input)変数のベクトルxの 値から, 1つ or 複数の目標(target)変数tを予測 線形回帰モデル パラメータに関しての線形結合で表現 2
- 3. 3.1 : 線形基底関数モデル まずは簡単なモデルから 入力変数 : パラメータ : 特徴 : 入力変数, パラメータともに線形 表現能力が制限される→入力変数に基底関数を導入 ↑みたいな感じに入力を非線形に変換する 3
- 4. 基底関数の導入 入力に関して基底関数 を導入 バイアスパラメータ をまとめる 函数, 基底関数 : 非線形 パラメータ : 線形 4
- 9. 本題の対数尤度は？ 9 但し 線形ガウスモデルの条件下 尤度最大化 = 二乗誤差最小化は等価
- 14. 補足 : バイアスパラメータの役割 14 図にするとこんな感じ？ 赤 : w_0がある線形回帰 緑 : w_0がない線形回帰 切片がない→原点から 直感的に、モデルの表現の自由度に関わってくることが分かる w_0
- 19. つまり最小二乗ってどゆことなの？ 19 最小二乗解からの出力 を とおくと つまり, 最小二乗解はyとtが一番近くなる正射影を意味する ^
- 22. 3.1.3 逐次学習 22 はバッチ手法と呼ばれる 訓練データ集合を全部使うので時間かかる… 確率的勾配法(Stochastic Gradient Decent) ※別名LMSアルゴリズム
- 25. 3.1.4 正則化最小二乗法 正則化について議論 二乗誤差 に正則化項 を加える 25 誤差関数
- 29. Lasso : Least absolute shrinkage and selection operator lassoは, スパース(疎)な解が得られるという話がある スパースで何がうれしいのか？ 毎回この図でてくるけど何なん？ 29 lassoridge
- 30. そろそろ理解したいぜ (M=2の時の図らしい) 青線 : 正則化されていない誤差関数の等高線 赤線で囲まれた領域 : 正則化項の制約条件を満たす領域 30 lassoridge 青と赤が満たすのが誤差最小化条件 ridge : lasso : 条件が減る = 次元が減る →特徴量も減る(変数選択) →モデル推定と変数選択を一括
- 31. 3.2 バイアス・バリアンス分解に入る前に 31 ある同時確率p(x, t)が推定できた時, それをもとに何らかの行動を起こす = 決定段階 入力xに対して目標値tの値に対する推定値y(x) を決定した際, その損失を とおく. 期待損失は 期待損失が小さくなるy(x)についてみていく.
- 32. 変分法 32 函数を引数にとる函数のことを汎函数と呼ぶ 汎函数の最小(大)値をとる函数を見つけたい 函数で汎函数を微分 = 0を解く(変分法). オイラー・ラグランジュの方程式を使うと解ける ：汎函数 ※ が出てこない場合, 方程式は となる
- 37. 念のため 37
- 38. 期待損失(二乗誤差)の解釈 38 第一項はy(x)に依存するので期待損失を最小にしたかった ら, この項が最小になるようなy(x)を求める(y(x)=E[t|x]) 第二項はy(x)とは関係ないので, データに含まれる本質的 なノイズのみに依存 定数項か，yに影響しない項yに関係する項
- 39. もっと分解しようぜ 39 第一項をより注意深く見る 実際は有限個のデータDしか与えられない データDによりy(x; D)が決まるとする(h(x) = ) 青枠の二乗項はいかに書き直せる
- 41. バイアス・バリアンス・ノイズ 41 bias : yによる予測の平均と理想的予測の差(の期待値) variance : yによる予測のデータ依存の分散 noise : 理想的予測と観測値の差の平均
- 43. バイアス・バリアンスのデメリット 43 データの取り方に関して平均をとり導出 1組のデータ集合しかなかったらあてにならない 次は頻度主義ではなくベイズ的に線形基底モデルを 扱う流れ(3.3節)
- 45. 3.3 : ベイズ線形回帰 線形回帰モデルをベイズ的に取り扱う 過学習の回避 訓練データだけからモデルの複雑さを自動決定 45
- 46. 3.3.1 : パラメータの分布 パラメータの事前確率分布を導入 を既知とする 尤度関数 の指数部分はwの二次関数の指数 ここでパラメータの事前分布 をガウス分布で設定 ※ちなみにこの事前分布は共益事前分布と呼ぶ 46 再記述 β＝1/分散 尤度関数
- 48. モードは？～MAP推定 事後分布もガウスなので確率が一番高いところ(モード) = 期待値m_N 事後確率を最大にするw_MAP = m_N 48 事後確率最大を求める
- 50. 今後のアノテーション(記述)＆ 事後分布の対数 wの事前分布を単一のパラメータで次のように書く 事後分布の対数 = 対数尤度+事前分布 最大化する→二乗和誤差と二次の正規化項の和を最小化 50 再記述
- 56. もっと近くで 56
- 57. 3.3.2予測分布 57 パラメータwを推定することで間接的にtを推定 直接tを予測したい→予測分布の導入 左辺にインテグラルをとる 要約：wが入らなくなって ハッピー
- 58. 3.3.2予測分布 58 予測分布の変形 代入して計算 予測分布 平均：パラメータ平均×基底関数 分散： α，βは略されてる，wの事後分布 式3.8 tが得られる確率 赤青掛け合わせてtの予測分布
- 61. 正弦波の回帰 61 事例 : Sin関数に対し, 9個のガウス基底関数を用いて回帰
- 62. 正弦波の回帰 62 事例 : Sin関数に対し, 9個のガウス基底関数を用いて回帰
- 63. 正弦波の回帰 63 事例 : Sin関数に対し, 9個のガウス基底関数を用いて回帰
- 64. 正弦波の回帰 64 事例 : Sin関数に対し, 9個のガウス基底関数を用いて回帰
- 65. 3.3.3 等価カーネル(ほぼおまけ) 65 パラメータwに平均解m_Nをぶっこむ この関数を等価カーネル(平滑化行列)とよぶ
- 66. カーネルってなにがうれしいの？ 66 データとデータが似ている = 近いということはどういう ことか具体的に決めることができる. 何が”等価”なのかは下式が示す カーネル函数 = 基底関数に関する行列
- 69. 函数の共分散と等価カーネル 69 近傍の予測平均同士の共分散の値 = 大きい 離れた予測平均同士の共分散の値 = 小さい