1. パターン認識と機械学習（PRML）第2章 確率分布2.3 ガウス分布 山下長義 Twitter ID: @nagayoshi3 Blog: http://d.hatena.ne.jp/nagayoshi3/ 1

2. 2.3 ガウス分布 2 ここで使われている技法を用いてガウス分布を扱うことに慣れておけば，後のもっと複雑なモデルを理解するのに役立つので，ぜひ熟読されたい（p.77） ．

4. 多変数の場合μはD次元の平均ベクトル,∑はD×D共分散行列,|∑|は∑の行列式 3

7. これらの固有ベクトルを用いて， と表せる． （2.44）に代入と ここで （2. 50） となる．yiはもとのxi の座標系を平行移動し，回転した正規直交ベクトルUiで定義された新しい座標系と解釈できる． となる． にまとめると， （2.52） 6 となる。UはuiTをi行に持つ直交行列となる．

8. xからyの座標系に写すために，ヤコビ行列Jを用いる．その要素は， (2.53)で与えられる． ただし，Uijは行列UTの要素である．ヤコビ行列の行列式の2乗は， (2.54) なので，|J|=1 となる． 7

10. ガウス分布のモーメントを求め，それに基づいてパラメータを解釈する． 指数部分はzの偶関数であり対称であるため消える． μはガウス分布の平均と解釈できる． 9

11. パラメータ行列Σによりガウス分布の下でのXの共分散が 決まるため，このパラメータを共分散行列と呼ぶ． 二次元空間のガウス分布の確率密度が一定になる等高線を示したもの． それぞれの共分散行列が，(a)一般のもの （b）対角行列 （c）単位行列 10

15. 任意の二次形式の係数とを比較することで μ と Σが求まる．

17. (2.70)の線形項（ の関係を利用する）と (2.71)の線形項とを比較して， (2.75) これらの式から，ガウス分布の条件分布の平均は，xの線形関数で，共分散はxとは独立であることが分かる． 15

18. 分割された行列の逆行列に関する公式と， 次の定義とを用いて， を得る．これらの式から，条件付き分布 の平均と分散について次式を得る． 16

20. X_bを積分消去する 1. (2.70)におけるXbを含む項 ただし，mは， 右辺第１項は標準的なガウス分布の二次形式部分に相当するので，この二次形式の指数を取り，Xbで積分すると，以下のようになる． この積分は正規化されていないガウス分布である．平均とは独立で共分散行列の行列式にのみ依存するため，平均がどのような値であっても一定（正規化係数の逆数）となり，Xbを積分消去することができる. 18

21. 2. 右辺の最後の項 これを再び(2.71)と比較する 2次の項の係数を比較すると，周辺分布p(xa)の共分散は， 19

22. 20 同様に，平均はxの線形項の係数を比較すると となり，精度行列とシューア補行列を用いて， を得る．周辺分布p(xa)の平均と共分散は，分割された共分散行列について非常に簡潔に表現されることがわかった． (2.92) (2.93)

25. よって，z上のガウス分布の精度行列は(2.71)の2次の項と比較して，(2.104)になる． (2.104) 共分散行列は，シューアの補行列(2.76)を用いて以下のようになる． （2.105） 24

27. Xを周辺化した周辺分布p(x)の平均と分散を求める．ガウス確率ベクトルの要素の部分集合上の周辺分布が，分割された共分散行列で表すと簡潔になった（平均と分散は，(2.92)と(2.93)であたえられた）ことから，(2.105)と(2.108)を用いると，周辺分布の平均と分散は，以下のようになる． (2.109) (2.110) 26

28. 条件付き分布p(x|y)を求める． (2.75)，(2.73)より分割された精度行列によって条件付き分布を表現できたことから，これらの結果を，(2.105)と(2.108)に適用すると， 条件付き分布p(x|y)の平均と分散は以下の式になる． 平均 （2.75） 分散 （2.73） 27

30. 対数尤度関数は，なので，対数尤度μとΣそれぞれの導関数を0とおくと，最尤推定による平均と，分散が得られる． (2.121)

31. 29 この真の分布の下での期待値を評価すると次の結果を得る． 共分散の最尤推定量は真の値より小さく，不偏推定にはならないので，以下のように補正する．

32. 2.3.5逐次推定 逐次的な方法では，データ点を一度に1つずつ処理してはそれを破棄する．これは，オンラインな応用分野や，すべての点を一度に一括処理することが不可欠な大規模データ集合を扱う場合に重要である． 平均の最尤推定量μMLについての結果(2.121)の場合について考える．N個の観測値に基づいて推定した結果をμML(N)で表し，最後のデータ点XNがどれくらい影響したかを調べる． 30 (2.121)

33. を得る． この結果は，N-1個のデータ点を観測した時点で，μの推定値は μML(N-1)となっている．ここで，データ点をXN観測すると，1/Nに比例する小さな量だけ，「誤差信号」(XN-μML(N-1))の方へ，古い推定量を移動させて，推定量μML(N)を修正している． 31

34. しかし，この方法で逐次アルゴリズムを導出することが，いつもできるわけではない．そこで，より汎用的な逐次学習の定式が必要となる． Robbins-Monroアルゴリズム 同時分布p(z,θ)に従う確率変数θとzの対を考える．θが与えられたときのzの条件付き期待値によって決定関数 f(θ)を定義する． ここでは，f(θ*)=0の根θ*を求めるためにRobbins-Monroアルゴリズムを用いる． 32

35. まずzの条件付き分散は，次のように有限であると仮定する． さらに，図2.10のようにθ>θ*ではf(θ)>0を， θ<θ*ではf(θ)<0を仮定する．n-1個のデータを観測したあとの推定値を θ(N-1) このパラメータの下でのn個目のzの観測値はz(θ(N-1))とする．このときn回目のパラメータを次式で更新する． 33

36. ただし，z(θ(N))は，θがθ(N)を取るときに観測されるzの値で，係数{aN}は以下の条件を満たす正数の系列である． このとき，(2.129)で与えられる推定系列が，目標の根に確率1で収束することを示すことができる． 34

37. Robbins-Monroアルゴリズムを用いて，一般的な最尤推定問題は，どのように逐次的に解けるかについて考える． 最尤推定解θMLは，負の対数尤度関数の停留点であるため， 微分と総和の演算を交換し，N->∞の極限を考えると， 35

38. 最尤推定解を求めることは，回帰関数の根を求めることに相当するので，以下のようにRobbins-Monro手続きを適用できる． 36

39. 具体例としてガウス分布の平均の逐次推定について考える．この場合，パラメータθ(N)は，ガウス分布の平均の推定量μML(N)であり，確率変数zは で与えられる．よって図2.11のように，zの分布は， 平均が-(μ-μML)/σ2のガウス分布となる． 37

40. 2.3.6 ガウス分布に対するベイズ推論 ここではパラメータの事前分布を導入して，ガウス分布のベイズ主義的な扱い方を導く． 分散σ2は既知とし， 平均μ の分布をベイズ的に推定する． μ が与えられたときに生じる確率である尤度関数は となる． 38

41. この尤度関数を見ると， μ についての二次形式の指数の形を取っている．よって，事前分布p(μ)にガウス分布を選べば，この尤度関数の共役事前分布となる． なぜなら，これを用いた時の事後分布は，μについての2次関数の指数を2つ掛けた形式になるため，これもまたガウス分布となるからである． そこで，事前分布を次のように取ると， 事後分布は以下のように表すことができる． 39

42. 指数部分を平方完成する簡単な変形によって，事後分布は次のように表せることが示される． 平均 分散 である． 40 （サンプル平均）

43. 事後分布の平均 μ ￥ 事後分布の分散 有限のNについても，事前分布の分散で無限大を取ると，事後分布の平均は最尤推定の結果に一致するが，事後分布の分散は，σ2N=σ2 / Nとなる． 以上の議論は平均が未知の多次元ガウス分布にもそのまま一般化できる． 41

44. カギ括弧内の項は(正規化係数を除く)，N-1個のデータ点を観測したあとの事後分布にちょうど一致する．この項を事前分布とし，データ点xNについての尤度関数をベイズの定理によって結合すれば，この式全体はN個のデータ点を観測した後の事後分布とみなすことができる． ベイズ推論を，逐次推定の視点で捉えることは非常に汎用的で，観測データが独立同分布に従うと仮定したどんな問題にも適用できる． 42

45. 平均を既知として分散を推定する． Λについての尤度関数は次式になる． この式から，精度の共役事前分布は， λ のべき乗と λの線形関数の指数の積に比例しなければならない． この条件には，ガンマ分布があてはまる． 以上より、事前分布 Gam(λ|a0,b0) に尤度関数を掛ければ，事後分布 が得られる． 43

47. NσML2/2 だけパラメータ b に影響を及ぼす．指数型分布族では、一般的に共役事前分布を有効な仮想データ点と解釈できることを後で学ぶ． 44

49. ガウス-ガンマ分布 ウィシャート分布 正規ーウィシャート分布やガウスーウィシャート分布 46