Submit Search
Upload
ハミルトニアンモンテカルロ法についての説明
•
Download as PPTX, PDF
•
2 likes
•
3,004 views
K
KCS Keio Computer Society
Follow
KCS-AI班 3/23の活動で使用したスライドです.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 13
Download now
Recommended
基礎からのベイズ統計学第5章
基礎からのベイズ統計学第5章
hiro5585
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
Recommended
基礎からのベイズ統計学第5章
基礎からのベイズ統計学第5章
hiro5585
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
. .
MCMCと正規分布の推測
MCMCと正規分布の推測
Gen Fujita
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
PRML輪読#11
PRML輪読#11
matsuolab
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
MCMC法
MCMC法
MatsuiRyo
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
京都大学大学院情報学研究科数理工学専攻
PRML11章
PRML11章
Takashi Tamura
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
Ken'ichi Matsui
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
More Related Content
What's hot
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
. .
MCMCと正規分布の推測
MCMCと正規分布の推測
Gen Fujita
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
PRML輪読#11
PRML輪読#11
matsuolab
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
MCMC法
MCMC法
MatsuiRyo
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
京都大学大学院情報学研究科数理工学専攻
PRML11章
PRML11章
Takashi Tamura
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
Ken'ichi Matsui
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
What's hot
(20)
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCと正規分布の推測
MCMCと正規分布の推測
ベイズ統計入門
ベイズ統計入門
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Chapter2.3.6
Chapter2.3.6
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
PRML輪読#11
PRML輪読#11
幾何を使った統計のはなし
幾何を使った統計のはなし
MCMC法
MCMC法
EMアルゴリズム
EMアルゴリズム
ベイズファクターとモデル選択
ベイズファクターとモデル選択
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
PRML11章
PRML11章
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
あなたの心にBridgeSampling
あなたの心にBridgeSampling
Stan超初心者入門
Stan超初心者入門
More from KCS Keio Computer Society
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
Control by deep learning
Control by deep learning
KCS Keio Computer Society
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
Word2vec alpha
Word2vec alpha
KCS Keio Computer Society
テンソル代数
テンソル代数
KCS Keio Computer Society
Hindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
More from KCS Keio Computer Society
(20)
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
Control by deep learning
Control by deep learning
深層学習 第6章
深層学習 第6章
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
文章生成の未解決問題
文章生成の未解決問題
Word2vec alpha
Word2vec alpha
テンソル代数
テンソル代数
Hindsight experience replay
Hindsight experience replay
Kml 輪読514
Kml 輪読514
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
Soft Actor Critic 解説
Soft Actor Critic 解説
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
ハミルトニアンモンテカルロ法についての説明
1.
ハミルトニアンモンテカルロ 確率分布からのサンプリング理論 Twitter:@UMU____
2.
目次 • ハミルトニアンモンテカルロ法とは • マルコフ連鎖の定常分布と詳細つり合い条件 •
メトロポリス・ヘイスティング法 • ギブスサンプリング法 • リウビユ定理 • ハミルトニアンモンテカルロ法
3.
ハミルトニアンモンテカルロ法とは • 求める確率分布からサンプリングを行う方法の一種. ハミルトニアンモンテカルロ法は,解析力学でよく知られるハミ ルトニアンをサンプリングのために利用している. • 確率分布からサンプリングを行うことで,多重積分を行うこと ができ,多重積分は,ベイズ統計・計算物理学・計算生物学に て使われる. •
確率分布からサンプリングを行う手法としては,その他にメト ロポリス・ヘイスティング法,ギブスサンプリング法などがあ る.これらはすべてマルコフ連鎖モンテカルロ法の一種である.
4.
マルコフ連鎖の定常分布と 詳細つり合い条件 • マルコフ連鎖モンテカルロ法では,マルコフ連鎖を用いて,求 める確率[分布]p(x)からサンプリングを行う. • マルコフ連鎖は,現在のxから次のyへの遷移確率[分布]を表す, 推移核f(x,y)によって表現される. •
このとき,p(x)f(x,y)=p(y)f(y,x)が満たされる場合,推移核 f(x,y)によるマルコフ連鎖は,p(x)を定常分布にもつ,十分条件 となる.これを詳細つり合い条件と呼ぶ. 例)x∈{A,B}とする.p(A)=0.2,p(B)=0.8となるようにマルコフ連 鎖によってサンプリングしたければ,詳細つり合い条件を満たす うに,f(A,A)=0.6,f(A,B)=0.4,f(B,A)=0.1,f(B,B)=0.9とすればよい.
5.
マルコフ連鎖の定常分布と 詳細つり合い条件 • 詳細つり合い条件を満たせば定常分布となるのは明らか →p’(x)=∫p(y)f(y,x) dy=∫p(x)f(x,y)dy=p(x)∫f(x,y)dy=p(x)■ •
推移核として,写像関数y=g(x)を用いて確定的にマルコフ連鎖 を行う場合は,f(x,y)=δ(y,g(x))/det|g(x)|となる.(δはデルタ 関数) (写像による圧縮) • 推移核を2つ確率的に使い分けることもでき,推移核 f1(x,y),f2(x,y)をそれぞれ確率w,(1-w)で使うとf(x,y)=w*f1+(1- w)*f2とできる.(混合型推移核)
6.
メトロポリス・ヘイスティング法 • メトロポリス・ヘイスティング法は,提案分布q(x,y)と採択確 率w(x,y)によって詳細つり合い条件を満たす推移核を作る方法 である. • 求める確率分布をp(x)とする.採択確率が1ならば,マルコフ連 鎖は提案分布q(x,y)によって行われる(つまりf=q). →当然,詳細つり合い条件を満たすわけがない. ・ここで,提案分布によるサンプリングをwで採択(1-wで棄却) という方法を取るとすれば, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)となるようにwを決めること によって(つまり,f=qw)詳細つり合い条件を満たす.
7.
メトロポリス・ヘイスティング法 • ここで,wは大きい方が良いので(棄却が多いと時間がかかる ため), p(x)q(x,y)<
p(y)q(y,x)としても一般性を失わないの で, w(x,y)=1,w(y,x)= p(x)q(x,y) /p(y)q(y,x)とすることで,wを最大 化したうえで, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)を満たす. →pをサンプリングできた. • ここで,q(x,y)=q(y,x)なる提案分布を選べば, w(x,y)=min(1,p(x)/p(y))と採択率を単純化できる. (なので実用的にはq(x,y)はxを平均とした正規分布を用いる)
8.
ギブスサンプリング • ギブスサンプリング法は,推移核を完全条件付き分布の混合型 推移核にする方法である. • すなわち,xがN次元のとき f1(x,y)=δ(x2,y2)δ(x3,y3)…δ(xN,yN)
p(x1=y1|x2,..,xN) f2(x,y)= δ(x1,y1)δ(x3,y3)…δ(xN,yN) p(x2=y2|x1,x3,..,xN) … として,f=1/N{f1+f2+…fN}となる. →これは,あきらかに詳細つり合い条件を満たす. (f1,f2,…,fNが単体で詳細つり合い条件を満たしている)
9.
リウビユの定理 ハミルトニアンモンテカルロ法の導入 • 位置x,運動量pの質点があったとき,位置エネルギーU(x)と,運 動エネルギーK(p)=p^2/2mを導入して,H(ハミルトニアン= 力学的エネルギー)をH=U+Kとすると,この系で質点を運動さ せるとHが保存する.(全エネルギー保存則) • (x,p)で構成される空間を位相空間とよぶ. 位相空間上で任意の閉領域を考える(位置と運動量が閉区間で定 義される制約条件内に入っているような状況をすべて集めたもの と考えられる)と,一定時間運動した後も(閉区間の形が変わ る),閉領域の面積は不変(リウビユの定理)
10.
ハミルトニアンモンテカルロ法 • ハミルトニアンモンテカルロ法は,運動によってハミルトニア ンが不変で,かつ閉区間の密度が変わらないという性質を利用 する.位相空間上の一点(x,p)の運動による移動を写像g : (xn,pn)=g(x,p)ととらえて,この写像を推移核として用いるこ とを考える.すなわち, f((x,p),
(xn,pn))=δ((xn,pn),g(x,p))/det|g(x,p)| となる. ここで,gによる閉区間の密度は変わらないから, det|g(x,p)|=1 より, f((x,p), (xn,pn))= δ((xn,pn),g(x,p)).
11.
ハミルトニアンモンテカルロ法 よって,確率分布qに対して, q(x,p) f((x,p), (xn,pn))=q(xn,pn)f((xn,pn),
(x,p)) q(x,p)δ((xn,pn),g(x,p))= q(xn,pn) δ((x,p),g(xn,pn)) q(xn,pn)=q(x,p) より,q(x,p)∝1が定常分布となる. (q(x,n)∝1とするとfが詳細つり 合い条件を満たす. ここで,求める分布p(x)を用いて, U(x)=-log(p(x))とすれば, H=p^2/2m –log(p(x))かつH一定より, q(x,p)∝1∝exp(-H)=exp(p^2/2m-log(p(x)))=exp(p^2/2m)×p(x).
12.
ハミルトニアンモンテカルロ法 すなわち, q(x,p)∝ exp(p^2/2m)×p(x) から, ∫q(x,p)dp
∝p(x) →求める分布からサンプリングできた.(ただしH=一定) ・p(x)はHが変動するxを含むので,Hを変動させるために,pを ギブスサンプリングする. q(x,p)はx,pが互いに独立のため,q(p|x)∝ exp(p^2/2m)であり, これは正規分布である. →pを正規分布からサンプリングすればよい.
13.
ハミルトニアンモンテカルロ法 • ただし,ハミルトニアンモンテカルロ法によって,位相空間す べてがサンプリングされると保証されているわけではない. →エルゴード性と関係?
Download now