Enviar pesquisa
Carregar
PRML 6.4-6.5
•
10 gostaram
•
3,511 visualizações
正志 坪坂
Seguir
「パターン認識と機械学習(PRML)」読書会(第8回) (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料
Leia menos
Leia mais
Vista de apresentação de diapositivos
Denunciar
Compartilhar
Vista de apresentação de diapositivos
Denunciar
Compartilhar
1 de 26
Baixar agora
Baixar para ler offline
Recomendados
PRML 5.5.6-5.6 畳み込みネットワーク(CNN)・ソフト重み共有・混合密度ネットワーク
PRML 5.5.6-5.6 畳み込みネットワーク(CNN)・ソフト重み共有・混合密度ネットワーク
KokiTakamiya
PRML輪読#2
PRML輪読#2
matsuolab
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#5
PRML輪読#5
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
Recomendados
PRML 5.5.6-5.6 畳み込みネットワーク(CNN)・ソフト重み共有・混合密度ネットワーク
PRML 5.5.6-5.6 畳み込みネットワーク(CNN)・ソフト重み共有・混合密度ネットワーク
KokiTakamiya
PRML輪読#2
PRML輪読#2
matsuolab
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#5
PRML輪読#5
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML輪読#10
PRML輪読#10
matsuolab
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
KokiTakamiya
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML輪読#3
PRML輪読#3
matsuolab
PRML6.4
PRML6.4
hiroki yamaoka
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
PRML輪読#1
PRML輪読#1
matsuolab
PRML輪読#9
PRML輪読#9
matsuolab
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
PRML_2.3.1~2.3.3
PRML_2.3.1~2.3.3
Kohta Ishikawa
PRML輪読#4
PRML輪読#4
matsuolab
論文紹介 Amortized bayesian meta learning
論文紹介 Amortized bayesian meta learning
Xiangze
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
Chapter6.4
Chapter6.4
Takuya Minagawa
ロジスティック回帰
ロジスティック回帰
Yuto Suzuki
Mais conteúdo relacionado
Mais procurados
PRML輪読#10
PRML輪読#10
matsuolab
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
KokiTakamiya
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML輪読#3
PRML輪読#3
matsuolab
PRML6.4
PRML6.4
hiroki yamaoka
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
PRML輪読#1
PRML輪読#1
matsuolab
PRML輪読#9
PRML輪読#9
matsuolab
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
PRML_2.3.1~2.3.3
PRML_2.3.1~2.3.3
Kohta Ishikawa
PRML輪読#4
PRML輪読#4
matsuolab
論文紹介 Amortized bayesian meta learning
論文紹介 Amortized bayesian meta learning
Xiangze
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
Mais procurados
(20)
PRML輪読#10
PRML輪読#10
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
PRML 第4章
PRML 第4章
PRML輪読#3
PRML輪読#3
PRML6.4
PRML6.4
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
PRML輪読#1
PRML輪読#1
PRML輪読#9
PRML輪読#9
PRML chapter7
PRML chapter7
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
PRML_2.3.1~2.3.3
PRML_2.3.1~2.3.3
PRML輪読#4
PRML輪読#4
論文紹介 Amortized bayesian meta learning
論文紹介 Amortized bayesian meta learning
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Destaque
Chapter6.4
Chapter6.4
Takuya Minagawa
ロジスティック回帰
ロジスティック回帰
Yuto Suzuki
MlaPP 7章 「線形回帰」 8章 「ロジスティック回帰」
MlaPP 7章 「線形回帰」 8章 「ロジスティック回帰」
Hiro MATCH
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
horihorio
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Sayuri Shimizu
Destaque
(9)
Chapter6.4
Chapter6.4
ロジスティック回帰
ロジスティック回帰
MlaPP 7章 「線形回帰」 8章 「ロジスティック回帰」
MlaPP 7章 「線形回帰」 8章 「ロジスティック回帰」
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Semelhante a PRML 6.4-6.5
PRML輪読#6
PRML輪読#6
matsuolab
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
健児 青木
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
Prml 10 1
Prml 10 1
正志 坪坂
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
ISMB読み会 2nd graph kernel
ISMB読み会 2nd graph kernel
弘毅 露崎
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Wataru Kishimoto
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
Deep Learning JP
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
Prml revenge7.1.1
Prml revenge7.1.1
Naoya Nakamura
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
RCCSRENKEI
「続・わかりやすいパターン認識」 第12章 ディリクレ過程混合モデルによるクラスタリング(前半 : 12.1 )
「続・わかりやすいパターン認識」 第12章 ディリクレ過程混合モデルによるクラスタリング(前半 : 12.1 )
aich_08_
CMSI計算科学技術特論A (2015) 第11回 行列計算における高速アルゴリズム2
CMSI計算科学技術特論A (2015) 第11回 行列計算における高速アルゴリズム2
Computational Materials Science Initiative
LSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAM
EndoYuuki
Car rmodel
Car rmodel
Akichika Miyamoto
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
Yoichi Shirasawa
Data assim r
Data assim r
Xiangze
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
Semelhante a PRML 6.4-6.5
(20)
PRML輪読#6
PRML輪読#6
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
Prml 10 1
Prml 10 1
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
ISMB読み会 2nd graph kernel
ISMB読み会 2nd graph kernel
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
PRML 5.3-5.4
PRML 5.3-5.4
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Prml revenge7.1.1
Prml revenge7.1.1
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
「続・わかりやすいパターン認識」 第12章 ディリクレ過程混合モデルによるクラスタリング(前半 : 12.1 )
「続・わかりやすいパターン認識」 第12章 ディリクレ過程混合モデルによるクラスタリング(前半 : 12.1 )
CMSI計算科学技術特論A (2015) 第11回 行列計算における高速アルゴリズム2
CMSI計算科学技術特論A (2015) 第11回 行列計算における高速アルゴリズム2
LSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAM
Car rmodel
Car rmodel
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
Data assim r
Data assim r
あなたの心にBridgeSampling
あなたの心にBridgeSampling
Mais de 正志 坪坂
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
Mais de 正志 坪坂
(20)
Recsys2018 unbiased
Recsys2018 unbiased
WSDM2018Study
WSDM2018Study
Recsys2016勉強会
Recsys2016勉強会
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
Deeplearning輪読会
Deeplearning輪読会
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
Deeplearning勉強会20160220
Deeplearning勉強会20160220
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
Recsys2015
Recsys2015
KDD 2015読み会
KDD 2015読み会
Recsys2014 recruit
Recsys2014 recruit
EMNLP2014_reading
EMNLP2014_reading
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
KDD2014_study
KDD2014_study
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
Introduction to contexual bandit
Introduction to contexual bandit
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
Tokyowebmining2012
Tokyowebmining2012
PRML 6.4-6.5
1.
PRML勉強会(第8回)
坪坂 正志 Twitter @tsubosaka Mail: m{dot}tsubosaka@gmail.com 2009/10/24 PRML勉強会第8回 1
2.
概要 • 6.4.5 ガウス過程による分類
– ロジスティックシグモイド関数を利用 – 解析的に解くのは難しい • ラプラス近似(6.4.6 今回解説) • 変分推論 • EP法 • 6.4.6 ラプラス近似 – 3回目(4.4,5.7) – あともう一回出ます(7.2.3) 2009/10/24 PRML勉強会第8回 2
3.
[復習]ラプラス近似 • 確率分布
のモードを としたときに、確 率分布を と近似する方 法 – • これは を においてテイラー展開して、 2次近似を行っていることに相当する。 • モードは適当な数値解析手法を用いて求め ることが多い 2009/10/24 PRML勉強会第8回 3
4.
ロジスティック回帰(4.3.2) •
2クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 4
5.
ガウス過程への拡張 •
2クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 5
6.
事前分布 • 図6.11
ロジスティック変換 ガウス過程からの 変換結果 サンプル 2009/10/24 PRML勉強会第8回 6
7.
予測分布 •
訓練集合 • 観測値 • テスト入力 • 目標変数値 予測分布 を計算する 2009/10/24 PRML勉強会第8回 7
8.
予測分布の計算 • 予測分布は式(6.76)で与えられる •
をガウス分布による近似を求め てやれば式(4.153)の近似公式をつかって予 測分布を求めることができる 2009/10/24 PRML勉強会第8回 8
9.
の近似のアプローチ • 変分推論 (Chapter
10.1) – ロジスティックシグモイド関数の局所的な変分近 似(10.144)を利用 • EP法(expectation propagation method) (Chapter 10.7) – 真の事後分布が単峰性を持つため良い結果とな る • ラプラス近似(6.4.6) – 今から解説する方法 2009/10/24 PRML勉強会第8回 9
10.
同時分布 • ベクトル の同時分布は で与えられる • 共分散項はノイズ項を含まないが正定値性
のため とする 2009/10/24 PRML勉強会第8回 10
11.
の計算 •
を使うと 2009/10/24 PRML勉強会第8回 11
12.
の計算(conn) • ガウス過程における回帰の結果(6.66,6.67)から
なので の値は をラプ ラス近似してやれば2つのガウス分布のたたみ こみで計算できる 2009/10/24 PRML勉強会第8回 12
13.
の計算 • ベイズ公式から • 事前分布はガウス過程によって与えられ、
データについての項は独立性を仮定すると 2009/10/24 PRML勉強会第8回 13
14.
の計算 • テイラー展開により
の対数を展開 すると となり、この分布のモードを求める必要があ る 2009/10/24 PRML勉強会第8回 14
15.
の計算 • この値を0とおいて、直接モードの計算はでき
ない • ニュートンーラフソン法を用いる 2009/10/24 PRML勉強会第8回 15
16.
ニュートンーラフソン法 • 2階微分の値 •
は を要素に持つ対角 行列 • 逐次更新式 • ヘッセ行列が正定値より、 は大域的最適 解に収束する 2009/10/24 PRML勉強会第8回 16
17.
演習6.24 ヘッセ行列の正定値性 • 2つの正定値行列の和が正定値になることを
示せばよい • 行列Aが正定値 <=> • 行列A,Bが正定値ならば 2009/10/24 PRML勉強会第8回 17
18.
演習6.25 逐次更新式の導出 • 式(4.92)より 2009/10/24
PRML勉強会第8回 18
19.
事後分布の近似 • 事後分布のモード
が求まれば事後分布 のガウス分布による近似は • ここで である、また の値は以降 を用いて 評価を行う 2009/10/24 PRML勉強会第8回 19
20.
の計算 • 上の式は2つのガウス分布のたたみこみであ
るため、(2.115)を用いると 2009/10/24 PRML勉強会第8回 20
21.
決定面の決定 • 近似式(4.153)を使って
を計算すると決定面は であることが分かる 2009/10/24 PRML勉強会第8回 21
22.
カーネルパラメータの学習 • 共分散関数のパラメータ を決定する
– ガウスカーネルならば • 最尤推定を用いて行う (6.89) を最大化 2009/10/24 PRML勉強会第8回 22
23.
カーネルパラメータの学習 • (6.89)の積分は解析的に求まらないので、ラ
プラス近似を用いる • 上記の式の に関する勾配を求めることによ り、非線形最適化アルゴリズムを用いて、最 適な の値を決定する。 2009/10/24 PRML勉強会第8回 23
24.
6.4.7 ニューラルネットワークとの関係 • ベイズニューラルネット
– パラメータ の事前分布と、ネットワーク関数 によって 出力の分布が決まる 隠れ層の数 => ∞ 出力の分布がガウ ス過程に近づく 2009/10/24 PRML勉強会第8回 24
25.
参考文献 • Rasmussen and
Williams: Gaussian Processes for Machine Learning, MIT Press, 2006 • 赤穂昭太郎: カーネル多変量解析 非線形 データ解析の新しい展開, 岩波書店, 2008 2009/10/24 PRML勉強会第8回 25
26.
ご静聴ありがとうございました 2009/10/24
PRML勉強会第8回 26
Baixar agora