Enviar pesquisa
Carregar
Prml 4.3
•
2 gostaram
•
1,682 visualizações
Taikai Takeda
Seguir
PRML 4.3 discriminative model
Leia menos
Leia mais
Ciências
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 14
Baixar agora
Baixar para ler offline
Recomendados
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
Prml 4
Prml 4
Satoshi Kawamoto
Prml4 1-4-2
Prml4 1-4-2
Masahiro Kazama
PRMLrevenge 4.4
PRMLrevenge 4.4
Naoya Nakamura
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
Prml 3 3.3
Prml 3 3.3
Arata Honda
PRML輪読#3
PRML輪読#3
matsuolab
PRML輪読#4
PRML輪読#4
matsuolab
Recomendados
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
Prml 4
Prml 4
Satoshi Kawamoto
Prml4 1-4-2
Prml4 1-4-2
Masahiro Kazama
PRMLrevenge 4.4
PRMLrevenge 4.4
Naoya Nakamura
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
Prml 3 3.3
Prml 3 3.3
Arata Honda
PRML輪読#3
PRML輪読#3
matsuolab
PRML輪読#4
PRML輪読#4
matsuolab
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
PRML輪読#14
PRML輪読#14
matsuolab
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML輪読#5
PRML輪読#5
matsuolab
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
PRML輪読#6
PRML輪読#6
matsuolab
Back propagation
Back propagation
T2C_
PRML輪読#1
PRML輪読#1
matsuolab
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML輪読#7
PRML輪読#7
matsuolab
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
[PRML] パターン認識と機械学習(第1章:序論)
[PRML] パターン認識と機械学習(第1章:序論)
Ryosuke Sasaki
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
PRML輪読#10
PRML輪読#10
matsuolab
PRML輪読#8
PRML輪読#8
matsuolab
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML 第4章
PRML 第4章
Akira Miyazawa
Mais conteúdo relacionado
Mais procurados
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
PRML輪読#14
PRML輪読#14
matsuolab
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML輪読#5
PRML輪読#5
matsuolab
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
PRML輪読#6
PRML輪読#6
matsuolab
Back propagation
Back propagation
T2C_
PRML輪読#1
PRML輪読#1
matsuolab
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML輪読#7
PRML輪読#7
matsuolab
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
[PRML] パターン認識と機械学習(第1章:序論)
[PRML] パターン認識と機械学習(第1章:序論)
Ryosuke Sasaki
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
PRML輪読#10
PRML輪読#10
matsuolab
PRML輪読#8
PRML輪読#8
matsuolab
Mais procurados
(20)
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
PRML輪読#14
PRML輪読#14
PRML Chapter 5
PRML Chapter 5
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
PRML輪読#5
PRML輪読#5
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
PRML輪読#6
PRML輪読#6
Back propagation
Back propagation
PRML輪読#1
PRML輪読#1
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
PRML輪読#7
PRML輪読#7
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
[PRML] パターン認識と機械学習(第1章:序論)
[PRML] パターン認識と機械学習(第1章:序論)
PRML読み会第一章
PRML読み会第一章
PRMLrevenge_3.3
PRMLrevenge_3.3
PRML輪読#10
PRML輪読#10
PRML輪読#8
PRML輪読#8
Destaque
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML 第4章
PRML 第4章
Akira Miyazawa
医療データ解析界隈から見たICLR2017
医療データ解析界隈から見たICLR2017
RIKEN, Medical Sciences Innovation Hub Program (MIH)
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
Takahiro Kubo
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
Eiji Sekiya
[ICLR2017読み会 @ DeNA] ICLR2017紹介
[ICLR2017読み会 @ DeNA] ICLR2017紹介
Takeru Miyato
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
Takanori Nakai
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617
Jun Okumura
170614 iclr reading-public
170614 iclr reading-public
Katsuhiko Ishiguro
Q prop
Q prop
Reiji Hatsugai
Destaque
(10)
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML 第4章
PRML 第4章
医療データ解析界隈から見たICLR2017
医療データ解析界隈から見たICLR2017
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
[ICLR2017読み会 @ DeNA] ICLR2017紹介
[ICLR2017読み会 @ DeNA] ICLR2017紹介
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617
170614 iclr reading-public
170614 iclr reading-public
Q prop
Q prop
Semelhante a Prml 4.3
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
Survival analysis0702
Survival analysis0702
Nobuaki Oshiro
Survival analysis0702 2
Survival analysis0702 2
Nobuaki Oshiro
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Atsushi Hayakawa
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
Shohei Kumagai
GANの基本
GANの基本
sohtakannan
Model seminar shibata_100710
Model seminar shibata_100710
Kazuya Nishina
Maeshori missing
Maeshori missing
Daisuke Ichikawa
続わかりやすいパターン認識8章
続わかりやすいパターン認識8章
Akiyoshi Hara
A sequential recommendation approach for interactive personalized story gener...
A sequential recommendation approach for interactive personalized story gener...
nkazuki
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
PRML1.5
PRML1.5
hiroki yamaoka
Introduction to statistics
Introduction to statistics
Kohta Ishikawa
Data assim r
Data assim r
Xiangze
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
Kenta Ishii
Semelhante a Prml 4.3
(16)
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
Survival analysis0702
Survival analysis0702
Survival analysis0702 2
Survival analysis0702 2
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
GANの基本
GANの基本
Model seminar shibata_100710
Model seminar shibata_100710
Maeshori missing
Maeshori missing
続わかりやすいパターン認識8章
続わかりやすいパターン認識8章
A sequential recommendation approach for interactive personalized story gener...
A sequential recommendation approach for interactive personalized story gener...
みどりぼん読書会 第4章
みどりぼん読書会 第4章
PRML1.5
PRML1.5
Introduction to statistics
Introduction to statistics
Data assim r
Data assim r
PRML 6.4-6.5
PRML 6.4-6.5
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
Prml 4.3
1.
PRML 4.3 確率的識別モデル
1
2.
Agenda ✓ 確率的識別モデル
✓ ロジスティック回帰(ほとんどコレ) ✓ プロビット回帰 2
3.
確率的識別モデル 生成モデル(Generative Model)
✓ 周辺分布p(x)から人口データを生成できる ✓ 外れ値検出などができる点で有利 識別モデル(Discriminative Model) ✓ まずp(Ck|x)の形を決めてそのパラメータを求める ✓ パラメータが少ない 3
4.
ロジスティック回帰 ✓ 回帰という名前が付いているが分類のためのモデル
(紛らわしい...) ✓ ロジスティックシグモイド関数を活性化関数に選ん でいる ✓ 誤差関数を求め,最小化するパラメータを求める ✓ 解析的に解けないためNewton-Raphson法を用いる 4
5.
ロジスティックシグモイド関数 微分すると, 5
(a) = 1 1 + exp(a)
6.
事後確率 ✓ ロジスティック回帰でそれぞれのクラスの事後確率を求めた
い ✓ 2クラス分類を考える ✓ 事後確率はロジスティックシグモイド関数を用いて表される ➡ 最尤推定でパラメータを決定する 6 p(C1|x) p(C2|x) 識別関数 (識別関数に関して)
7.
最尤推定 ✓ データ集合(t=0:C2,
t=1:C2 , Φ:基底関数) ✓ 尤度関数 ✓ 誤差関数を尤度関数の負の対数とする(交差エントロピー誤差関数) ✓ この誤差関数を最小化するパラメータwを求める ✓ ロジスティックシグモイド関数の非線形性により解析的に解を求められない ➡ 数値的解法を用いる(Newton-Raphson法) 7 C1 C2 t 1 0 p(Ck |x) y 1-y
8.
Newton-Raphson法 ✓ 関数f(x)のゼロ点を求める解法
xn+1 = xn f0(xn)−1f(xn) ✓ 適当な値から出発して値を更新し ていき,最終的に解が求まる 8 f0(xn)−1f(xn) f(xn) ここを求めたい
9.
Newton-Raphson法 ✓ ロジスティック回帰の誤差関数∇E(w)のゼロ点をNewton-Raphson法で求める
✓ f(x)→∇E(w)として更新の式が求められる ✓ ベクトル表記(Rはy(1-y)を要素とする対角行列) ✓ Rは定数でなくステップごとにを計算し直すので反復重み付き最小二乗法 (IRLS)という 9 where
10.
最小解の唯一性 ✓ ヘッセ行列Hが正定値行列
✓ よってEは凸関数 ✓ よってEは唯一の最小解を持つ ✓ (時間があったら証明...) 10
11.
過学習 ✓ 線形分離可能なデータに対して,交差エントロピー
誤差関数の最小化は過学習を起こしてしまう ✓ ∵wの大きさが無限大のときに尤度関数が最大にな るため ✓ このときロジスティックシグモイド関数は Heaviside-step関数になる ✓ つまり,全てのデータに対してp(C|x)が1になって しまう.(確率的識別ではなく単なる判別関数と同 義) ✓ この問題は正則化項の付与で回避できる 11 p(C1|x) p(C2|x) Heaviside-step function (a) = 1 1 + exp(a)
12.
パラメータ数 ✓ 識別モデルでは生成モデルに比べてパラメータ数が少なくて済む
✓ M次元特徴空間で調整可能なパラメータ数を考える ✓ 生成モデルではクラス条件付き密度p(x|Ck)をガウス分布で表し た ➡ 共分散行列のパラメータの決定を含むのでパラメータの数は O(M^2) ✓ 一方,ロジスティック回帰で必要なパラメータ数はO(M)(実際 にはM個ちょうど) 12
13.
プロビット回帰 ✓ ロジスティック回帰とかなり似ている(実際に分類をすると似た結果となる)
✓ ロジスティックシグモイド関数の代わりにプロビット関数(の逆関数)を活性化関数に選ぶ (分散1,平均0のガウス分布の累積分布関数) ✓ 外れ値に関しては若干異なる振るまいをする ✓ ロジスティックシグモイド関数:exp(-x)で減衰 ✓ ブロビット関数:exp(-x^2)で減衰 13 p(C1|x) p(C2|x) 青い点線はプロビット関数の逆関数
14.
他の形の活性化関数 ✓ クラス条件付き分布はロジスティックシグモイド関数やブロ
ビット関数で表せるとは限らない ✓ 活性化関数をクラス条件付き分布の累積確率分布とする ✓ プロビット回帰のより一般的な場合である クラス条件付き分布がガウス混合分布の場合 14
Baixar agora