Enviar pesquisa
Carregar
入門パターン認識と機械学習15章
•
1 gostou
•
891 visualizações
hiro5585
Seguir
入門パターン認識と機械学習15章
Leia menos
Leia mais
Engenharia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 15
Recomendados
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
hnisiji
パターン認識02 k平均法ver2.0
パターン認識02 k平均法ver2.0
sleipnir002
クラスタリングについて
クラスタリングについて
Arien Kakkowara
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
はじパタLT2
はじパタLT2
Tadayuki Onishi
クラシックな機械学習の入門 8. クラスタリング
クラシックな機械学習の入門 8. クラスタリング
Hiroshi Nakagawa
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
Oshasta em
Oshasta em
Naotaka Yamada
Recomendados
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
hnisiji
パターン認識02 k平均法ver2.0
パターン認識02 k平均法ver2.0
sleipnir002
クラスタリングについて
クラスタリングについて
Arien Kakkowara
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
はじパタLT2
はじパタLT2
Tadayuki Onishi
クラシックな機械学習の入門 8. クラスタリング
クラシックな機械学習の入門 8. クラスタリング
Hiroshi Nakagawa
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
Oshasta em
Oshasta em
Naotaka Yamada
Divisor
Divisor
oupc
単純パーセプトロン
単純パーセプトロン
T2C_
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
takosumipasta
Prosym53
Prosym53
Preferred Networks
Icml2019 kyoto ohno_ver20190805
Icml2019 kyoto ohno_ver20190805
Shuntaro Ohno
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
sleipnir002
PRML輪読#12
PRML輪読#12
matsuolab
PRML輪読#13
PRML輪読#13
matsuolab
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
クラスタリング
クラスタリング
Wakamatz
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
機械学習基礎(3)(クラスタリング編)
機械学習基礎(3)(クラスタリング編)
mikan ehime
Python Project (2)
Python Project (2)
Tatsuya Nakamura
NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
PRML輪読#10
PRML輪読#10
matsuolab
2015 08 survey
2015 08 survey
marujirou
Prml5 6
Prml5 6
K5_sem
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
Chapter9 2
Chapter9 2
Takuya Minagawa
shail_res_str
shail_res_str
shailendra kumar srivastava
Mais conteúdo relacionado
Mais procurados
Divisor
Divisor
oupc
単純パーセプトロン
単純パーセプトロン
T2C_
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
takosumipasta
Prosym53
Prosym53
Preferred Networks
Icml2019 kyoto ohno_ver20190805
Icml2019 kyoto ohno_ver20190805
Shuntaro Ohno
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
sleipnir002
PRML輪読#12
PRML輪読#12
matsuolab
PRML輪読#13
PRML輪読#13
matsuolab
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
クラスタリング
クラスタリング
Wakamatz
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
機械学習基礎(3)(クラスタリング編)
機械学習基礎(3)(クラスタリング編)
mikan ehime
Python Project (2)
Python Project (2)
Tatsuya Nakamura
NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
PRML輪読#10
PRML輪読#10
matsuolab
2015 08 survey
2015 08 survey
marujirou
Prml5 6
Prml5 6
K5_sem
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
Mais procurados
(20)
Divisor
Divisor
単純パーセプトロン
単純パーセプトロン
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
Prosym53
Prosym53
Icml2019 kyoto ohno_ver20190805
Icml2019 kyoto ohno_ver20190805
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
PRML輪読#12
PRML輪読#12
PRML輪読#13
PRML輪読#13
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
クラスタリング
クラスタリング
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
機械学習基礎(3)(クラスタリング編)
機械学習基礎(3)(クラスタリング編)
Python Project (2)
Python Project (2)
NIPS 2012 読む会
NIPS 2012 読む会
PRML輪読#10
PRML輪読#10
2015 08 survey
2015 08 survey
Prml5 6
Prml5 6
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
PRML Chapter 5
PRML Chapter 5
Destaque
Chapter9 2
Chapter9 2
Takuya Minagawa
shail_res_str
shail_res_str
shailendra kumar srivastava
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
Statistical Semantic入門 ~分布仮説からword2vecまで~
Statistical Semantic入門 ~分布仮説からword2vecまで~
Yuya Unno
トピックモデルの話
トピックモデルの話
kogecoo
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Destaque
(8)
Chapter9 2
Chapter9 2
shail_res_str
shail_res_str
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
Statistical Semantic入門 ~分布仮説からword2vecまで~
Statistical Semantic入門 ~分布仮説からword2vecまで~
トピックモデルの話
トピックモデルの話
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
EMアルゴリズム
EMアルゴリズム
Semelhante a 入門パターン認識と機械学習15章
東京大学工学部計数工学科応用音響学 D2 Clustering
東京大学工学部計数工学科応用音響学 D2 Clustering
Hiroshi Ono
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
Preferred Networks
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
hirokazutanaka
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
MOTOGRILL
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
tn1031
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
moterech
主成分分析
主成分分析
貴之 八木
Dive into XGBoost.pdf
Dive into XGBoost.pdf
Yuuji Hiramatsu
M1 gp_Disco
M1 gp_Disco
Takuya Shimojoh
How to study stat
How to study stat
Ak Ok
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
Shin Asakawa
PRML10-draft1002
PRML10-draft1002
Toshiyuki Shimono
Shunsuke Horii
Shunsuke Horii
Suurist
KDD2014 勉強会
KDD2014 勉強会
Ichigaku Takigawa
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
Hiroshi Nakagawa
誤り訂正符号のワークショップ発表資料
誤り訂正符号のワークショップ発表資料
Ryutaroh Matsumoto
Semelhante a 入門パターン認識と機械学習15章
(17)
東京大学工学部計数工学科応用音響学 D2 Clustering
東京大学工学部計数工学科応用音響学 D2 Clustering
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
主成分分析
主成分分析
Dive into XGBoost.pdf
Dive into XGBoost.pdf
M1 gp_Disco
M1 gp_Disco
How to study stat
How to study stat
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
PRML10-draft1002
PRML10-draft1002
Shunsuke Horii
Shunsuke Horii
KDD2014 勉強会
KDD2014 勉強会
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
誤り訂正符号のワークショップ発表資料
誤り訂正符号のワークショップ発表資料
入門パターン認識と機械学習15章
1.
入門パターン認識と機械学習 @hiro5585 Chapter 15 潜在クラスモデル
2.
混合正規モデル 2
3.
混合正規モデルについて K個の正規分布を重み付き平均したモデル データのクラスタリングなどに用いられる 3 K k k k k k x wxf 1 2 2 2
2 )( exp 2 1 )( 混合数 重み 1 2 )(xp ・・・15.2式
4.
学習方法(1/3) 対数尤度を最大化することを考える しかし、対数の中に和が入っていて解析的な解を得られない →ここで、あらかじめデータがどの正規分布にどれぐらい属 しているかが既知として、対数尤度の最大化を考える 4 K k k k k k n i n i x w xfL 1 2 2 2 1 1 2 )( exp 2 1 log )(log)(log サンプル数 ・・・15.3式
5.
学習方法(2/3) データ𝑥𝑖がkに属する確率を𝛾 𝑘 𝑖 として与えられてるとする そうすると、各正規分布の平均、分散(パラメータ)が求まる →これをもとに、データの所属確率を更新する 5 n i i kkn 1 各正規分布に属する (重み付き)データ数 ・・・15.4式 各正規分布の (重み付き)平均 i n i i k k k x n 1 1 ˆ
・・・15.5式 各正規分布の (重み付き)分散 2 1 2 ˆ 1 ˆ ki n i i k k k x n ・・・15.6式
6.
学習方法(3/3) データの所属確率を更新 同様にして、 𝛾 𝑘 𝑖 を使って平均と分散を再度求める 所属確率が一定値に収束するまで繰り返す (混合ガウス分布に対するEMアルゴリズム) 6 各正規分布の重み n n w
k k ˆ ・・・15.7式 各データの所属確率 K k ikk ikk k xpw xpw 1 )(ˆˆ )(ˆˆ ˆ ・・・15.9式
7.
対数尤度の下限をJensenの不等式を使って求める つまり、次式が成り立つ 先の手順は対数尤度の下限を最大化していたことと等価 𝑙𝑜𝑔ΣをΣ𝑙𝑜𝑔に書き換えて計算を簡単化 尤度最大化の原理 7 )( ~ log 2 )( exp 2 1 log 2 )( exp 2 1 log)(log 1 1 2 2 2 2 2 1 1 2 L xw x wL n i K k
k ki i k ki k k ki n i K k k ・・・15.12式 ・・・15.13式 )( ~ log)(log LL ・・・15.17式 所属確率
8.
一般的なEMアルゴリズム 観測できない変数が存在する不完全データに対する推測法 1.パラメータθを初期化する 2.対数尤度関数logL(θ)の期待値Qを計算する 3. Qを最大化するようなθを求める 4. θが一定値に収束するまで1~3を繰り返す 先の議論で対数尤度の下限を最大化しているため、 更新の手続きによって尤度が下がることはない しかし、局所最適解に陥ることがある
8 アルゴリズム 15.2
9.
トピックモデル 9
10.
多項分布 多項分布とはサイコロの目の出やすさ等を表す確率分布 10 1 2 3
4 5 6 )( xp ) 12 3 , 12 3 , 12 2 , 12 1 , 12 2 , 12 1 ( 四五六賽(逆境無頼カイジ破戒録編より) 班長が使ったイカサマのサイコロ 6 1 )( v y v n v xp サイコロを複数回投げた場合の確率 ・・・15.31式 目の数 各目の出た回数
11.
ディリクレ分布 ディリクレ分布もサイコロの目の出やすさ等を表す確率分布 ただし、連続分布でなめらかに表現されている 例:コインの場合のディリクレ分布 11 1 2 3
4 5 6 )( p ) 6 1 , 6 1 , 6 1 , 6 1 , 6 1 , 6 1 ( θの出る確率が6次元の 起伏で表される )( p ) 6 1 , 6 5 ( 表 裏 つまり、コインの表裏の出やすさθが パラメータαによって決まる →2次元の場合はベータ分布になる
12.
確率分布の関係 多項分布の共役事前分布がディリクレ分布 ベルヌーイ分布の共役事前分布がベータ分布 事前分布がディリクレ分布なのはベイズ更新がしやすいから 意味的にもパラメータがサイコロの出やすさを調整している 12 条件付き確率 事前分布 2次元 ベルヌーイ分布
ベータ分布 多次元 多項分布 ディリクレ分布 サイコロの目の出やすさの重み コインの表裏の出やすさの重み 実際に出たサイコロの目 実際に出たコインの表裏
13.
混合Polya分布(1/2) ここで班長が一度だけ投げるサイコロを変えれる場合を想定 つまり、どのサイコロの目が出やいかを推定する問題となる 13 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか ・普通の賽 ・四五六賽 ・ピンゾロ賽 投げた 回数 サイコロの目 nサイコロの目の 出やすさ トピック ピンゾロ賽(逆境無頼カイジ破戒録編より) カイジが使った大逆転イカサマサイコロ
14.
混合Polya分布(2/2) ディリクレ分布と多項分布の積は共役なため簡単に計算可 隠れ変数を積分消去すればEMアルゴリズムで推定可能 14 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか ・普通の賽 ・四五六賽 ・ピンゾロ賽 投げた 回数 サイコロの目 nサイコロの目の 出やすさ トピック
kkkD K k V v yk vk n dPwxP v 1 1 )( ・・・15.34式重み 混合正規分布では 積分内が正規分布だった
15.
PLSI LSI(SVD:特異値分解)の確率的モデル 特異ベクトル(サイコロの目)が直交するという条件を緩和 これは班長が怪しまれぬ様にサイコロを変えるときに使える つまり、投げるたびにサイコロを選ぶ(確率的) これも、同様にEMアルゴリズムで解ける(勝てる!!) 15 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか 投げた 回数 サイコロの目 n サイコロの目の 出やすさ トピック