Enviar pesquisa
Carregar
Chap12 4 appendix_suhara
•
1 gostou
•
728 visualizações
S
sleepy_yoshi
Seguir
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 14
Baixar agora
Baixar para ler offline
Recomendados
化学科自主ゼミ1
化学科自主ゼミ1
Hiroki Sato
120517サブゼミ意思決定(5)
120517サブゼミ意思決定(5)
takemuralab
kagamicomput201708
kagamicomput201708
swkagami
Rで学ぶ逆変換(逆関数)法
Rで学ぶ逆変換(逆関数)法
Nagi Teramo
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Tatsuki SHIMIZU
第三回統計学勉強会@東大駒場
第三回統計学勉強会@東大駒場
Daisuke Yoneoka
事前分布との出会い
事前分布との出会い
Shigeru Kishikawa
150901 math003 関数その1
150901 math003 関数その1
elephancube
Recomendados
化学科自主ゼミ1
化学科自主ゼミ1
Hiroki Sato
120517サブゼミ意思決定(5)
120517サブゼミ意思決定(5)
takemuralab
kagamicomput201708
kagamicomput201708
swkagami
Rで学ぶ逆変換(逆関数)法
Rで学ぶ逆変換(逆関数)法
Nagi Teramo
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Tatsuki SHIMIZU
第三回統計学勉強会@東大駒場
第三回統計学勉強会@東大駒場
Daisuke Yoneoka
事前分布との出会い
事前分布との出会い
Shigeru Kishikawa
150901 math003 関数その1
150901 math003 関数その1
elephancube
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
Rのoptim関数でロバスト回帰(LMSとLAV)
Rのoptim関数でロバスト回帰(LMSとLAV)
wada, kazumi
生物統計特論6資料 2006 abc法(bootstrap) isseing333
生物統計特論6資料 2006 abc法(bootstrap) isseing333
Issei Kurahashi
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
Sigsoftmax: Reanalysis of the Softmax Bottleneck
Sigsoftmax: Reanalysis of the Softmax Bottleneck
RI
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
Ikeph 2-20140730
Ikeph 2-20140730
GM3D
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
KazuhiroSato8
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
Takafumi Sakakibara
ナンプレ解析ツール
ナンプレ解析ツール
kstmshinshu
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
Akira Asano
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
t dev
Re revenge chap03-1
Re revenge chap03-1
裕樹 奥田
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
Akira Asano
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
kunihikokaneko1
Zetavalue
Zetavalue
guest1637f9
Prml 10 1
Prml 10 1
正志 坪坂
Mais conteúdo relacionado
Mais procurados
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
Rのoptim関数でロバスト回帰(LMSとLAV)
Rのoptim関数でロバスト回帰(LMSとLAV)
wada, kazumi
生物統計特論6資料 2006 abc法(bootstrap) isseing333
生物統計特論6資料 2006 abc法(bootstrap) isseing333
Issei Kurahashi
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
Sigsoftmax: Reanalysis of the Softmax Bottleneck
Sigsoftmax: Reanalysis of the Softmax Bottleneck
RI
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
Ikeph 2-20140730
Ikeph 2-20140730
GM3D
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
KazuhiroSato8
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
Takafumi Sakakibara
ナンプレ解析ツール
ナンプレ解析ツール
kstmshinshu
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
Akira Asano
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
t dev
Re revenge chap03-1
Re revenge chap03-1
裕樹 奥田
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
Akira Asano
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
kunihikokaneko1
Mais procurados
(20)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Rのoptim関数でロバスト回帰(LMSとLAV)
Rのoptim関数でロバスト回帰(LMSとLAV)
生物統計特論6資料 2006 abc法(bootstrap) isseing333
生物統計特論6資料 2006 abc法(bootstrap) isseing333
PRML Chapter 14
PRML Chapter 14
Rで学ぶロバスト推定
Rで学ぶロバスト推定
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Sigsoftmax: Reanalysis of the Softmax Bottleneck
Sigsoftmax: Reanalysis of the Softmax Bottleneck
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Ikeph 2-20140730
Ikeph 2-20140730
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
ナンプレ解析ツール
ナンプレ解析ツール
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
2020年度秋学期 画像情報処理 第4回 離散フーリエ変換 (2020. 10. 16)
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
Re revenge chap03-1
Re revenge chap03-1
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
cs-12. 式の抽象化と関数,モジュール,算法(アルゴリズム)
Semelhante a Chap12 4 appendix_suhara
Zetavalue
Zetavalue
guest1637f9
Prml 10 1
Prml 10 1
正志 坪坂
Icml2011 reading-sage
Icml2011 reading-sage
正志 坪坂
CVIM mean shift-3
CVIM mean shift-3
正志 坪坂
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
正志 坪坂
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
sleepy_yoshi
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Shuyo Nakatani
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
keiodig
K070k80 点推定 区間推定
K070k80 点推定 区間推定
t2tarumi
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
Oshasta em
Oshasta em
Naotaka Yamada
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Kensuke Otsuki
モンテカルロサンプリング
モンテカルロサンプリング
Kosei ABE
2012-1110「マルチレベルモデルのはなし」(censored)
2012-1110「マルチレベルモデルのはなし」(censored)
Mizumoto Atsushi
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
KDD2014 勉強会
KDD2014 勉強会
Ichigaku Takigawa
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
Semelhante a Chap12 4 appendix_suhara
(20)
Zetavalue
Zetavalue
Prml 10 1
Prml 10 1
Icml2011 reading-sage
Icml2011 reading-sage
CVIM mean shift-3
CVIM mean shift-3
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
K070k80 点推定 区間推定
K070k80 点推定 区間推定
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Oshasta em
Oshasta em
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
モンテカルロサンプリング
モンテカルロサンプリング
2012-1110「マルチレベルモデルのはなし」(censored)
2012-1110「マルチレベルモデルのはなし」(censored)
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
KDD2014 勉強会
KDD2014 勉強会
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
Mais de sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Mais de sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
Chap12 4 appendix_suhara
1.
PRML#17 (最終回) 12.4補習: 独立成分分析
2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
2.
おことわり • これからの話は全て↓に書かれています
1
3.
ポイントだけ •
独立成分分析とは? • 必要なのは独立性。 • ガウス分布、ダメ、ゼッタイ。 • 目的関数いろいろ、解き方もいろいろ。 2
4.
独立成分分析とは?
3
5.
PRML的な流れ • 線形ガウスモデル –
主成分分析 • 線形非ガウスモデル – 独立成分分析 • 非線形ICAもあるらしいが… 非ガウス分布を用いた潜在変数の線形変換に よって観測変数が得られるというモデル 4
6.
問題設定: 未知音源分離
M台のマイク ������ N人の話者 ������ (観測変数) (潜在変数) 5 ※簡単のため〃M=Nの例を用いる
7.
未知音源分離の定式化 • 観測変数は潜在変数の線形変換で表現
������ = ������������ ������1 = ������11 ������1 + ������12 ������2 + ������13 ������3 ������2 = ������21 ������1 + ������22 ������2 + ������23 ������3 ������3 = ������31 ������1 + ������32 ������2 + ������33 ������3 結論 s1, s2, s3が統計的に独立であれば〃 A, s共に計算することが可能 6
8.
必要なのは独立性。 • 独立性
������ ������ ������ = ������(������������ ) (12.89) ������=1 • 無相関性 ≠ 独立性 7
9.
ガウス分布、ダメ、ゼッタイ。 • 潜在変数sにガウス分布は利用できない • 理由:
ガウス分布は混合してしまうと分離でき ないから – 厳密には、ひとつのガウス分布まではOK 4 2 0 -2 -4 -2 0 2 8
10.
ガウス分布、ダメ、ゼッタイ。 • 確率的主成分分析では… –
潜在変数空間の分布が平均0の等方的ガウス分布 – 潜在変数の空間を変化させても尤度関数の形は変わ らない ������ = ������������������ + ������ 2 ������ (12.36) ������������������ = ������という������を用いて������ → ������������と変換 ������ = ������������������������ ������������ + ������ 2 ������ ������ 9
11.
目的関数いろいろ、解き方もいろいろ。 • 目的関数 –
尤度最大化 – 情報量最大化 – 相互情報量最小化 – … • 解き方 – 勾配法 – EMアルゴリズム –… 10
12.
尤度最大化の例
線形変換の式 • 線形変換の式を利用して 1 ������������ ������ = ������������ (������−1 ������) det ������ ������������ ������ = det ������ ������������ ������ = det ������ ������������ (������������ ) ここで ������ = ������−1 ������ ������������ ������ = det ������ ������������ (������������ ������) ������ ������ = ������������ ������ ������������ = ������ ������の������個の観測値 ������ 1 , ������ 2 , … , ������(������)があるとすると〃尤度は T個の点で評価でき〃Bの関数とみなせる ������(������) = det ������ ������������ (������������ ������(������)) ������ ������ ������ あとは尤度を取って勾配法で最適化 11
13.
参考文献 • ウェブ上にも参考資料は多い • 一冊挙げるとすればコレ
12
14.
おわり
13
Baixar agora