Enviar pesquisa
Carregar
PRML勉強会@長岡 第4章線形識別モデル
•
4 gostaram
•
4,663 visualizações
Shohei Okada
Seguir
Ciências
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 76
Baixar agora
Baixar para ler offline
Recomendados
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML輪読#4
PRML輪読#4
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML輪読#3
PRML輪読#3
matsuolab
Recomendados
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML輪読#4
PRML輪読#4
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML輪読#3
PRML輪読#3
matsuolab
線形識別モデル
線形識別モデル
貴之 八木
PRML輪読#5
PRML輪読#5
matsuolab
Prml 2.3
Prml 2.3
Yuuki Saitoh
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
PRML輪読#2
PRML輪読#2
matsuolab
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
Prml 3 3.3
Prml 3 3.3
Arata Honda
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
PRML輪読#8
PRML輪読#8
matsuolab
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML輪読#6
PRML輪読#6
matsuolab
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
Yoshinori Kabeya
PRML輪読#10
PRML輪読#10
matsuolab
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML 2.4
PRML 2.4
kazunori sakai
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
Shohei Okada
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
Shohei Okada
Mais conteúdo relacionado
Mais procurados
線形識別モデル
線形識別モデル
貴之 八木
PRML輪読#5
PRML輪読#5
matsuolab
Prml 2.3
Prml 2.3
Yuuki Saitoh
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
PRML輪読#2
PRML輪読#2
matsuolab
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
Prml 3 3.3
Prml 3 3.3
Arata Honda
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
PRML輪読#8
PRML輪読#8
matsuolab
PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML輪読#6
PRML輪読#6
matsuolab
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
Yoshinori Kabeya
PRML輪読#10
PRML輪読#10
matsuolab
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML 2.4
PRML 2.4
kazunori sakai
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
Mais procurados
(20)
線形識別モデル
線形識別モデル
PRML輪読#5
PRML輪読#5
Prml 2.3
Prml 2.3
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
PRML輪読#2
PRML輪読#2
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Prml 3 3.3
Prml 3 3.3
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
PRML第6章「カーネル法」
PRML第6章「カーネル法」
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML 1.6 情報理論
PRML 1.6 情報理論
PRML輪読#8
PRML輪読#8
PRML2.1 2.2
PRML2.1 2.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML輪読#6
PRML輪読#6
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703
PRML輪読#10
PRML輪読#10
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
PRML 2.4
PRML 2.4
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
Destaque
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
Shohei Okada
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
Shohei Okada
文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis
文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis
Shohei Okada
Laravel Mix とは何なのか? - Laravel/Vue 勉強会 #1
Laravel Mix とは何なのか? - Laravel/Vue 勉強会 #1
Shohei Okada
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
Shohei Okada
The Infamous Hello World Program
The Infamous Hello World Program
Shohei Okada
PHP 2大 web フレームワークの徹底比較!
PHP 2大 web フレームワークの徹底比較!
Shohei Okada
プロダクトに 1 から Vue.js を導入した話
プロダクトに 1 から Vue.js を導入した話
Shohei Okada
とにかく楽してVue.jsでTypeScriptを使いたい
とにかく楽してVue.jsでTypeScriptを使いたい
さくらインターネット株式会社
Destaque
(9)
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
文献紹介:An Iterative 'Sudoku Style' Approach to Subgraph-based Word Sense DIsamb...
文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis
文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis
Laravel Mix とは何なのか? - Laravel/Vue 勉強会 #1
Laravel Mix とは何なのか? - Laravel/Vue 勉強会 #1
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
The Infamous Hello World Program
The Infamous Hello World Program
PHP 2大 web フレームワークの徹底比較!
PHP 2大 web フレームワークの徹底比較!
プロダクトに 1 から Vue.js を導入した話
プロダクトに 1 から Vue.js を導入した話
とにかく楽してVue.jsでTypeScriptを使いたい
とにかく楽してVue.jsでTypeScriptを使いたい
Semelhante a PRML勉強会@長岡 第4章線形識別モデル
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
ryotat
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
Prml4 1-4-2
Prml4 1-4-2
Masahiro Kazama
コンピュータ先端ガイド2巻3章勉強会(SVM)
コンピュータ先端ガイド2巻3章勉強会(SVM)
Masaya Kaneko
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
PRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in charge
Junpei Matsuda
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
hirokazutanaka
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
Datamining 5th knn
Datamining 5th knn
sesejun
Datamining 5th Knn
Datamining 5th Knn
sesejun
低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論
ryotat
6 Info Theory
6 Info Theory
melvincabatuan
Prml 4
Prml 4
Satoshi Kawamoto
Yasunori Futamura
Yasunori Futamura
Suurist
[DL輪読会]Backpropagation through the Void: Optimizing control variates for bla...
[DL輪読会]Backpropagation through the Void: Optimizing control variates for bla...
Deep Learning JP
スペクトラルグラフ理論入門
スペクトラルグラフ理論入門
irrrrr
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
禎晃 山崎
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
Preferred Networks
Semelhante a PRML勉強会@長岡 第4章線形識別モデル
(20)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
Prml4 1-4-2
Prml4 1-4-2
コンピュータ先端ガイド2巻3章勉強会(SVM)
コンピュータ先端ガイド2巻3章勉強会(SVM)
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
PRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in charge
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Datamining 5th knn
Datamining 5th knn
Datamining 5th Knn
Datamining 5th Knn
低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論
6 Info Theory
6 Info Theory
Prml 4
Prml 4
Yasunori Futamura
Yasunori Futamura
[DL輪読会]Backpropagation through the Void: Optimizing control variates for bla...
[DL輪読会]Backpropagation through the Void: Optimizing control variates for bla...
スペクトラルグラフ理論入門
スペクトラルグラフ理論入門
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
みどりぼん読書会 第4章
みどりぼん読書会 第4章
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
Mais de Shohei Okada
「登壇しているひとは偉い」という話
「登壇しているひとは偉い」という話
Shohei Okada
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
Shohei Okada
PHP 8.0 の新記法を試してみよう!
PHP 8.0 の新記法を試してみよう!
Shohei Okada
自分たちのコードを Composer パッケージに分割して開発する
自分たちのコードを Composer パッケージに分割して開発する
Shohei Okada
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #shuuumai
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #shuuumai
Shohei Okada
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpconokinawa
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpconokinawa
Shohei Okada
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpcondo
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpcondo
Shohei Okada
Laravel でやってみるクリーンアーキテクチャ #phpconfuk
Laravel でやってみるクリーンアーキテクチャ #phpconfuk
Shohei Okada
エラー時にログに出力する情報と画面に表示する情報を分ける #LaravelTokyo
エラー時にログに出力する情報と画面に表示する情報を分ける #LaravelTokyo
Shohei Okada
スペシャリストとして組織をつくる、というキャリア
スペシャリストとして組織をつくる、というキャリア
Shohei Okada
PHP でも活用できる Makefile
PHP でも活用できる Makefile
Shohei Okada
はじめての Go 言語のプロジェクトを AWS Lambda + API Gateway でやったのでパッケージ構成を晒すよ
はじめての Go 言語のプロジェクトを AWS Lambda + API Gateway でやったのでパッケージ構成を晒すよ
Shohei Okada
Laravel × レイヤードアーキテクチャを実践して得られた知見と反省 / Practice of Laravel with layered archi...
Laravel × レイヤードアーキテクチャを実践して得られた知見と反省 / Practice of Laravel with layered archi...
Shohei Okada
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
Shohei Okada
Laravel で API バージョニングを実装するなら
Laravel で API バージョニングを実装するなら
Shohei Okada
Laravel における Blade 拡張のツラミ
Laravel における Blade 拡張のツラミ
Shohei Okada
Laravel の paginate は一体何をやっているのか
Laravel の paginate は一体何をやっているのか
Shohei Okada
2017 年度を振り返って ~アウトプット編~
2017 年度を振り返って ~アウトプット編~
Shohei Okada
Laravel × レイヤードアーキテクチャをやってみている話
Laravel × レイヤードアーキテクチャをやってみている話
Shohei Okada
Laravel 5.6 デフォルトの例外ハンドリング処理をまとめてみた
Laravel 5.6 デフォルトの例外ハンドリング処理をまとめてみた
Shohei Okada
Mais de Shohei Okada
(20)
「登壇しているひとは偉い」という話
「登壇しているひとは偉い」という話
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
PHP 8.0 の新記法を試してみよう!
PHP 8.0 の新記法を試してみよう!
自分たちのコードを Composer パッケージに分割して開発する
自分たちのコードを Composer パッケージに分割して開発する
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #shuuumai
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #shuuumai
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpconokinawa
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpconokinawa
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpcondo
クリーンアーキテクチャの考え方にもとづく Laravel との付き合い方 #phpcondo
Laravel でやってみるクリーンアーキテクチャ #phpconfuk
Laravel でやってみるクリーンアーキテクチャ #phpconfuk
エラー時にログに出力する情報と画面に表示する情報を分ける #LaravelTokyo
エラー時にログに出力する情報と画面に表示する情報を分ける #LaravelTokyo
スペシャリストとして組織をつくる、というキャリア
スペシャリストとして組織をつくる、というキャリア
PHP でも活用できる Makefile
PHP でも活用できる Makefile
はじめての Go 言語のプロジェクトを AWS Lambda + API Gateway でやったのでパッケージ構成を晒すよ
はじめての Go 言語のプロジェクトを AWS Lambda + API Gateway でやったのでパッケージ構成を晒すよ
Laravel × レイヤードアーキテクチャを実践して得られた知見と反省 / Practice of Laravel with layered archi...
Laravel × レイヤードアーキテクチャを実践して得られた知見と反省 / Practice of Laravel with layered archi...
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
Laravel で API バージョニングを実装するなら
Laravel で API バージョニングを実装するなら
Laravel における Blade 拡張のツラミ
Laravel における Blade 拡張のツラミ
Laravel の paginate は一体何をやっているのか
Laravel の paginate は一体何をやっているのか
2017 年度を振り返って ~アウトプット編~
2017 年度を振り返って ~アウトプット編~
Laravel × レイヤードアーキテクチャをやってみている話
Laravel × レイヤードアーキテクチャをやってみている話
Laravel 5.6 デフォルトの例外ハンドリング処理をまとめてみた
Laravel 5.6 デフォルトの例外ハンドリング処理をまとめてみた
PRML勉強会@長岡 第4章線形識別モデル
1.
第4章線形識別モデル PRML勉強会@長岡 presented
by 岡田正平
2.
おことわり • 勉強会用資料です
– 口頭で説明することを前提にしているため, スライド単体では説明不十分な部分があります • スライド中の情報の正しさは保証しません 2
3.
はじめに 3
4.
この章について • 分類問題について扱います
• 決定領域 • 決定境界 – 決定面とも 4
5.
目的変数の表現 • 1-of-K符号化法
– 퐾=5クラスの例 t=0,1,0,0,0T – 푡푘の値はクラスが퐶푘である確率と解釈可能 5
6.
3つのアプローチ (recall that
1章) 6
7.
3つのアプローチ (recall that
1章) • 識別関数 • 生成モデル • 識別モデル – みんな大好きSVM 7
8.
ちょっと3章も思い出して • 入力xに対して出力値を予測
• 最も簡単なモデル 푦x=wTx+푤0 푦∈ℝ 8
9.
分類問題では? • 푦は離散値を取るクラスラベル
– もっと一般的には領域(0,1)の値を取る事後確率 9
10.
分類問題では? • 푦は離散値を取るクラスラベル
– もっと一般的には領域(0,1)の値を取る事後確率 • 非線形関数푓(⋅)によって変換 푦x=푓(wTx+푤0):一般化線形モデル 푓(⋅):活性化関数 10
11.
4章の構成 4.1 識別関数(判別関数)
4.2 確率的生成モデル 4.3確率的識別モデル ---------------------------------------------------- 4.4 ラプラス近似 4.5 ベイズロジスティック回帰 11 ↓ 省略
12.
4.1 識別関数(判別関数) 12
13.
識別とは • 入力ベクトルxをクラス퐶푘に割り当てる関数
• 本章では決定面が超平面となる 線形識別のみを扱う 13
14.
2クラス • 最も簡単な線形識別関数
푦x=퐰T퐱+푤0 퐰:重みベクトル 푤0:バイアスパラメータ 푦퐱≥0ならばクラス퐶1 決定面は푦퐱=0 14
15.
2クラス • 퐰は決定面の法線ベクトル
• 푤0は決定面の位置を決定する • 決定面から点퐱への距離は 푟=푦퐱 퐰 15
16.
16
17.
2クラス • ダミー入力値푥0=1を導入
퐰=푤0,퐰,퐱=푥0,퐱を導入 푦퐱=퐰T퐱 スッキリ! – ベクトルの次元が1増えてる 17
18.
多クラス • 1対多分類器・1対1分類器
– 曖昧な領域が存在 18
19.
多クラス • 퐾個の線形関数で構成される単独の퐾クラス
識別を考える 푦푘퐱=퐰푘 T퐱+푤0=퐰T퐱 – すべての푗≠푘に対して푦푘(퐱)>푦푗(퐱)である場合 点퐱はクラス퐶푘 19
20.
多クラス • 퐶푘,퐶푗間の決定境界は푦푘퐱=푦푗퐱=0
• つまり 퐰푘−퐰푗 T퐱+푤푘푘−푤푗푗=0 – 2クラスの時と同様の幾何学的性質が適用される – 各決定領域は凸領域 20
21.
21
22.
パラメータの学習 • 最小二乗
• フィッシャーの線形判別 • パーセプトロンアルゴリズム 22
23.
最小二乗法 • (結論)学習データ集合{퐱푛,퐭푛}に対して
퐖෩ =퐓T퐗෩ †T 퐓:푛番目の行が퐭푛T である行列 퐗෩ :푛番目の行が퐱푛 Tである行列 퐗෩ †:퐗෩ の擬似逆行列(→3.1.1) – が,いろいろ問題がある 23
24.
最小二乗法の問題 • 分類問題においては外れ値に特に弱い
(「正し過ぎる」予測にペナルティ) 24 分類問題に対する誤 差関数(→7.1.2)に よりある程度は避け られるが...
25.
最小二乗法の問題 • 3クラス分類問題の例
25 (´・ω・`)
26.
そもそも • 最小二乗法は確率分布にガウス分布を仮定
• 2値目的変数ベクトルはガウス分布から かけ離れている ハナから無理があるってもんですよ 適切な確率モデルを採用しよう! (次回?) 26
27.
フィッシャーの線形判別 • 次元の削除という観点から
• これまでは퐷次元入力ベクトルを1次元(実 数)に射影していた – 当然情報は落ちるが,重みベクトル퐰を調整す ることでうまく分離する – 最も単純な方法は射影されたクラス平均の分離 度を最大化 27
28.
フィッシャーの線形判別 しかし... 28
(・A・)イマイチ
29.
フィッシャーの線形判別 • フィッシャーさん,考えた
• 射影されたクラス内の分散が小さくなるよ うにすれば... 29
30.
フィッシャーの線形判別 30 (・∀・)イイ!!
31.
フィッシャーの線形判別 実は目的変数に1-of-K符号化法とは異なる表現を もちいた場合の最小二乗法と等価
푡푛= 푁 푁1 for 퐶1 푁 푁2 for 퐶2 31
32.
パーセプトロンアルゴリズム • 2クラスのモデル
• 入力ベクトルを変換して得られる特徴ベク トル휙(퐱)に対して 푦퐱=푓(퐰T휙퐱) ただし,푓푎=ቄ+1,푎≥0−1.푎<0 32
33.
パーセプトロンアルゴリズム • 目的変数の表記は푡∈{−1,1}
– 活性化関数との相性がいい 33
34.
パーセプトロンアルゴリズム • 誤差関数の選択
– 誤識別したパターン総数 殆どの場合で勾配0 学習アルゴリズムが難しい – パーセプトロン規準 34
35.
パーセプトロンアルゴリズム • パーセプトロン規準
퐸푃퐰=−Σ퐰퐓휙푛푡푛푛∈ℳ 휙푛=휙퐱푛 ℳ:誤分類された全てのパターン集合 • 確率的最急降下アルゴリズム(→3.1.3) – 퐰휏+1=퐰휏−휂훻퐸푃퐰=w휏+휂휙푛푡푛 35
36.
パーセプトロンアルゴリズム 36
37.
パーセプトロンアルゴリズム • パーセプトロンの収束定理
– 厳密解が存在する場合,パーセプトロン学習ア ルゴリズムは有限回の繰り返しで厳密解に収束 することを保証 実用的には,分離できない問題なのか,単に収 束が遅いのかの区別が収束するまでわからない という点に注意 37
38.
4.2 確率的生成モデル 38
39.
ベイズ! • 2クラスの場合を考える
푝퐶1x=푝x퐶1푝퐶1 푝x퐶1푝퐶1+푝x퐶2푝(퐶2) =11+exp (−푎)=휎푎 푎=ln푝x퐶1푝퐶1 푝x퐶2푝(퐶2) 39
40.
ロジスティックシグモイド関数 • 휎푎=11+exp
(−푎) • 「スカッシング(押し込み)関数」とも 40
41.
多クラスの場合 • 푝퐶푘=푝x퐶푘푝퐶푘
Σ푝x퐶푗푝(퐶푗)푗 =exp푎푘 Σexp (푎푗)푗 푎푘=ln(푝x퐶푘푝퐶푘) – 正規化指数関数 • ソフトマックス関数とも 41
42.
連続値入力 • クラスの条件付き確率密度がガウス分布と
仮定 • すべてのクラスが同じ共分散行列を仮定 푝x퐶푘 = 12휋 퐷2 1 횺 12 exp − 12x−흁푘 T횺−1(x−흁푘) 42
43.
連続値入力 • 指数部分にあるxの二次の項がキャンセルさ
れるため,正規化指数関数の引数が퐱の線形 関数になる 43
44.
連続値入力 • 共分散行列が異なる場合は?
境界が非線形(二次関数) 44
45.
最尤解 • もう一度2クラス,ガウス分布,共通の共分
散の場合を考える • データ集合x푛,푡푛が与えられていると仮定 푛=1,⋯,푁 푡푛= ൜ 1 for 퐶10 for 퐶2 45
46.
最尤解 • 尤度関数は
푝t,X휋,흁1,흁2,횺 =ෑ휋휋x푛흁1,횺푡푛1−휋풩x푛흁2,횺1−푡푛 푁 푛=1 ただし푡=푡1,⋯,푡푁 T,휋=푝퐶1 46
47.
最尤解 • 各パラメータの最大化は
휋=푁1 푁 흁1=1 푁1Σ푡푛x푛 푁푛=1 흁2=1 푁2Σ(1−푡푛)x푛 푁푛 =1 47
48.
最尤解 횺=푁1 푁S1+푁2
푁S2S1=1 푁1Σx푛−흁1x푛−흁1 푇 푛∈퐶1S2=1 푁2Σx푛−흁2x푛−흁2 푇 푛∈퐶2 • この結果は多クラスにも拡張可能 48
49.
離散特徴 • 特徴が離散値푥푖の場合を考える
• 2値푥푖∈1,0, 特徴数퐷個の場合 – 特徴量を抑えるためナイーブベイズを仮定 푝x퐶푘=ෑ휇푘푖 푥푖1−휇푘푖 1−푥푖 퐷 푖=1 49
50.
離散特徴 • 正規化指数関数の引数は
푎푘푥 ={푥푖ln휇푘푘+1−푥푖ln1−휇푘푘} 퐷 푖=1+ln 푝(퐶푘) 入力値푥푖の線形関数となる 50
51.
指数型分布族 • クラスの条件付き確率が指数型分布族のメ
ンバーであると仮定 • 푝x휆푘=ℎx푔λ푘exp {λ푘 Tux} • ux=xとなるような分布については,正規 化指数関数の引数がxの線形関数となる 51
52.
4.3 確率的識別モデル 52
53.
識別アプローチの利点 • 決めるべき適用パラメータが少ない
53
54.
固定基底関数 • 基底関数ベクトル휙(x)を使って入力を非線
形変換 – 決定境界を非線形にできる – SVMでいうところのカーネル関数 54
55.
固定基底関数 55
56.
ロジスティック回帰 • 事後確率(2クラスの場合)
푝퐶1흓=푦흓=휎(wT흓) • ロジスティックシグモイド関数 푝퐶2흓=1−푝(퐶1|흓) • パラメータの数=흓の次元数 56
57.
最尤法によるパラメータ決定 • データ集合흓푛,푡푛,푡푛∈0,1,
휙푛=휙푥푛,푛=1,⋯,푁に対する尤度関数 푝tw=ෑ푦푛푡 푛1−푦푛 1−푡푛 푁 푛=1 – t=푡1,⋯,푡푁 T,푦푛=푝(퐶1|흓풏) 57
58.
最尤法によるパラメータ決定 • 負の対数をとって誤差関数とする
퐸w=−ln푝tw =−Σ푡푛ln푦푛+1−푡푛ln1−푦푛 푁푛=1 – 交差エントロピー誤差関数 58
59.
最尤法によるパラメータ決定 • 誤差関数の勾配をとると
훻퐸w=푦푛−푡푛휙푛 푁 푛=1 – なんか簡単な形に! 59
60.
最尤法に寄るパラメータ推定 • 線形分離可能なデータに対して,過学習を
起こしてしまう点に注意 60
61.
反復重み付け最小二乗 • ロジスティック回帰では最尤解を解析的に
導出することはできない • しかし誤差関数は凸関数 唯一の最小解を持つ • ニュートン・ラフソン法を用いる w(new)=wold−H−1훻퐸(w) 61
62.
反復重み付け最小二乗 • 二乗和誤差関数の場合
훻퐸w=ΣwT흓푛−푡푛흓푛=ΦTΦw−ΦTt푁푛 =1 H=Σ흓푛흓풏푻 푁푛 =1=Φ푇Φ – Φは푛番目の行が흓푛 Tで与えられる푁×푀行列 62
63.
反復重み付け最小二乗 • 代入して,整理すると
wnew=Φ푇Φ−1Φ푇t – woldが消えた 反復回数1回で正確な解が求められる 63
64.
反復重み付け最小二乗 • 交差エントロピー誤差関数の場合
• wnew=ΦTRΦ−1ΦTRz – Rは要素が푅푛푛={푦푛1−푦푛}の対角行列 – z=Φwold−R−1(y−t) – 重み付き最小二乗問題に対する正規方程式集合 64
65.
多クラスロジスティック回帰 • 事後確率
푝퐶푘흓=푦푘흓=exp푎푘 Σexp푎푗푗 • ソフトマックス関数 푎푘=w푘 T흓 65
66.
多クラスロジスティック回帰 • 尤度関数(1-of-K符号化法を使用)
푝푇푤1,⋯,푤퐾=ΠΠ푦푛푛 푡푛푛퐾푘 =1 푁푛 =1 • 以下,2クラスの場合と同様に導出可能 66
67.
プロビット回帰 • ロジスティック回帰で,どんなときでも事
後確率が簡単な形になるわけではない 別のタイプの識別確率モデルも見てみよう • 2クラスの場合を考えます 푝푡=1푎=푓(푎) 푎=wT휙,푓⋅:活性化関数 67
68.
プロビット回帰 • 雑音しきい値モデル
푡푛=ቄ1 if 푎푛≤휃 0 otherwise • 휃の値が確率密度푝(휃)で与えら得る場合 푓푎=න푝휃푑푑 푎 −∞ 68
69.
69
70.
プロビット回帰 • 푝(휃)が標準正規分布の場合の푓(푎)
プロビット関数 • プロビット関数に基づく一般化線形モデル をプロビット回帰という 70
71.
プロビット回帰 • 点線部分がプロビット関数
– (実線はロジスティックシグモイド関数) 71
72.
プロビット回帰 • ロジスティク回帰の結果と似る傾向がある
• より外れ値に敏感 • ロジスティック回帰のベイズ的な扱いにお いて,利用法がある(4.5節) 72
73.
4.4 ラプラス近似 73
74.
ラプラス近似とは • 連続確率密度分布をガウス分布に近似
74
75.
4.5 ベイズロジスティック回帰 75
76.
この節では... • ロジスティック回帰のベイズ的取り扱い
厳密に適用するのは難しい ラプラス近似を適用して考える 76
Baixar agora