Submit Search
Upload
MMDs 12.3 SVM
•
0 likes
•
975 views
M
mfumi
Follow
Mining of Massive Datasets 12.3 SVM
Read less
Read more
Technology
Report
Share
Report
Share
1 of 17
Download now
Download to read offline
Recommended
http://www.slideshare.net/shuyo/i-svm-icml11 に補足を行った「ちょびっと改良版」です。
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
Miyoshi Yuya
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
ICML 読み会で iSVM を紹介したときの資料です。 発表中に見つけた間違いは修正していますが、いろいろ不足していることがわかった部分の補足はまだしてません。
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Shuyo Nakatani
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
2019/03/29 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]“Submodular Field Grammars Representation” and “Deep Submodular Functi...
[DL輪読会]“Submodular Field Grammars Representation” and “Deep Submodular Functi...
Deep Learning JP
NIPS2015読み会(http://connpass.com/event/24620/)発表資料
Learning Continuous Control Policies by Stochastic Value Gradients
Learning Continuous Control Policies by Stochastic Value Gradients
mooopan
Online Matching and Ad Allocation 輪読会用資料
Online Matching and Ad Allocaton 8章&9章半分
Online Matching and Ad Allocaton 8章&9章半分
Maruyama Tetsutaro
Recommended
http://www.slideshare.net/shuyo/i-svm-icml11 に補足を行った「ちょびっと改良版」です。
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
Miyoshi Yuya
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
ICML 読み会で iSVM を紹介したときの資料です。 発表中に見つけた間違いは修正していますが、いろいろ不足していることがわかった部分の補足はまだしてません。
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Shuyo Nakatani
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
2019/03/29 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]“Submodular Field Grammars Representation” and “Deep Submodular Functi...
[DL輪読会]“Submodular Field Grammars Representation” and “Deep Submodular Functi...
Deep Learning JP
NIPS2015読み会(http://connpass.com/event/24620/)発表資料
Learning Continuous Control Policies by Stochastic Value Gradients
Learning Continuous Control Policies by Stochastic Value Gradients
mooopan
Online Matching and Ad Allocation 輪読会用資料
Online Matching and Ad Allocaton 8章&9章半分
Online Matching and Ad Allocaton 8章&9章半分
Maruyama Tetsutaro
部分列とデータストリームの比較手法
Spring
Spring
Lutfiana Ariestien
Androidで画像処理リベンジ
Androidで画像処理リベンジ
Daisuke Takai
ICML2013読み会 Distributed training of Large-scale Logistic models の発表資料
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
第 9 回 ロマンティック数学ナイト@MathPower Day1 発表資料 (豊穣)圏の Euler 標数を定めるその道のり
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Tatsuki SHIMIZU
Restricted Boltzmann Machinesの基礎と実装
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
機械学習プロフェッショナルシリーズ 異常検知と変化検知 第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
Vinculum
Vinculum
tomerun
ロマ数ボーイズ発表資料 Persistent Homology(Interval Decomp. まで)
TDA やら Night!!
TDA やら Night!!
Tatsuki SHIMIZU
2016年7月28日 HCPC勉強会
動的計画法を極める!
動的計画法を極める!
HCPC: 北海道大学競技プログラミングサークル
今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。 画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識(Prior)を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。 制約付き最適化問題の解放として、ADMM(Alternating Direction Method of Multipliers; 交互方向乗数法)が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。 ------------------ Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
CVXPYの使い方の説明とラグランジュ双対問題について説明 ※縮小表示だと日本語が消えることがあるので全画面で御覧ください
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Tomoki Yoshida
Comparative studies
Kmeans vs kmeanspp_20151124
Kmeans vs kmeanspp_20151124
博三 太田
Introduction to Algorithms, Section 15, dynamic programing.
Sec15 dynamic programming
Sec15 dynamic programming
Keisuke OTAKI
ラビットチャレンジの課題として深層学習の基礎についてまとめた
深層学習①
深層学習①
ssuser60e2a31
転移学習のサーベイ資料(改定版)
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
尼崎Pythonの会#3での発表資料です。
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去(デノイジング)や、不要なテクスチャの除去(スムーシング)等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法((TV最適化など))と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。 Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
Morpho, Inc.
日本応用数理学会2019年度年会 発表資料
JSIAM_2019_9_4
JSIAM_2019_9_4
KoutaFunakoshi
This is a class about learning simulation's assignment. Using a composite function as a probability density function. In other words, to generate variable of composite function by uniform random number.
Simulation_assignment2
Simulation_assignment2
T2C_
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
Divisor
Divisor
oupc
ICML 2011読む会(2011/7/16@PFI)発表資料
Icml2011 reading-sage
Icml2011 reading-sage
正志 坪坂
More Related Content
What's hot
部分列とデータストリームの比較手法
Spring
Spring
Lutfiana Ariestien
Androidで画像処理リベンジ
Androidで画像処理リベンジ
Daisuke Takai
ICML2013読み会 Distributed training of Large-scale Logistic models の発表資料
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
第 9 回 ロマンティック数学ナイト@MathPower Day1 発表資料 (豊穣)圏の Euler 標数を定めるその道のり
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Tatsuki SHIMIZU
Restricted Boltzmann Machinesの基礎と実装
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
機械学習プロフェッショナルシリーズ 異常検知と変化検知 第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
Vinculum
Vinculum
tomerun
ロマ数ボーイズ発表資料 Persistent Homology(Interval Decomp. まで)
TDA やら Night!!
TDA やら Night!!
Tatsuki SHIMIZU
2016年7月28日 HCPC勉強会
動的計画法を極める!
動的計画法を極める!
HCPC: 北海道大学競技プログラミングサークル
今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。 画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識(Prior)を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。 制約付き最適化問題の解放として、ADMM(Alternating Direction Method of Multipliers; 交互方向乗数法)が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。 ------------------ Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
CVXPYの使い方の説明とラグランジュ双対問題について説明 ※縮小表示だと日本語が消えることがあるので全画面で御覧ください
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Tomoki Yoshida
Comparative studies
Kmeans vs kmeanspp_20151124
Kmeans vs kmeanspp_20151124
博三 太田
Introduction to Algorithms, Section 15, dynamic programing.
Sec15 dynamic programming
Sec15 dynamic programming
Keisuke OTAKI
ラビットチャレンジの課題として深層学習の基礎についてまとめた
深層学習①
深層学習①
ssuser60e2a31
転移学習のサーベイ資料(改定版)
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
尼崎Pythonの会#3での発表資料です。
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去(デノイジング)や、不要なテクスチャの除去(スムーシング)等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法((TV最適化など))と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。 Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
Morpho, Inc.
日本応用数理学会2019年度年会 発表資料
JSIAM_2019_9_4
JSIAM_2019_9_4
KoutaFunakoshi
This is a class about learning simulation's assignment. Using a composite function as a probability density function. In other words, to generate variable of composite function by uniform random number.
Simulation_assignment2
Simulation_assignment2
T2C_
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
What's hot
(20)
Spring
Spring
Androidで画像処理リベンジ
Androidで画像処理リベンジ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
Magnitude ~ extend the Euler Characteristics via Möbius Inversion ~
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Vinculum
Vinculum
TDA やら Night!!
TDA やら Night!!
動的計画法を極める!
動的計画法を極める!
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Kmeans vs kmeanspp_20151124
Kmeans vs kmeanspp_20151124
Sec15 dynamic programming
Sec15 dynamic programming
深層学習①
深層学習①
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
JSIAM_2019_9_4
JSIAM_2019_9_4
Simulation_assignment2
Simulation_assignment2
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
Similar to MMDs 12.3 SVM
Divisor
Divisor
oupc
ICML 2011読む会(2011/7/16@PFI)発表資料
Icml2011 reading-sage
Icml2011 reading-sage
正志 坪坂
test
SVM
SVM
Yuki Nakayama
2011-04-23 TokyoNLP#5 発表資料
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
sleepy_yoshi
coresetを使ってSVMを高速に解くというお話 情報系院生向けの輪講資料です
Coreset+SVM (論文紹介)
Coreset+SVM (論文紹介)
Naotaka Yamada
SVMの基本的な数学を説明しています. ブログにもまとめてますので,どうぞ https://kenyu-life.com/2019/02/11/support_vector_machine/ 動画解説してます 「https://www.youtube.com/watch?v=TNOC0vyIL-g」
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
A naive explanation of Boosting family including XGBoost. Please let me know if you find something wrong or have a question.
Dive into XGBoost.pdf
Dive into XGBoost.pdf
Yuuji Hiramatsu
Semi-supervised Active Learning Survey
Semi-supervised Active Learning Survey
Yo Ehara
SVM
SVM
Yuki Nakayama
Similar to MMDs 12.3 SVM
(9)
Divisor
Divisor
Icml2011 reading-sage
Icml2011 reading-sage
SVM
SVM
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
Coreset+SVM (論文紹介)
Coreset+SVM (論文紹介)
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Dive into XGBoost.pdf
Dive into XGBoost.pdf
Semi-supervised Active Learning Survey
Semi-supervised Active Learning Survey
SVM
SVM
More from mfumi
MMDs10.6-7
MMDs10.6-7
mfumi
IA16 2
IA16 2
mfumi
IA16
IA16
mfumi
Introduction to Algorithms Chapter 14
IA14
IA14
mfumi
木を綺麗に描画するアルゴリズム
木を綺麗に描画するアルゴリズム
mfumi
Mining of Massive Datasets Chapter 9
MMDs Chapter 9
MMDs Chapter 9
mfumi
グラフを奇麗に描画するアルゴリズム
グラフを奇麗に描画するアルゴリズム
mfumi
Algorithms Introduction 9章
Algorithms Introduction 9章
mfumi
MMDs 6.3-6.5
MMDs 6.3-6.5
mfumi
About Mining of Massive Datasets Chapter 5.1
MMDs Chapter 5.1 PageRank
MMDs Chapter 5.1 PageRank
mfumi
第2回APASEC+第2期サイボウズ・ラボユース合同勉強会 (2013/3/29) 発表資料
xv6のコンテキストスイッチを読む
xv6のコンテキストスイッチを読む
mfumi
第01回北関東情報セキュリティ勉強会 目覚ましLT資料
ファイルの隠し方
ファイルの隠し方
mfumi
More from mfumi
(12)
MMDs10.6-7
MMDs10.6-7
IA16 2
IA16 2
IA16
IA16
IA14
IA14
木を綺麗に描画するアルゴリズム
木を綺麗に描画するアルゴリズム
MMDs Chapter 9
MMDs Chapter 9
グラフを奇麗に描画するアルゴリズム
グラフを奇麗に描画するアルゴリズム
Algorithms Introduction 9章
Algorithms Introduction 9章
MMDs 6.3-6.5
MMDs 6.3-6.5
MMDs Chapter 5.1 PageRank
MMDs Chapter 5.1 PageRank
xv6のコンテキストスイッチを読む
xv6のコンテキストスイッチを読む
ファイルの隠し方
ファイルの隠し方
Recently uploaded
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(10)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
MMDs 12.3 SVM
1.
MMDs 12.3 SVM
2.
Support Vector Machine
(SVM) • 境界面と境界面に最も近いデータ点との距離を最大化 するように境界面を決定
3.
定式化 (未完) • とりあえず,線形分離可能な場合について •
訓練集合 (yi = 1 or +1) が与えられたとき,全てのiについて を満たすγのうち,最大のもとを求めたい • の両辺を定数倍するとγはいくらでも大 きくなる
4.
以下のように境界面をとるようにする
5.
定式化 • 適当な定数を掛ける事でサポートベクタに対し (or -1
) となるようにできる • 図より, , より -1=
6.
定式化 • 結局, γの最大化
→ の最小化問題に • 解くべき問題は, 最小化 制約条件 (i = 1,2,…,n)
7.
問題例 制約条件: 最小化: ||w|| = p u2
+ v2
8.
もう少し一般の場合 • 先ほどは完全に線形分離できる場合だった • 一般にはノイズ等の影響でだいたい分離できても100% はできないことがある •
また,100%分離できたとして,過学習してしまう可能 性がある
9.
完全に線形分離できない例
10.
完全に線形分離できない場合 • 分類に失敗したものに対してペナルティを与える • 以下の関数を制約条件のもとで最小化する (C:
定数) 第一項: ||w|| についての関数 第二項: 損失関数 (ヒンジ関数)
11.
を最小化する理由 • ||w|| の単調関数ならなんでもいい •
||w|| はルートを含むので計算しにくい • だと2次式で表現され,さらに =
12.
ヒンジ関数
13.
SVMの解法 • よく使われるのは,2次計画問題(QP, 目的関数が2次関 数で制約条件が1次関数の最適か問題)
として解く方法 アルゴリズムとしてはSMOなど • 大規模なデータに対しては,最急降下法 (Gradient Descent) が有効 (逐次計算なのでメモリに優しい)
14.
最急降下法によるSVMの解法 • f の勾配は, •
以下の式で w を更新していく (η: 定数)
15.
最急降下法によるSVM解法の例
16.
最急降下法によるSVM解法の例 • C =
0.1, η = 0.2
17.
確率的最急降下法 (Stochastic Gradient
Descent) • 実際に大規模データを扱うときは,全ての訓練集合を 扱うと量が膨大なので,一部を抽出して学習すること がある => SGD
Download now