Enviar pesquisa
Carregar
CVIM#11 3. 最小化のための数値計算
•
27 gostaram
•
59,837 visualizações
S
sleepy_yoshi
Seguir
CVIM勉強会#11 1章バンドルアジャストメント 3. 最小化のための数値計算
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 50
Baixar agora
Baixar para ler offline
Recomendados
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Sift特徴量について
Sift特徴量について
la_flance
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
Recomendados
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Sift特徴量について
Sift特徴量について
la_flance
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
Takuya Minagawa
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
最適化超入門
最適化超入門
Takami Sato
条件付き確率場の推論と学習
条件付き確率場の推論と学習
Masaki Saito
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
Shunsuke Ono
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
スパースモデリング入門
スパースモデリング入門
Hideo Terada
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
doboncho
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
Mais conteúdo relacionado
Mais procurados
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
Takuya Minagawa
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
最適化超入門
最適化超入門
Takami Sato
条件付き確率場の推論と学習
条件付き確率場の推論と学習
Masaki Saito
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
Shunsuke Ono
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
スパースモデリング入門
スパースモデリング入門
Hideo Terada
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
Mais procurados
(20)
Introduction to YOLO detection model
Introduction to YOLO detection model
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
【解説】 一般逆行列
【解説】 一般逆行列
階層ベイズとWAIC
階層ベイズとWAIC
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
最適化超入門
最適化超入門
条件付き確率場の推論と学習
条件付き確率場の推論と学習
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
深層生成モデルと世界モデル
深層生成モデルと世界モデル
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
スパースモデリング入門
スパースモデリング入門
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Destaque
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
doboncho
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
wl820609
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Ryan B Harvey, CSDP, CSM
Manifold learning with application to object recognition
Manifold learning with application to object recognition
zukun
Topic Models
Topic Models
Claudia Wagner
The Gaussian Process Latent Variable Model (GPLVM)
The Gaussian Process Latent Variable Model (GPLVM)
James McMurray
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Self-organizing map
Self-organizing map
Tarat Diloksawatdikul
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Shuyo Nakatani
基底変換、固有値・固有ベクトル、そしてその先
基底変換、固有値・固有ベクトル、そしてその先
Taketo Sano
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
Kotaro Tanahashi
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
Hyperoptとその周辺について
Hyperoptとその周辺について
Keisuke Hosaka
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
LDA入門
LDA入門
正志 坪坂
Destaque
(17)
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Dimension Reduction And Visualization Of Large High Dimensional Data Via Inte...
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Methods of Manifold Learning for Dimension Reduction of Large Data Sets
Manifold learning with application to object recognition
Manifold learning with application to object recognition
Topic Models
Topic Models
The Gaussian Process Latent Variable Model (GPLVM)
The Gaussian Process Latent Variable Model (GPLVM)
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Self-organizing map
Self-organizing map
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
基底変換、固有値・固有ベクトル、そしてその先
基底変換、固有値・固有ベクトル、そしてその先
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
WSDM2016読み会 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Hyperoptとその周辺について
Hyperoptとその周辺について
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
LDA入門
LDA入門
Semelhante a CVIM#11 3. 最小化のための数値計算
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Cv 14th
Cv 14th
Junichi Ido
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
sleepy_yoshi
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
Zetavalue
Zetavalue
guest1637f9
086 独立性の検定
086 独立性の検定
t2tarumi
CVIM mean shift-3
CVIM mean shift-3
正志 坪坂
Pyramid
Pyramid
tomerun
University CodeSprint 4 - Magic value
University CodeSprint 4 - Magic value
satanic
WUPC2nd I問題
WUPC2nd I問題
Dai Hamada
コンピュータで全く使われない数表現
コンピュータで全く使われない数表現
Yu(u)ki IWABUCHI
Semelhante a CVIM#11 3. 最小化のための数値計算
(13)
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
Cv 14th
Cv 14th
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
Zetavalue
Zetavalue
086 独立性の検定
086 独立性の検定
CVIM mean shift-3
CVIM mean shift-3
Pyramid
Pyramid
University CodeSprint 4 - Magic value
University CodeSprint 4 - Magic value
WUPC2nd I問題
WUPC2nd I問題
コンピュータで全く使われない数表現
コンピュータで全く使われない数表現
Mais de sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
Mais de sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
Último
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Último
(9)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
CVIM#11 3. 最小化のための数値計算
1.
第11回CV勉強会 1章 バンドルアジャストメント 3. 最小化のための数値計算 (勉強会後修正版) 2011-04-16 Yoshihiko
Suhara @sleepy_yoshi
2.
目次 • 3. 最小化のための数値計算 –
3.1 最小二乗のためのニュートン法 – 3.2 ニュートン法以外の方法 – 3.3 実装方法 – 3.4 数値計算ライブラリの利用 2
3.
3. 最小化のための数値計算 3
4.
誤差の数値最小化 • 誤差関数の最小化 (最適化) –
観測データを用いて表現される誤差関数を最小化するパ ラメータを計算する • 今回の範囲では 𝐸 𝒙 = 1 2 𝑒𝑘 2 2𝑛𝑚 𝑘 – 誤差 • 二乗誤差 – パラメータ • カメラのパラメータ • 特徴点 4
5.
3.1. 最小二乗のためのニュートン法 5
6.
最小二乗法の計算 • 線形最小二乗法 – 閉じた解で求まる
(正規方程式) • 非線形最小二乗法 – 反復計算が必要 – 𝒙(𝑡+1) = 𝒙(𝑡) + 𝛿𝒙 6
7.
3.1.1 ガウス・ニュートン法 7
8.
最急降下法 • 一次微分 (一次近似)
を利用する方法 𝑥(𝑡+1) = 𝑥 𝑡 − 𝜂𝛻𝐸(𝑥 𝑡 ) • 誤差関数のパラメータに関する微分がわかればよい – ただし,進む方向しかわからないので,学習率が必要 – 学習率が大きいと最適解を飛び越えてしまう可能性 E(x) x 𝑥(1) 𝑥(2) 8
9.
ニュートン法 • 二次微分 (二次近似)
を利用する方法 𝑥(𝑡+1) = 𝑥 𝑡 − 𝐇−1 𝛻𝐸 𝑥 𝑡 – 解の周辺での収束が早い • 二階微分の情報 (ヘッセ行列) が必要 – さらにヘッセ行列の逆行列計算も必要 E(x) x 𝑥(1) 𝑥(2) 𝑥(3) 9
10.
ニュートン法 (一変数の場合) • テイラー展開
(二次の項まで) 𝑓 𝑥 + 𝛿𝑥 = 𝑓 𝑥 + 𝑓′ 𝑥 𝛿𝑥 + 1 2 𝑓′′ 𝑥 𝛿𝑥 2 • 𝑓 𝑥 + 𝑓′ 𝑥 𝛿𝑥 + 1 2 𝑓′′ 𝑥 𝛿𝑥 2 • これを最小化する𝛿𝑥を求める – 𝛿𝑥で微分して0とおく 𝑓′ 𝑥 + 𝑓′′ 𝑥 𝛿𝑥 = 0 𝛿𝑥 = − 𝑓′ 𝑥 𝑓′′ 𝑥 10
11.
ニュートン法 (多変数の場合) • 多変数の場合 •
𝐸 𝒙 + 𝛿𝒙 = 𝐸 𝒙 + 𝒈𝑇 𝛿𝒙 + 1 2 𝛿𝒙𝑇 H𝛿𝒙 • gはEの勾配ベクトル,Hはヘッセ行列 • 右辺を𝛿𝒙で微分して0とおくと以下を得る 𝛿𝒙 = −H−1 𝒈 11
12.
ヘッセ行列が正定値である必要性 • ヘッセ行列が正定値=二次微分が正 – 二次近似が全てのxについて凸関数になっていると いう保証 –
そうでなければ,どこかで凹となる次元が発生 E(x) x 𝑥(𝑘) 𝑥(𝑘+1) これはマズい 12
13.
ガウス・ニュートン法 ≠ ニュートン法 •
ガウス・ニュートン法 ∈ ニュートン法 – ニュートン法の実現方法の一種 • ガウス・ニュートン法を利用する目的 – ヘッセ行列を計算するのは大変 – 逆行列を計算してはいけない (数値計算の常識) – ヤコビ行列の積によって表現 13
14.
ガウス・ニュートン法とは • 𝐻 ≈
𝐽𝑇 𝐽という近似を用いたニュートン法 – 𝐽はヤコビ行列 • 𝐻 ≈ 𝐽𝑇 𝐽の精度が高くなるのは最小解付近や eの二階微分が小さい場合など (後で証明) 14
15.
ヤコビ行列 • J = 𝑑𝒆 𝑑𝒙 = 𝜕𝑒1 𝜕𝑥1 ⋯ 𝜕𝑒1 𝜕𝑥𝑛 ⋮
⋱ ⋮ 𝜕𝑒𝑘 𝜕𝑥1 ⋯ 𝜕𝑒𝑘 𝜕𝑥𝑛 • 𝐻 ≈ J𝑇J • J𝑇 J = 𝜕𝑒𝑖 𝜕𝑥1 2 𝑘 𝑖=1 ⋯ 𝜕𝑒𝑖 𝜕𝑥1 𝜕𝑒𝑖 𝜕𝑥𝑛 𝑘 𝑖=1 ⋮ ⋱ ⋮ 𝜕𝑒𝑖 𝜕𝑥𝑛 𝜕𝑒𝑖 𝜕𝑥1 𝑘 𝑖=1 ⋯ 𝜕𝑒𝑖 𝜕𝑥𝑛 2 𝑘 𝑖=1 15
16.
ヤコビ行列を使った表現 • 𝑎 ≡
−𝒈 = −J𝑇 𝒆 なぜ? • 𝒈 = 𝜕𝐸 𝜕𝒙1 ⋮ 𝜕𝐸 𝜕𝒙𝑛 𝜕𝐸 𝜕𝒙1 = 𝜕 1 2 𝒆𝑘 2 𝑘 𝜕𝒙1 = 𝒆𝑘 𝜕𝒆𝑘 𝜕𝒙1 𝑘 • JT = 𝜕𝑒1 𝜕𝑥1 ⋯ 𝜕𝑒𝑘 𝜕𝑥1 ⋮ ⋱ ⋮ 𝜕𝑒1 𝜕𝑥𝑛 ⋯ 𝜕𝑒𝑘 𝜕𝑥𝑛 𝒆 = 𝒆1 ⋮ 𝒆𝑘 16
17.
ガウス・ニュートン近似の導出 • 誤差関数𝐸を𝑥𝑖で微分 𝜕𝐸 𝜕𝑥𝑖 = 𝒆𝑘 𝜕𝒆𝑘 𝜕𝑥𝑖 𝑘 •
さらに𝑥𝑗で微分 𝜕𝐸 𝜕𝑥𝑖𝜕𝑥𝑗 = 𝜕𝒆𝑘 𝜕𝑥𝑖 𝜕𝒆𝑘 𝜕𝑥𝑗 +𝒆𝑘 𝜕2 𝒆𝑘 𝜕𝑥𝑖𝜕𝑥𝑗 𝑘 • 𝒙が解に近いと 𝒆𝑘 ≈ 0 ∀𝑘 より 𝜕𝐸 𝜕𝑥𝑖𝜕𝑥𝑗 ≈ 𝜕𝒆𝑘 𝜕𝑥𝑖 𝜕𝒆𝑘 𝜕𝑥𝑗 𝑘 17
18.
アルゴリズム 1. 適当な初期値𝒙を設定 2. パラメータ𝒙におけるJ𝑇 Jおよび−J𝑇 𝐞
を計算 3. JT J 𝛿𝒙 = −J𝑇 𝒆 を解いて 𝛿𝒙 を算出 4. 更新 𝒙 ← 𝒙 + 𝛿𝒙 5. 収束判定 – 変化量 𝛿𝐸 /|𝐸|あるいは 𝛿𝒙 / 𝒙 が十分小さ いとき終了.そうでなければ2へ. 18
19.
おさらい • 線形最小二乗法は閉じた解でパラメータが求 まる – そもそも反復計算がいらない •
ガウス・ニュートン法は誤差関数を二乗和の 形で表現できないと利用できない • よって,ガウス・ニュートン法はまさしく非線形 最小二乗法のための方法 19
20.
3.1.2. レベンバーグ・マーカート法 20
21.
レベンバーグ・マーカート法 • ガウス・ニュートン法+最急降下法 – 初期は最急降下法で進み,解の近くでガウス・ ニュートン法に切り替える –
ダンピングファクタ𝜆を利用 (𝜆 ≥ 0) • 𝜆大: 最急降下法 • 𝜆 = 0: ガウス・ニュートン法 – J𝑇J + 𝜆I 𝛿𝒙 = −J𝑇𝒆 • 解釈 – 𝛿𝒙 = − J𝑇J + 𝜆I −1 J𝑇𝒆 21
22.
𝜆の設定方法 1. 適当な値から始める 2. (21)式を解いて𝛿𝒙を求める 3.
E 𝒙 + 𝛿𝒙 ≥ 𝐸(𝒙)の場合,𝜆を10倍する.そ うでなければ,𝜆を0.1倍する 4. 収束しなければ2.に戻る E(x) x 上ってしまったら最急降下法気味に 下がる限りはガウス・ニュートン法気味に 22
23.
3.2. ニュートン法以外の方法 23
24.
ニュートン法以外の方法 • ニュートン法の派生アルゴリズムは,標準的 に使用すべし – 準ニュートン法 •
ヘッセ行列の分解コストが大きい場合にのみ 共役勾配法の使用を検討すればよい • ニュートン法の計算を削減することは可能 – 後述 24
25.
補足 • NLPや機械学習応用分野においては準 ニュートン法であるBFGS (L-BFGS)
法がよく使 われる – 基本的に誤差関数は凸関数であることが多い – 他には共役勾配法も有効な場合もある 25
26.
3.3. 実装方法 26
27.
3.3.1 更新量の計算 27
28.
線型方程式の計算 • ニュートン法における反復では,以下の線型 方程式を効率よく計算することがカギとなる A𝛿𝒙 =
𝒙 • 逆行列を使えば以下の式で求まるが,計算 量,精度で問題あり 𝛿𝒙 = A−1 𝒙 – 数値計算の常識 28
29.
線型方程式の解法 • 一般の行列Aに対する選択肢 – ガウスの消去法 –
LU分解 – コレスキー分解 • 行列Aが対称かつ正定値の場合 29
30.
LU分解とコレスキー分解 • LU分解 (A
= LU) A = ⋯ 𝟎 ⋮ ⋱ ⋮ ⋯ ⋯ ⋮ ⋱ ⋮ 𝟎 ⋯ • コレスキー分解 (A = LLT ) A = ⋯ 𝟎 ⋮ ⋱ ⋮ ⋯ ⋯ ⋮ ⋱ ⋮ 𝟎 ⋯ 𝐿 𝑈 𝐿𝑇 𝐿 30
31.
コレスキー分解を用いた解法 • 準備 – 𝑦
≡ L𝑇𝛿𝒙 とおく – A𝛿𝒙 = LL𝑇 𝛿𝒙 = L𝒚 = 𝒂 • 手順 1. Aをコレスキー分解し,Lを得る 2. L𝒚 = 𝒂 を𝒚について解く • Lが三角行列なので,Lの行を上から順番に処理すれ ば計算できる 3. LT δ𝒙 = 𝒚をδ𝒙について解く • 上記の逆 31
32.
補足: 前進代入と後退代入 = 𝑦1 𝑦2 𝑦𝑛 = 𝛿𝑥1 𝛿𝑥𝑛−1 𝛿𝑥𝑛 32
33.
コレスキー分解の処理 • 省略 – 行列の数値計算の文献を参照 •
行列の行数分だけ平方根の計算が必要 – 修正コレスキー分解 33
34.
その他の方法 • ガウスの消去法 – 計算量が若干大きい •
等価な線型最小二乗法を解く J𝛿𝒙 + 𝒆 2 → min. – 導出 • JTJ𝛿𝒙 = −JT𝒆 • J𝛿𝒙 + 𝒆 = 0 • 閉じた解で求めるために二乗 – その際のレベンバーグ・マーカート法は(23)となる • 優決定線型方程式の計算 34
35.
補足: 優決定,劣決定 • 優決定 –
変数の数<方程式の数 – 解が存在しない可能性 • 劣決定 – 変数の数>方程式の数 – 解は複数存在 35
36.
3.3.2 疎行列の扱い 36
37.
疎行列 • バンドル調整が対象とする多くの問題ではヤ コビ行列やヘッセ行列は疎行列になる – 𝑒𝑖が𝑥𝑗に依存していなければ𝜕𝑒𝑖/𝜕𝑥𝑗は常に0 •
SFMの例 – はある画像上の像の誤差 – この画像に関連しないカメラの姿勢に依存しない – 図1.3 37
38.
疎行列の活用方法 • (1) 行列の実装方法 –
非ゼロ成分だけを保存しておく – 例) Boost, Sparse BLAS – 図1.3(c) # y軸は対数スケール • (2) 得られる行列を疎行列にする – 元の行列が疎でも,計算途中で非ゼロ成分が発 生することがある (fill-in) – Aを直接コレスキー分解するよりも,PAPT を分解 する方が疎となるような置換Pを利用 • ただ,最適な置換Pを計算するのはNP 38
39.
3.3.4 パラメータの分割 39
40.
Resection-intersection • SFMの未知パラメータ 𝒙
の分割 – カメラのパラメータ 𝒙1 – 点の空間座標 𝒙2 • 片方を固定して交互にパラメータ探索 (1) 𝒙1を固定して,𝜕𝐸/𝜕𝒙2 = 𝟎の解𝒙2を計算 (2) 𝒙2を固定して,𝜕𝐸/𝜕𝒙1 = 𝟎の解𝒙1を計算 • 利点 – (1), (2)いずれかが線形に行える場合,反復計算なしに解 を求めれ,残ったパラメータを反復計算して求めることが できる 40
41.
ブロック分割の利用 A11 A12 A21 A22 𝛿𝒙1 𝛿𝒙2 = 𝒂1 𝒂2 …
(24) A11𝛿𝒙1 + A12𝛿𝒙2 = 𝒂1 A21𝛿𝒙1 + A22𝛿𝒙2 = 𝒂2 • 𝛿𝒙2 = 𝐴22 −1 (−𝐴21𝛿𝒙1 + 𝒂2) を代入し,以下を得る A11 − A12A22 −1 A21 𝛿𝒙1 = 𝒂1 − A12A22 −1 𝒂2 … (25a) A22𝛿𝒙2 = 𝒂2 − A21𝛿𝒙1… (25b) • これを順に計算すれば,(24)式を直接解いた𝛿𝒙が得られる 41
42.
補足: シューア補行列 • A11
− A12A22 −1 A21はA11のシューア補行列と 呼ばれる A11 A12 A21 A22 −1 ≡ 𝐵11 𝐵12 𝐵21 𝐵22 としたとき, • 𝐵11 = A11 − A12A22 −1 A21 となる性質がある 42
43.
ブロック小行列を用いた逆行列の計算 • ブロック分解を用いると,効率よく計算可能 • A22
= A1 ⋯ 𝟎 ⋮ ⋱ ⋮ 𝟎 ⋯ A𝑛 • A22 −1 = A1 −1 ⋯ 𝟎 ⋮ ⋱ ⋮ 𝟎 ⋯ 𝐴𝑛 −1 43
44.
3.4. 数値計算ライブラリの利用 44
45.
数値計算ライブラリ • 最適化ライブラリ – MATLAB
(Optimization Toolbox) • lsqnonlin関数 – Trust-region法,レベンバーグ・マーカート法,ガウス・ニュートン法 – R • optim関数 – Nelder-Mead法,BFGS法, L-BFGS-B法, CG法,SANN法 • 線型代数演算ライブラリ – LAPACK • 数値計算ライブラリ – BLAS – BLAS亜種 45
46.
まとめ 46
47.
まとめ • 非線形最小二乗法の最適化手法の紹介 – ガウス・ニュートン法 –
レベンバーグ・マーカート法 • 実装方法の解説 – コレスキー分解を用いた線型方程式の計算 – 疎行列の活用方法 – パラメータ分割 • 数値計算ライブラリの紹介 47
48.
感想 • フリーで利用可能な最適化ライブラリはかな り充実している – けど,何をどう選択すればよいのかわからない
• 解きたい問題をどう定式化するかによって利 用可能な/得意なツールは異なってくる – その勘所をつけたいなぁ • 数値計算の常識を身につけたい 48
49.
参考文献 • 金谷健一.これなら分かる最適化数学.共立 出版 (2005). –
ガウス・ニュートン近似やレベンバーグ・マーカー ト法の導出もあり • 伊理正夫・藤野和建.数値計算の常識.共立 出版 (1985). – 「逆行列よさようなら」 – 数値計算のノウハウが詰まっている 49
50.
Thank you! 50
Baixar agora