SlideShare uma empresa Scribd logo
1 de 42
第14回コンピュータビジョン勉強会@関東




                       idojun
Image stitching
Image stitching
Base 画像

               (投影+) warping

                               alignment +blending



Target 画像
Traditional image stitching
                  Chen(1995), Szeliski(1996)




• 平面で構成されたシーン,あるいは固定
  された視点から撮影されたシーンでのみ
  統合が可能.
Overview: Affine stitching
              1. 局所特徴量を用いた対
                 応点探索
              2. Base画像をTarget画
                 像に合うように変換
                 (Global affine)
              3. 更に詳細なaffine変換
                 群を近似して求める
                 (実際には1.と同時)
              4. 画像を統合する
3D-reconstruction
• Affine/homographic stitching は,3次元世界の投影の
  特殊な場合とみなすことができる.が,問題点も多い.
    – 3次元再構成は,画像の重なり領域でのみ定義される.
    – 3次元再構成の要である,正確なカメラ姿勢復元と外れ値に
      頑健なマッチングは非常に困難で,未だ研究対象.
    – カメラが大きく回転したり,重なり領域のサイズが不適当な
      場合,カメラ姿勢推定は精度が低下.
• これらの問題は,stitchingにおいては良く発生する.

•   F.Dornaika and R.Chung. Mosaicking images with paralla. Signal
    Processing: Image Communication, 2004
•   Z.Qi and J.Cooperstock. Overcoming parallax and sampling density
    issues in image mosaicing of non-planar scenes. BMVC, 2007.
•   F.Liu, M.Gleiher, H.Jin and A.Agarwala. Content-preserving warps for
    3D video stabilization. ACM Trans. Graph.,2009
2D non-rigid warping approach
• Thin plate spline, as-rigid-as-possible warping,
  motion coherence などの2次元非剛体変換アプ
  ローチ.
• 滑らかさを拘束条件に持つ一般的なマッチング問
  題と考えることで,パラメトリック変換の疎性を
  避ける.
• しかし,オクルージョン領域に対する汎化性能が
  犠牲になるので,stitchingで直接利用されること
  は殆どない.
Proposed approach
• Global affine 変換を,varying affine
  stitching field で代替する手法を提案.
  – 画像全体を1つのaffine parameterで変換す
    るのではなく,個々に最適な(かつ滑らかに
    変化する)affine parameterを求め,それを
    利用する.
Affine stitching field

                                                      X座標,y座標
    –   ������ ������2×1 : ������2 → ������6

    –    ∆������������   6×1   = ������ ������0������   1   ; ������0������   2                ������������ = ������������������������������������������ + Δ������������
i番目の特徴点の,global affineからのズレ
    –   ������������×6 = ������1 , … , ������������ ������ , Δ������������×6 = Δ������1 , … , Δ������������        ������


    –   ������0������ =    ������, ������ , ������������������������ ������������������������������������������������������������
               ������������ 1 ������������ 2 ������2������                       ������������ 3
    –   ������������ = ������������ 4 ������������ 5                     ������0������ + ������������ 6
               ������������×2                  ������������×������            ������������×1

 Warping後のbase画像特徴                         Warping前のbase画像特徴
Overview: Affine stitching field
Base point set’s alignment
• Base point set と target point set 間の
  対応点探索と,affine stitching field の計
  算を同時に行う.

                         ������         ������

  ������ ������01:������ ������1:������ =                     ������ ������0������ − ������������ , ������������   + 2������������������������2   これを最大化
                        ������=1       ������=1

                                   ������ 2
                                 −
   ここで ������ ������, ������ =             ������ 2������2
Overview: conditional probability
Minimization: cost function

                          ������ ′ ������    2
Ψ A = min                                ������������               正則化項
      ′������ ������        ������2    ������′ ������


             ������              ������

������ ������ = −          log             ������ ������0������ − ������������ , ������������    + 2������������������������2 + ������Ψ ������   これを最小化
            ������=1            ������=1
Minimization: simplify
 ������������������ ������������ , ������0������ = ������(������0������ − ������������ , ������������ )
                                                                                                E-step
                                         ������������������ ������������ , ������0������
  ������������������ ������������ , ������0������ =
                             ������ ������������������    ������������ , ������0������ + 2������������������t2


   ������ ������������+1 − ������ ������������
       ������   ������
                                                  ������������������ ������������������+1 , ������0������
≤−                 ������������������ ������������ , ������0������ ������������������                                + ������ Ψ ������������+1 − Ψ ������������
                                                     ������������������ ������������������ , ������0������
      ������=1 ������=1

= ������ ������������+1 , ������

              ������     ������                                                      2
       1                                              ������0������ − ������������������+1
  ������ =                    ������������������ ������������ , ������0������                                    + ������Ψ ������������+1      これを最小化
       2                                                       ������������2
            ������=1 ������=1
Minimization
  ������������                                 ������
         = ������1 ������2 … ������������ + 2������ Δ������������+1 ������ −1
������������������+1
                                        ������
          = ������ + 2������ Δ������������+1                 ������ −1 = 06×������
                                   ������
   ⇒ ������������ + 2������ Δ������������+1                 = 06×������                         M-step


           ������
                 ������������������ ������������ , ������0������
 ������������ =                              ������ ������������������+1 − ������0������ ������ ������0������
                        ������������2
          ������=1

                   ������(1) ������3×3          03×3                                                      T
 ������ ������    6×6    =                                      ������ ������         = z(1) z(2) 1 z(1) z(2) 1
                      03×3           ������(2) ������3×3                6×1




                 詳しい導出は,Appendix A: Affine Coherence を参照
Algorithm
• Input: ������������ , ������������ , aglobal
• While ������������ < ������������������������������������������������������:
    – While No convergence:
        • Eval             ������������������ ������������������ , ������0������   from ������������
        • Determine ������������+1                         from ������������������ ������������������ , ������0������
    – End
    – ������������ = ������������������ , ������������������������������ ������ < 1
• End
• Output: ������������������������������������������������������������������������������
Stitching field
• 単純に探索窓を利用して対応点探索を行い
  stitching fieldを生成すると,外挿が困難になる.
Analysis
• Stitching field は,「真の変換関数」の疎な近似表現
    • Depth境界を滑らかに近似,特徴点のみから全ピクセルの変換を推定
       ⇒誤差は避けられない
                     • 上:単純なV字型のdepthモ
                       デル.
                     • 下:depthの(連続性のな
                       い)急激な変化を伴うモデ
                       ル.
                     • 500x500の画像に投影.
                     • 625個の特徴点を用いて推
                       定(1:400).
                     • モデル回りを0.3[rad]回転
Blending
•   G:base画像,RB:target画像
•   Depth境界で誤差が生じるが,Blending後は知覚的には正しい画像
Reference: blending
• L.H.Chan and A.A.Efros. Automatic
  generation of an infinite panorama.
  Technical Report 2007.
• P.Perez, M.Gangnet and A.Blake, Poisson
  image editing. ACM Trans. Graph 2003.
• A.Agrwala, M.Dontceva, M.Agrawal,
  S.Drucker, A.Colbum, B.Curless,
  D.Salesin and M. Cohen, Interactive
  digital photomantage. ACM Trans. Graph
  2004.
Poisson Image Editing
                 SIGGRAPH 2003
Poisson equation
• Poisson solution
  Δ������ = div������, ������������������������ Ω ������������������������ ������                    = ������ ∗
                                                   ������Ω            ������Ω




• Discrete poisson solver
   ������������ ������������ −             ������������ =             ������������������         ������������������ ������������������ ������, ������ , ������������������ = ������������ − ������������
                 ������∈������������            ������∈������������
Demo: poisson blending
Demo: poisson blending
Demo: poisson blending
Demo: poisson blending
Demo: poisson blending
Applications
• Re-shoot
  – 小さなオーバーラップ,大きなオクルージョン
    (人物と背景が干渉している)といったコピー&
    ペーストで対応が難しい場合にも統合が可能.
• Panoramic stitching
  – Homographic mosaicingや3D reconstruction
    が困難な画像列を統合できる.
• Matching
  – 特徴点の集合同士をマッチするので,descriptor
    の変化に影響を受けにくい.A-SIFTを用いた場
    合よりも良い結果を得られる.
Re-shoot(1)




(a) A girl passing the time by playing chess with herself.
(b) Two people alterating as photographers to obtain a group poto.
Re-shoot(2)
Photometricな変化は,SIFT descriptorに影響をあたえてしまう.




    (c) The changing seasons at the famous Kiyomizu temple in Japan.
Re-shoot(3)




(d) The passage of time at the Archbishop’s palace in Prague.
Panoramic stitching
Matching
      SIFTと比較して40%増のマッチ
Conclusion
• 滑らかに変化する affine field を利用した
  画像 stitching アルゴリズム
• 画像間の視差を(ある程度)許容する
 – 物理的に異なる位置から撮影された画像を統
   合できる
Reference: Book
• Computer Vision: Algorithms and
  Applications, Richard Szeliski
  – Chapter 9: Image stitching
Appendix B: Additional Results

•   Panorama creation
•   Protrusion handling
•   Re-shoot
•   Comparison with other warping
    techniques
    – Motion coherence based relaxation
    – Dense matching techniques
Panorama creation
本文中に出てきたパノラマ画像の範囲拡大版
Protrusion handling
画像中の突出部は,本アルゴリズムの弱点.
Blendingにより,見た目は自然になっている.




   Strong depth deviation


                            Post blending result
Re-shoot
数か月離れて撮影された画像の統合.




Auto-stitch により統合された画像.
完全な視点固定回転ではないので,一貫性に欠ける.
Comparison with other warping techniques

(左)motion coherence based relaxation と (右)affine based relaxation との比較
Comparison with other warping techniques
              Warping画像の比較.

                              Our Sparse SIFT warping




SIFT flow



                              Large displacement flow
おわり

Mais conteúdo relacionado

Mais procurados

(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)Morpho, Inc.
 
Rでマンデルブロ集合
Rでマンデルブロ集合Rでマンデルブロ集合
Rでマンデルブロ集合Yoshiteru Kamiyama
 
Or seminar2011final
Or seminar2011finalOr seminar2011final
Or seminar2011finalMikio Kubo
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアルShunsuke Ono
 
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature FilterMorpho, Inc.
 
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)Akira Asano
 
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」Akira Asano
 
TopCoder SRM614 解説
TopCoder SRM614 解説TopCoder SRM614 解説
TopCoder SRM614 解説EmKjp
 
Androidで画像処理リベンジ
Androidで画像処理リベンジAndroidで画像処理リベンジ
Androidで画像処理リベンジDaisuke Takai
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMMMorpho, Inc.
 
Crfと素性テンプレート
Crfと素性テンプレートCrfと素性テンプレート
Crfと素性テンプレートKei Uchiumi
 
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)Akira Asano
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料Ken'ichi Matsui
 
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜Tomoki Yoshida
 
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Shuyo Nakatani
 
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...Shunsuke KITADA
 

Mais procurados (20)

CVIM mean shift-3
CVIM mean shift-3CVIM mean shift-3
CVIM mean shift-3
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
Rでマンデルブロ集合
Rでマンデルブロ集合Rでマンデルブロ集合
Rでマンデルブロ集合
 
Or seminar2011final
Or seminar2011finalOr seminar2011final
Or seminar2011final
 
Gurobi python
Gurobi pythonGurobi python
Gurobi python
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアル
 
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
 
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)
2014年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2014. 5. 28)
 
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」
2013年度春学期 画像情報処理 第7回「主成分分析とKarhunen-Loève変換」
 
TopCoder SRM614 解説
TopCoder SRM614 解説TopCoder SRM614 解説
TopCoder SRM614 解説
 
Androidで画像処理リベンジ
Androidで画像処理リベンジAndroidで画像処理リベンジ
Androidで画像処理リベンジ
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
 
Crfと素性テンプレート
Crfと素性テンプレートCrfと素性テンプレート
Crfと素性テンプレート
 
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)
2015年度春学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2015. 6. 3)
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
 
NIPS 2010 読む会
NIPS 2010 読む会NIPS 2010 読む会
NIPS 2010 読む会
 
線形計画法入門
線形計画法入門線形計画法入門
線形計画法入門
 
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
 
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
 
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...
Digital Image Processing Chapter 5 – Image Restoration and Reconstruction- Fr...
 

Destaque

Image Interpolation Techniques with Optical and Digital Zoom Concepts
Image Interpolation Techniques with Optical and Digital Zoom ConceptsImage Interpolation Techniques with Optical and Digital Zoom Concepts
Image Interpolation Techniques with Optical and Digital Zoom Conceptsmmjalbiaty
 
Image interpolation
Image interpolationImage interpolation
Image interpolationKokuiSai
 
3d transformation computer graphics
3d transformation computer graphics 3d transformation computer graphics
3d transformation computer graphics University of Potsdam
 
textile warping
textile warpingtextile warping
textile warpingAmit kumar
 
3D transformation in computer graphics
3D transformation in computer graphics3D transformation in computer graphics
3D transformation in computer graphicsSHIVANI SONI
 
TEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkTEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkVolker Hirsch
 

Destaque (9)

Image Interpolation Techniques with Optical and Digital Zoom Concepts
Image Interpolation Techniques with Optical and Digital Zoom ConceptsImage Interpolation Techniques with Optical and Digital Zoom Concepts
Image Interpolation Techniques with Optical and Digital Zoom Concepts
 
Image Interpolation
Image InterpolationImage Interpolation
Image Interpolation
 
3 D Graphics
3 D Graphics3 D Graphics
3 D Graphics
 
Image interpolation
Image interpolationImage interpolation
Image interpolation
 
3d transformation computer graphics
3d transformation computer graphics 3d transformation computer graphics
3d transformation computer graphics
 
textile warping
textile warpingtextile warping
textile warping
 
3D transformation in computer graphics
3D transformation in computer graphics3D transformation in computer graphics
3D transformation in computer graphics
 
Interpolation Methods
Interpolation MethodsInterpolation Methods
Interpolation Methods
 
TEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkTEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of Work
 

Semelhante a Cv 14th

東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1hirokazutanaka
 
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Shuyo Nakatani
 
ディープラーニングのすごさを共有したい.pdf
ディープラーニングのすごさを共有したい.pdfディープラーニングのすごさを共有したい.pdf
ディープラーニングのすごさを共有したい.pdfYusuke Hayashi
 
Icml2011 reading-sage
Icml2011 reading-sageIcml2011 reading-sage
Icml2011 reading-sage正志 坪坂
 
自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章Hiroki Mizukami
 
多チャンネルバイラテラルフィルタの高速化
多チャンネルバイラテラルフィルタの高速化多チャンネルバイラテラルフィルタの高速化
多チャンネルバイラテラルフィルタの高速化Norishige Fukushima
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
Sec15 dynamic programming
Sec15 dynamic programmingSec15 dynamic programming
Sec15 dynamic programmingKeisuke OTAKI
 
画像からの倍率色収差の自動推定補正
画像からの倍率色収差の自動推定補正画像からの倍率色収差の自動推定補正
画像からの倍率色収差の自動推定補正doboncho
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) Takahiro (Poly) Horikawa
 
【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial StructuresTakeru Abe
 
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8Fujimoto Keisuke
 
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズムパターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズムMiyoshi Yuya
 
2値分類・多クラス分類
2値分類・多クラス分類2値分類・多クラス分類
2値分類・多クラス分類t dev
 
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」2013年度春学期 画像情報処理 第4回「離散フーリエ変換」
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」Akira Asano
 

Semelhante a Cv 14th (20)

東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
 
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
 
PRML chapter7
PRML chapter7PRML chapter7
PRML chapter7
 
Pyramid
PyramidPyramid
Pyramid
 
ディープラーニングのすごさを共有したい.pdf
ディープラーニングのすごさを共有したい.pdfディープラーニングのすごさを共有したい.pdf
ディープラーニングのすごさを共有したい.pdf
 
Icml2011 reading-sage
Icml2011 reading-sageIcml2011 reading-sage
Icml2011 reading-sage
 
自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章
 
多チャンネルバイラテラルフィルタの高速化
多チャンネルバイラテラルフィルタの高速化多チャンネルバイラテラルフィルタの高速化
多チャンネルバイラテラルフィルタの高速化
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Sec15 dynamic programming
Sec15 dynamic programmingSec15 dynamic programming
Sec15 dynamic programming
 
SVM
SVMSVM
SVM
 
画像からの倍率色収差の自動推定補正
画像からの倍率色収差の自動推定補正画像からの倍率色収差の自動推定補正
画像からの倍率色収差の自動推定補正
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
 
【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures
 
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8
CVIM最先端ガイド6 幾何学的推定のための最適化手法 3.5 - 3.8
 
CG2013 02
CG2013 02CG2013 02
CG2013 02
 
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズムパターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
 
2値分類・多クラス分類
2値分類・多クラス分類2値分類・多クラス分類
2値分類・多クラス分類
 
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」2013年度春学期 画像情報処理 第4回「離散フーリエ変換」
2013年度春学期 画像情報処理 第4回「離散フーリエ変換」
 

Cv 14th

  • 3. Image stitching Base 画像 (投影+) warping alignment +blending Target 画像
  • 4. Traditional image stitching Chen(1995), Szeliski(1996) • 平面で構成されたシーン,あるいは固定 された視点から撮影されたシーンでのみ 統合が可能.
  • 5. Overview: Affine stitching 1. 局所特徴量を用いた対 応点探索 2. Base画像をTarget画 像に合うように変換 (Global affine) 3. 更に詳細なaffine変換 群を近似して求める (実際には1.と同時) 4. 画像を統合する
  • 6. 3D-reconstruction • Affine/homographic stitching は,3次元世界の投影の 特殊な場合とみなすことができる.が,問題点も多い. – 3次元再構成は,画像の重なり領域でのみ定義される. – 3次元再構成の要である,正確なカメラ姿勢復元と外れ値に 頑健なマッチングは非常に困難で,未だ研究対象. – カメラが大きく回転したり,重なり領域のサイズが不適当な 場合,カメラ姿勢推定は精度が低下. • これらの問題は,stitchingにおいては良く発生する. • F.Dornaika and R.Chung. Mosaicking images with paralla. Signal Processing: Image Communication, 2004 • Z.Qi and J.Cooperstock. Overcoming parallax and sampling density issues in image mosaicing of non-planar scenes. BMVC, 2007. • F.Liu, M.Gleiher, H.Jin and A.Agarwala. Content-preserving warps for 3D video stabilization. ACM Trans. Graph.,2009
  • 7. 2D non-rigid warping approach • Thin plate spline, as-rigid-as-possible warping, motion coherence などの2次元非剛体変換アプ ローチ. • 滑らかさを拘束条件に持つ一般的なマッチング問 題と考えることで,パラメトリック変換の疎性を 避ける. • しかし,オクルージョン領域に対する汎化性能が 犠牲になるので,stitchingで直接利用されること は殆どない.
  • 8. Proposed approach • Global affine 変換を,varying affine stitching field で代替する手法を提案. – 画像全体を1つのaffine parameterで変換す るのではなく,個々に最適な(かつ滑らかに 変化する)affine parameterを求め,それを 利用する.
  • 9. Affine stitching field X座標,y座標 – ������ ������2×1 : ������2 → ������6 – ∆������������ 6×1 = ������ ������0������ 1 ; ������0������ 2 ������������ = ������������������������������������������ + Δ������������ i番目の特徴点の,global affineからのズレ – ������������×6 = ������1 , … , ������������ ������ , Δ������������×6 = Δ������1 , … , Δ������������ ������ – ������0������ = ������, ������ , ������������������������ ������������������������������������������������������������ ������������ 1 ������������ 2 ������2×������ ������������ 3 – ������������ = ������������ 4 ������������ 5 ������0������ + ������������ 6 ������������×2 ������������×������ ������������×1 Warping後のbase画像特徴 Warping前のbase画像特徴
  • 11. Base point set’s alignment • Base point set と target point set 間の 対応点探索と,affine stitching field の計 算を同時に行う. ������ ������ ������ ������01:������ ������1:������ = ������ ������0������ − ������������ , ������������ + 2������������������������2 これを最大化 ������=1 ������=1 ������ 2 − ここで ������ ������, ������ = ������ 2������2
  • 13. Minimization: cost function ������ ′ ������ 2 Ψ A = min ������������ 正則化項 ′������ ������ ������2 ������′ ������ ������ ������ ������ ������ = − log ������ ������0������ − ������������ , ������������ + 2������������������������2 + ������Ψ ������ これを最小化 ������=1 ������=1
  • 14. Minimization: simplify ������������������ ������������ , ������0������ = ������(������0������ − ������������ , ������������ ) E-step ������������������ ������������ , ������0������ ������������������ ������������ , ������0������ = ������ ������������������ ������������ , ������0������ + 2������������������t2 ������ ������������+1 − ������ ������������ ������ ������ ������������������ ������������������+1 , ������0������ ≤− ������������������ ������������ , ������0������ ������������������ + ������ Ψ ������������+1 − Ψ ������������ ������������������ ������������������ , ������0������ ������=1 ������=1 = Δ������ ������������+1 , ������ ������ ������ 2 1 ������0������ − ������������������+1 ������ = ������������������ ������������ , ������0������ + ������Ψ ������������+1 これを最小化 2 ������������2 ������=1 ������=1
  • 15. Minimization ������������ ������ = ������1 ������2 … ������������ + 2������ Δ������������+1 ������ −1 ������������������+1 ������ = ������ + 2������ Δ������������+1 ������ −1 = 06×������ ������ ⇒ ������������ + 2������ Δ������������+1 = 06×������ M-step ������ ������������������ ������������ , ������0������ ������������ = ������ ������������������+1 − ������0������ ������ ������0������ ������������2 ������=1 ������(1) ������3×3 03×3 T ������ ������ 6×6 = ������ ������ = z(1) z(2) 1 z(1) z(2) 1 03×3 ������(2) ������3×3 6×1 詳しい導出は,Appendix A: Affine Coherence を参照
  • 16. Algorithm • Input: ������������ , ������������ , aglobal • While ������������ < ������������������������������������������������������: – While No convergence: • Eval ������������������ ������������������ , ������0������ from ������������ • Determine ������������+1 from ������������������ ������������������ , ������0������ – End – ������������ = ������������������ , ������������������������������ ������ < 1 • End • Output: ������������������������������������������������������������������������������
  • 17. Stitching field • 単純に探索窓を利用して対応点探索を行い stitching fieldを生成すると,外挿が困難になる.
  • 18. Analysis • Stitching field は,「真の変換関数」の疎な近似表現 • Depth境界を滑らかに近似,特徴点のみから全ピクセルの変換を推定 ⇒誤差は避けられない • 上:単純なV字型のdepthモ デル. • 下:depthの(連続性のな い)急激な変化を伴うモデ ル. • 500x500の画像に投影. • 625個の特徴点を用いて推 定(1:400). • モデル回りを0.3[rad]回転
  • 19. Blending • G:base画像,RB:target画像 • Depth境界で誤差が生じるが,Blending後は知覚的には正しい画像
  • 20. Reference: blending • L.H.Chan and A.A.Efros. Automatic generation of an infinite panorama. Technical Report 2007. • P.Perez, M.Gangnet and A.Blake, Poisson image editing. ACM Trans. Graph 2003. • A.Agrwala, M.Dontceva, M.Agrawal, S.Drucker, A.Colbum, B.Curless, D.Salesin and M. Cohen, Interactive digital photomantage. ACM Trans. Graph 2004.
  • 21. Poisson Image Editing SIGGRAPH 2003
  • 22. Poisson equation • Poisson solution Δ������ = div������, ������������������������ Ω ������������������������ ������ = ������ ∗ ������Ω ������Ω • Discrete poisson solver ������������ ������������ − ������������ = ������������������ ������������������ ������������������ ������, ������ , ������������������ = ������������ − ������������ ������∈������������ ������∈������������
  • 28. Applications • Re-shoot – 小さなオーバーラップ,大きなオクルージョン (人物と背景が干渉している)といったコピー& ペーストで対応が難しい場合にも統合が可能. • Panoramic stitching – Homographic mosaicingや3D reconstruction が困難な画像列を統合できる. • Matching – 特徴点の集合同士をマッチするので,descriptor の変化に影響を受けにくい.A-SIFTを用いた場 合よりも良い結果を得られる.
  • 29. Re-shoot(1) (a) A girl passing the time by playing chess with herself. (b) Two people alterating as photographers to obtain a group poto.
  • 30. Re-shoot(2) Photometricな変化は,SIFT descriptorに影響をあたえてしまう. (c) The changing seasons at the famous Kiyomizu temple in Japan.
  • 31. Re-shoot(3) (d) The passage of time at the Archbishop’s palace in Prague.
  • 33. Matching SIFTと比較して40%増のマッチ
  • 34. Conclusion • 滑らかに変化する affine field を利用した 画像 stitching アルゴリズム • 画像間の視差を(ある程度)許容する – 物理的に異なる位置から撮影された画像を統 合できる
  • 35. Reference: Book • Computer Vision: Algorithms and Applications, Richard Szeliski – Chapter 9: Image stitching
  • 36. Appendix B: Additional Results • Panorama creation • Protrusion handling • Re-shoot • Comparison with other warping techniques – Motion coherence based relaxation – Dense matching techniques
  • 40. Comparison with other warping techniques (左)motion coherence based relaxation と (右)affine based relaxation との比較
  • 41. Comparison with other warping techniques Warping画像の比較. Our Sparse SIFT warping SIFT flow Large displacement flow