Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
第28回コンピュータビジョン勉強会＠関東（kanejaki担当分）
- 1. 1 MIL Machine Intelligence Lab. 複数枚の画像からの photo-consistency 3.2 デプスマップ復元 2015/3/28 第28回コンピュータビジョン勉強会＠関東 原田研究室 助教 金崎朝子
- 3. 3 MIL Machine Intelligence Lab. （図2.18）オクルージョン問題 • 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 平均 正しい深さ 平均したらダメな理由： オクルージョンが発生 しているカメラから計算 されるNCC（外れ値）を 足しこんでしまっている から。
- 4. 4 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 • 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 極大値 カーネル関数 カーネル関数和 外れ値に影響されにくい！
- 5. 5 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 • 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 極大値 カーネル関数 カーネル関数和 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 ： 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 外れ値に影響されにくい！
- 6. 6 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 • 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 ： 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） テクスチャー欠如 テクスチャー反復 註9 確証のない深さ値を効果的に フィルタリングすることで～[19] [19] Michael Goesele, Brian Curless, and Steven M. Seitz. Multi-view stereo revisited. CVPR, 2006. a depth value 𝑑 is 𝑣𝑎𝑙𝑖𝑑 if 𝑁𝐶𝐶 𝑅, 𝐶𝑗, 𝑑 > 𝑡ℎ𝑟𝑒𝑠ℎ for at least two views in 𝐂.
- 7. 7 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 • 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 ： 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [13] Neill D. Campbell, George Vogiatzis, Carlos Hernández, and Roberto Cipolla. Using Multiple Hypotheses to Improve Depth-Maps for Multi- View Stereo. ECCV, 2008. 図2.19 に該当 テクスチャー欠如 テクスチャー反復 滑らかさの regularization項 を加える！
- 8. 8 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 𝐸 𝑑 𝑝 = 𝑝∈𝐼 𝐸 𝑢(𝑑 𝑝) + 𝜆 (𝑝,𝑞)∈N 𝐸 𝑏(𝑑 𝑝, 𝑑 𝑞) regularization項 𝐸 𝑢 𝑑 𝑝 = −𝑔 𝑝 𝑑 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞 = 𝑑 𝑝 − 𝑑 𝑞 ・・・ピクセル𝑝の深さを𝑑 𝑝にするコスト ・・・隣り合うピクセル𝑝と𝑞の深さを 連続的（スムース）にするコスト 𝑝: 𝑑 𝑝: 𝐼: N: 𝜆: ピクセル 𝑝の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ [38] Oliver Woodford, Philip Torr, Ian Reid, and Andrew Fitzgibbon. Global stereo reconstruction under second-order smoothness priors. PAMI, vol.31, No. 12, 2009. 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞, 𝑑 𝑟 ≒ 𝑑 𝑝 − 2𝑑 𝑞 + 𝑑 𝑟 註10 こんなのも。
- 9. 9 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 𝐸 𝑑 𝑝 = 𝑝∈𝐼 𝐸 𝑢(𝑑 𝑝) + 𝜆 (𝑝,𝑞)∈N 𝐸 𝑏(𝑑 𝑝, 𝑑 𝑞) regularization項 𝐸 𝑢 𝑑 𝑝 = −𝑔 𝑝 𝑑 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞 = 𝑑 𝑝 − 𝑑 𝑞 ・・・ピクセル𝑝の深さを𝑑 𝑝にするコスト ・・・隣り合うピクセル𝑝と𝑞の深さを 連続的（スムース）にするコスト 𝑝: 𝑑 𝑝: 𝐼: N: 𝜆: ピクセル 𝑝の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ ふつう離散化して最適なの探す （ex. 0cm, 0.1cm, …, 10cmの100通り） MRF たとえば Graph-Cuts とかで解く @rezoolab @tackson5 ※（8月30日）コンピュータビジョン最適化勉強会@関東 の資料は素晴らしかったです
- 10. 10 MIL Machine Intelligence Lab. 複数枚の画像からのphoto-consistency 3.2 デプスマップ復元 以上です。