Mais conteúdo relacionado Semelhante a SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜 (20) SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜8. 物理ベースビジョンのはじまり(3)
1979年にBerthold Horn (MIT) 反射率地図(観測輝度と表面法線の関係)
・単一の輝度値からでは、一意に法線方向を定めることができない
Horn, Berthold & Sjoberg, Robert. (1979). Calculating the Reflectance Map. Applied optics. 18. 1770-9. 10.1364/AO.18.001770
13. 𝜔
𝒏
𝜃
𝑑𝐴
𝑑Φ
𝑋 𝑋
𝑑𝐴
𝐿 𝑋, 𝜔 = 𝑑2
Φ/𝑑𝜔𝑑𝐴𝑑𝜃𝐸 𝑋 = 𝑑Φ/𝑑𝐴
Irradiancece(イラディアンス)
放射照度(SI単位:W/m2)
Radiance(ラディアンス)
放射輝度(SI単位: W/𝑠𝑟−1
m2
)
画像生成の基礎
- 光の強さを表す単位、IrradianceとRadiance
17. 入射光の表面点におけるIrradianceと照射方向に対するRadianceの割合
・ヘルムホルツの相反性
- BRDFについて
𝜌 𝜔𝑖, 𝜔 𝑜 = 𝜌 𝜃𝑖, 𝜙𝑖, 𝜃 𝑜, 𝜙 𝑜 =
𝑑𝐿 𝑟(𝜃 𝑜, 𝜙 𝑜)
𝑑𝐸(𝜃𝑖, 𝜙𝑖)
=
𝑑𝐿 𝑟(𝜃 𝑜, 𝜙 𝑜)
𝐿𝑖 𝜃𝑖, 𝜙𝑖 𝜔𝑖 ∙ 𝑛 𝑑𝜔𝑖
𝜌 𝜃𝑖, 𝜙𝑖, 𝜃 𝑜, 𝜙 𝑜 = 𝜌 𝜃 𝑜, 𝜙 𝑜, 𝜃𝑖, 𝜙𝑖
・エネルギー保存則
∀𝜔𝑖
Ω
𝜌 𝜔𝑖, 𝜔 𝑜 cos 𝜃𝑖 𝑑𝜔 𝑜 ≤ 1
・非負性
𝜌 ≥ 0
画像生成の基礎
20. - BRDFの計測(MERL BRDF Database)
"A Data-Driven Reflectance Model", Wojciech Matusik, Hanspeter Pfister, Matt Brand and Leonard McMillan, ACM Transactions on Graphics 22, 3(2003), 759-769.
100種類の等方反射BRDFデータベース 1マテリアルあたり、90x90x180=1458000回撮影!(等方性)
画像生成の基礎
21. - 等方性と非等方性
𝜌 𝜔𝑖, 𝜔 𝑜 = 𝜌 𝜃𝑖, 𝜙𝑖, 𝜃 𝑜, 𝜙 𝑜𝜌 𝜔𝑖, 𝜔 𝑜 = 𝜌 𝜃𝑖, 𝜃 𝑜, |𝜙𝑖 − 𝜙 𝑜|
画像生成の基礎
37. 𝜌(𝒏, 𝒍, 𝒗)
𝒏
𝒍
𝒗
𝐼 𝑐(𝐼) 𝐼′
BRDF センサ上の
Irradiance
内部変換 輝度値
𝒍
𝒏
𝒗
𝜖 𝑰′ = 𝒄 𝑰 = 𝒄(𝒏 𝑻 𝒍𝝆 𝒏, 𝒍, 𝒗 + 𝝐)
無限遠点光源
(平行光源)
平行カメラ
𝒄
𝝆
モデル誤差
+
法線
光源
視点
下準備:フォトメトリックステレオ用の画像生成モデル(単純
化)
39. R. J. Woodham, Photometric Method for Determining Surface Orientation from Multiple Images. Optical Engineering 19(1)139–144 (1980).
画像生成モデル:
BRDF→ランバート拡散反射モデル+影は無
し
光源→既知平行光源(暗室を仮定)
カメラ→平行カメラ(RAW画像を利用)
ランバートフォトメトリックステレオ法
(1980)3枚(以上)の画像から被写体法線マップを復元
45. 𝐼 = 𝜌𝒏 𝑇
𝒍
観測輝度 法線
ベクトル
光源ベクトル
𝐼1 = 𝜌𝒏 𝑇
𝒍1
𝐼2 = 𝜌𝒏 𝑇 𝒍2
𝐼3 = 𝜌𝒏 𝑇 𝒍 𝟑
surface albedo(反射率)
𝒍1
𝒍 𝟐
𝒍3
𝐼1 𝐼2 𝐼3
ランバートフォトメトリックステレオ法の適用
画像
拡大
min
𝒙
𝒐 − 𝒙 𝑇 𝐿 2 𝒙 ≜ 𝜌𝒏
* 𝜌(= 𝒙 ) → 𝐼 = 𝜌𝒏 𝑇
𝒍
逆問題
51. min
𝜌,𝒏
𝒐 − 𝜌𝒏 𝑇 𝐿 2 ↔ min
𝜌,𝒏
𝒆 2 s. t. 𝑒i = 𝑜𝑖 − 𝜌𝒏 𝑇
𝒍𝑖
線形(𝐿2) 回帰問題
min
𝜌,𝒏
𝒐 − 𝜌𝒏 𝑇 𝐿 0↔ min
𝜌,𝒏
𝒆 0 s. t. 𝑒i = 𝑜𝑖 − 𝜌𝒏 𝑇
𝒍𝑖
スパース (𝐿0) 回帰問題
*𝐿0ノルムはゼロでない要素の数
池畑2012
Woodham1980
スパース回帰に基づくフォトメトリックステレオ
S. Ikehata et al., “Robust Photometric Stereo using Sparse Regression”, IEEE Computer Vision and Pattern
Recognition(CVPR), 2012.
・𝐿0ノルム最小化はスパースベイズ学習(SBL)によって実現
53. Q: スパース回帰の性能評価
スパース性が保たれている場合において有効
ランバート成分: 67.6%, Specular: 8.4%, Shadow: 24%
8.9 degree 0.53 degree
𝐿2 回帰 スパース回帰
ランバート成分: 34.2%, Specular: 65.8% (影をあらかじめ除外)
8.0 degree 4.0 degree
𝐿2 回帰 スパース回帰
inlier outlier
inlier outlier
20 set of 40 images (光源の方向数), Lambertian(拡散反射) + Cook-Torrance(鏡面反射)実験条件
error
error
57. (1) 撮影条件を固定 (Santo et al. ICCV2017Workshop)
- 深層ニューラルネットワーク(Fully Connected Network)を利用した初の手
法
- 学習において影をDropoutによって自動的に識別
😢トレーニング、テスト時の光源分布を固定
INTRODUCTION
(2) データごとに異なるネットワーク(Taniai and Maehara,
ICML2018)
- 観測画像を予測するための画像生成プロセスをデータから自己学習
- 画像枚数に応じたネットワークをデザイン
😢データごとに毎回学習が必要
フォトメトリックステレオに対して深層学習を適用する試み
(3) 各画像で得られた特徴マップをPooling(Chen et al. ECCV2018)
- 事前学習可能
- 光源方向が未知でも適用可能(Chen et al. CVPR2019)
😢光源方向の情報をMax poolingで圧縮→鏡面反射の方向のみから判断