SSII2018TS: コンピュテーショナルイルミネーション
•
1 gostou•3,245 visualizações
SSII2018 チュートリアル講演 TS1 6月13日(水) 9:45～11:05 (メインホール)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a SSII2018TS: コンピュテーショナルイルミネーション
Semelhante a SSII2018TS: コンピュテーショナルイルミネーション (20)
Mais de SSII
Mais de SSII (20)
Último
Último (10)
SSII2018TS: コンピュテーショナルイルミネーション
- 1. コンピュテーショナルイルミネーション ― 能動照明から能動光線空間へ ― 岡部孝弘 九州工業大学 大学院情報工学研究院 知能情報工学研究系 SSII2018チュートリアル講演 2018年6月13日
- 4. 光源とは？ • 光を発するもと – フラッシュ – プロジェクタ – ディスプレイ – （ライトステージ） – （3次元ディスプレイ） どのような光を発するのか？ 4
- 5. 光線空間（ライトフィールド） • 光線の自由度 光源＝光線空間を生成するもの (𝑥𝑥,𝑦𝑦,𝑧𝑧) 𝜃𝜃, 𝜙𝜙 𝜆𝜆 𝑡𝑡 • “光線”の輝度 – 単位面積・単位立体角・単位時間あたりのエネルギー – 7次元のプレノプティック関数：𝑃𝑃 𝑥𝑥, 𝑦𝑦, 𝑧𝑧, 𝜃𝜃, 𝜙𝜙, 𝜆𝜆, 𝑡𝑡 – 位置： 𝑥𝑥, 𝑦𝑦, 𝑧𝑧 – 方向： 𝜃𝜃, 𝜙𝜙 – 波長： 𝜆𝜆 – 時間： 𝑡𝑡 5
- 7. 受動照明と能動照明 • 受動照明 – 環境光下の画像を入力 • 能動照明 – 画像処理のために 照明条件を工夫・最適化 ✕〇 7
- 8. 能動照明から能動光線空間へ • 制御可能な光源の進化 – フラッシュ： 時間 – プロジェクタ： （投影中心から見た）方向・色・時間 – ライトステージ： （被写体から見た）方向・色・時間 – 3次元ディスプレイ： 位置・方向・色・時間 低自由度光源から高自由度光源へ 8
- 9. 本チュートリアルの概要 1. 自己紹介 2. コンピュテーショナルイルミネーションとは？ 3. 能動照明から能動光線空間へ –フラッシュ –プロジェクタ –ライトステージ –3次元ディスプレイ 4. まとめ 5. 謝辞 9
- 10. こんな方にお薦め • 画像センシングのために照明をひと工夫したい方 • 光源装置に興味のある方 • 明るさ解析・色解析に興味のある方 • コンピュテーショナルイルミネーションの研究動向を 知りたい方 10 チュートリアル質問ブース（14:15-16:00）で対応
- 11. フラッシュ 11
- 12. ストロボスコープ • 複数回発光• 一回発光 [The Edgerton Digital Collections] カメラ フラッシュ 12
- 13. 低照度シーンにおける撮影 • 撮影者のジレンマ：フラッシュを使うべきか否か – フラッシュなし： ノイズ（短時間露光） or ぶれ（長時間露光） – フラッシュあり： 色合いや陰影を台無しに 13
- 14. フラッシュ画像の併用 • フラッシュあり／なし画像の組合せによる画質改善 – 画質改善 [Eisemann 2004] – ノイズ除去 [Petschnigg 2004] 14
- 15. 画質改善の基本的なアイディア • 構成要素に分離 – 色・陰影 – large scale・details • 各要素の良さを融合 – フラッシュあり： テクスチャ（＋色） – フラッシュなし： 全体的な陰影（＋色） 位置合わせが必要 15
- 16. 近赤外フラッシュ画像の併用 • カラー画像と近赤外（NIR）画像を同時に撮影 – 近赤外フラッシュはカラー画像に干渉しない ⇒ 近赤外画像を手掛かりにノイズ除去 / ぶれ除去 IR camera color camera half mirror NIR visible light + NIR flash [S. Matsui, T. Okabe, M. Shimano, & Y. Sato, IPSJ TCVA 2010] 16
- 17. ノイズ除去：手法 • 短時間露光の場合 – ノイズによるカラー画像の画質低下 – カラー画像と近赤外画像のペアを利用 – 近赤外画像を手掛かりにした平滑化（joint non-local mean） 17
- 19. ぶれ除去：手法 • 長時間露光の場合 – ぶれによるカラー画像の画質低下 – 1枚のカラー画像を撮影中に複数の近赤外画像を撮影 – 近赤外画像列からカメラの動き（ぶれカーネル）を推定 – 逆たたみこみ演算によるぶれ除去 19
- 21. 参考文献① • ストロボスコープ – The Edgerton Digital Collections http://edgerton-digital-collections.org/ • 可視フラッシュ画像の併用 – Eisemann & Durand, “Flash photography enhancement via intrinsic relighting”, SIGGRAPH2004. – Petschnigg et al., “Digital photography with flash and no-flash image pairs”, SIGGRAPH2004. • 近赤外フラッシュ画像の併用 – Matsui, Okabe, Shimano, & Sato “Image enhancement of low- light scenes with near-infrared flash images”, IPSJ TCVA (2010). 21
- 22. プロジェクタ 22
- 23. プロジェクタ • 光線の自由度 – 方向： 𝜃𝜃, 𝜙𝜙 （投影中心から見た方向） – 波長： 𝜆𝜆 （通常はRGBの3原色） – 時間： 𝑡𝑡 シーンの各点を異なる明るさ・色で照明可能 𝜃𝜃, 𝜙𝜙 𝜆𝜆 𝑡𝑡 23
- 24. 直接成分と大域成分 • 直接成分 – 直接光の出射 • 大域成分 – 間接光の出射： 相互反射 表面下散乱 体積散乱・拡散 [Nayar 2006] 24
- 25. 直接・大域成分の分離 • 高周波パターン光の投影 – チェッカーパターンとその反転 – 白が投影されているとき： 𝐿𝐿+ = 𝐿𝐿𝑑𝑑 + ⁄𝐿𝐿𝑔𝑔 2 – 黒が投影されているとき： 𝐿𝐿− = ⁄𝐿𝐿𝑔𝑔 2 – 直接成分： 最大輝度値－最小輝度値 – 大域成分： 最小輝度値×2 ※最少で2枚の画像が必要 25
- 26. 直接・大域成分分離：結果 • 相互反射 • 表面下散乱 • 体積散乱 26
- 27. 直接・大域成分分離：応用 • 画質改善 • 形状復元 • 質感編集 27
- 28. DLPプロジェクタ • 時分割による色・明るさの生成 – DLPプロジェクタの構成： 白色光源 カラーホイール Digital Mirror Device – 色：カラーホイール RGB（W）フィルタの 高速回転 – 明るさ：DMD オン・オフの高速切替 28
- 29. DLPプロジェクタ＋高速度カメラ • 高速度カメラによるプロジェクタ出力の観察 – 色の高速変動：カラースイッチ – 明るさの高速変動：時間的ディザリング プロジェクタへの 入力画像 プロジェクタ出力の 撮影画像 DLPプロジェクタ＝照明条件を高速変化させる装置 0 255 29
- 30. 明るさの高速変動の利用 • 3次元形状復元 – DLPプロジェクタのリバースエンジニアリング – 時間的ディザリングに基づく対応付け [Narasimhan 2008] 30
- 31. 3次元形状復元：結果 • 静的シーン • 動的シーン 31
- 33. 色の高速変動の利用① • 分光反射率推定 – 物体表面の波長ごとの反射率 – 光源・カメラに依存しない – 照明色を変化させたときの画素値に基づいて推定 incident)(λl λ )(λs λ reflectance reflected)(λr λ [S. Han, I. Sato, T. Okabe, & Y. Sato, IJCV (2014)] 33
- 34. 動的シーンの分光反射率推定 • 色の高速変動を利用 – 通常のカメラ: 30 [fps] vs. 高速カメラ: 500 [fps] scene camera projector – 3原色の分光強度・カメラの分光感度既知，非同期 – 分光反射率の統計モデルを利用（少数基底の線形結合） 34
- 37. 色の高速変動の利用② • 多原色DLPプロジェクタの利用 – 原色分光強度の非破壊推定 – 高時間分解能分光センサ： ラインスキャン型ハイパースペクトルカメラ（エバ・ジャパン） [K. Maeda & T. Okabe, IPTA2016] 37
- 39. 明るさと色の高速変動の利用 • 動的シーンへの拡張 – 光源色ごとの直接・大域成分に分離 – DLPプロジェクタ＋高速度カメラ（フォトロン） – プロジェクタ入力画像は1枚 ⇒ 時間的ディザリング・カラースイッチ 39[鳥居 & 岡部, MIRU2017]
- 40. 光源色ごとの直接・大域成分分離 拡散反射 鏡面反射 表面下散乱 蛍光成分 直接成分 大域成分 40
- 41. 質感編集・照明シミュレーションへの応用 • 原動画 • 質感編集（蛍光物体の色） • 照明シミュレーション（RGBの比） • 質感編集（直接・大域の比） 41
- 42. 参考文献② • 直接成分と大域成分の分離 – Nayar et al., “Fast separation of direct and global components of a scene using high frequency illumination”, SIGGRAPH2006. • DLPプロジェクタ＋高速度カメラ – Narasimhan et al., “Temporal dithering of illumination for fast active vision”, ECCV2008. – Han, Sato, Okabe, & Sato, “Fast spectral reflectance recovery using DLP projector”, IJCV (2014). – Maeda & Okabe, “Acquiring multispectral light transport using multi-primary DLP projector”, IPTA2016. – 鳥居 & 岡部, “動的シーンにおける光源色ごとの直接・大域成分の 分離”, MIRU2017. (+ 鳥居，岡部，& 天野，MIRU2018) 42
- 43. ライトステージ 43
- 44. ライトステージ • 光線の自由度 – 方向： 𝜃𝜃, 𝜙𝜙 （被写体から見た方向） – 波長： 𝜆𝜆 （白色から多波長まで） – 時間： 𝑡𝑡 様々な方向から（様々な色で）被写体を一様に照明 𝜃𝜃, 𝜙𝜙 44
- 45. 照度差ステレオ • 物体表面の法線を推定する技術 – 複数枚の入力画像 – カメラ・被写体は固定，光源方向のみ変化 – 物体表面の明るさが光源方向に依存することを手掛り [Woodham 1980] 45
- 46. ランバート面の輝度 • 法線と光源方向の内積に依存 𝑖𝑖 = 𝜌𝜌𝑙𝑙 cos 𝜃𝜃 = 𝜌𝜌𝑙𝑙𝒔𝒔𝑇𝑇 𝒏𝒏 = 𝜌𝜌𝑙𝑙 𝑠𝑠𝑥𝑥 𝑛𝑛𝑥𝑥 + 𝑠𝑠𝑦𝑦 𝑛𝑛𝑦𝑦 + 𝑠𝑠𝑧𝑧 𝑛𝑛𝑧𝑧 46
- 47. 3枚の画像からの法線推定 • 連立一次方程式に帰着 – 光源の明るさと方向が既知 𝑖𝑖1 = 𝑙𝑙1 𝑠𝑠1𝑥𝑥 𝜌𝜌𝑛𝑛𝑥𝑥 + 𝑙𝑙1 𝑠𝑠1𝑦𝑦 𝜌𝜌𝑛𝑛𝑦𝑦 + 𝑙𝑙1 𝑠𝑠1𝑧𝑧 𝜌𝜌𝑛𝑛𝑧𝑧 ⋮ 𝑖𝑖1 𝑖𝑖2 𝑖𝑖3 = 𝑙𝑙1 𝑠𝑠1𝑥𝑥 𝑙𝑙1 𝑠𝑠1𝑦𝑦 𝑙𝑙1 𝑠𝑠1𝑧𝑧 𝑙𝑙2 𝑠𝑠2𝑥𝑥 𝑙𝑙2 𝑠𝑠2𝑦𝑦 𝑙𝑙2 𝑠𝑠2𝑧𝑧 𝑙𝑙3 𝑠𝑠3𝑥𝑥 𝑙𝑙3 𝑠𝑠3𝑦𝑦 𝑙𝑙3 𝑠𝑠3𝑧𝑧 𝜌𝜌𝑛𝑛𝑥𝑥 𝜌𝜌𝑛𝑛𝑦𝑦 𝜌𝜌𝑛𝑛𝑧𝑧 𝜌𝜌𝑛𝑛𝑥𝑥 𝜌𝜌𝑛𝑛𝑦𝑦 𝜌𝜌𝑛𝑛𝑧𝑧 = 𝑙𝑙1 𝑠𝑠1𝑥𝑥 𝑙𝑙1 𝑠𝑠1𝑦𝑦 𝑙𝑙1 𝑠𝑠1𝑧𝑧 𝑙𝑙2 𝑠𝑠2𝑥𝑥 𝑙𝑙2 𝑠𝑠2𝑦𝑦 𝑙𝑙2 𝑠𝑠2𝑧𝑧 𝑙𝑙3 𝑠𝑠3𝑥𝑥 𝑙𝑙3 𝑠𝑠3𝑦𝑦 𝑙𝑙3 𝑠𝑠3𝑧𝑧 −1 𝑖𝑖1 𝑖𝑖2 𝑖𝑖3 47
- 48. 近年のライトステージ • ユニークな装置 – USC: 6色×901方向 – Tuebingen: 14色×196方向 – Rochester: 6色×25方向 48
- 49. Kyutech Light Stage I • スペック – 半球面 – 半径：約75 [cm] – 32方向 – 9色 – 明るさ諧調：8bit – カメラ：Flea3（位置固定） • 作業量 – 撮影60分＋後処理120分 （6色×20方向） LED調光システム：（株）大野技術研究所 camera object 49
- 50. Kyutech Light Stage II • スペック – 球面 – 半径：約75 [cm] – 128方向 – 16色 – 明るさ諧調：10bit – カメラ：BU-50（位置固定） • 作業量 – 撮影90分＋後処理180分 （11色×70方向） LED調光システム：（株）大野技術研究所 50
- 53. 撮影方法 • 単純な撮影 – 1個ずつ点灯して撮影 • 多重化センシング – 複数同時に点灯して撮影 – 撮影後に“復号” [Schechner 2003] 53
- 54. 多重化センシング：結果 • 単純な撮影 • 多重化センシング – 短い計測時間 – 高いSN比 撮影画像 復号画像 54
- 55. 照明シミュレーション • 実写画像ベースの照明シミュレーション – 全方位光源分布＋ライトステージ 55[Paul Debevec Home Page]
- 56. マルチスペクトル照明シミュレーション • 全方位光源分布＋ライトステージ – カラーチャートを用いたマルチスペクトル化 – ライトステージのマルチスペクトル化（6原色） 56[LeGendre 2016] original RGBCAW RGBW RGB
- 57. 表面材質識別 • 画像に基づく識別（画素ごと） – 画素ごとの材質・状態 ⇒ 外観検査への応用 • 表面の見えは照明に依存 – 分光反射率 – ざらつき（表面粗さ） ⇒ 材質識別のために光源色・光源方向を最適化 [Gu & Liu, CVPR2012] [Liu & Gu, TPAMI 2014] 57
- 58. 2枚の濃淡画像に基づく手法 • スペクトルBRDFに基づく識別 – 特徴ベクトル： ⃗𝑥𝑥 （単一光源下の画素値を並べたもの） – 線形識別面：𝑤𝑤 𝑇𝑇 ⃗𝑥𝑥 + 𝑏𝑏 = 0 ⇒ 線形識別面の係数＝光源強度 58 負の係数あり ⇒ 2枚の画像の差分
- 60. 単一カラー画像に基づく手法 • スペクトルBRDFに基づく識別 – 特徴ベクトル： ⃗𝑥𝑥𝑟𝑟, ⃗𝑥𝑥𝑔𝑔, ⃗𝑥𝑥𝑏𝑏 – 線形識別面：𝑤𝑤𝑟𝑟 𝑇𝑇 ⃗𝑥𝑥𝑟𝑟 + 𝑤𝑤𝑔𝑔 𝑇𝑇 ⃗𝑥𝑥𝑔𝑔 + 𝑤𝑤𝑏𝑏 𝑇𝑇 ⃗𝑥𝑥𝑏𝑏 + 𝑏𝑏 = 0 – ワンショットで得られる識別面： 𝑤𝑤𝑟𝑟 𝑤𝑤𝑔𝑔 𝑤𝑤𝑏𝑏 ⃗𝑥𝑥𝑟𝑟 𝑇𝑇 ⃗𝑥𝑥𝑔𝑔 𝑇𝑇 ⃗𝑥𝑥𝑏𝑏 𝑇𝑇 𝑤𝑤 + 𝑏𝑏 = 0 𝑤𝑤𝑟𝑟 𝑤𝑤 𝑇𝑇 ⃗𝑥𝑥𝑟𝑟 + 𝑤𝑤𝑔𝑔 𝑤𝑤 𝑇𝑇 ⃗𝑥𝑥𝑔𝑔 + 𝑤𝑤𝑏𝑏 𝑤𝑤 𝑇𝑇 ⃗𝑥𝑥𝑏𝑏 + 𝑏𝑏 = 0 ⇒ 光源強度とモノクロ変換の同時最適化 （マージン最大化＋光源強度の非負値拘束） [C. Wang & T. Okabe, BMVC2017] 60
- 62. 反射成分の分離 • 拡散反射成分と鏡面反射成分 • 様々なCVやCG技術の前処理 – 照度差ステレオ（形状復元） – 照明シミュレーション – 質感（マテリアル）の編集 [N. Kobayashi & T. Okabe, ICPR2016] 62
- 63. 低ランク性とスパース性に基づく分離 • 画像集合を3次元データとして表現 – 画素 – 光源色 – 光源方向 • 3次元データの構造を利用 – 平面A上の画素値：ランク2 – 平面B上の拡散反射成分：ランク3 – 直線C上の鏡面反射成分：スパース ⇒ 低ランク性とスパース性を課した最適化 63
- 64. 反射成分分離：実験結果 input images diffuse reflection components specular reflection components white & frontal lighting 64
- 65. 光沢感の編集への応用 • 成分ごとに加工 – 光沢の強弱 – 光沢の拡がり 65
- 66. 蛍光成分の分離 • 拡散反射・鏡面反射 – 入射光と同じ波長の光を反射 • 蛍光 – 入射光と異なる波長の光を放射 [小屋松, 日高, 岡部, & レンシュ, MIRU2018] 赤：吸収スペクトル 緑：放射スペクトル 66
- 67. 狭帯域光源下の蛍光成分の分離 • 1枚の画像からの分離 – 拡散反射・鏡面反射の色＝光源色 – 蛍光の色＝物質固有（光源色に不変） – 蛍光の色の統計モデル 入力画像 反射成分 蛍光成分 67
- 68. 拡散反射物体のモデリング • 法線と分光反射率の推定 – 最小限必要な画像の枚数・光源の最適化 – 画像生成（relighting）などへの応用 68[M. Kitahara, T. Okabe, C. Fuchs, & H. Lensch, VISAPP2015]
- 69. 蛍光物体のモデリング • 法線と分光特性の推定 – 分光反射率・蛍光吸収スペクトル・蛍光色相 – 画像生成（relighting）などへの応用 69[北原 & 岡部, FIT2017]
- 70. 形状復元のための波長最適化 • 鏡面反射成分に頑健な法線推定 – 鏡面反射・拡散反射：入射光と同じ波長 – 蛍光：入射光よりも長い波長 ⇒ 光源色とカメラバンドを画素ごとに最適化 70[北原, 岡部, & 佐藤, CVIM-201803] 光源色 カメラバンド 最適化 平均
- 71. 参考文献④ • 多重化センシング – Schechner et al., “A theory of multiplexed illumination”, ICCV2003. • 照明シミュレーション – Paul Debevec Home Page http://www.pauldebevec.com/ – LeGendre et al., “Practical multispectral lighting reproduction”, TOG (2016). • 素材識別 – Liu & Gu, “Discriminative illumination: per-pixel classification of raw materials based on optimal projections of spectral BRDF”, TPAMI (2014). (+ Gu & Liu，CVPR2012) – Wang & Okabe, “Joint optimization of coded illumination and grayscale conversion for one-shot raw material classification”, BMVC2017. 71
- 72. 参考文献⑤ • 反射成分の分離 – Kobayashi & Okabe, “Separating reflection components in images under multispectral and multidirectional light sources”, ICPR2016. – 小屋松, 日高, 岡部, & レンシュ, “狭帯域光源下画像の反射成分と 蛍光成分の分離”, MIRU2018. • 物体のモデリング – Kitahara, Okabe, Fuchs, & Lensch, “Simultaneous estimation of spectral reflectance and normal from a small number of images”, VISAPP2015. – 北原 & 岡部, “蛍光物体のモデリングとその任意照明下画像の 生成・編集への応用”, FIT2017. – 北原, 岡部, & 佐藤, “蛍光に基づく照度差ステレオのための光源 波長と観測波長の最適化”, CVIM研究会2018年3月 72
- 73. 3次元ディスプレイ 73
- 74. 3次元ディスプレイ • 光線の自由度 – 位置： 𝑥𝑥, 𝑦𝑦 – 方向： 𝜃𝜃, 𝜙𝜙 – 波長： 𝜆𝜆 （白色から多波長まで） – 時間： 𝑡𝑡 74 𝑥𝑥, 𝑦𝑦 𝜃𝜃, 𝜙𝜙 𝜆𝜆 様々な光線を生成：シーンを照らす光線空間を制御
- 75. 2層LCDによる3次元ディスプレイ • 2層LCD – 単純な手法 – 適応的な手法： 行列の分解に帰着 75[Lanman 2010]
- 76. 3層LCDによる3次元ディスプレイ 76[Wetzstein 2012] • 3層LCD – テンソルの分解に帰着
- 77. 光線空間シミュレーション • オフラインの照明シミュレーション – 様々な光線に照らされたシーンの実写画像を獲得 – 重ね合わせの原理に基づいて組合せ – プロジェクタ＋回転台 77[Masselus 2003]
- 78. 光線空間プロジェクション • オンラインの照明シミュレーション – 所望の光線空間を投影 – 複数プロジェクタ＋レンズアレイ 78[Zhou 2015]
- 79. 5自由度照明シミュレーション • 位置・方向の4自由度と波長（色）の1自由度 – リアプロジェクションディスプレイ＋透過型液晶 – 様々な光線に照らされたシーンの実写画像を獲得 – オフラインの照明シミュレーション 79[S. Oya & T. Okabe, CPCV2017] 𝑐𝑐
- 80. 効率的な画像の獲得 • 単純な手法 – 光線を1本ずつ生成 • 並列化 – 干渉しない光線を 同時に生成 • 並列化＋多重化 – 多重化センシングと 組合せ 80
- 82. 参考文献⑥ • 3次元ディスプレイ – Lanman et al., “Content-adaptive parallax barriers: optimizing dual-layer 3D displays using low-rank light field factorization”, SIGGRAPH Asia 2010. – Wetzstein et al., “Tensor displays: compressive light field syn- thesis using multilayer displays with directional backlighting”, TOG (2012). • 照明シミュレーション – Masselus et al., “Relighting with 4D incident light fields”, SIGGRAPH2003. – Zhou et al., “Light field projection for lighting reproduction”, VR2015. – Oya & Okabe, “Image-based relighting with 5-D incident light fields”, CPCV2017. 82
- 84. 謝辞 • 研究者（敬称略） – 佐藤洋一（東大），佐藤いまり，島野美保子（国立情報学研究所）， 天野敏之（和歌山大），Hendrik Lensch（テュービンゲン大） • 学生（敬称略） – Shuai Han，松井壮介（東大） – 北原雅啓，小林直人，前田茅乃，大矢慎之介，小屋松孝治， Chao Wang，鳥居杜朗，日高大地（九工大） • 研究助成 – 基盤研究（B）：25280057，17H01766 – 新学術領域研究（多元質感知）：16H01676，18H05011 – SCAT研究助成 84