O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
プロジェクタ・カメラシステムが変わる！ -時間同期の制御で広がる応用- 2019.6.13 久保 尋之（奈良先端大）
自己紹介 2011.4~2012.3 早稲田大学 応用物理学科 森島研究室 助手 2012.4~2014.5 キヤノン株式会社 2014.6~ 奈良先端科学技術大学院大学 助教 2017.1~2018.1 カーネギーメロン大学 研究員 専門分野...
では，さっそくはじめましょう
カメラを使ったセンシング マルチビューステレオ 光線切断法 照度差ステレオ パッシブ計測 アクティブ計測 空間コード化法 位相シフト法 照明を使わない 照明を使う 平行光源 スリット光 プロジェクタ プロジェクタ お手軽 精確
パッシブセンシング 様々な方向から撮られた 大量の写真から被写体の立体形状を復元 映像分野では「フォトグラメトリ」として知られ 実際の映画やゲームなどで使用されるように． CapturingReality https://www.capturi...
カメラを使ったセンシング マルチビューステレオ 光線切断法 照度差ステレオ パッシブ計測 アクティブ計測 空間コード化法 位相シフト法 照明を使わない 照明を使う 平行光源 スリット光 プロジェクタ プロジェクタ お手軽 精確
アクティブセンシング 点光源，平行光源 プロジェクタ 照度差ステレオ法などはこれでOK 複雑な模様を投影してそれをヒントに 高度なセンシングが出来る．
プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い これらの課題を解決するプロジェクタ－カメラシステムの紹介
ステレオビジョン 空間位置の計算 カメラが１つだと足りない ? ? ?
ステレオビジョン 空間位置の計算 ! ２つ（以上）だと決定できる
平行ステレオ法 平行ステレオ 対応点を見つけるために カメラは並行に置くと有利 空間位置の計算 ! ２つ（以上）だと決定できる
プロジェクタ－カメラ プロジェクタ－カメラ空間位置の計算 ! ２つ（以上）だと決定できる 他方をプロジェクタにすると 対応点が見つかりやすくなる
プロジェクタ－カメラシステムの前提 プロジェクタから出た光はシーンで １度だけ反射してカメラに届く 実際には物体間で相互反射して 間接光が生じる． 相互反射による間接光に弱い 直接反射光 間接光
プロジェクタ－カメラシステムの撮影環境 時間的に安定した暗室． 環境光はプロジェクタ光より十分弱い． 実際には室内光があったり， 屋外撮影だと太陽光などの影響を受ける． 外乱光に弱い
一般的なプロジェクタの特性 できるだけ明るさを稼ぎたいため， （カメラで言う）開口が大きい 被写界深度が浅い 被写体が少しズレただけで投影パターンがすぐボケる ぼけちゃう・・・
ぼけちゃう・・・
プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い 今日のメイントピック
ならば 相互反射による間接光に弱い 直接光だけの画像を創り出せばいいじゃない ケーキを食べれば 良いじゃない
撮影画像から直接光成分と間接光成分を分離する
その前に．．．
点光源で照らしてみる
点光源で照らしてみる 直接光成分
間接光成分 点光源で照らしてみる
間接光成分 点光源で照らしてみる 直接光成分 点光源を使っても 間接光成分の除去は難しそう！
プロジェクタを使ってみよう
プロジェクタで照らしてみる プロジェクタで投影する映像
プロジェクタで照らしてみる 直接光成分 直接光成分 プロジェクタで投影する映像
プロジェクタで照らしてみる 間接光成分 間接光成分 プロジェクタで投影する映像
プロジェクタで照らしてみる 間接光成分直接光成分 プロジェクタを普通に使っても 間接光成分の除去は難しそう！ プロジェクタで投影する映像
プロジェクタで1行だけ照らしてみる プロジェクタで投影する映像
カメラでその行だけ撮影してみる
カメラでその行だけ撮影してみる 直接光成分(?) プロジェクタで投影する映像
カメラでその行だけ撮影してみる 間接光成分 プロジェクタで投影する映像
カメラでその行だけ撮影してみる エピポーラ間接光 水平な平面上（エピポーラ面）で生じる間接光 [O’Toole et al., 2015] 直接光成分(?) 直接光成分 エピポーラ光
カメラでその行だけ撮影してみる プロジェクタで投影する映像 カメラから得られた画像
スイープしてシーン全体に適用 エピポーラ光 プロジェクタで投影する映像 カメラから得られた画像
エピポーラ画像の合成 エピポーラ画像
シミュレーションしてみた • コーネルボックスのなかに ディスコボールが入っているシーンで レンダリング ディスコボール ディスコボール からの間接光
レンダリングした画像群 256枚 256px
得られた画像群から生成したEpipolar画像 エピポーラ画像 非エピポーラ画像通常画像 間接光の影響が明らかに低減
実シーンで検証 設定したシーン 硬貨 蝋 トランプ ミラー ボール 通常画像
実シーンで検証 通常画像
実験結果 56 通常画像 エピポーラ画像 非エピポーラ画像 実実験においても間接光の影響の低減ができた
ここまでのまとめ プロジェクターカメラシステムで 間接光成分を除去した直接光だけの画像を取得したい 「水平ライン投影+スイープ計測」で エピポーラ画像を合成するのはアイディアに思える それでもまだ撮影回数が多すぎる（縦の解像度と同数） ことが問...
いいプロジェクタ－カメラシステムがあるらしい M. O'Toole, S. Achar, S.G. Narasimhan, K.N. Kutulakos. "Homogeneous Codes for Energy-Efficient Illu...
いろいろなプロジェクタ • 透過型液晶方式（LCD方式) • 反射型液晶方式（LCoS方式） エプソン：https://www.epson.jp/products/dreamio/3lcd/ レーザー走査方式 液晶パネル方式 DLP方式 液晶プ...
レーザー走査方式とは 2D MEMS ミラー MEMS: Micro-Electro-Mechanical Systems 金野，久保，レーザー走査式超小型プロジェクタ, 2010. レーザー光源 レーザー走査方式 • 半導体レーザーを使用 •...
2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみ...
高速度カメラでの撮影 株式会社フォトロン様 無償デモ撮影をお許しいただきありがとうございました．
2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみ...
液晶パネル方式 レーザー走査方式 ずっと光りっぱなし 時刻 1/60 [s] ある画素の輝度プロファイル ある画素の輝度プロファイル 時刻時刻 強い光が一瞬当たる
レーザー走査式プロジェクタの照明タイミング レーザー走査式プロジェクタ
行番号 0 1 2 H-1 時刻 レーザー走査式プロジェクタの照明タイミング レーザー走査式 照明のダイアグラム
（書き換えました） 行位置 0 H 時刻 レーザー走査式 レーザー走査式プロジェクタの照明タイミング（改） 照明のダイアグラム
シャッター方式の違い 撮影画像 グローバルシャッター方式
シャッター方式の違い 撮影画像 撮影画像 ローリングシャッター方式 グローバルシャッター方式
ローリングシャッターカメラの露光タイミング ローリングシャッター方式 行位置 0 時刻
露光時間の制御 露光時間 短 露光時間 長 露光時間 行位置 0 時刻 露光時間 行位置 0 時刻
スキャンライン速度の制御 ピクセルクロック 小 行位置 0 時刻 行位置 0 時刻 ピクセルクロック 大 角度の調整 角度の調整
スキャン開始タイミングの制御 開始遅延 無 行位置 0 時刻 遅延 有 行位置 0 時刻 オフセットの調整
エピポーラ光 プロジェクタで投影する映像 カメラから得られた画像 （復習）やりたかったこと
行位置 0 時刻0 レーザー走査式 プロジェクタ エピポーラ画像取得 行位置 0 時刻 ローリングシャッター カメラ
0 時刻 行位置 0 時刻 0 時刻 撮影結果 [O’Toole et al., 2015] 通常画像 エピポーラ画像（直接光成分） 非エピポーラ画像（間接光成分）
プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い
0 10 20 30 40 50 400 500 600 700 800 環境光をバンドパスフィルタでカット プロジェクタ光 環境光（ノイズ） R G B 研究室の蛍光灯 0 10 20 30 40 50 400 500 600 700 800...
環境光をシャッター速度でカット ある画素に照射される光量の遷移 普通のプロジェクタ レーザースキャンプロジェクタ 時刻 時刻 1/60 [s] ※同じ明るさのプロジェクタと仮定 光が当たっているときだけ露光すればいい 理想的には 1/(60*7...
プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い
レーザー光源だからフォーカスフリー 2D MEMS ミラー レーザー光源
実装
計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ SONY MPCL1A ローリングシャッター CMOSカメラ ids UI-3240CP センサ：e2v EV76C バリフォー...
MEMSミラーのシグナルを観測 プロジェクタのリフレッシュレートのカタログ値と一致 16.6 ms (60.2 Hz) SONY MP-CL1A モバイルプロジェクタ （殻割り済み）
同期回路 入力波形 出力波形 Arduinoがミラーからのシグナルを受け取り解析，トリガシグナルをカメラに渡す．
プロジェクタ投光モジュール 2D MEMSミラー レーザー光源 参考：https://www.kguttag.com/2015/07/13/celluonsonymicrovision-optical-path/
走査ミラー式プロジェクタ（参考） 2D MEMSミラー （HD301D1のもの）
プロジェクターカメラの同期 行位置 時刻 行位置 時刻 シャッター：グローバルシャッター プロジェクタの照明 カメラの露光
時刻 行位置 時刻 シャッター：グローバルシャッター 行位置 ローリングシャッターに変更 プロジェクタの照明 カメラの露光
通常画像 エピポーラ画像（直接光成分） 撮影結果 [O’Toole et al., 2015]
リアルタイムデモ
研究事例紹介：Acquiring and Characterizing Plane-to-Ray Indirect Light Transport Hiroyuki Kubo, Suren Jayasuriya, Takafumi Iwaguc...
ライトトランスポートの成分分離 直接光成分 間接光 (大域)成分 通常画像 [Nayar et al. 2006] … 短距離 間接光 長距離 間接光 表面下 散乱光 鏡面反射の 間接光
先行研究 通常画像 エピポーラ画像（直接光成分） エピポーラ幾何を用いたライトトランスポートの成分分離 [O’Toole et al. 2015]
エピポーラ画像 [O’Toole et al., 2015] 本手法の自由度1: 同期遅延時間 (row-offset) ・Offsetを飛び越える 間接光を計測可能 本手法の自由度2 : 露光時間 (照明バンド幅) ・入射光量の増減が可能 同...
計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ ローリングシャッター CMOSカメラ
同期遅延時間と観測画像(Delay-sweep) 通常画像 同期遅延時間を変えたときの画像 （Delay-Sweep）
露光時間 (照明バンド幅)と観測画像(Exposure-sweep) 通常画像 露光時間（照明バンド幅）を変えたときの画像 （Exposure-Sweep）
2自由度の観測結果（Image-stack) delay exposure thin 露光時間 （照明 バンド幅） thick 同期遅延時間（オフセット）- far + far (delay [us], exposure [us]) [O’To...
遅延プロファイルを用いたライトトランスポートの解析 0 0.05 0.1 0.15 0.2 0.25 0.3 -3000 -2000 -1000 0 1000 2000 3000 delay [us] book reflection candl...
プロファイルを用いた材質推定 Target materials 分類結果 Fat free milk 2% milk Whole milk toothpaste Liquid soap 90%以上の推定精度を達成 （非線形SVMを使用） 0 0...
肌の内部構造の可視化 通常画像 エピポーラ画像 同期遅延時間 大 (far-range indirect light) 適切な同期遅延時間 （極近距離の間接光 600us）
リアルタイムデモ
研究事例紹介２：Slope Disparity Gating using a Synchronized Projector-Camera System Tomoki Ueda, Hiroyuki Kubo, Suren Jayasuriya, ...
本手法で用いる撮像システム 129 レーザー走査式プロジェクタ ローリングシャッタカメラ 側面図 レーザー走査式 プロジェクタ ローリングシャッタ カメラ
ある時間での撮像 照明と露光が交差する領域のみを撮像 130 レーザー走査式 プロジェクタ ローリングシャッタ カメラ Invisible Visible Invisible 照明面 露光面
同期走査による撮像 照明と露光が交差しながら走査する面上のみを撮像 131 撮像面 レーザー走査式 プロジェクタ ローリングシャッタ カメラ
撮像領域の制御 • カメラの同期に用いる３つのパラメータを変更 – 同期タイミングの遅延時間，走査速度，露光時間 撮像面の奥行き，傾き，厚みを制御 132 同期遅延 走査速度 露光時間 次スライド以後で各制御について説明します． ① ② ③
① 同期遅延時間による奥行き制御 • カメラの露光開始を遅延 • 遅延時間𝑡 𝑑によって撮像面までの距離を制御 133 遅延時間𝑡 𝑑 : 小 遅延時間𝑡 𝑑 : 大 距離 : 大 距離 : 小 𝑡 𝑑秒後 𝑡 𝑑秒後 撮像面 撮像面 ①
② 走査速度による傾き制御 • カメラの走査速度𝑣𝑐を変更 • プロジェクタとの走査速度差によって撮像面の傾きを制御 134 𝑣𝑐制御 プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 = プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 > 撮像...
• カメラの露光時間𝑡 𝑒を変更 • 相対的にプロジェクタが複数ラインを照明 • 撮像面の厚みを制御 ③ 露光時間による厚み制御 135 撮像領域 𝑡 𝑒秒 露光 ③ レーザー走査式 プロジェクタ ローリングシャッタ カメラ
撮像領域の定式化 136 プロジェクタ カメラ スクリーン座標系とワールド座標系の関係式 (𝑥 𝑝, 𝑦𝑝) (𝑥 𝑐, 𝑦𝑐) スクリーン座標系 ワールド座標系 (𝑥 𝑤, 𝑦 𝑤, 𝑧 𝑤) 同期遅延時間𝑡 𝑑, 走査速度𝑣𝑐による 露光行...
システムの実装 • 3Dプリンタで造形したモデルを用いて プロジェクタとカメラを縦状に配列 • プロジェクタの走査信号を カメラの撮像トリガ信号に使用 137 構築した撮像システム
奥行きと傾き制御の実験 • 角度の異なるプレートを等間隔に配置 • プレートの正面から撮像 138 通常画像シーン -15° 0° +15° +15° -15°0° 15cm 15cm
139 0°のプレートだけ 撮像 シーン 通常画像 撮像面 同期遅延時間を変化させて 撮像した結果 遅延時間を5760~6860μsで変化させて 撮像した結果
シーン 通常画像 140 撮像面撮像面 +15°のプレートだけ 撮像 -15°のプレートだけ 撮像 走査速度を変化させて 撮像した結果
141 通常画像シーン 撮像面を制御することで異なる姿勢と位置の物体だけが撮像されている +15°のプレートだけ撮像 0°のプレートだけ撮像 -15°のプレートだけ撮像
厚み制御の実験 • 同じ角度・異なる距離にプレートを配置 • プレートの正面から撮像 142 通常画像シーン All +15°10cm 20cm
143 シーン 通常画像 撮像 領域 露光時間を変化させて 撮像した結果 露光時間を50~1550μsで変化させて 撮像した結果
応用１：リアルタイムマスキング • セキュリティ性の高い物体を除いて 撮像領域を設定 145 通常画像 提案手法 撮像領域 シーン 撮像したくない 領域 暗証番号
応用１：リアルタイムマスキング 146 • シーンに合わせて撮像領域を制御 机だけを撮像 通常画像 机以外を撮像 or
Image Inpaintingへの利用 • 撮像領域以外の物体はマスクされて撮像 • Image Inpaintingの入力画像として利用可能 147 Image Inpainting* 出力結果 *Newson+ 2017 机だけを撮像した...
応用２：霧中でのイメージング • 撮像領域外の霧を写さないことで物体を鮮明化 • ペーパークラフトで作成したシーンに霧を発生 148 シーン 通常画像 標識と車だけを鮮明化 霧撮像 システム 撮像領域撮像領域外 物体 路面だけを鮮明化
まとめ • 時間同期式プロジェクターカメラシステムで マシンビジョンにブレイクスルーを • 波長，露光タイミングの制御が高い頑健さをもたらす • 近距離間接光で皮下構造（血管）の可視化[Kubo et al., 2018]や， Slope Di...
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
Próximos SlideShares
Carregando em…5
×

SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～

3.610 visualizações

Publicada em

SSII2019 チュートリアル講演
TS2 6月13日(木) 9:00～10:20 (メインホール)

プロジェクタとカメラを用いたセンシングは３次元形状の計測をはじめとして様々な用途で用いられています。本チュートリアルでは、近年注目を浴びている時間同期式のプロジェクタ・カメラシステムによって計測の頑健性が飛躍的に向上することを改めて紹介し、さらにロボットビジョン、自動運転、メディカルイメージングなど、その様々な応用に講演者の研究事例を交えて解説します。

Publicada em: Tecnologia
no profile picture user

  • Entre para ver os comentários

SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～

  1. 1. プロジェクタ・カメラシステムが変わる！ -時間同期の制御で広がる応用- 2019.6.13 久保 尋之（奈良先端大）
  2. 2. 自己紹介 2011.4~2012.3 早稲田大学 応用物理学科 森島研究室 助手 2012.4~2014.5 キヤノン株式会社 2014.6~ 奈良先端科学技術大学院大学 助教 2017.1~2018.1 カーネギーメロン大学 研究員 専門分野： コンピュータグラフィクス コンピュータビジョン 久保 尋之（くぼ ひろゆき）
  3. 3. では，さっそくはじめましょう
  4. 4. カメラを使ったセンシング マルチビューステレオ 光線切断法 照度差ステレオ パッシブ計測 アクティブ計測 空間コード化法 位相シフト法 照明を使わない 照明を使う 平行光源 スリット光 プロジェクタ プロジェクタ お手軽 精確
  5. 5. パッシブセンシング 様々な方向から撮られた 大量の写真から被写体の立体形状を復元 映像分野では「フォトグラメトリ」として知られ 実際の映画やゲームなどで使用されるように． CapturingReality https://www.capturingreality.com/Showcase マルチビューステレオ
  6. 6. カメラを使ったセンシング マルチビューステレオ 光線切断法 照度差ステレオ パッシブ計測 アクティブ計測 空間コード化法 位相シフト法 照明を使わない 照明を使う 平行光源 スリット光 プロジェクタ プロジェクタ お手軽 精確
  7. 7. アクティブセンシング 点光源，平行光源 プロジェクタ 照度差ステレオ法などはこれでOK 複雑な模様を投影してそれをヒントに 高度なセンシングが出来る．
  8. 8. プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い これらの課題を解決するプロジェクタ－カメラシステムの紹介
  9. 9. ステレオビジョン 空間位置の計算 カメラが１つだと足りない ? ? ?
  10. 10. ステレオビジョン 空間位置の計算 ! ２つ（以上）だと決定できる
  11. 11. 平行ステレオ法 平行ステレオ 対応点を見つけるために カメラは並行に置くと有利 空間位置の計算 ! ２つ（以上）だと決定できる
  12. 12. プロジェクタ－カメラ プロジェクタ－カメラ空間位置の計算 ! ２つ（以上）だと決定できる 他方をプロジェクタにすると 対応点が見つかりやすくなる
  13. 13. プロジェクタ－カメラシステムの前提 プロジェクタから出た光はシーンで １度だけ反射してカメラに届く 実際には物体間で相互反射して 間接光が生じる． 相互反射による間接光に弱い 直接反射光 間接光
  14. 14. プロジェクタ－カメラシステムの撮影環境 時間的に安定した暗室． 環境光はプロジェクタ光より十分弱い． 実際には室内光があったり， 屋外撮影だと太陽光などの影響を受ける． 外乱光に弱い
  15. 15. 一般的なプロジェクタの特性 できるだけ明るさを稼ぎたいため， （カメラで言う）開口が大きい 被写界深度が浅い 被写体が少しズレただけで投影パターンがすぐボケる ぼけちゃう・・・
  16. 16. ぼけちゃう・・・
  17. 17. プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い 今日のメイントピック
  18. 18. ならば 相互反射による間接光に弱い 直接光だけの画像を創り出せばいいじゃない ケーキを食べれば 良いじゃない
  19. 19. 撮影画像から直接光成分と間接光成分を分離する
  20. 20. その前に．．．
  21. 21. 点光源で照らしてみる
  22. 22. 点光源で照らしてみる 直接光成分
  23. 23. 間接光成分 点光源で照らしてみる
  24. 24. 間接光成分 点光源で照らしてみる 直接光成分 点光源を使っても 間接光成分の除去は難しそう！
  25. 25. プロジェクタを使ってみよう
  26. 26. プロジェクタで照らしてみる プロジェクタで投影する映像
  27. 27. プロジェクタで照らしてみる 直接光成分 直接光成分 プロジェクタで投影する映像
  28. 28. プロジェクタで照らしてみる 間接光成分 間接光成分 プロジェクタで投影する映像
  29. 29. プロジェクタで照らしてみる 間接光成分直接光成分 プロジェクタを普通に使っても 間接光成分の除去は難しそう！ プロジェクタで投影する映像
  30. 30. プロジェクタで1行だけ照らしてみる プロジェクタで投影する映像
  31. 31. カメラでその行だけ撮影してみる
  32. 32. カメラでその行だけ撮影してみる 直接光成分(?) プロジェクタで投影する映像
  33. 33. カメラでその行だけ撮影してみる 間接光成分 プロジェクタで投影する映像
  34. 34. カメラでその行だけ撮影してみる エピポーラ間接光 水平な平面上（エピポーラ面）で生じる間接光 [O’Toole et al., 2015] 直接光成分(?) 直接光成分 エピポーラ光
  35. 35. カメラでその行だけ撮影してみる プロジェクタで投影する映像 カメラから得られた画像
  36. 36. スイープしてシーン全体に適用 エピポーラ光 プロジェクタで投影する映像 カメラから得られた画像
  37. 37. エピポーラ画像の合成 エピポーラ画像
  38. 38. シミュレーションしてみた • コーネルボックスのなかに ディスコボールが入っているシーンで レンダリング ディスコボール ディスコボール からの間接光
  39. 39. レンダリングした画像群 256枚 256px
  40. 40. 得られた画像群から生成したEpipolar画像 エピポーラ画像 非エピポーラ画像通常画像 間接光の影響が明らかに低減
  41. 41. 実シーンで検証 設定したシーン 硬貨 蝋 トランプ ミラー ボール 通常画像
  42. 42. 実シーンで検証 通常画像
  43. 43. 実験結果 56 通常画像 エピポーラ画像 非エピポーラ画像 実実験においても間接光の影響の低減ができた
  44. 44. ここまでのまとめ プロジェクターカメラシステムで 間接光成分を除去した直接光だけの画像を取得したい 「水平ライン投影+スイープ計測」で エピポーラ画像を合成するのはアイディアに思える それでもまだ撮影回数が多すぎる（縦の解像度と同数） ことが問題 目的 アイディア 課題
  45. 45. いいプロジェクタ－カメラシステムがあるらしい M. O'Toole, S. Achar, S.G. Narasimhan, K.N. Kutulakos. "Homogeneous Codes for Energy-Efficient Illumination and Imaging", ACM SIGGRAPH 2015
  46. 46. いろいろなプロジェクタ • 透過型液晶方式（LCD方式) • 反射型液晶方式（LCoS方式） エプソン：https://www.epson.jp/products/dreamio/3lcd/ レーザー走査方式 液晶パネル方式 DLP方式 液晶プロジェクタの仕組み • 今日の主役 • デジタルマイクロミラーデバイス
  47. 47. レーザー走査方式とは 2D MEMS ミラー MEMS: Micro-Electro-Mechanical Systems 金野，久保，レーザー走査式超小型プロジェクタ, 2010. レーザー光源 レーザー走査方式 • 半導体レーザーを使用 • MEMSミラーで反射して映像を投影 超小型 フォーカスフリー 高解像度 低消費電力
  48. 48. 2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみた 垂直方向は水平方向に比べ十分ゆっくり動く
  49. 49. 高速度カメラでの撮影 株式会社フォトロン様 無償デモ撮影をお許しいただきありがとうございました．
  50. 50. 2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみた 垂直方向は水平方向に比べ十分ゆっくり動く
  51. 51. 液晶パネル方式 レーザー走査方式 ずっと光りっぱなし 時刻 1/60 [s] ある画素の輝度プロファイル ある画素の輝度プロファイル 時刻時刻 強い光が一瞬当たる
  52. 52. レーザー走査式プロジェクタの照明タイミング レーザー走査式プロジェクタ
  53. 53. 行番号 0 1 2 H-1 時刻 レーザー走査式プロジェクタの照明タイミング レーザー走査式 照明のダイアグラム
  54. 54. （書き換えました） 行位置 0 H 時刻 レーザー走査式 レーザー走査式プロジェクタの照明タイミング（改） 照明のダイアグラム
  55. 55. シャッター方式の違い 撮影画像 グローバルシャッター方式
  56. 56. シャッター方式の違い 撮影画像 撮影画像 ローリングシャッター方式 グローバルシャッター方式
  57. 57. ローリングシャッターカメラの露光タイミング ローリングシャッター方式 行位置 0 時刻
  58. 58. 露光時間の制御 露光時間 短 露光時間 長 露光時間 行位置 0 時刻 露光時間 行位置 0 時刻
  59. 59. スキャンライン速度の制御 ピクセルクロック 小 行位置 0 時刻 行位置 0 時刻 ピクセルクロック 大 角度の調整 角度の調整
  60. 60. スキャン開始タイミングの制御 開始遅延 無 行位置 0 時刻 遅延 有 行位置 0 時刻 オフセットの調整
  61. 61. エピポーラ光 プロジェクタで投影する映像 カメラから得られた画像 （復習）やりたかったこと
  62. 62. 行位置 0 時刻0 レーザー走査式 プロジェクタ エピポーラ画像取得 行位置 0 時刻 ローリングシャッター カメラ
  63. 63. 0 時刻 行位置 0 時刻 0 時刻 撮影結果 [O’Toole et al., 2015] 通常画像 エピポーラ画像（直接光成分） 非エピポーラ画像（間接光成分）
  64. 64. プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い
  65. 65. 0 10 20 30 40 50 400 500 600 700 800 環境光をバンドパスフィルタでカット プロジェクタ光 環境光（ノイズ） R G B 研究室の蛍光灯 0 10 20 30 40 50 400 500 600 700 800 0 10 20 30 40 50 400 500 600 700 800 0 10 20 30 40 50 400 500 600 700 800 バンドパスフィルタ 中心波長640nm, 半値全幅10nm 特定の波長だけを含む いろんな波長を含む
  66. 66. 環境光をシャッター速度でカット ある画素に照射される光量の遷移 普通のプロジェクタ レーザースキャンプロジェクタ 時刻 時刻 1/60 [s] ※同じ明るさのプロジェクタと仮定 光が当たっているときだけ露光すればいい 理想的には 1/(60*720) = 23[us] (60fps, プロジェクタの高さ解像度 720px) カメラとプロジェクタのアラインメントに 限界があるため 500us以上が現実的． 外乱光の影響を1/720に低減
  67. 67. プロジェクタの弱点は？ 外乱光に弱い 相互反射による間接光に弱い 被写界深度が浅い
  68. 68. レーザー光源だからフォーカスフリー 2D MEMS ミラー レーザー光源
  69. 69. 実装
  70. 70. 計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ SONY MPCL1A ローリングシャッター CMOSカメラ ids UI-3240CP センサ：e2v EV76C バリフォーカルレンズ 興和光学 LMVZ4411
  71. 71. MEMSミラーのシグナルを観測 プロジェクタのリフレッシュレートのカタログ値と一致 16.6 ms (60.2 Hz) SONY MP-CL1A モバイルプロジェクタ （殻割り済み）
  72. 72. 同期回路 入力波形 出力波形 Arduinoがミラーからのシグナルを受け取り解析，トリガシグナルをカメラに渡す．
  73. 73. プロジェクタ投光モジュール 2D MEMSミラー レーザー光源 参考：https://www.kguttag.com/2015/07/13/celluonsonymicrovision-optical-path/
  74. 74. 走査ミラー式プロジェクタ（参考） 2D MEMSミラー （HD301D1のもの）
  75. 75. プロジェクターカメラの同期 行位置 時刻 行位置 時刻 シャッター：グローバルシャッター プロジェクタの照明 カメラの露光
  76. 76. 時刻 行位置 時刻 シャッター：グローバルシャッター 行位置 ローリングシャッターに変更 プロジェクタの照明 カメラの露光
  77. 77. 通常画像 エピポーラ画像（直接光成分） 撮影結果 [O’Toole et al., 2015]
  78. 78. リアルタイムデモ
  79. 79. 研究事例紹介：Acquiring and Characterizing Plane-to-Ray Indirect Light Transport Hiroyuki Kubo, Suren Jayasuriya, Takafumi Iwaguchi, Takuya Funatomi,Yasuhiro Mukaigawa, Srinivasa Narasimhan, IEEE International Conference on Computational Photography (ICCP) 2018 発表番号：19
  80. 80. ライトトランスポートの成分分離 直接光成分 間接光 (大域)成分 通常画像 [Nayar et al. 2006] … 短距離 間接光 長距離 間接光 表面下 散乱光 鏡面反射の 間接光
  81. 81. 先行研究 通常画像 エピポーラ画像（直接光成分） エピポーラ幾何を用いたライトトランスポートの成分分離 [O’Toole et al. 2015]
  82. 82. エピポーラ画像 [O’Toole et al., 2015] 本手法の自由度1: 同期遅延時間 (row-offset) ・Offsetを飛び越える 間接光を計測可能 本手法の自由度2 : 露光時間 (照明バンド幅) ・入射光量の増減が可能 同期遅延時間と露光時間とを制御して， それらに応じたライトトランスポートを取得する 同期遅延時間 露光時間
  83. 83. 計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ ローリングシャッター CMOSカメラ
  84. 84. 同期遅延時間と観測画像(Delay-sweep) 通常画像 同期遅延時間を変えたときの画像 （Delay-Sweep）
  85. 85. 露光時間 (照明バンド幅)と観測画像(Exposure-sweep) 通常画像 露光時間（照明バンド幅）を変えたときの画像 （Exposure-Sweep）
  86. 86. 2自由度の観測結果（Image-stack) delay exposure thin 露光時間 （照明 バンド幅） thick 同期遅延時間（オフセット）- far + far (delay [us], exposure [us]) [O’Toole et al., 2015] 本手法
  87. 87. 遅延プロファイルを用いたライトトランスポートの解析 0 0.05 0.1 0.15 0.2 0.25 0.3 -3000 -2000 -1000 0 1000 2000 3000 delay [us] book reflection candle corner 直接反射のみ 鏡面からの 間接光 表面下散乱 拡散面の 相互反射
  88. 88. プロファイルを用いた材質推定 Target materials 分類結果 Fat free milk 2% milk Whole milk toothpaste Liquid soap 90%以上の推定精度を達成 （非線形SVMを使用） 0 0.02 0.04 0.06 0.08 0.1 -2000 -1500 -1000 -500 0 500 1000 1500 2000 delay [us]
  89. 89. 肌の内部構造の可視化 通常画像 エピポーラ画像 同期遅延時間 大 (far-range indirect light) 適切な同期遅延時間 （極近距離の間接光 600us）
  90. 90. リアルタイムデモ
  91. 91. 研究事例紹介２：Slope Disparity Gating using a Synchronized Projector-Camera System Tomoki Ueda, Hiroyuki Kubo, Suren Jayasuriya, Takuya Funatom, Yasuhiro Mukaigawa, IEEE ICCP 2019 発表番号：19
  92. 92. 本手法で用いる撮像システム 129 レーザー走査式プロジェクタ ローリングシャッタカメラ 側面図 レーザー走査式 プロジェクタ ローリングシャッタ カメラ
  93. 93. ある時間での撮像 照明と露光が交差する領域のみを撮像 130 レーザー走査式 プロジェクタ ローリングシャッタ カメラ Invisible Visible Invisible 照明面 露光面
  94. 94. 同期走査による撮像 照明と露光が交差しながら走査する面上のみを撮像 131 撮像面 レーザー走査式 プロジェクタ ローリングシャッタ カメラ
  95. 95. 撮像領域の制御 • カメラの同期に用いる３つのパラメータを変更 – 同期タイミングの遅延時間，走査速度，露光時間 撮像面の奥行き，傾き，厚みを制御 132 同期遅延 走査速度 露光時間 次スライド以後で各制御について説明します． ① ② ③
  96. 96. ① 同期遅延時間による奥行き制御 • カメラの露光開始を遅延 • 遅延時間𝑡 𝑑によって撮像面までの距離を制御 133 遅延時間𝑡 𝑑 : 小 遅延時間𝑡 𝑑 : 大 距離 : 大 距離 : 小 𝑡 𝑑秒後 𝑡 𝑑秒後 撮像面 撮像面 ①
  97. 97. ② 走査速度による傾き制御 • カメラの走査速度𝑣𝑐を変更 • プロジェクタとの走査速度差によって撮像面の傾きを制御 134 𝑣𝑐制御 プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 = プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 > 撮像面 撮像面 ②
  98. 98. • カメラの露光時間𝑡 𝑒を変更 • 相対的にプロジェクタが複数ラインを照明 • 撮像面の厚みを制御 ③ 露光時間による厚み制御 135 撮像領域 𝑡 𝑒秒 露光 ③ レーザー走査式 プロジェクタ ローリングシャッタ カメラ
  99. 99. 撮像領域の定式化 136 プロジェクタ カメラ スクリーン座標系とワールド座標系の関係式 (𝑥 𝑝, 𝑦𝑝) (𝑥 𝑐, 𝑦𝑐) スクリーン座標系 ワールド座標系 (𝑥 𝑤, 𝑦 𝑤, 𝑧 𝑤) 同期遅延時間𝑡 𝑑, 走査速度𝑣𝑐による 露光行と照明行の拘束 露光時間𝑡 𝑒による 露光行と照明行の拘束
  100. 100. システムの実装 • 3Dプリンタで造形したモデルを用いて プロジェクタとカメラを縦状に配列 • プロジェクタの走査信号を カメラの撮像トリガ信号に使用 137 構築した撮像システム
  101. 101. 奥行きと傾き制御の実験 • 角度の異なるプレートを等間隔に配置 • プレートの正面から撮像 138 通常画像シーン -15° 0° +15° +15° -15°0° 15cm 15cm
  102. 102. 139 0°のプレートだけ 撮像 シーン 通常画像 撮像面 同期遅延時間を変化させて 撮像した結果 遅延時間を5760~6860μsで変化させて 撮像した結果
  103. 103. シーン 通常画像 140 撮像面撮像面 +15°のプレートだけ 撮像 -15°のプレートだけ 撮像 走査速度を変化させて 撮像した結果
  104. 104. 141 通常画像シーン 撮像面を制御することで異なる姿勢と位置の物体だけが撮像されている +15°のプレートだけ撮像 0°のプレートだけ撮像 -15°のプレートだけ撮像
  105. 105. 厚み制御の実験 • 同じ角度・異なる距離にプレートを配置 • プレートの正面から撮像 142 通常画像シーン All +15°10cm 20cm
  106. 106. 143 シーン 通常画像 撮像 領域 露光時間を変化させて 撮像した結果 露光時間を50~1550μsで変化させて 撮像した結果
  107. 107. 応用１：リアルタイムマスキング • セキュリティ性の高い物体を除いて 撮像領域を設定 145 通常画像 提案手法 撮像領域 シーン 撮像したくない 領域 暗証番号
  108. 108. 応用１：リアルタイムマスキング 146 • シーンに合わせて撮像領域を制御 机だけを撮像 通常画像 机以外を撮像 or
  109. 109. Image Inpaintingへの利用 • 撮像領域以外の物体はマスクされて撮像 • Image Inpaintingの入力画像として利用可能 147 Image Inpainting* 出力結果 *Newson+ 2017 机だけを撮像した結果通常画像 机上の物体をマスクした画像 ＝
  110. 110. 応用２：霧中でのイメージング • 撮像領域外の霧を写さないことで物体を鮮明化 • ペーパークラフトで作成したシーンに霧を発生 148 シーン 通常画像 標識と車だけを鮮明化 霧撮像 システム 撮像領域撮像領域外 物体 路面だけを鮮明化
  111. 111. まとめ • 時間同期式プロジェクターカメラシステムで マシンビジョンにブレイクスルーを • 波長，露光タイミングの制御が高い頑健さをもたらす • 近距離間接光で皮下構造（血管）の可視化[Kubo et al., 2018]や， Slope Disparity Gating [Ueda et al., 2019]が可能 • 散乱プロファイルの計測に基づく材質推定が可能[Kubo et al., 2018]

×