SSII2020 [O3-01] Extreme 3D センシング

1. Extreme 3Dセンシング 2020.6.12 川崎洋（九州大学）

2. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 2

3. 3Dセンシング基礎 • パッシブ手法 ☺ カメラだけで実現可能テクスチャが必要精度を高めるには、多数の画像が必要 • 動的シーンの場合、同期して撮影可能な多数のカメラを必要とする • アクティブ手法 ☺ 高密度で安定した計測 ☺ 少ない数のカメラで実現可能プロジェクタなどの光源が必要 3

4. パッシブ3Dセンシング • 写真測量 • Visual SLAM • Multiview stereo Gengshan Yang, Joshua Manela, Michael Happold, Deva Ramanan, Hierarchical Deep Stereo Matching on High-resolution Images, CVPR 2019 Xiang Gao, Rui Wang, Nikolaus Demmel and Daniel Cremers, LDSO: Direct Sparse Odometry with Loop Closure, IROS 2018 Jonathan Starck, Adrian Hilton, Surface Capture for Performance-Based Animation, pp. 21-31, vol. 27, IEEE Computer Graphics 2007, 4

5. アクティブ3Dセンシング 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocusによる手法 5

6. Time-of-Flight センサ • Light Detection and Ranging (LIDAR) • レーザを放射し、受光する • 放射から受光までの時間から、距離を測る 2 ct D = 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 6

7. 三角測量アクティブセンサ・Kinect v1など 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 日経エレクトロニクス、2010年12月27日号、pp76-78 7

8. Depth from Defocusによる手法ドットパターンを投影ボケ具合からデプスを推定 1. Time-of-flight 2. 三角測量 3. Depth from Defocus “Active Refocusing of Images and Videos,” F. Moreno-Noguer, P.N. Belhumeur and S.K. Nayar, ACM SIGGRAPH Aug, 2007. 8

9. Active scannerの精度と計測可能範囲 [Lange2006] 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocus手法 DfD 9

10. 3D sensing まとめ ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精度解像度デプスレンジ計測可能距離ハイスピード化ベースラインシステム自由度パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量（ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量（時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 10

12. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精度解像度デプスレンジ計測可能距離ハイスピード化ベースラインシステム自由度パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量（ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量（時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 12

13. What’s next? Shape Gray-code, phase-shift Time Captured image Projected image Object motion is faster than camera exposure time Motion encoded by high fps pattern One-shot CVPR08-ICCV11 ICCV 2017 Multiplex & decomposition Time Faster motion Slow Fast motion 13

14. Motion blur Projection pattern Captured image Projector Object motion Camera Multiple pattern projection (Our technique) How to decompose the multiplexed pattern? No blur 14

15. camera projector Learning-based approach [Kawasaki et.al. ICCV2017] Capture all patterns at all depths Blur and distortion are also captured 15

16. Data augmentation DB Objects Projector Camera reconstructed Pattern 1 Pattern 2 d Pattern 0 Synthesized image Velocity map Depth map Learning-based approach Search 2D search depth & velocity Captured image 16

17. Objective function: stereo + speed 3D search for all the pixels Coarse to fine approach camera projector 1. Coarse: constant velocity 2. Fine: arbitrary velocity 17

18. System overview Off-the-shelf cameras and projectors: Digital Light Processing (DLP) projectors Pattern switching is faster than cameras fps (~10,000Hz) Projector Camera DLP projector 18

19. Comparison on depth estimation results on a plane Evaluation 0.000 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 0.009 0.010 stoped slow normal fast RMSE [m] Speed 1 3 6 Kinect 1 3 6 Previous method STOP Slow Fast The number of patterns projected within an exposure time [ICCV2017] Our method 19

20. Temporal shape super-resolution Depth map Captured image Super-resolved shapes Fast moving object – rotating fan Camera: 200 fps Projector: 1000 fps [ICCV2017] 20

21. Balls Table tennis Input image Depth map Velocity map + 1.5 [m/s] - 1.5 0 Velocity estimation from single image [ICCV2017] 21

23. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精度解像度デプスレンジ計測可能距離ハイスピード化ベースラインシステム自由度パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量（ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量（時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ解決が必要 23

24. • Robust Active 3D Measurement Method against Bokeh Using Projector- Camera System with Coded Aperture [Horita, Kawasaki et al., IEICE Trans.D, 2013] - Install the coded aperture on projector - DfD based on deconvolution - Coded aperture stabilize DfD process Coded Aperture Changyin Zhou, Shree Nayar ICCP’09 符号化開口をプロジェクタに使用 24

25. 25システムの構成 Actual implementation レンズ & 符号化開口 LED光源 • Lens: achromatic lens - Focal length：150.0mm， Diameter：50.0mm • Code aperture： - Zhou et.al., “What are Good Apertures for Defocus Debluring?” ICCP2009 - Light path through 70% • Projector： LED 20x20 • CCD camera： Pointgrey JHF12M-5MP 25

26. 26逆畳み込みによるデプス推定 1. Project pattern with CA1. Project pattern with CA 2. Deconvolve with each depth parameters2. Deconvolve with each depth parameters 3. Compare similarity between original & deconvolved img.3. Compare similarity between original & deconvolved img. 4. Select depth of maximum similarity4. Select depth of maximum similarity 250mm 290mm 350mm 0.9similarity 0.2 0.4 250mm Reconstruction algorithm Convolution process 26

27. 27実験 - 平面板のデプス推定 - Results of planar board Captured image Depth 250mm 250mm 290mm 350mm 290mm 350mm 27

28. 28実験 - 平面板のデプス推定 - Evaluation (a) Average error (b) RMSE In focus of camera In focus of camera of projector of projector 28

29. 29実験 - 自由形状物体の復元 -Target object Reconstructed shape Captured image 29

30. Coarsepattern (Bluechannel) Densepattern (Redchannel) The measurement of dynamic scene 30 • Recover the depth map only from single-shot ※By using color channels enables the hierarchical reconstruction with single shot Captured scene Reconstructed depth map 120 70 [cm] 精度と解像度が低い 30

31. Active One-Shot Scan for Wide Depth Range Using a Light Field Projector Based on Coded Aperture, Hiroshi Kawasaki, Satoshi Ono, Yuki Horita, Yuki Shiba, Ryo Furukawa, Shinsaku Hiura; ICCV, 2015 Slit aperture Line pattern DfDとステレオを同時に行う手法高周波パターンによる高周波ライトフィールド構築 31

32. O d Coded aperture Projected pattern Projector lens Camera Focal plane Scene surface fd Defocus blur process of a projector Depth-dependent pattern High frequency preserved for out-of-focus projection 32

33. Wide range reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] Reconstructed shapes Top view 3D shapes Top view Captured image 33

34. Accuracy evaluation 34 RMSE[mm] Depth of plane [mm]

35. Reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] 35 Captured images 3D shapes (low resolution) 3D shapes (high resolution)

37. 水中三次元復元の課題減衰屈折水中特有の外乱 37

38. 水中特有の外乱 38 気泡によるノイズ Multi-scale CNN 写り込んだ気泡

39. Multi-scale Networkの基本理念 39 Multi-scale 画像特徴抽出外乱を含む入力画像 Fully Conv Network 高い信頼度高い精度低い信頼度高い精度中程度の信頼度中程度の精度高い信頼度低い精度抽出された画像特徴ステレオマッチング用画像特徴大スケール小スケール中スケール全結合層

40. Multi-scale CNN stereo matching 40 ×2 ×4 Output Similarity Score・ Left Input Patch Flatten Inner Product Concat Conv(3×3) 64filters MaxPooling (2×2) UpSampling (2×2) From Right Branch ・ Inner Product From Right Branch ・・・ MaxPooling (2n ×2n ) UpSampling (2n ×2n ) ・・・ FCNによる統合より多くのスケール Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm https://github.com/klabkyushu/Underwater-Multi-scale-CNN-stereo コードを以下で公開しています。

41. 水中データ拡張 41 データセット画像撮影の様子様々な種類の気泡を含むデータセット http://www.cvg.ait.kyushu-u.ac.jp/opendata/underwater/Bubble%20database.zip データを以下で公開しています。

42. 実験セットアップ • カメラ: Point Grey Grasshopper 3 • プロジェクタ: Canon LV-HD420 • 水槽: 90×45×45cm 42

43. 入力画像 mc-cnn ms-cnn-lin Ours (2-scale) Ours (3-scale) Ours (3-scale + transfer learning) 43

44. 定量評価 44

45. 実水中環境実験プロトタイプ Proof-of-Concept 45 実験装置

46. Fish scene 1 Fish scene 2 Swimming human scene 46

48. Background 48 •SLAM • Depth seonsor + self localization •Kinect Fusion 3D Endoscope Projector and camera are not fixed each other!!

49. Bundle adjustment approach for a projector- camera system is difficult!! • Bundle adjustment • Depends on “3D points observable for multiple frames” • Problem: • Projected features are NOT real 3D points observable for multiple frames projector Object camera No information for inter-frame correspondences 49

50. Active bundle adjustment: [Kawasaki and Furukawa, ECCV18workshop, 3DV2019] • The shapes should be consistent for different frames. 1C 2C 2P 1P Inconsistencies between frames comes from calibration errors minimize differences by optimize parameters 50

51. Active bundle adjustment: [Kawasaki and Furukawa, 3DV2019] Regarded as a single point.Regarded as a single point. )( 1,1 jpπ 1,1 jp )( 2,2 jpπ 2,2 jp 1, jip : 3D point (frame i) ()π : Line-of-sight projection 51

52. Active BA experiment Capture scene 52

53. まとめ • 3次元センシングの最近の動向 • 超高速3次元センシング • 回転するタービンブレードの計測可能 • 超小型3次元センシング • 内視鏡のヘッドに使用 • Extreme環境3次元センシング • 水中での3次元センシングを実現 • ポストプロセス • Active bundle adjustment 53