O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

SSII2020 [O3-01] Extreme 3D センシング

862 visualizações

Publicada em

SSII2020 [O3-01] Extreme 3D センシング

6月12日 (金) 11:00 - 12:30 メイン会場(vimeo + slido)
登壇者:川崎 洋 氏(九州大学)​

概要:スマートフォンにおける顔の3次元形状の取得による顔認証技術や、自動運転における LiDAR センサによる周辺環境の把握など、3Dセンシング技術は広く一般に利用され効果が認められている。さらに、得られた3次元情報を用いた解析や検査、可視化や AR/VR 利用など幅広い分野での応用や研究開発が実施されている。本講演では、そのような3Dセンシング技術の現状について概観し、その限界や今後の新たな方向性や展望について、講演者の取り組みを中心に紹介・解説する。

Publicada em: Tecnologia
  • Entre para ver os comentários

  • Seja a primeira pessoa a gostar disto

SSII2020 [O3-01] Extreme 3D センシング

  1. 1. Extreme 3Dセンシング 2020.6.12 川崎 洋 (九州大学)
  2. 2. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中3次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 2
  3. 3. 3Dセンシング基礎 • パッシブ手法 ☺ カメラだけで実現可能 テクスチャが必要 精度を高めるには、多数の画像が必要 • 動的シーンの場合、同期して撮影可能な多数のカメラを必要とする • アクティブ手法 ☺ 高密度で安定した計測 ☺ 少ない数のカメラで実現可能 プロジェクタなどの光源が必要 3
  4. 4. パッシブ3Dセンシング • 写真測量 • Visual SLAM • Multiview stereo Gengshan Yang, Joshua Manela, Michael Happold, Deva Ramanan, Hierarchical Deep Stereo Matching on High-resolution Images, CVPR 2019 Xiang Gao, Rui Wang, Nikolaus Demmel and Daniel Cremers, LDSO: Direct Sparse Odometry with Loop Closure, IROS 2018 Jonathan Starck, Adrian Hilton, Surface Capture for Performance-Based Animation, pp. 21-31, vol. 27, IEEE Computer Graphics 2007, 4
  5. 5. アクティブ3Dセンシング 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocusによる手法 5
  6. 6. Time-of-Flight センサ • Light Detection and Ranging (LIDAR) • レーザを放射し、受光する • 放射から受光までの時間から、距離を測る 2 ct D = 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 6
  7. 7. 三角測量 アクティブセンサ ・Kinect v1など 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 日経エレクトロニクス、2010年12月27日号、pp76-78 7
  8. 8. Depth from Defocusによる手法 ドットパターンを投影 ボケ具合からデプスを推定 1. Time-of-flight 2. 三角測量 3. Depth from Defocus “Active Refocusing of Images and Videos,” F. Moreno-Noguer, P.N. Belhumeur and S.K. Nayar, ACM SIGGRAPH Aug, 2007. 8
  9. 9. Active scannerの精度と計測可能範囲 [Lange2006] 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocus手法 DfD 9
  10. 10. 3D sensing まとめ ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF(ポイント) △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF(エリア) ○ ○ ○ ○ ○ 不要 △ 三角測量 (ワンショット) ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 (時間エンコード) ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 10
  11. 11. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中3次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 11
  12. 12. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF(ポイント) △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF(エリア) ○ ○ ○ ○ ○ 不要 △ 三角測量 (ワンショット) ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 (時間エンコード) ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 12
  13. 13. What’s next? Shape Gray-code, phase-shift Time Captured image Projected image Object motion is faster than camera exposure time Motion encoded by high fps pattern One-shot CVPR08-ICCV11 ICCV 2017 Multiplex & decomposition Time Faster motion Slow Fast motion 13
  14. 14. Motion blur Projection pattern Captured image Projector Object motion Camera Multiple pattern projection (Our technique) How to decompose the multiplexed pattern? No blur 14
  15. 15. camera projector Learning-based approach [Kawasaki et.al. ICCV2017] Capture all patterns at all depths Blur and distortion are also captured 15
  16. 16. Data augmentation DB Objects Projector Camera reconstructed Pattern 1 Pattern 2 d Pattern 0 Synthesized image Velocity map Depth map Learning-based approach Search 2D search depth & velocity Captured image 16
  17. 17. Objective function: stereo + speed 3D search for all the pixels Coarse to fine approach camera projector 1. Coarse: constant velocity 2. Fine: arbitrary velocity 17
  18. 18. System overview Off-the-shelf cameras and projectors: Digital Light Processing (DLP) projectors Pattern switching is faster than cameras fps (~10,000Hz) Projector Camera DLP projector 18
  19. 19. Comparison on depth estimation results on a plane Evaluation 0.000 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 0.009 0.010 stoped slow normal fast RMSE [m] Speed 1 3 6 Kinect 1 3 6 Previous method STOP Slow Fast The number of patterns projected within an exposure time [ICCV2017] Our method 19
  20. 20. Temporal shape super-resolution Depth map Captured image Super-resolved shapes Fast moving object – rotating fan Camera: 200 fps Projector: 1000 fps [ICCV2017] 20
  21. 21. Balls Table tennis Input image Depth map Velocity map + 1.5 [m/s] - 1.5 0 Velocity estimation from single image [ICCV2017] 21
  22. 22. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中3次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 22
  23. 23. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF(ポイント) △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF(エリア) ○ ○ ○ ○ ○ 不要 △ 三角測量 (ワンショット) ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 (時間エンコード) ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 解決が必要 23
  24. 24. • Robust Active 3D Measurement Method against Bokeh Using Projector- Camera System with Coded Aperture [Horita, Kawasaki et al., IEICE Trans.D, 2013] - Install the coded aperture on projector - DfD based on deconvolution - Coded aperture stabilize DfD process Coded Aperture Changyin Zhou, Shree Nayar ICCP’09 符号化開口をプロジェクタに使用 24
  25. 25. 25システムの構成 Actual implementation レンズ & 符号化開口 LED光源 • Lens: achromatic lens - Focal length:150.0mm, Diameter:50.0mm • Code aperture: - Zhou et.al., “What are Good Apertures for Defocus Debluring?” ICCP2009 - Light path through 70% • Projector: LED 20x20 • CCD camera: Pointgrey JHF12M-5MP 25
  26. 26. 26逆畳み込みによるデプス推定 1. Project pattern with CA1. Project pattern with CA 2. Deconvolve with each depth parameters2. Deconvolve with each depth parameters 3. Compare similarity between original & deconvolved img.3. Compare similarity between original & deconvolved img. 4. Select depth of maximum similarity4. Select depth of maximum similarity 250mm 290mm 350mm 0.9similarity 0.2 0.4 250mm Reconstruction algorithm Convolution process 26
  27. 27. 27実験 - 平面板のデプス推定 - Results of planar board Captured image Depth 250mm 250mm 290mm 350mm 290mm 350mm 27
  28. 28. 28実験 - 平面板のデプス推定 - Evaluation (a) Average error (b) RMSE In focus of camera In focus of camera of projector of projector 28
  29. 29. 29実験 - 自由形状物体の復元 -Target object Reconstructed shape Captured image 29
  30. 30. Coarsepattern (Bluechannel) Densepattern (Redchannel) The measurement of dynamic scene 30 • Recover the depth map only from single-shot ※By using color channels enables the hierarchical reconstruction with single shot Captured scene Reconstructed depth map 120 70 [cm] 精度と解像度が低い 30
  31. 31. Active One-Shot Scan for Wide Depth Range Using a Light Field Projector Based on Coded Aperture, Hiroshi Kawasaki, Satoshi Ono, Yuki Horita, Yuki Shiba, Ryo Furukawa, Shinsaku Hiura; ICCV, 2015 Slit aperture Line pattern DfDとステレオを同時に行う手法 高周波パターンによる高周波ライトフィールド構築 31
  32. 32. O d Coded aperture Projected pattern Projector lens Camera Focal plane Scene surface fd Defocus blur process of a projector Depth-dependent pattern High frequency preserved for out-of-focus projection 32
  33. 33. Wide range reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] Reconstructed shapes Top view 3D shapes Top view Captured image 33
  34. 34. Accuracy evaluation 34 RMSE[mm] Depth of plane [mm]
  35. 35. Reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] 35 Captured images 3D shapes (low resolution) 3D shapes (high resolution)
  36. 36. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中3次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 36
  37. 37. 水中三次元復元の課題 減衰 屈折 水中特有の外乱 37
  38. 38. 水中特有の外乱 38 気泡によるノイズ Multi-scale CNN 写り込んだ気泡
  39. 39. Multi-scale Networkの基本理念 39 Multi-scale 画像特徴抽 出 外乱を含む 入力画像 Fully Conv Network 高い信頼度 高い精度 低い信頼度 高い精度 中程度の信頼度 中程度の精度 高い信頼度 低い精度 抽出された画像特徴 ステレオマッチング用 画像特徴 大スケール 小スケール 中スケール 全結合層
  40. 40. Multi-scale CNN stereo matching 40 ×2 ×4 Output Similarity Score・ Left Input Patch Flatten Inner Product Concat Conv(3×3) 64filters MaxPooling (2×2) UpSampling (2×2) From Right Branch ・ Inner Product From Right Branch ・・・ MaxPooling (2n ×2n ) UpSampling (2n ×2n ) ・・・ FCNによる統合 より多くのスケール Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm https://github.com/klabkyushu/Underwater-Multi-scale-CNN-stereo コードを以下で公開しています。
  41. 41. 水中データ拡張 41 データセット画像撮影の様子 様々な種類の気泡を含むデータセット http://www.cvg.ait.kyushu-u.ac.jp/opendata/underwater/Bubble%20database.zip データを以下で公開しています。
  42. 42. 実験セットアップ • カメラ: Point Grey Grasshopper 3 • プロジェクタ: Canon LV-HD420 • 水槽: 90×45×45cm 42
  43. 43. 入力画像 mc-cnn ms-cnn-lin Ours (2-scale) Ours (3-scale) Ours (3-scale + transfer learning) 43
  44. 44. 定量評価 44
  45. 45. 実水中環境実験 プロトタイプ Proof-of-Concept 45 実験装置
  46. 46. Fish scene 1 Fish scene 2 Swimming human scene 46
  47. 47. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中3次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 47
  48. 48. Background 48 •SLAM • Depth seonsor + self localization •Kinect Fusion 3D Endoscope Projector and camera are not fixed each other!!
  49. 49. Bundle adjustment approach for a projector- camera system is difficult!! • Bundle adjustment • Depends on “3D points observable for multiple frames” • Problem: • Projected features are NOT real 3D points observable for multiple frames projector Object camera No information for inter-frame correspondences 49
  50. 50. Active bundle adjustment: [Kawasaki and Furukawa, ECCV18workshop, 3DV2019] • The shapes should be consistent for different frames. 1C 2C 2P 1P Inconsistencies between frames comes from calibration errors minimize differences by optimize parameters 50
  51. 51. Active bundle adjustment: [Kawasaki and Furukawa, 3DV2019] Regarded as a single point.Regarded as a single point. )( 1,1 jpπ 1,1 jp )( 2,2 jpπ 2,2 jp 1, jip : 3D point (frame i) ()π : Line-of-sight projection 51
  52. 52. Active BA experiment Capture scene 52
  53. 53. まとめ • 3次元センシングの最近の動向 • 超高速3次元センシング • 回転するタービンブレードの計測可能 • 超小型3次元センシング • 内視鏡のヘッドに使用 • Extreme環境3次元センシング • 水中での3次元センシングを実現 • ポストプロセス • Active bundle adjustment 53

×