SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～

1. Visual SLAM 〜カメラ幾何の基礎から最近の技術動向まで〜 2021.6.9 内山英昭（奈良先端科学技術大学院大学）

2. SLAMとは？ • Simultaneous Localization and Mappingの略称 • デバイスの位置姿勢 (Localization)と空間の地図(Mapping)を同時に繰り返して算出する技術 • Visual SLAM(VSLAM)=カメラのみを用いるSLAM 2

3. 1980年代のSLAMの枠組み • Localization • 車輪のロータリエンコーダを利用した2次元移動量の算出 • Mapping • 平面レーザーを用いた 2次元平面図の算出 3 Chatila, Raja, and Jean-Paul Laumond. "Position referencing and consistent world modeling for mobile robots." ICRA, 1985.

4. SLAM技術の変遷 • 対象とする空間の次元 • 2次元形状から3次元形状 • デバイス • 車輪，GPS，IMU，レーザーからカメラ(VSLAM) • 最近では，カメラとIMUの併用が主流(Visual-inertial SLAM) • 技術領域 • 2000年代は，RoboticsからComputer Vision • 2010年代前半は，Computer VisionからRobotics • 2010年代後半は，両領域でDeep learningを用いた手法の研究が盛ん 4

5. VSLAMを用いて実現可能なこと • デバイスの位置姿勢を利用するシステムの構築 • 観光案内等のナビゲーション，ロボットの自動制御 • 拡張現実感に基づくゲーム 5

6. VSLAMを用いた研究事例 • 視野を共有しないカメラ間の外部パラメータの算出 6 Nishiguchi et al. "On-the-fly Extrinsic Calibration of Non-Overlapping in-Vehicle Cameras based on Visual SLAM under 90-degree Backing-up Parking." IEEE IV, 2020.

7. 本日の流れ • VSLAMの概要 • VSLAMに用いられるカメラ幾何 • VSLAMに用いられる画像処理 • VSLAMの計算手順 • 他の技術との関連 • 近年の技術動向 7

8. VSLAMの技術分類 • カメラによる分類 • 単眼カメラ • ステレオカメラ • RGB-Dカメラ • 単眼カメラを用いた手法の分類 • 特徴点を利用する手法 • ダイレクト法 • ディープラーニングに基づく手法 • IMUを併用する手法 8

9. VSLAMの基本的な枠組み • LocalizationとMappingを繰り返して交互に行う 9 Localization Mapping カメラの移動方向

10. VSLAMの5つの要素 • Initialization: 世界座標系と初期空間形状の設定 • Localization: カメラの位置姿勢の算出 • Mapping: 空間形状の作成 • Loop closure: ループ検出及び空間形状の補正 • Relocalization: カメラ位置姿勢の再算出 10

11. Initialization • Localizationを開始するための世界座標系と初期空間形状の設定 11 Localization Mapping カメラの移動方向

12. Localization • 空間形状に対するカメラの位置姿勢の算出 12 Localization Mapping カメラの移動方向

13. Mapping • 未知領域の空間形状の算出 13 Localization Mapping カメラの移動方向

14. Loop closure • 過去に撮影した位置に戻った時点での，過去の算出結果の補正 • 元の位置に戻った＝ループが閉じた(Loop closure) 14

15. Relocalization • VSLAMを一度終了後，再開する際のカメラの位置姿勢の算出 15 Relocalization Mapping カメラの移動方向

16. VSLAMの状態遷移 16 Initialization Localization Mapping Relocalization Stopped Loop closure

17. VSLAMを理解する上での必要な知識 • カメラ幾何 • 透視投影モデル • Perspective-n-Point(PnP)問題 (Localization) • 三角測量 (Mapping) • エピポーラ幾何 (Initialization) • バンドル調整 (Mapping) • ポーズグラフ最適化 (Loop closure) • 画像処理 • 特徴点マッチング • 画像検索 (Relocalization, Loop closure) 17 VSLAMの演算プロセスの中で説明

18. カメラ幾何 • 透視投影モデル • Perspective-n-Point(PnP)問題 • 三角測量 • エピポーラ幾何 18

19. 座標系の幾何学的関係 3次元点光学中心 𝑍𝑍𝑐𝑐 𝑌𝑌𝑐𝑐 𝑋𝑋𝑐𝑐 𝑿𝑿𝒘𝒘 = 𝑋𝑋𝑤𝑤 𝑌𝑌𝑤𝑤 𝑍𝑍𝑤𝑤 T 画像座標系 𝑋𝑋𝑤𝑤 𝑌𝑌𝑤𝑤 𝑍𝑍𝑤𝑤 世界座標系 𝑢𝑢 𝑣𝑣 カメラ座標系 19

20. 透視投影モデルに基づく定式化 • 世界座標系の点とその画像中の画素の関係を記述 20 𝑠𝑠 𝑢𝑢 𝑣𝑣 1 = 𝑓𝑓𝑥𝑥 0 𝑐𝑐𝑥𝑥 0 𝑓𝑓𝑦𝑦 𝑐𝑐𝑦𝑦 0 0 1 𝑟𝑟11 𝑟𝑟12 𝑟𝑟13 𝑡𝑡1 𝑟𝑟21 𝑟𝑟22 𝑟𝑟23 𝑡𝑡2 𝑟𝑟31 𝑟𝑟32 𝑟𝑟33 𝑡𝑡3 𝑋𝑋𝑤𝑤 𝑌𝑌𝑤𝑤 𝑍𝑍𝑤𝑤 1 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘 内部パラメータ外部パラメータ 𝑓𝑓𝑥𝑥, 𝑓𝑓𝑦𝑦 : 焦点距離 𝑐𝑐𝑥𝑥, 𝑐𝑐𝑦𝑦 : 光学中心 𝑟𝑟𝑖𝑖𝑖𝑖 : 回転行列の要素 𝑡𝑡𝑖𝑖 : 並進ベクトルの要素

21. 定式化の手順 21 𝑠𝑠 𝑢𝑢 𝑣𝑣 1 = 𝑓𝑓𝑥𝑥 0 𝑐𝑐𝑥𝑥 0 𝑓𝑓𝑦𝑦 𝑐𝑐𝑦𝑦 0 0 1 𝑋𝑋𝑐𝑐 𝑌𝑌𝑐𝑐 𝑍𝑍𝑐𝑐 𝑋𝑋𝑐𝑐 𝑌𝑌𝐶𝐶 𝑍𝑍𝑐𝑐 1 = 𝑟𝑟11 𝑟𝑟12 𝑟𝑟13 𝑡𝑡1 𝑟𝑟21 𝑟𝑟22 𝑟𝑟23 𝑡𝑡2 𝑟𝑟31 𝑟𝑟32 𝑟𝑟33 𝑡𝑡3 0 0 0 1 𝑋𝑋𝑤𝑤 𝑌𝑌𝑤𝑤 𝑍𝑍𝑊𝑊 1 カメラから画像へ世界からカメラへ 3次元点光学中心 𝑍𝑍𝑐𝑐 𝑌𝑌𝑐𝑐 𝑋𝑋𝑐𝑐 𝑿𝑿𝒘𝒘 画像座標系 𝑋𝑋𝑤𝑤 𝑌𝑌𝑤𝑤 𝑍𝑍𝑤𝑤 世界座標系 𝑢𝑢 𝑣𝑣 カメラ座標系 ① ② "ディジタル画像処理 [改訂第二版]." CG-ARTS協会, 2020.

22. レンズ歪みとカメラキャリブレーション • 透視投影に基づく定式化は，レンズ歪みのない理想的なモデル • VSLAMでは，カメラキャリブレーションを用いてレンズ歪みと内部パラメータを事前に算出 22 歪み無し糸巻型（望遠レンズ）樽型（広角レンズ）

23. Perspective-n-Point(PnP)問題 • 3次元座標の既知な点とその画像中の画素の複数ペアから外部パラメータを算出する問題 23 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘 𝑿𝑿𝒘𝒘 𝒖𝒖 3次元点とその画素のペア既知未知

24. PnPの解法 • 𝑹𝑹 𝑻𝑻 の真値に近い値（初期値）が分かっている場合 • 反復最適化を用いる手法 • 時系列入力とした場合に利用(Localization) • 𝑹𝑹 𝑻𝑻 の初期値のない場合 • EPnP法（closed-formな解法） • 3次元点とその画素のペアのみの場合(Relocalization) 24 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘 初期値のありなしで解法が異なる

25. （参考）PnP問題の近年の研究動向 • 中野学, Perspective-n-Point問題とその派生問題に対する安定かつ高速な解法に関する研究, 博士学位論文, 2021.3. • P3P, PnP, PnPfr問題（焦点距離も含めて算出する問題設定）の手法を提案 • https://github.com/g9nkn 25

26. 三角測量 • 外部パラメータの既知な2つの視点に映る点の画素（対応点）から，その3次元座標を算出 26 𝒖𝒖1 𝒖𝒖2 𝑿𝑿𝑤𝑤 𝑹𝑹𝟏𝟏 𝑻𝑻𝟏𝟏 𝑹𝑹𝟐𝟐 𝑻𝑻𝟐𝟐 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘 既知未知

27. 三角測量の解法 • 各視点で透視投影行列を算出 • 以下の2つの式から𝑿𝑿𝑤𝑤に関する方程式を解く 27 𝑷𝑷𝒊𝒊 = 𝑲𝑲 𝑹𝑹𝒊𝒊 𝑻𝑻𝒊𝒊 𝑠𝑠� 𝒖𝒖 = 𝑷𝑷𝒊𝒊 � 𝑿𝑿𝒘𝒘 𝑠𝑠� 𝒖𝒖𝟏𝟏 = 𝑷𝑷𝟏𝟏 � 𝑿𝑿𝒘𝒘 𝑠𝑠� 𝒖𝒖𝟐𝟐 = 𝑷𝑷𝟐𝟐 � 𝑿𝑿𝒘𝒘 𝒖𝒖1 𝒖𝒖2 𝑿𝑿𝑤𝑤 𝑷𝑷𝟏𝟏 𝑷𝑷𝟐𝟐 𝑿𝑿𝒘𝒘 = ~ “ディジタル画像処理 [改訂第二版]." CG-ARTS協会, 2020.

28. エピポーラ幾何 • 基礎行列と呼ばれる2視点間の画素の対応の拘束条件を定式化 • 2視点間の対応点の整合性検証に利用 • 基礎行列から2視点間の外部パラメータを算出可能(Initialization) 28 𝒖𝒖1 𝒖𝒖2 𝑍𝑍𝑐𝑐 = 𝑍𝑍𝑊𝑊 𝑌𝑌𝑐𝑐 = 𝑌𝑌𝑊𝑊 𝑋𝑋𝑐𝑐 = 𝑋𝑋𝑊𝑊 � 𝒖𝒖𝟐𝟐 𝑻𝑻 𝑭𝑭� 𝒖𝒖𝟏𝟏 = 0 2視点間の距離を1とする単位系

29. 画像処理 • 特徴点マッチング • 画像検索 29 パターン認識や機械学習を利用最近ではディープラーニングを利用した手法もあり

30. 特徴点マッチング • 2枚の画像間で同一の3次元点の映る画素の対応付け 30

31. 処理の流れ • 特徴点検出：各画像から特徴点を算出 • 特徴量算出：各特徴点の周辺のテクスチャを数値化 • 対応点探索：特徴量の類似度に基づく画素の対応付け 31

32. 特徴点マッチングの問題点 • 誤った対応付け（アウトライア）が発生 32 視点1 視点2

33. 特徴点マッチングのポイント • 誤対応除去の枠組みが最も大事 • 誤対応の点がその後の処理に良い影響を与えることはゼロ • 誤対応除去の枠組み • 特徴量の差に対するしきい値処理 • クロスチェック • エピポーラ幾何 • 探索範囲の限定 33 VSLAMのポイントの1つ

34. クロスチェックの結果の例 34

35. 画像検索 • 入力画像と同じコンテンツの画像をデータベースから検索 • 入力：画像データベースとクエリ画像（入力画像） • 出力：クエリ画像と同じコンテンツの画像群 35 Liu, Ying, et al. "A survey of content-based image retrieval with high-level semantics." Pattern recognition 40.1 (2007): 262-282. 入力画像検索結果の例

36. 画像検索の基本的な枠組み • 画像全体から特徴量を算出し，特徴量の類似度に基づいて検索 36 入力画像データベース特徴量特徴量特徴量特徴量

37. Bag of Keypoints • 1次元化した特徴量の頻度ヒストグラムを利用 • 似た特徴量の頻度分布を特徴量化 37 1次元特徴量頻度特徴量ヒストグラム

38. SLAMにおける画像検索の利用 • 今撮影している視点を以前撮影したかどうかを判別 38 Radenović, Filip, Giorgos Tolias, and Ondřej Chum. "CNN image retrieval learns from BoW: Unsupervised fine-tuning with hard examples." ECCV, 2016.

39. VSLAMの計算手順 • Initialization: 世界座標系と初期空間形状の設定 • Localization: カメラの位置姿勢の算出 • Mapping: 空間形状作成 • Loop closure: ループ検出及び空間形状の補正 • Relocalization: カメラ位置姿勢の再算出 39

40. VSLAMの状態遷移 40 Initialization Localization Mapping Relocalization Stopped Loop closure

41. Initialization • Localizationを開始するための世界座標系と初期空間形状の設定 41 Localization Mapping カメラの移動方向

42. Initializationの枠組み1 • マーカーなどの形状の既知な物体を利用 42 𝑿𝑿𝐰𝐰 𝒀𝒀𝒘𝒘 𝒁𝒁𝒘𝒘 0, 0, 0 0, 10, 0 10, 0, 0 10, 0, 10 10, 10, 10 10, 10, 10 0, 0, 10

43. Initializationの枠組み2 • 2枚の画像に対するエピポーラ幾何を利用 • 特徴点マッチングの結果から基礎行列を算出 • 基礎行列を外部パラメータに分解(Localization) • 対応点と外部パラメータを用いて三角測量(Mapping) 43 𝒖𝒖1 𝒖𝒖2 𝑍𝑍𝑐𝑐 = 𝑍𝑍𝑊𝑊 𝑌𝑌𝑐𝑐 = 𝑌𝑌𝑊𝑊 𝑋𝑋𝑐𝑐 = 𝑋𝑋𝑊𝑊 � 𝒖𝒖𝟐𝟐 𝑻𝑻 𝑭𝑭� 𝒖𝒖𝟏𝟏 = 0 𝑷𝑷𝟐𝟐 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 𝑷𝑷𝟏𝟏 = 𝑲𝑲 𝑰𝑰 𝟎𝟎 𝑿𝑿𝑤𝑤

44. Localization • 空間形状に対するカメラの位置姿勢の算出 • 𝑿𝑿𝒘𝒘の画像中の位置𝒖𝒖を画像処理で算出し， 𝑹𝑹 𝑻𝑻 を算出 44 Localization Mapping カメラの移動方向 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘

45. 運動予測を用いた特徴点トラッキング • 連続するフレーム間の動きを同一と仮定 • 時刻t-2から時刻t-1への変化量を用い，時刻tの自己位置を予測 • 3次元点が時刻tのどこに映るかを推定し，その周辺で特徴点マッチング（探索範囲の限定） 45 時間軸 t-1 t-2 t

46. Mapping • 未知領域の空間形状の算出 • Localizationを実行中の2視点間で三角測量し，新たな点の𝑿𝑿𝒘𝒘を算出 46 Localization Mapping カメラの移動方向 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹 𝑻𝑻 � 𝑿𝑿𝒘𝒘

47. LocalizationとMappingの流れ • Mapping済みの箱の特徴点を追跡しながらLocalization • 視点1と視点2で特徴点マッチングし，未知領域をMapping 47 視点1 視点2

48. Mappingのタイミング判定 • 前のフレームの位置からある程度移動した場合 • 画像中で追跡できている3次元点がしきい値以下となった場合 • Mappingに用いるフレームをキーフレームと呼ぶ 48 視点1 視点2 距離特徴点数

49. バンドル調整 • 複数キーフレームの外部パラメータと複数の3次元点を同時に調整し，3次元点の映る画素の位置との整合性を最大化 49 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹𝟏𝟏 𝑻𝑻𝟏𝟏 � 𝑿𝑿𝒘𝒘 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹𝟑𝟑 𝑻𝑻𝟑𝟑 � 𝑿𝑿𝒘𝒘 𝑠𝑠� 𝒖𝒖 = 𝑲𝑲 𝑹𝑹𝟐𝟐 𝑻𝑻𝟐𝟐 � 𝑿𝑿𝒘𝒘

50. Loop closure • 過去に撮影した位置に戻った時点での，過去の算出結果の補正 • 画像検索を用いて戻ったかどうかを判定 50

51. ポーズグラフ最適化 • 自己位置の累積誤差が分かった場合，累積誤差を最小化するように，過去の自己位置を補正 • ポーズグラフ最適化に加えて，バンドル調整を実行 51 ループ検出前ポーズグラフ最適化後

52. Relocalization • VSLAMを一度終了後，再開する際のカメラの位置姿勢の算出 52 Relocalization Mapping カメラの移動方向

53. Relocalizationの流れ • キーフレームの中から近傍の視点の画像を検索 • 特徴点マッチングにより外部パラメータを算出 53 Mapping Relocalization 𝑹𝑹𝟏𝟏 𝑻𝑻𝟏𝟏 𝑹𝑹𝟐𝟐 𝑻𝑻𝟐𝟐 𝑹𝑹𝟑𝟑 𝑻𝑻𝟑𝟑 𝑹𝑹 𝑻𝑻

54. VSLAMのリアルタイム化 • LocalizationとMappingを別スレッドで処理 • Parallel Tracking and Mapping(PTAM)と呼ばれる枠組み 54 Localization (Tracking) Mapping Klein, Georg, and David Murray. "Parallel tracking and mapping for small AR workspaces." ISMAR, 2007.

55. VSLAMのマルチスレッド化 55 Initialization Localization Mapping Relocalization Stopped Loop closure スレッド1 スレッド2 スレッド3

56. SLAMはLocalizationとMappingのどちらが目的？ • 未知な空間において，継続的なLocalizationを実行 • Localizationに必要なMappingは疎な点群で十分 • 密な点群も生成することは可能だが，別途算出する場合が多い 56 Raul Mur-Artal, et al. " ORB-SLAM: A Versatile and Accurate Monocular SLAM System." IEEE Transactions on Robotics (2015): 1147-1163.

57. 自前のカメラで動作させる際の注意点 • カメラの選定 • グローバルシャッターを利用 • 単焦点の広角レンズを利用 • 様々な自動補正機能はオフのほうが望ましい 57

58. 他の技術との関連 • Structure from Motion • Visual Odometry • Multi-View Stereo 58

59. Structure from Motion (SfM) • 画像群を入力として，各画像の内部・外部パラメータと空間の3次元点群を算出 59 Snavely, Noah, Steven M. Seitz, and Richard Szeliski. "Modeling the world from internet photo collections." International journal of computer vision 80.2 (2008): 189-210.

60. VSLAMとSfMの違い • SfM • 全ての画像を一括入力，画像間の撮影間隔や動きは任意 • オフライン処理のため，計算時間の制約が少ない • VSLAM • 時系列画像を逐次入力(30Hz) • オンライン処理のため，入力に合わせて計算時間が制約される 60 VSLAMでは，時系列入力である特徴を活かした処理を利用

61. Visual Odometry (VO) • Odometryとは • センサの移動量を算出する技術 • 車輪の回転角を利用 • カメラのみで実現する技術がVisual Odometry • VSLAM = VO + Loop closure + Relocalization • VOではキーフレームを長く保持しない 61 Scaramuzza, Davide, and Friedrich Fraundorfer. "Visual odometry [tutorial]." IEEE robotics & automation magazine 18.4 (2011): 80-92. VO is only concerned with the local consistency of the trajectory, whereas SLAM with the global consistency.

62. Multi-View Stereo • SfMを適用後，特徴点以外の各画像間の対応点を増やすことでより密な3次元点群を算出する技術 62 SfM MVS https://github.com/cdcseacave/openMVS

63. VSLAMにMVSを組み込む方法 • 別スレッドでMVSを実行 63 Initialization Localization Mapping Relocalization Stopped MVS スレッド1 スレッド2 スレッド3

64. 近年の技術動向 • IMUを併用する手法 • ディープラーニングに基づく手法 • 動的環境下におけるロバスト性を向上した手法 64

65. IMUとは？ • Inertial Measurement Unitの略称 • センサの加速度と角速度を取得可能 • 加速度の積分により実スケールでの移動量を算出可能 65 https://x-io.co.uk/

66. IMUを併用する手法 • 運動推定に基づく特徴点トラッキング • バンドル調整におけるカメラ間距離の制約 66 時間軸 t-1 t IMUを用いた運動推定に基づく特徴点トラッキングバンドル調整への IMUを用いた移動量の追加 Forster, Christian, et al. "IMU preintegration on manifold for efficient visual-inertial maximum-a- posteriori estimation." Georgia Institute of Technology, 2015.

67. ディープラーニングに基づく手法 • VSLAMに用いられる各要素技術を教師あり学習でディープラーニング化 • Perspective-n-Point(PnP)問題 • 三角測量 • エピポーラ幾何 • バンドル調整 • ポーズグラフ最適化 • 特徴点マッチング • 画像検索 67 最近ではonline adaptationを用いたオンライン時の高精度化の研究あり

68. 自己教師あり学習によるVO • 単眼画像からの距離推定(Depth CNN)と 2枚の画像間の姿勢変化推定(Pose CNN)を同時に学習 68 Zhou, Tinghui, et al. "Unsupervised learning of depth and ego-motion from video." CVPR. 2017.

69. ディープラーニングに基づく手法の特徴 • 現状では古典的な手法の精度を超えられない場合が多い • 学習データとテストデータの差を埋められない • 画像検索の精度はよいが，幾何計算を学習させることは向いていない 69 Sattler, Torsten, et al. "Understanding the limitations of cnn-based absolute camera pose regression." CVPR. 2019. Zhou, Qunjie, et al. "To learn or not to learn: Visual localization from essential matrices." ICRA. IEEE, 2020.

70. 動的環境下におけるロバスト性を向上した手法 • VSLAMの演算に用いる領域を限定 • セマンティックに基づく動的領域を検出 70 Yu, Chao, et al. "DS-SLAM: A semantic visual SLAM towards dynamic environments." IROS, 2018.

71. Dynamic SLAMへの拡張 • VSLAMと移動体の姿勢の同時最適化 • 移動体の移動量も同時に推定 • ステレオカメラを利用 71 Huang, Jiahui, et al. "Clustervo: Clustering moving instances and estimating visual odometry for self and surroundings." CVPR. 2020.

72. まとめ • VSLAMの動作原理を理解する上での基礎知識を概説するとともに関連技術や近年の技術動向を紹介 • 問い合わせ先奈良先端科学技術大学院大学サイバネティクス・リアリティ工学研究室（CAREラボ）内山英昭 hideaki.uchiyama@is.naist.jp https://carelab.info/ja/ 72

SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～

Esté a ler uma amostra.

Confira estes a seguir

SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～ (20)

Mais de SSII (20)

Mais recentes (20)