LiDAR点群を画像上へマッピングする方法＝LiDARとカメラのオートキャリブレーションについてのまとめ資料

1. LiDAR点群と画像とのマッピング
2017/05/12 皆川卓也(@takmin)

2. 本資料について
 LiDARで取得した点群を画像上にマッピングする手法に
ついて調べた内容をまとめました。
 本資料の作成にあたり名古屋大学の櫻田健先生にご助
言いただきました。
 http://www.ucl.nuee.nagoya-u.ac.jp/~sakurada/

3. 自己紹介
3
テクニカル・ソリューション・アーキテクト
皆川 卓也（みながわ たくや）
フリーエンジニア（ビジョン＆ITラボ）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
http://visitlab.jp

4. データセット
 KITTI Visual Odometry / SLAM Evaluation
 Ford Campus Dataset

5. KITTI Visual Odometry / SLAM Evaluation
 概要
22シーケンスのステレオカメラ画像およびLiDARデータ、11シー
ケンスのGround Truth(軌跡)、およびキャリブレーションデータ
が提供されているデータセット兼コンペティション
 URL
http://www.cvlibs.net/datasets/kitti/eval_odometry.php
 ライセンス
Creative Commons Attribution-NonCommercial-ShareAlike 3.0
License

6. Ford Campus Vision and Lidar Dataset
 概要
2009年11月-12月にかけて、Ford Research CampusとDearborn
Downtown (ミシガン)周辺でVelodyne 3D scannerと全方位カメラ
Ladybug3で取得されたデータセット
 URL
http://robots.engin.umich.edu/SoftwareData/Ford
 例

7. LiDAR点群のカメラ画像へのマッピング
 LiDARで取得した点群を直接カメラ画像上へ投影する
 LiDARとカメラ間の外部パラメータのキャリブレーションを
行うことと等しい
Bileschi, S. (2009). Fully automatic calibration of LIDAR and video streams from a vehicle. In IEEE
Internatinal Conference on Computer Vision Workshop.

8. 紹介する論文
 [Bileschi2009]Bileschi, S. (2009). Fully automatic calibration of
LIDAR and video streams from a vehicle. In IEEE Internatinal
Conference on Computer Vision Workshop.
 [Levinson2013]Levinson, J., & Thrun, S. (2013). Automatic
Online Calibration of Cameras and Lasers. Robotics: Science
and Systems (RSS).
 [Pandey2015]Pandey, G., McBride, J. R., Savarese, S., & Eustice,
R. M. (2015). Automatic Extrinsic Calibration of Vision and Lidar
by Maximizing Mutual Information. Field Robotics, (Special
Issue: Calibration for Field Robotics), 696–722.
 [Chien2016]Chien, H., & Klette, R. (2016). Visual Odometry
Driven Online Calibration for Monocular LiDAR-Camera Systems.
International Conference on Pattern Recognition (ICPR).

9. [Bileschi2009]
 全自動でカメラの内部パラメータ（レンズ歪、Projection Matrix、焦点
距離）および外部パラメータ（カメラとLiDARの相対位置）のキャリブ
レーションを行う
 焦点距離の算出にはバンドル調整で求めた三次元点までのカメラ
からの距離およびLiDARからの距離を用いる
 画像中の輪郭（Cannyで抽出したある程度の長さのエッジ＋向き）と
距離が急に変化する点群とがマッチングするように外部パラメータ
を調整

10. [Levinson2013]
 カメラ画像のエッジとLiDAR点群の深度が大きく変化する
点とが一致するようにセンサー間のキャリブレーション
キャリブレーションのずれをリアルタイムに補正
上：カメラ画像のエッジ上に深度変化の大きい点を重ね合わせ
下：エッジ画像を元にエッジからの距離に応じて重みを付けた画像

11. [Pandey2015]
1. LiDARで取得した点群を外部パラメータ（現在の推定値）を使用して画像上に
マッピング
2. LiDAR点群の反射強度とそれに対応するカメラ画像の画素値を元にそれぞれ
の確率分布を生成
3. 反射強度と画素値の相関が大きくなるように、それぞれの確率分布の相互情
報量(MI)が最大となるよう、１と２を繰り返して外部カメラパラメータを最適化
ソースコード（C++）: http://robots.engin.umich.edu/SoftwareData/ExtrinsicCalib
カメラ画像 Lidar点群と反射率

12. [Chien2016]
 車載カメラの自己位置とカメラ-LiDAR間の外部パラメータ
を同時に算出
カメラの自己位置 𝐑 𝑘, 𝐭 𝑘 推定と、外部パラメータ Γ𝑘, 𝜏 𝑘 の
キャリブレーションを交互に行う

13. [Chien2016]続き
 カメラの自己位置推定（𝐑 𝑘、𝐭 𝑘の算出）
1. LiDARで取得した点𝜒を、カメラ−LiDAR間外部パラメータΓ𝑘、𝜏 𝑘を
用いて、フレーム𝑘のカメラ三次元座標𝑔 𝑘(𝜒)に変換
2. 𝑔 𝑘(𝜒)を画像平面へ投影した座標ρ 𝑘(𝜒)を算出し、トラッキング𝜈 𝑘
により𝑘 + 1での座標ρ 𝑘+1(𝜒)を算出
3. 𝑔 𝑘(𝜒)をk+1の画像平面へ投影した点とρ 𝑘+1(𝜒)との誤差が最小と
なるように𝐑 𝑘、𝐭 𝑘を計算
𝑔 𝑘(𝜒)
ρ 𝑘(𝜒)
𝐑 𝑘, 𝐭 𝑘
𝜈 𝑘
再投影誤差

14. [Chien2016]続き
 キャリブレーション（ Γ𝑘、𝜏 𝑘の算出）
1. 𝑘 + 1 におけるLiDARの点𝜒を𝐑 𝑘、𝐭 𝑘を用いて先ほどと逆方
向へ投影し、再投影誤差を算出
2. 再投影誤差に対し、画素値と反射強度との相関
[Pandey2015]と画像/点群におけるエッジの一致度
[Levinson2013]に関する誤差を加えて、最小化を行うことで
Γ𝑘、𝜏 𝑘を算出
𝑔 𝑘+1(𝜒)
ρ 𝑘(𝜒)
𝐑 𝑘, 𝐭 𝑘
−1
𝜈 𝑘
−1
再投影誤差

15. まとめ
 LiDAR点群をカメラ画像へマッピング
キャリブレーションパラメータの自動補正を行うことに等しい
事前にある程度正しいキャリブレーションが行えていることが
前提