Mais conteúdo relacionado
Semelhante a 20160126 jetson ps4eye_01 (20)
20160126 jetson ps4eye_01
- 3. Who am I
普段はロボットの研究をしております.
専門は視覚認識機能.ウェアラブルセンシン
グ.各種人間支援・自動化タスクに向けたロ
ボットシステム構築・運用.少しだけ拡張現実.
未踏スーパークリエータです.
マーカーを自力生成できるARソフトを作りまし
た.
- 5. PS4eye (PlayStation Camera)
2010- Kinect 3Dセンサが極めて安く手に入るようになる.
赤外線パターン投光方式.ステレオよりも密で手軽.
諸事情で入手困難に…
2014- PS4のカメラがステレオになる.
コネクタの形状が違うがUSB3.0規格.
ハックされる.(http://ps4eye.tumblr.com/)
ROS対応される.(https://github.com/longjie/ps4eye)
安い,軽い,小さい.
私が買った時は4000円でお釣りがきた!
解像度,フレームレートともに十分.
普段は1748 x 408, 60fpsで動作させている.
左右の画像が同期されている.
- 6. ステレオカメラの特性
Pros:
計測可能範囲を計算機側が決められる.
赤外線パターン投光方式は近い方の計測範囲の狭さが問題になっ
た.
直射日光下でも調整すれば動く.
赤外線パターン投光方式は直射日光下など,プロジェクタの出力を
かき消してしまう条件では動かない.
Cons:
三次元復元は全て計算機側で行わなければいけない.しかも処理は重
い.
画像の歪み取り,平行化と左右のマッチング.
テクスチャが少ないものや繰り返しパターンは苦手.
三次元復元の密度は低くなる.
- 7. ビジョンボード
画像処理は重い.専用の計算装置がほしい.
ただし,その性能はCPUの高速化によって追いつき追い越され…
cons: CPUがガンガン速くなる+マルチメディア処理の搭載.
pros: 専用ボードは軽く,小さく,消費電力を少なくできる.
富士通ステレオビジョンモジュール(2009)
http://rraj.rsj-web.org/atcl/1071
日立高速画像処理ボードIP5000 (1999)
http://www.hitachi.co.jp/New/cnews/9911/1130a.html
Motion Estimation Processor on Transputer
Inoue et al., Robot Vision System with a
Correlation Chip for Real-Time Tracking,
Optical Flow and Depth Map Generation,
ICRA1992
- 8. モチベーション
PS4eye + Jetson TK1なら,安価で小型軽量な
ステレオビジョンシステムが実現できるのでは?
かつてのビジョンボードと同じことを最新のア
イテムで実現する.
三次元センサ+αの処理ができるセンサユニッ
トを構築する.
まずは,三次元復元を行い点群を返すようなシ
ステムを作る.
- 11. Jetson TK1と
ROSの組み合わせは不利
CPUはそんなに速くない.
ROSにおけるps4eyeのプログ
ラム構成は複数のnodeletを用
いた分散構造になっている.
nodelet間で通信が発生す
ると,たとえ同じマシン内で
も,ものすごいCPU負荷が
発生する.
そもそも画像処理はやはり重
い.
特にステレオマッチングは
非常にリソースを食う.
GSCam
ImageCrop
UndistortRectify
CalcDisparity
CameraInfo
Reconstruct3D
ImageCrop
UndistortRectify
- 12. 解決策
CPUの負荷を減らしてGPUを活用する.
ps4eyeの分散構造を一体構造に変更す
る.
画像処理全般をGPU (OpenCV + CUDA)
で行う.
適度なところで外部PCに投げられるようにする.
STEP1: Camera Image
STEP2: Disparity Image + Left Camera
Image
STEP3: Point Cloud
どのみち,三次元点群にした時点で通信
負荷は激増してしまう…
視差+カラーに比べておおよそ二倍
以上の転送量になる.
この成果物が
https://github.com/hyaguchijsk/ps4eye
_tegra
Capture
ImageCrop
UndistortRectify
CalcDisparity
CameraInfo
Reconstruct3D
ImageCrop
UndistortRectify
Camera Image
Disparity + Color Image
Point Cloud
GPU space
- 15. (付録)Block Matching vs. CSBP
第2.5案:ステレオマッチングを
CSBPにする.
3fps程度
画像の入力に10ms,視差画
像+左目画像の出力に20ms
近くかかるのは同じ
純粋にCSBPに時間がかかっ
ている.
入力画像
CSBPBlock Matching
- 16. まとめ
PS4eye + Jetson TK1で安価で小型軽量なステレオシステムを作りました.
改良点
速度向上:GPUにまかせている間にCPUで進められる処理を進められ
るようにする.
応用:特徴点ベース・3Dフロー,ビジュアルオドメトリ,etc…
本システムにおいてはたくさんの方々の成果物を利用させていただい
ております.
Jetson TK1: nVidia様
Playstation Camera: SCE様
ROS: OSRF様
OpenCV: itseez様
PS4eye hack: @ps4eye様, @longjie様