SlideShare uma empresa Scribd logo
1 de 21
ICCV 祭り発表資料 Multimodal Templates for Real-Time Detection of Texture-less Objects in Heavily Cluttered Scenes S. Hinterstoisser, S. Holzer , C. Cagniart, S. Ilic, K. Konolige, N. Navab, V. Lepetit  東京大学 國吉・原田研 博士 2 年 金崎朝子 第 18 回コンピュータビジョン勉強会@関東
目的: 高速・高精度 のテンプレートマッチング ,[object Object],[object Object],[object Object],Canny detector 等 ,[object Object],[object Object],[object Object],[object Object],[object Object],エッジ画像間の類似度による ノイズ、輝度変化、ブラーに弱い 微小変動に弱い 密にマッチングするので遅い スケールスペースのサンプリングを 気をつけないと重要な構造が失われがち 微小変動不変テンプレート 高速化
重要ポイント3点 ,[object Object],[object Object],[object Object]
:      のリスト 輝度勾配  in  カラー画像    法線  in  デプス画像  テンプレート :  参照画像 :  モダリティ(輝度勾配と法線) :  際立ってる点 輝度勾配テンプレートマッチングと法線テンプレートマッチングを並列に行い、最後に類似度を足してるだけ
輝度勾配  in  カラー画像    法線  in  デプス画像  テンプレート Normalized gradient map グレースケール 輝度勾配 RGB カラー 輝度勾配 カラー画像
輝度勾配  in  カラー画像    法線  in  デプス画像  テンプレート デプス画像 法線画像 Stefan 1 三次元座標 視線 デプス 法線: テイラー展開
輝度勾配  in  カラー画像    法線  in  デプス画像  テンプレート 論文中、 Fig.2 のキャプションの最後 gradients are usually found on the object contour while surface normals are found on the object interior (意訳)テクスチャレスな物体を表現するのに        表面形状の情報(法線)で補おう
重要ポイント3点 ,[object Object],[object Object],[object Object]
[object Object],[object Object],テンプレート テスト画像 点      を中心とする、ある大きさの領域 逆に考えれば・・・ テンプレートの spreading 直観的には・・・ 多重テンプレート
DOT とは違う ,[object Object],[object Object],↑ dominant 直観的イメージ LINE-MOD DOT
重要ポイント3点 ,[object Object],[object Object],[object Object]
効率化1: Response Maps を事前に準備 (多重) テンプレート テスト画像 例1:  Sim(  ,  ) = max(|cos(  -  )|, |cos(  -  )|, |cos(  -  )|) = |cos(  -  )|  =  1 例2:  Sim(  ,  ) = max(|cos(  -  )|, |cos(  -  )|, |cos(  -  )|) = |cos(  -  )|  =  0.7 … Response Map 1  1  1  0  0 1  1  1  0.7  0.7 1  1  1  0.7  0.7 0.7  0.7 0.7  0.7 0.7 0  0.7  0.7  0.7  0 ori ori 0  0  0  0  0 0.7  0.7  0.7 0.7  0.7 0.7  0.7  1  1  1 0.7  0.7  1  1  1 0  0.7  1  1  1
効率化2: Response Maps を linear memory に展開 T プロセッサは cache line を使って同時に複数のデータを読んでいる T :  テンプレートを spreading する幅 ⇒ T ピクセル毎にスライディングウィンドウができる
効率化2: Response Maps を linear memory に展開 Similarity Map
効率化2: Response Maps を linear memory に展開 LINEearizing  the  memory + multiMODal || LINE-MOD Similarity Map
ROC カーブ       LINE-MOD    と LINE-2D             ※ PAMI の。
ROC カーブ       LINE-MOD    と LINE-2D             ※ PAMI の。
can  parse  a  VGA   image  with  over  3000 templates   with  about  10 fps   on  the  CPU オクルージョンはやはり問題 類似度が線形に落ちてくのはよいこと
姿勢推定も← New!
ソフトウェア ,[object Object],[object Object],[object Object],[object Object],[object Object]
おわりに(個人的見解) ,[object Object],[object Object],[object Object],[object Object],ソフトウェア  https://kforge.ros.org/project/linemod/

Mais conteúdo relacionado

Mais procurados

ガイデットフィルタとその周辺
ガイデットフィルタとその周辺ガイデットフィルタとその周辺
ガイデットフィルタとその周辺
Norishige Fukushima
 
コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎
Norishige Fukushima
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
 
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
MPRG_Chubu_University
 

Mais procurados (20)

ガイデットフィルタとその周辺
ガイデットフィルタとその周辺ガイデットフィルタとその周辺
ガイデットフィルタとその周辺
 
コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
 
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
 
統計的学習手法よる人検出
統計的学習手法よる人検出統計的学習手法よる人検出
統計的学習手法よる人検出
 
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
 
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
 
論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)
 
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
 
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
 
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
 
[DL輪読会]Object-Centric Learning with Slot Attention
[DL輪読会]Object-Centric Learning with Slot Attention[DL輪読会]Object-Centric Learning with Slot Attention
[DL輪読会]Object-Centric Learning with Slot Attention
 
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
 

Destaque

画像からの三次元形状復元
画像からの三次元形状復元画像からの三次元形状復元
画像からの三次元形状復元
kurotou
 

Destaque (20)

cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
 
第28回コンピュータビジョン勉強会@関東(kanejaki担当分)
第28回コンピュータビジョン勉強会@関東(kanejaki担当分)第28回コンピュータビジョン勉強会@関東(kanejaki担当分)
第28回コンピュータビジョン勉強会@関東(kanejaki担当分)
 
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会
 
画像からの三次元形状復元
画像からの三次元形状復元画像からの三次元形状復元
画像からの三次元形状復元
 
非線型マッチングによるせん断変形不変な照合に関する一考察
非線型マッチングによるせん断変形不変な照合に関する一考察非線型マッチングによるせん断変形不変な照合に関する一考察
非線型マッチングによるせん断変形不変な照合に関する一考察
 
Icp3.2 takmin
Icp3.2 takminIcp3.2 takmin
Icp3.2 takmin
 
KinectやRealSenseの概要とさまざまな使い方
KinectやRealSenseの概要とさまざまな使い方KinectやRealSenseの概要とさまざまな使い方
KinectやRealSenseの概要とさまざまな使い方
 
HMCN - センサー&デバイスでできる楽しい事例紹介
HMCN - センサー&デバイスでできる楽しい事例紹介HMCN - センサー&デバイスでできる楽しい事例紹介
HMCN - センサー&デバイスでできる楽しい事例紹介
 
Kinect、real senseの概要とさまざまな使い方
Kinect、real senseの概要とさまざまな使い方Kinect、real senseの概要とさまざまな使い方
Kinect、real senseの概要とさまざまな使い方
 
28th CV勉強会@関東 #3
28th CV勉強会@関東 #328th CV勉強会@関東 #3
28th CV勉強会@関東 #3
 
ジェスチャ認識・物体形状取得がもたらす新たな未来
ジェスチャ認識・物体形状取得がもたらす新たな未来ジェスチャ認識・物体形状取得がもたらす新たな未来
ジェスチャ認識・物体形状取得がもたらす新たな未来
 
Hiroshima Motion Control Network 12, September, 2015
Hiroshima Motion Control Network   12, September, 2015Hiroshima Motion Control Network   12, September, 2015
Hiroshima Motion Control Network 12, September, 2015
 
内蔵化、モバイル化に向かうDepthセンサー
内蔵化、モバイル化に向かうDepthセンサー内蔵化、モバイル化に向かうDepthセンサー
内蔵化、モバイル化に向かうDepthセンサー
 
20150328 cv関東勉強会 sumisumithパート_v1.3
20150328 cv関東勉強会 sumisumithパート_v1.320150328 cv関東勉強会 sumisumithパート_v1.3
20150328 cv関東勉強会 sumisumithパート_v1.3
 
cvsaisentan5 Multi View Stereo 3.3
cvsaisentan5 Multi View Stereo 3.3cvsaisentan5 Multi View Stereo 3.3
cvsaisentan5 Multi View Stereo 3.3
 
20160724_cv_sfm_revisited
20160724_cv_sfm_revisited20160724_cv_sfm_revisited
20160724_cv_sfm_revisited
 
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
 
Cvim saisentan-5-2-tomoaki
Cvim saisentan-5-2-tomoakiCvim saisentan-5-2-tomoaki
Cvim saisentan-5-2-tomoaki
 
モーションセンサーデバイス調査
モーションセンサーデバイス調査モーションセンサーデバイス調査
モーションセンサーデバイス調査
 
Cvim saisentan-cvpr-hyper depth
Cvim saisentan-cvpr-hyper depthCvim saisentan-cvpr-hyper depth
Cvim saisentan-cvpr-hyper depth
 

Semelhante a 第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)

20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
Yoichi Shirasawa
 
大規模画像認識とその周辺
大規模画像認識とその周辺大規模画像認識とその周辺
大規模画像認識とその周辺
n_hidekey
 

Semelhante a 第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki) (20)

論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
 
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
 
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages. Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
 
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
点群深層学習 Meta-study
点群深層学習 Meta-study点群深層学習 Meta-study
点群深層学習 Meta-study
 
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
 
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
 
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D ReasoningSoft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
 
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase
 
大規模画像認識とその周辺
大規模画像認識とその周辺大規模画像認識とその周辺
大規模画像認識とその周辺
 
semantic segmentation サーベイ
semantic segmentation サーベイsemantic segmentation サーベイ
semantic segmentation サーベイ
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
 
Semantic segmentation2
Semantic segmentation2Semantic segmentation2
Semantic segmentation2
 

第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)

  • 1. ICCV 祭り発表資料 Multimodal Templates for Real-Time Detection of Texture-less Objects in Heavily Cluttered Scenes S. Hinterstoisser, S. Holzer , C. Cagniart, S. Ilic, K. Konolige, N. Navab, V. Lepetit  東京大学 國吉・原田研 博士 2 年 金崎朝子 第 18 回コンピュータビジョン勉強会@関東
  • 2.
  • 3.
  • 4. :      のリスト 輝度勾配  in カラー画像   法線 in デプス画像  テンプレート : 参照画像 : モダリティ(輝度勾配と法線) : 際立ってる点 輝度勾配テンプレートマッチングと法線テンプレートマッチングを並列に行い、最後に類似度を足してるだけ
  • 5. 輝度勾配  in カラー画像   法線 in デプス画像  テンプレート Normalized gradient map グレースケール 輝度勾配 RGB カラー 輝度勾配 カラー画像
  • 6. 輝度勾配  in カラー画像   法線 in デプス画像  テンプレート デプス画像 法線画像 Stefan 1 三次元座標 視線 デプス 法線: テイラー展開
  • 7. 輝度勾配  in カラー画像   法線 in デプス画像  テンプレート 論文中、 Fig.2 のキャプションの最後 gradients are usually found on the object contour while surface normals are found on the object interior (意訳)テクスチャレスな物体を表現するのに        表面形状の情報(法線)で補おう
  • 8.
  • 9.
  • 10.
  • 11.
  • 12. 効率化1: Response Maps を事前に準備 (多重) テンプレート テスト画像 例1: Sim( , ) = max(|cos( - )|, |cos( - )|, |cos( - )|) = |cos( - )| = 1 例2: Sim( , ) = max(|cos( - )|, |cos( - )|, |cos( - )|) = |cos( - )| = 0.7 … Response Map 1 1 1 0 0 1 1 1 0.7 0.7 1 1 1 0.7 0.7 0.7 0.7 0.7 0.7 0.7 0 0.7 0.7 0.7 0 ori ori 0 0 0 0 0 0.7 0.7 0.7 0.7 0.7 0.7 0.7 1 1 1 0.7 0.7 1 1 1 0 0.7 1 1 1
  • 13. 効率化2: Response Maps を linear memory に展開 T プロセッサは cache line を使って同時に複数のデータを読んでいる T : テンプレートを spreading する幅 ⇒ T ピクセル毎にスライディングウィンドウができる
  • 14. 効率化2: Response Maps を linear memory に展開 Similarity Map
  • 15. 効率化2: Response Maps を linear memory に展開 LINEearizing the memory + multiMODal || LINE-MOD Similarity Map
  • 16. ROC カーブ       LINE-MOD    と LINE-2D            ※ PAMI の。
  • 17. ROC カーブ       LINE-MOD    と LINE-2D            ※ PAMI の。
  • 18. can parse a VGA   image with over 3000 templates with about 10 fps   on the CPU オクルージョンはやはり問題 類似度が線形に落ちてくのはよいこと
  • 20.
  • 21.

Notas do Editor

  1. 猿以外は LINE-2D もかなりいい