O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
ICRA2018 Best Paper Award in Robot Vision
Abstract
• 家庭環境内でロボットが賢く動くためには物体間の任意の空間
的関係を理解し⼀般化する能⼒が必要である
• この論⽂ではオブジェクトの3次元点群を描かれた空間関係の
類似性を捉える距離空間にマッピングするようなニューラル
ネッ...
この論⽂は何がしたいか
• 2つの物体間の空間的距離の獲得
• 獲得した距離をもとにシーンを模倣
問題の定式化(1/2)
オブジェクト︓𝑜", 𝑜$(点群𝑃", 𝑃$を持っている)
それぞれの位置と回転︓𝑡", 𝑡$, 𝑞", 𝑞$
シーン︓𝑠+ = 𝑜", 𝑜$, 𝑡", 𝑡$, 𝑞", 𝑞$
シーン𝑠+と𝑠-間の類似性を表すラベル𝑌+-...
問題の定式化(2/2)
𝑓 𝑠+, 𝑠- は具体的に Γ 𝑠+ − Γ 𝑠- 6
と定義し
minimize
<=,>, <?,>, @=,>,@?,>
𝑓 𝑠+, 𝑠-
を⽬指すことでシーンを
模倣させる
Γ 𝑠A
Γ 𝑠 Γ 𝑠B
提案⼿法(1/4)
Γ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓と定義する
𝜓は各点群に回転・平⾏移動をしてアラインメント
𝜌は点群を3つの直交する平⾯に投影
𝐺Eは畳み込みニューラルネットワーク
提案⼿法(2/4)
𝐿𝑜𝑠𝑠 =
1
2
(𝑑A)6
+
1
2
(max(0, 1 − 𝑑B))6
提案⼿法(3/4)
空間的距離をマッピングする関数を獲得したので、異なるシーン
に関してシーン内の並進と回転を動かしてreferenceとの誤差を
誤差逆伝播法を⽤いて最⼩化する
誤差逆伝播するにはΓ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓が微分可能となる必...
提案⼿法(4/4)
x, y, zそれぞれ3次元座標の誤差をそれぞれの⾯から画像上での
pixelをシフトさせることによる変化量に近似することで誤差と
して使⽤できるようになる
具体的には各射影に対して偏微分𝑈′を計算する。点群座標系のz
軸は...
提案⼿法(4/4)
結果(学習に⽤いたオブジェクト)
125シーン中70シーンは成功、55シーンは失敗
結果
(学習に⽤いなかったオブジェクト)
160シーン中68シーン成功
92シーンで失敗
Próximos SlideShares
Carregando em…5
×

論文読み:Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning

Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning(https://arxiv.org/abs/1707.00893)を読んだ際のメモです

  • Entre para ver os comentários

  • Seja a primeira pessoa a gostar disto

論文読み:Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning

  1. 1. ICRA2018 Best Paper Award in Robot Vision
  2. 2. Abstract • 家庭環境内でロボットが賢く動くためには物体間の任意の空間 的関係を理解し⼀般化する能⼒が必要である • この論⽂ではオブジェクトの3次元点群を描かれた空間関係の 類似性を捉える距離空間にマッピングするようなニューラル ネットワークを訓練する→deep metric learning • また、学習した測定基準の下で別の物体セットをReferenceの 空間関係に模倣させる⼿法を提案する
  3. 3. この論⽂は何がしたいか • 2つの物体間の空間的距離の獲得 • 獲得した距離をもとにシーンを模倣
  4. 4. 問題の定式化(1/2) オブジェクト︓𝑜", 𝑜$(点群𝑃", 𝑃$を持っている) それぞれの位置と回転︓𝑡", 𝑡$, 𝑞", 𝑞$ シーン︓𝑠+ = 𝑜", 𝑜$, 𝑡", 𝑡$, 𝑞", 𝑞$ シーン𝑠+と𝑠-間の類似性を表すラベル𝑌+- ∈ 0, 1 ⽬標は2つのシーンの空間的距離をマッピングする 𝑓 𝑠+, 𝑠- = 𝑑を学習すること
  5. 5. 問題の定式化(2/2) 𝑓 𝑠+, 𝑠- は具体的に Γ 𝑠+ − Γ 𝑠- 6 と定義し minimize <=,>, <?,>, @=,>,@?,> 𝑓 𝑠+, 𝑠- を⽬指すことでシーンを 模倣させる Γ 𝑠A Γ 𝑠 Γ 𝑠B
  6. 6. 提案⼿法(1/4) Γ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓と定義する 𝜓は各点群に回転・平⾏移動をしてアラインメント 𝜌は点群を3つの直交する平⾯に投影 𝐺Eは畳み込みニューラルネットワーク
  7. 7. 提案⼿法(2/4) 𝐿𝑜𝑠𝑠 = 1 2 (𝑑A)6 + 1 2 (max(0, 1 − 𝑑B))6
  8. 8. 提案⼿法(3/4) 空間的距離をマッピングする関数を獲得したので、異なるシーン に関してシーン内の並進と回転を動かしてreferenceとの誤差を 誤差逆伝播法を⽤いて最⼩化する 誤差逆伝播するにはΓ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓が微分可能となる必要がある 𝐺E・ 𝜓は微分可能であるが投影処理𝜌に関しては⼯夫する必要が ある(軸同⼠が離散化されるため)
  9. 9. 提案⼿法(4/4) x, y, zそれぞれ3次元座標の誤差をそれぞれの⾯から画像上での pixelをシフトさせることによる変化量に近似することで誤差と して使⽤できるようになる 具体的には各射影に対して偏微分𝑈′を計算する。点群座標系のz 軸は側⾯画像座標系のy軸と対応するのでそれぞれSobelフィル タで畳み込んで合計しz軸画像上の射影に追加する
  10. 10. 提案⼿法(4/4)
  11. 11. 結果(学習に⽤いたオブジェクト) 125シーン中70シーンは成功、55シーンは失敗
  12. 12. 結果 (学習に⽤いなかったオブジェクト) 160シーン中68シーン成功 92シーンで失敗

×