O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
Sketch-based 3D Shape Retrieval
using Convolutional Neural Networks
発表:a-i-to
書誌情報、著者に関して
Fang Wang, Le Kang, Yi Li, Sketch-based 3D
Shape Retrieval using Convolutional Neural
Networks, CVPR, 2015.
著者...
目的
• 手描きのスケッチをクエリーにして3Dモデル
を検索したい
– 手描きのスケッチから、それと同じ「カテゴリ」の
3Dモデルを検索する
アプローチ
• “siamese CNNs”
– 入力を2つ取って、それぞれを同じCNNsにかけて特徴ベクトル抽出
– その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする
– S. Chopra, R. Hadsell, and...
損失関数
• y: 同じカテゴリなら0、違うカテゴリなら1
• LG: 同じカテゴリの時に使う損失関数
– EWが小さい … 同じカテゴリで似てる
– EWが大きい … 同じカテゴリなのに似てない
LGはEWに対し、単調増加するような関数にす...
損失関数
この論文で採用している損失関数
neural networkの全体構成
• スケッチ用のsiamese network
• 3Dモデル用のsiamese network
の2つを用意する
全体の損失関数を
• 各ドメインでの損失関数
• ドメイン間の損失関数
の和で表す
※ ...
各CNNsの構成
入力 畳込み層 + プーリング層
3Dモデルの扱い
ランダムに生成した2種類のviewで2Dに写像す
る
– 3Dモデルは上下固定
– viewは45度以上、間隔があるもの
※「モデルごとにたくさんのviewで投影したもの
を用意する」のではなく、2種類のviewだけ用意
する
3Dモデルの扱い
viewが決まったら、
Suggestive Contoursなどの技法を使って2Dの線で描画されたデータにする
実験:データセット
• PSB/SBSR dataset
– The Princeton Shape Benchmark +
the Shape Based Shape Retrival
– 1814個の3Dモデル 、1814個のスケッチ、クラ...
実験:定性的な評価
• 大枠では、カテゴリを捉えている
• 人の絵を描いたら、人のモデルが出てくる
ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル
では間違った結果を返してしまう
• 向き(view)に対して、ロバストな...
実験:定量的な評価
適合率-再現率曲線を描いてみた。
赤い線が本論文の提案手法。既存のものよりいい。
実験:定性的評価
他の指標でも勝ってる
まとめ
• 新しいスケッチからの3Dモデル検索手法の提案
– 3Dモデルに対して、たくさんのviewを用意しなくてもよ
く
– 既存のものに比べて性能の良い
• 2つのSiamese CNNsを組み合わせて、
– ドメイン内(スケッチ同士、3D...
Próximos SlideShares
Carregando em…5
×

[Cvpr2015勉強会]Sketch-based 3D Shape Retrival using Convolutional Neural Networks

1.521 visualizações

Publicada em

2015年7月20日に行われたCVPR2015勉強会(コンピュータビジョン勉強会@関東)で発表したスライド。

Publicada em: Engenharia
  • Seja o primeiro a comentar

[Cvpr2015勉強会]Sketch-based 3D Shape Retrival using Convolutional Neural Networks

  1. 1. Sketch-based 3D Shape Retrieval using Convolutional Neural Networks 発表:a-i-to
  2. 2. 書誌情報、著者に関して Fang Wang, Le Kang, Yi Li, Sketch-based 3D Shape Retrieval using Convolutional Neural Networks, CVPR, 2015. 著者の方たちの所属 • NICTA (オーストラリアの情報系の研究機関) • ANU (オーストラリア国立大学) • University of Maryland at College Park
  3. 3. 目的 • 手描きのスケッチをクエリーにして3Dモデル を検索したい – 手描きのスケッチから、それと同じ「カテゴリ」の 3Dモデルを検索する
  4. 4. アプローチ • “siamese CNNs” – 入力を2つ取って、それぞれを同じCNNsにかけて特徴ベクトル抽出 – その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする – S. Chopra, R. Hadsell, and Y. LeCun. Learning a similarity metric discriminatively, with application to face verification. で提案された手法
  5. 5. 損失関数 • y: 同じカテゴリなら0、違うカテゴリなら1 • LG: 同じカテゴリの時に使う損失関数 – EWが小さい … 同じカテゴリで似てる – EWが大きい … 同じカテゴリなのに似てない LGはEWに対し、単調増加するような関数にする • LI: 違うカテゴリの時に使う損失関数 – EWが小さい … 違うカテゴリなのに似ちゃってる – EWが大きい … 違うカテゴリで似てない => LIはEWに対し、単調減少するような関数にする
  6. 6. 損失関数 この論文で採用している損失関数
  7. 7. neural networkの全体構成 • スケッチ用のsiamese network • 3Dモデル用のsiamese network の2つを用意する 全体の損失関数を • 各ドメインでの損失関数 • ドメイン間の損失関数 の和で表す ※ s: スケッチデータ, v: 3Dモデルのデータ s1とv1が同じカテゴリ、s2とv2が同じカテゴリとする。 よってyはs1とs2が同じカテゴリかどうか(= v1とv2が同じカテゴリか)を表す
  8. 8. 各CNNsの構成 入力 畳込み層 + プーリング層
  9. 9. 3Dモデルの扱い ランダムに生成した2種類のviewで2Dに写像す る – 3Dモデルは上下固定 – viewは45度以上、間隔があるもの ※「モデルごとにたくさんのviewで投影したもの を用意する」のではなく、2種類のviewだけ用意 する
  10. 10. 3Dモデルの扱い viewが決まったら、 Suggestive Contoursなどの技法を使って2Dの線で描画されたデータにする
  11. 11. 実験:データセット • PSB/SBSR dataset – The Princeton Shape Benchmark + the Shape Based Shape Retrival – 1814個の3Dモデル 、1814個のスケッチ、クラス数90 (訓練時)、92(テスト時) • SHREC’13 dataset – 1258個の3Dモデル、7200個のスケッチ、クラス数90 • SHREC’ 14 dataset – 8987個の3Dモデル、13680個のスケッチ、クラス数 171 http://techtalks.tv/talks/sketch-based-3d-shape-retrieval-using-convolutional- neural-networks/61590/ より
  12. 12. 実験:定性的な評価 • 大枠では、カテゴリを捉えている • 人の絵を描いたら、人のモデルが出てくる ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル では間違った結果を返してしまう • 向き(view)に対して、ロバストな感じ(赤枠と緑枠に注目)
  13. 13. 実験:定量的な評価 適合率-再現率曲線を描いてみた。 赤い線が本論文の提案手法。既存のものよりいい。
  14. 14. 実験:定性的評価 他の指標でも勝ってる
  15. 15. まとめ • 新しいスケッチからの3Dモデル検索手法の提案 – 3Dモデルに対して、たくさんのviewを用意しなくてもよ く – 既存のものに比べて性能の良い • 2つのSiamese CNNsを組み合わせて、 – ドメイン内(スケッチ同士、3Dモデル同士) – ドメイン間(スケッチと3Dモデル) で類似度を計算する方法の提案

×