O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

【CVPR 2020 メタサーベイ】Image Retrieval

479 visualizações

Publicada em

「CVPR 2020 網羅的サーベイ」により作成された Image Retrieval エリアのメタサーベイ資料です。

CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/

cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。
http://xpaperchallenge.org/cv/

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

【CVPR 2020 メタサーベイ】Image Retrieval

  1. 1. CVPR 2020の動向・気付き・メタサーベイ 
 1 神林優太(東京電機大学 前田研)
 Group 7: Image Retrieval
  2. 2. 2 Image Retrieval
 • 本トピックのメタサーベイ について
 – 画像検索
 検索サイトでも使われる画像検索技術に関するトピック
 – 画像の探索空間の構成方法に関する研究が主題.
 メトリック学習と深い関係性.
 
 
 – CVPR2020における,画像検索のテーマ設定の傾向について考 察
 – CVPR2020で紹介された手法,技術について紹介
 
 

  3. 3. 3 Image Retrievalの傾向
 画像検索の分野では,
 データセットと共に提案されている論文が多い
 – 既存のフィールドでの性能が飽和しているとみられるか.
 今後はより大規模で多種多様なデータセットが画像検索の技術向 上には必要になると考えられる.
 
 – 今後はデータセット間の関係性,共通性,個別化に関する議論 が必要になってくる! – 大規模なデータセットが必要なケースが多いためか、Googleや Alibaba、Samsungなどの大企業の研究者やソウル大学などの 名門大学が論文執筆をしているケースが多い
  4. 4. 4 手法,技術の紹介
 – 以下に大別して紹介
 
 – embedding
 • 埋め込み関数を使った画像検索
 • 教師無し埋め込み学習と画像検索
 – 新しい課題や新しく提案されたデータセットの中での画像 検索
 • 合成されたクエリ画像の検索
 • ファッション検索の課題の補完
 • 画像検索とインスタンス認識
 • 多様なマルチメディアデータにおける検索の課題
 

  5. 5. embedding/埋め込み
 5
  6. 6. 6 埋め込み関数を使った画像検索
 ・ロス関数 RankMI
 – RankMI:同クラス画像ペアの特徴量ベクトルの差の分布が、 異クラス画像ペアの特徴量ベクトルの差の分布から十分に離 れるように設計したロス関数
 • 従来法に匹敵するかそれを上回る精度を達成!
 https://openaccess.thecvf.com/content_CVPR_2020/papers/Kemertas_RankMI_A_Mutual_In formation_Maximizing_Ranking_Loss_CVPR_2020_paper.pdf

  7. 7. 7 教師なし埋め込み学習と画像検索
 ・教師なし埋め込み学習による検索の課題
 – ①ラベル付けされていない画像から視覚的な類似性の関係 や弱 い正の教師ありの特徴を抽出することである • 大量の偽陽性が発生する可能性がある • ラベルマイニングが初期化された表現に大きく依存している – ②学習カテゴリとテストカテゴリが未知のバリエーションで重  なっていな い場合には、学習された表現がうまく機能しない • 拡張されたインスタンス特徴に過学習すると、一般化性が悪くなる https://openaccess.thecvf.com/content_CVPR_2020/papers/Ye_Probabilistic_Structural_Latent _Representation_for_Unsupervised_Embedding_CVPR_2020_paper.pdf

  8. 8. 新しい課題や新しく提案されたデー タセットの中での画像検索
 8
  9. 9. 9 合成されたクエリ画像の検索
 ・画像内の局所領域のセットを用いた新たな手法 – これまで画像全体を考慮していた手法から、入力画像の局所領 域を用いた手法へ
 • 修正テキストの各単語と画像の局所領域との正確な相関関係が得 られるようになる • 加えてテスト中の候補画像を効率的にフィルタリングするためのモ ジュールを提案し、精度を維持し効率化を図る 
 https://openaccess.thecvf.com/content_CVPR_2020/papers/Hosseinzadeh_Composed_Query_ Image_Retrieval_Using_Locally_Bounded_Features_CVPR_2020_paper.pdf

  10. 10. 10 ファッション検索の課題の補完
 ・盗作された衣服の検索
 – PSNetの提案
 • 幾何学的情報を用いて類似度学習を行う地域表現に基づいたネッ トワーク
 • 新たなデータセット”Plagiarized Fashion”を用いて、衣服のカテゴ リごとに領域重みを学習し、類似性学習時に自動的に領域重みを 操作する →盗作服の検索の精度が大幅に向上! https://openaccess.thecvf.com/content_CVPR_2020/papers/Lang_Which_Is_Plagiarism_Fashi on_Image_Retrieval_Based_on_Regional_Representation_CVPR_2020_paper.pdf

  11. 11. 11 画像検索とインスタンス認識
 ・大規模でレベルの高いデータセットの必要性
 – Google Landmarks Dataset v2:500万枚以上の画像と 200k個の異なるインスタンスラベルを含むデータセット →極端なクラスの不均衡、誤認識率を低くするため ・大域的特徴の類似性探索を始めとした複雑な手法を複数 試 したが、それでも画像検索とインスタンス認識にはまだ まだ改善 の余地がある
 https://openaccess.thecvf.com/content_CVPR_2020/papers/Weyand_Google_Landmarks_Dat aset_v2_-_A_Large-Scale_Benchmark_for_Instance-Level_CVPR_2020_paper.pdf

  12. 12. 12 多様なマルチメディアデータにおける検索の課題
 • ・多様なマルチメディアデータの急速な成長に伴って課 題も当然発生する
 – 高次の意味情報や視覚的ディストラクション • 視覚と言語のモダリティのためのシーングラフを構築 – 正確で効果的な検索(クロスモーダル検索) • 2つの異なるモダリティのデータ間の大きなギャップをいか に効果的に解消するかが鍵
 
 A)クエリのキャプション(太字はクエリ内のキーワード) 
 
 B)グランドトゥルース画像 
 
 C)高ランクの偽マッチング 
 
 https://openaccess.thecvf.com/content_CVPR_2020/papers/Li_Visual-Semantic_Matchin g_by_Exploring_High-Order_Attention_and_Distraction_CVPR_2020_paper.pdf


×