【メタサーベイ】Face, Gesture, and Body Pose
•
1 gostou•705 visualizações
「CVPR 2020 網羅的サーベイ」により作成された Face, Gesture, and Body Pose エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 【メタサーベイ】Face, Gesture, and Body Pose
Semelhante a 【メタサーベイ】Face, Gesture, and Body Pose (20)
Último
Último (7)
【メタサーベイ】Face, Gesture, and Body Pose
- 1. CVPR 2020の動向・気付き・メタサーベイ 1 a2kiti, hirotaka hiraki Group 13: Face, Gesture, and Body Pose
- 2. 2 人物姿勢推定について • 人物姿勢推定とは – 画像やビデオに映る人物について、キーポイント（関節）や形状を推 定する問題 – 主な推定対象は • 関節の2次元座標（2DPose） • 関節の3次元座標（3DPose） • 全身の形状(3DShape)
- 4. 4 強い研究機関 Max Planck Institute 7件 Google 3件 Hong Kong University 3件 - EventCap: Monocular 3D Capture of High-Speed Human Motions Using an Event Cam - DeepCap: Monocular Human Performance Capture Using Weak Supervision - VIBE: Video Inference for Human Body Pose and Shape Estimation - TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape and Garment Style - Generating 3D People in Scenes Without People - Learning to Transfer Texture From Clothing Images to 3D Humans - Learning to Dress 3D People in Generative Clothing - Neural Pose Transfer by Spatially Adaptive Instance Normalization - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis - GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models - EventCap: Monocular 3D Capture of High-Speed Human Motions Using an Event Camera - Cascaded Deep Monocular 3D Human Pose Estimation With Evolutionary Training Data - 3D Human Mesh Regression With Dense Correspondence
- 6. 6 2DPose推定 • The Devil Is in the Details: Delving Into Unbiased Data Processing for Human Pose Estimation – Flippingにおけるピクセルズレが精度に影響している ことを明らかにした研究 • • Distribution-Aware Coordinate Representation for Human Pose Estimation – 一般的に使われているヒートマップの取り扱いについて 体系的に調査した研究 所感 ・2D推定の精度が3D推定に大きな影響を与える場合も多いので、 今後も2D推定の高精度化は重要。 ・上記研究のように当たり前に使われている処理を再考するのも○
- 7. 7 3DPose推定 • 3DPose推定の課題 – 3次元座標は人手によるアノテーションが難しいため、モーキャプが利 用できる室内のデータが多く多様性のあるデータセット収集が困難 – 弱教師あり学習や自己教師学習、Data augmentationに関する研究が 進展 3DPose推定において標準的に使用されるHuman3.6Mデータセット （スタジオ撮影）
- 8. 8 3DPose推定 • Cascaded Deep Monocular 3D Human Pose Estimation With Evolutionary Training Data – 遺伝的アルゴリズムのような方法でData augmentation • Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis – アノテーションのないYoutube動画を学習に利用 Weakly-Supervised 3D Human Pose Learning via Multi-View Images in the Wild – マネキンチャレンジデータセットを学習に利用 所感 ・データセットを拡張するためにある程度人手で適した動画を選んで与える 必要がある。全Youtube動画から目的に合わせて必要な画像/動画を自動 的に抽出してくるような学習が出来れば面白い。 （もうある？）
- 9. 9 Shape推定 • Shape推定におけるパラメトリックモデル – 採択されたほとんどのShape推定研究がSMPL（Skinned Multi-Person Linear Model）を利用(2015年論文) – PCAにより抽出された10個のパラメータで形状を表現 • GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Model – Googleの出した新しいパラメトリックモデル – PCAではなくVAEでパラメータ抽出 – 顔の表情や手の形まで再現 – 今後の研究のスタンダードになる？
- 10. 10 Shape推定 • Object-Occluded Human Shape and Pose Estimation From a Single Color Image – オクルージョンの多い環境で推定するためのモデルとデータセット作成 • EventCap: Monocular 3D Capture of High-Speed Human Motions Using an Event Camera – イベントカメラを用いたモデルとデータセット作成 • Bodies at Rest: 3D Human Pose and Shape Estimation From a Pressure Image Using Synthetic Data – ベッドで使われる圧力マット画像に対するモデルとデータセット作成 所感 ・上記の研究は新しい問題設定とデータセット公開しておりオーラルに通っ ている。 ・労力は必要だが採択への一つの近道？
- 11. • Gestureの概要 – CVPR2020では12件採択されている。 – Oral 3件、Poster 9件。 – 中国の研究チームが多い(7件)。 • テーマ – 手のジェスチャー認識からモーション推定、人物再同定や歩行軌跡の予測 など対象は広い。 Gesture Hand Gesture Recognition Human Trajectory Prediction
- 12. GestureでもBodyPose同様、新たな問題設定やデータセットに取り組んで いるものがオーラルに採択されやすい – Dongxu Liらは、手話認識においてデータセットが少なく精度が低いという 課題を転移学習で解決している。 – Hao Sunらは、時系列データにおいて動きの前後を互いに推定する手法で ある、Reciprocal Learningを提案しState-of-The-Artを達成している。 オーラルとポスターの比較 Reciprocal Learning
- 13. Gestureの傾向 一括りにされていたデータを分割して表現 – 精度を向上させるため、従来は捨象されていた関係性や意味に着 目 • 人の動作における対象物との文脈を考慮したモーション推定(Enric Corona et al) • 人物同士のインタラクションを考慮した三次元再構成(Mihai Fieraru et al) • 人と周辺環境の関係性に注目した人物再同定(Guan’an Wang et al) – 所感 • 文脈や関係性を考慮することで、人物の撮影が不十分なより現実的な データへの精度が向上していくと考えられる