Enviar pesquisa
Carregar
Crowd Counting & Detection論文紹介
•
Transferir como PPTX, PDF
•
0 gostou
•
312 visualizações
P
Plot Hong
Seguir
混雑シーンのカウンティングや検出の基本解説、及び最近の新しい動向の論文を紹介する
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 38
Baixar agora
Recomendados
[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation
Ryutaro Yamauchi
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
Deep Learning JP
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
Hideo Terada
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Shuyo Nakatani
Recomendados
[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation
Ryutaro Yamauchi
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
Deep Learning JP
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
Hideo Terada
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Shuyo Nakatani
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
畳み込みLstm
畳み込みLstm
tak9029
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
Takeshi Suzuki
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
Deep Learning JP
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
論文の図表レイアウト例
論文の図表レイアウト例
Sunao Hara
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
2019年度チュートリアルBPE
2019年度チュートリアルBPE
広樹 本間
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
深層学習とTensorFlow入門
深層学習とTensorFlow入門
tak9029
データサイエンスの全体像とデータサイエンティスト
データサイエンスの全体像とデータサイエンティスト
The Japan DataScientist Society
Mais conteúdo relacionado
Mais procurados
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
畳み込みLstm
畳み込みLstm
tak9029
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
Takeshi Suzuki
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
Deep Learning JP
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
論文の図表レイアウト例
論文の図表レイアウト例
Sunao Hara
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
2019年度チュートリアルBPE
2019年度チュートリアルBPE
広樹 本間
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
Mais procurados
(20)
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
畳み込みLstm
畳み込みLstm
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
論文の図表レイアウト例
論文の図表レイアウト例
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
ナレッジグラフ入門
ナレッジグラフ入門
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
2019年度チュートリアルBPE
2019年度チュートリアルBPE
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
Semelhante a Crowd Counting & Detection論文紹介
深層学習とTensorFlow入門
深層学習とTensorFlow入門
tak9029
データサイエンスの全体像とデータサイエンティスト
データサイエンスの全体像とデータサイエンティスト
The Japan DataScientist Society
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Preferred Networks
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Daiki Shimada
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
LeapMind Inc
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
Morpho, Inc.
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
cvpaper. challenge
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
Shohei Hido
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
Yukiyoshi Sasao
Tatsuya Sueki Bachelor Thesis
Tatsuya Sueki Bachelor Thesis
pflab
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
Overview and Roadmap
Overview and Roadmap
JubatusOfficial
End-to-End音声認識ためのMulti-Head Decoderネットワーク
End-to-End音声認識ためのMulti-Head Decoderネットワーク
NU_I_TODALAB
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
KenzoOkuda
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
Seiya Tokui
≪インテル x ブロケード 特別対談≫ 2020年。どうなる?車とデータセンタの関係 ~SDxの、その先へ~
≪インテル x ブロケード 特別対談≫ 2020年。どうなる?車とデータセンタの関係 ~SDxの、その先へ~
Brocade
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
Kazuki Fujikawa
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTURE Project
TPNet: Trajectory Proposal Network for Motion Prediction
TPNet: Trajectory Proposal Network for Motion Prediction
Yuma Shinohara
Semelhante a Crowd Counting & Detection論文紹介
(20)
深層学習とTensorFlow入門
深層学習とTensorFlow入門
データサイエンスの全体像とデータサイエンティスト
データサイエンスの全体像とデータサイエンティスト
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
Tatsuya Sueki Bachelor Thesis
Tatsuya Sueki Bachelor Thesis
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Overview and Roadmap
Overview and Roadmap
End-to-End音声認識ためのMulti-Head Decoderネットワーク
End-to-End音声認識ためのMulti-Head Decoderネットワーク
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
≪インテル x ブロケード 特別対談≫ 2020年。どうなる?車とデータセンタの関係 ~SDxの、その先へ~
≪インテル x ブロケード 特別対談≫ 2020年。どうなる?車とデータセンタの関係 ~SDxの、その先へ~
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介
TPNet: Trajectory Proposal Network for Motion Prediction
TPNet: Trajectory Proposal Network for Motion Prediction
Mais de Plot Hong
Noisy Labels と戦う深層学習
Noisy Labels と戦う深層学習
Plot Hong
PolyLoss: A POLYNOMIAL EXPANSION PERSPECTIVE OF CLASSIFICATION LOSS FUNCTION...
PolyLoss: A POLYNOMIAL EXPANSION PERSPECTIVE OF CLASSIFICATION LOSS FUNCTION...
Plot Hong
SynFace: Face Recognition with Synthetic Data 論文紹介
SynFace: Face Recognition with Synthetic Data 論文紹介
Plot Hong
Face Quality Assessment 顔画像品質評価について
Face Quality Assessment 顔画像品質評価について
Plot Hong
論文紹介: Long-Tailed Classification by Keeping the Good and Removing the Bad Mom...
論文紹介: Long-Tailed Classification by Keeping the Good and Removing the Bad Mom...
Plot Hong
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Plot Hong
Deepfakesの生成および検出
Deepfakesの生成および検出
Plot Hong
Mais de Plot Hong
(7)
Noisy Labels と戦う深層学習
Noisy Labels と戦う深層学習
PolyLoss: A POLYNOMIAL EXPANSION PERSPECTIVE OF CLASSIFICATION LOSS FUNCTION...
PolyLoss: A POLYNOMIAL EXPANSION PERSPECTIVE OF CLASSIFICATION LOSS FUNCTION...
SynFace: Face Recognition with Synthetic Data 論文紹介
SynFace: Face Recognition with Synthetic Data 論文紹介
Face Quality Assessment 顔画像品質評価について
Face Quality Assessment 顔画像品質評価について
論文紹介: Long-Tailed Classification by Keeping the Good and Removing the Bad Mom...
論文紹介: Long-Tailed Classification by Keeping the Good and Removing the Bad Mom...
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Deepfakesの生成および検出
Deepfakesの生成および検出
Crowd Counting & Detection論文紹介
1.
Copyright © DeNA
Co.,Ltd. All Rights Reserved.Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Crowd Counting & Detection 論文紹介 Plot Hong AI Research and Development Gr.3 AI System Dept. DeNA Co., Ltd. 1
2.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Keyword: Crowd 混雑シーンでのコンピュータビジョン課題を解決するための研究テーマ → 公共の場所での人の情報を理解するため(人数、人の流れ、人の行動 etc.) 混雑したCVPR2019会場
3.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Keyword: Crowd 主な課題点: 1. 教師学習のアノテーションコストが高い 2. 対象物体のサイズが小さい 3. 物体と物体のoverlapが多くて、個々の結果は干渉されやすい etc.
4.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. 主流手法 detection based method: 物体(人)検出で全ての対象を検出する + 各個人の詳細情報を得られる(各人の位置・姿勢・行動など) + モデル汎化性能が良い - 密集度が高い人の群れに対して検出効果が弱い - (教師ありの場合)訓練データのアノテーションコストが高い [1]
5.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. 主流手法 map based method: 画像の特徴を抽出し、その特徴をregressionで全体の人数情報などを得る +密集度が高い人の群れやocclusionなどに対して効果が強い - 訓練データの人の分布にoverfitしやすい [1]
6.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. map based methodの基本フレームワーク 1. Feature Extraction CNNでfeatureを抽出する 例えば、論文[2]で下記構造のmulti-column convolutional neural networkを使っている。 マルチサイズのカーネルを採用理由は、異なる密集度のfeatureを獲得するため。
7.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. map based methodの基本フレームワーク 2. Density Map Generation 基本のdensity functionはこのようです: Ii :画像上すべてのピクセル点の集合 :Ground truth点のピクセル位置 :Ground truth点の集合 :2D ガウシアンカーネル 3. Loss Function 画像上各ピクセル点のLp Metric(e.g. L2 square error)を計算するや、 density map上全ての点の和でLp Metricを計算する、などの方法がある
8.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. ● Adaptive NMS: Refining Pedestrian Detection in a Crowd → 検出 ● Point in, Box out:Beyond Counting Persons in Crowds → カウンティング+検出 ● CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark → 姿勢推 定 紹介論文リスト
9.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Adaptive NMS: Refining Pedestrian Detection in a Crowd link:
10.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Summary 混雑シーンでの人物検出の精度を向上するために、bboxの重なり具合を量的に予 測し、それに基づいてNMS(Non-maximum suppression)の閾値を調整する手法を提案 (青:検出漏れ;赤:False Positive)
11.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Related Work Greedy-NMS(通常のNMS) とSoft-NMS Greedy-NMS: Soft-NMS: or どちらも、混雑状況ではMと重なっているbboxは 大きく抑制されて、false positiveと判定されやす い M: detection scoreが最大のbbox bi: i番目のbbox si: i番目のbboxのdetection score Nt: 固定のNMS閾値
12.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method bboxのdensityを定義 ground truthセットの中に、対象bboxと他のbboxとの最大のIOU Adaptive NMS 混雑した領域 → high density → 高い閾値 まばらな領域 → low density → 低い閾値 全てのGT Gの中で、対象bbox i以外の全てのbbox
13.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method 訓練時、densityを回帰で学習する 通常のdetector networkの後ろにdensity prediction subnetを追加する。 feature map と bbox predictions とobjectness predictionsを入力とし、Smooth-L1 Lossを 損失関数とする(緑枠)
14.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method two-stageでもone-stageでも使用できる ● two-stageの場合、RPNのtopに追加(青枠) ● one-stageの場合、networkの最後に追加(赤枠)
15.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results CityPersons Dataset *1での結果 (MR-2は log-average Miss Rateで、低いほど精度がいい。) *1. Shanshan Zhang, Rodrigo Benenson, and Bernt Schiele. Citypersons: A diverse dataset for pedestrian detection. In CVPR, 2017.
16.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results CityHuman Dataset *1での結果 (MR-2は log-average Miss Rateで、低いほど精度がいい。) *1. Shuai Shao, Zijian Zhao, Boxun Li, Tete Xiao, Gang Yu, Xiangyu Zhang, and Jian Sun. Crowdhuman: A benchmark for detecting human in a crowd. arXiv preprint arXiv:1805.00123, 2018.
17.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results bbox densityを基に混雑レベルが異なる5グループに分けたときの、各グループの MR-2点数
18.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results greedy-NMS, soft-NMS, adaptive NMSの可視化 (青:検出漏れ;赤:False Positive)
19.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. link: Point in, Box out: Beyond Counting Persons in Crowds
20.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Summary 低コストの点アノテーションデータセットで学習するだけで, 同時に混雑人数カウンティングと頭の位置とサイズを検出する手法を提案する
21.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ● 擬似ground truth初期化 混雑シーンで、nearest neighborとの距離が頭のサイズ情報を反映するため、 初期 bbox g の 擬似ground truth は、各アノテーション点と nearest neighbor との距 離 d(g, NNg) の正方形にする
22.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ● オンラインGround truth更新 サイズは d(g, NNg) より小さく、尚且つg とのIOUが0.7以上のanchor boxをpositive anchorsとする。 1 epoch 学習後,positive anchorsの中で一番高いdetection scoreだったanchor boxで g を置き換える
23.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ● Locally-constrained regression loss 擬似 Ground truth は正確ではないが,同じ水平線上にある頭のサイズは大体同 じと仮定 1. bbox 中心 gx, gy のロスはアノテーション点とL2 Lossで計算 2. bboxのgw, ghのロスは,row i-1 : i+1, column 1 : W 範囲(bbox 中心がいる行と上 下二行)内のすべての擬似 ground truth の平均と標準偏差で計算する 小 大 サイズが3σ範囲以外のbboxをペナルティを課す
24.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ● カリキュラム学習の方針を採用 問題点: 人が混雑し過ぎている場合,頭の初期 Box が小さくて検出しづらい. 一方、人がまばらだと擬似GTの初期サイズは実際のサイズより遥かに大きい. 上記のようなサンプルは非常に学習しにくい 解決策: 1. 学習難易度によってデータセットを Split し,頭の初期 bbox size が中くらいで 難易度が低いセットから学習する 2. だんだん難易度が高いセットを追加して学習する
25.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ネットワーク構造 1. ResNet-101 backbone の Anchor based detection framework を元に構築する 2. 頭の neareast neighbor 距離で Clustering して,Anchor のアスペクト比を決める 3. ResNet block 3 & 4 の出力をそれぞれ Detection layers(それぞれ異なる Scaleの Anchor を持つ)に入力し、2つの出力を加算して Final pred を出力する
26.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results 混雑人数カウンティング結果
27.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results WiderFace での検出結果
28.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results 各データセットでのアノテーション(上)と検出結果(下) 緑:良い検出結果 黄:精度悪い検出結果
29.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark link:
30.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Summary 人物が重なりあった混雑シーンに対応できるポーズ推定手法と 多様な混雑度レベルの画像を含む CrowdPose データセットの提案
31.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ポーズ推定手法(1/4) Top-down のフレームワーク 人領域(Bounding box)の検出器として YOLOv3 を用い,それぞれの Box 内の ポーズ推定は Single-person pose estimator(SPPE,単一人物姿勢推定)で行い, 高性能な従来手法である AlphaPose を修正して使用
32.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ポーズ推定手法(2/4) 本来,AlphaPoseでは,人検出器で画像の中に各人物の領域(ROI)を検出した後, その人に属する関節点のみを正解関節点としてロスを計算する. 本論文では,各人物の領域(ROI)に対して,その人物に属するかどうかを問わず ROI 内に存在する全ての関節点を正解関節点としてJoint-candidate loss を計算する. 対象人物の関節点 干渉関節点 赤:対象人物関節点 緑:干渉関節点 head right knee
33.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ポーズ推定手法(3/4) 全 ROI の関節点を入力画像にマッピングし,距離が近い同種類の関節点をグルーピ ングし関節点ノードとする. これによって,2で重複して検出された関節点を一つのノードとしてまとめる.
34.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Method ポーズ推定手法(4/4) 全ての関節点ノードを Global Association ステップで各人物のノードに割り当て, 統合する.これにより,画像全体の視点から各人の関節点をより正確に割り当てる ことができる.
35.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results Crowd Index に対する各デファクト手法の精度を見ると(左),Crowd Index の大小 で mAP が 20ポイントも変化することがわかる. 一方,各データセットにおけるCrowdIndex の分布(中央・右)によると,新たに作 成した CrowdPose は様々な混雑度の画像をまんべんなく含んでいる. 図A2:Crowd Indexとランドマーク精度の関係(左) MSCOCO と CrowdPose データセットにおける Crowd Index の分布(中央,右)
36.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results CrowdPose データセットを用いた,提案モデルのベンチマーク結果は図 A3 のよう になった.OpenPose, Mask R-CNN, AlphaPose, Xiao らの手法を上回っている.
37.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. Results MSCOCO データセットを用いたベンチマークにおいても高い精度となった. やはり Mask R-CNN, AlphaPose, Xiao らの手法を上回っている.
38.
Copyright © DeNA
Co.,Ltd. All Rights Reserved. 参考文献 [1] Lu Zhang, Miaojing Shi, Qiaobo Chen. Crowd Counting via Scale-Adaptive Convolutional Neural Network. WACV 2018 - IEEE Winter Conference on Applications of Computer Vision, Mar 2018, Lake Tahoe, United States. pp.1-9, ff10.1109/WACV.2018.00127ff. ffhal-01830946
Baixar agora