More Related Content
More from harmonylab (20)
RAPiD
- 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
RAPiD: Rotation-Aware People
Detection in Overhead Fisheye
Images
北海道大学 大学院情報科学研究院
情報理工学部門 複合情報工学分野 調和系工学研究室
西浦 翼
- 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 Laboratory of Harmonious Systems Engineering Research Group of Synergetic Information Engineering
Division of Computer Science and Information Technology Faculty of Information Science and Technology Hokkaido University – All rights reserved.
論文情報 2
著者
・Zhihao Duan (Boston University)
・M. Ozan Tezcan (Boston University)
・Hayato Nakamura (Boston University)
発表
・CVPR 2020
概要
・天井視点の魚眼画像における人物検出でSoTA
・様々な人物の姿勢に対応できるように矩形の角度を学習するための
損失関数を提案
・天井視点の魚眼画像のデータセットを新たに作成
リンク
・論文 https://arxiv.org/abs/2005.11623
・Git https://github.com/duanzhiihao/RAPiD
- 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
研究背景
スマートビルディングの開発
→Occupancy sensing (占有率検知?) が重要
・省エネ
・空間のマネジメント
・セキュリティ (火事、アクティブシューター)
3
- 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
研究背景
人数カウント × CV
・広角カメラ
→複数台必要、かさばる
・魚眼カメラ
→物体検出アルゴリズムが横視点・広角用
4
天井視点・魚眼用のアルゴリズムの開発
- 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
従来手法 5
(a) YOLOのみ、上下が合ってる人しか検出できない
(b) 15°ずつ回してYOLO(2019)、立ってる人しか検出できない
(c) 提案手法、様々な姿勢を検出できる
- 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
提案手法 RAPiD 6
- 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Backbone Network 7
・特徴抽出器
・P1:高解像度 → P3:低解像度
・種々のレベルの情報を抽出する
- 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
FPN 8
・物体検出に関わる特徴を抽出する
・P1FPN:小さい物体 → P3FPN:大きい物体
- 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Detection Head 9
・ は の4次元配列
1次元:アンカーボックスの数
2,3次元:グリッド ( s はストライド)
4次元:グリッドセル毎の推論矩形
- 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Detection Head 10
・ =
の範囲
- 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Angle-Aware Loss Function 11
YOLOv3を参考に提案
BCE:Binary Cross Entropy
真値は右の式参照
←new
- 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
角度θを損失関数に導入
従来手法 L1, L2距離
角度の周期性を無視
12
・周期性のある損失関数を提案
・パラメータを変更
- 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Periodic Loss 13
矩形は 回転しても同じはずなので、以下を満たす
提案手法 Periodic Loss
f()は L1, L2ノルムのような関数
なので、微分すると
- 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Periodic Loss 14
- 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
パラメータの変更
従来手法
θの範囲 で矩形が網羅できる
width, height によって
15
- 16. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
パラメータの変更
しかし、
この表現の対称性がコストにつながるらしい?
16
- 17. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
アノテーションに以下の条件を設ける
・幅より高さの方が長い
・その代わり角度の範囲を
の
パラメータの変更 17
の範囲
- 18. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
パラメータの変更
問題発生
のとき
18
< 0
を大きくするように重みを更新してしまい、
から更に乖離する
- 19. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
→
は より + に近づけるべき
パラメータの変更 19
→ +
≤ ≤
−
- 20. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
パラメータの変更
まとめ
1. ground truth の範囲
2. periodic angle loss を使う
3. predicted angle の範囲
20
- 21. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実験
データセット
21
MW-R HABBOF
・CEPDOFを作った
・ReID用にIDも振った
・より混雑した状況
・様々な体勢
・暗い画像をも入れた
- 22. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
22
CEPDOF
- 23. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
23
実験
• MSCOCO2017で100,000イテレーション学習
• SGDでstep size0.001、momentum0.9、
weight decay0.0005
• 3つのデータセットの一部で6,000イテレー
ションファインチューニング
• 回転、左右反転、リサイズ、color
augmentationも使用
• 3つのデータセットでクロスバリデーション
- 24. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
24
実験
• ‘P’recision, ‘R’ecall, ‘F’-measure
• P, R, Fは各動画の平均なのでFがPとRの調和平
均になってない
• FPSはCEPDOFの”Edge cases”で
Nvidia GTX 1650 GPUを使用
- 25. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実験 25
上段:easy 下段:challenge
緑:TP 赤:FP 黄:FN
- 26. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
厳しくね① 26
スクリーンに
人が写ってる
- 27. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
厳しくね② 27
見えない &
影が映ってる
- 28. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
アブレーションスタディ 28
• BaselineはTamura et al[27](広角画像のみ)
• Multi-classからSingle-classにするとAPは下がるが
FPSは上がった
• 魚眼画像でFine-tuningしてAPが大幅向上
• 損失関数と角度のルールを導入してAPが大幅向上
- 29. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
アブレーションスタディ
損失関数の比較
Periodic lossが1番いい
29
- 30. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
アスペクト比の分布 30
推論した矩形のアスペクト比の分布
を学習している
- 31. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
まとめ
• 新しい Loss を提案
• 魚眼用人物検出モデルRAPiDを提案
• 新しいデータセットを作成
• 3つのデータセットでSoTA
• 暗い画像では精度が下がるという課題あり
角度の推論が必要な魚眼画像において、周期性
を取り込んだ損失関数の定式化が上手だった
31