2012/12/16 CV勉強会＠関東　「ECCV2012読み会」発表資料 Sparselet Models for Efficient Multiclass Object Detection

1. 2012/12/16 CV勉強会＠関東
ECCV2012読み会 発表資料
takmin

2. 紹介する論文
 Sparselet Models for Efficient Multiclass Object
Detection
 H.O.Song, S.Zickler, T.Althoff, R.Girshick, M.Frits,
C.Geyer, P.Felzenswalb, and T.Darell
 ECCV2012
この論文の貢献：
Deformable Part Modelのパーツに対して、
Sparse Codingを用いて中間的なモデルを生成
することで、多クラスの検出を効率化した。

3. Sparselet Models for Efficient Multiclass
Object Detection
デモ動画

4. Deformable Part Model (DPM)
 物体のモデルをパーツの集合として表現する物体検出
手法
 パーツの相対位置は対象によって変化
 P. Felzenswalb et al, “Object Detection with Discriminatively
Trained Part Based Models”, PAMI, 32(9), 2010

5. パーツの中間表現(Sparselet)
オブジェクト
・・・・・
パーツ
・・・・・
Sparselet
基底１ 基底２ 基底３ ・・・・・

6. DPMの評価関数
Bounding Box 各パーツ形状 パーツ位置の 定数項
の妥当性 n の妥当性 n 歪み
score ,     Pi  ( I ,    i )   di ( i )  b
i 0 i 1
Box 各Boxの 歪みのペナ
位置 HOG特徴 ルティ
パーツ フィルタ
の歪み
I


  i

7. DPMの物体検出
n n
score ,     Pi  ( I ,    i )   di ( i )  b
i 0 i 1
ω 各Sliding Windowの位置ωで以下の
スコアを求め、高いところを物体の
位置とする。
score( )
 max score1 ,,  n 

各ルート位置でもっとも最適化された
パーツ位置でのスコア

8. 物体の検出
n n
score ,     Pi  ( I ,    i )   di ( i )  b
i 0 i 1
 n n

score   max   Pi  ( I ,    i )   d i ( i ) 

 i 0 i 1 
各パーツは独立なので、それぞれについてスコアを最大化する。
n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

9. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

10. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

11. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

12. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

13. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

14. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

15. n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

16. Sparseletを用いた物体検出
n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

Pi 畳み込み
 * Pi

17. Sparseletを用いた物体検出
n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

K
Pi Pi   aij D j
j 1
Sparselet
スパースな
係数
 * Pi

18. Sparseletを用いた物体検出
n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1

K
Pi Pi   aij D j
j 1
 K  K
 * Pi   *   aij D j    aij  * D j 
 
 j 1  j 1

19. Sparseletを用いた物体検出
事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出
 * Pi   aij  * D j 
K
j 1

20. Sparseletを用いた物体検出
事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出
事前に辞書Dを作成しておく
 * Pi   aij  * D j 
K
D  D1 , D2 ,, DK 
j 1

21. Sparseletを用いた物体検出
事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出
入力画像にSparseletを畳み込み
 * Pi   aij  * D j 
K
中間表現を得る
j 1

22. Sparseletを用いた物体検出
事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出
中間表現の線形和から各パーツ
 * Pi   aij  * D j 
K
の応答を再構成する。
j 1

23. Sparselet辞書の求め方
 できるだけ少ないSparseletの組み合わせでパーツを再
構成したい。
再構成誤差が最小とする制約 2
N K
min  vec( Pi )    ij D j (1)
 ij , D j
i 1 j 1 2
係数をSparseにする制約
subject to αi 0
 i  1,, N
Dj 1 j  1,, K
2
Orthogonal Matching Pursuit algorithm(OMP)で解く

24. パーツの応答の復元
原画像 車輪部分の応答
SVDで復元した応答 Sparslet(20基底)で復元した応答

25. パーツフィルタの再構成
 ランダムに選んだパーツPi （左）をSparselet（中）とSVD
（右）で再構成した結果
Motorbike part 10 Sofa part 25
Aeroplane part 27 Cat part 34

26. 中間表現の計算と再構成
 * Pi   aij  * D j 
K
j 1
－   P － － α1 －
－   P － － α － －   D1 －
1
 2   2  －   D －
     2   AM
     
      －   D －
－   PN － － α N － 
   
K 
Sparse 中間表現
Activation
Matrix

27. 中間表現の計算と再構成
Deformable Part Model
n
score   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) 

i 1
Sparselet Model
N
scorerecon    m0     max si      di  

i 1
(3)
 ψ * D     
K K
si    ij j ij M j  
j 1 j 1
aij  0 aij  0

28. Sparseletによるマルチクラス検出
 ψ * D     
K K
si    ij j ij M j  
j 1 j 1
aij  0 aij  0

29. Sparseletによるマルチクラス検出
 ψ * D     
K K
si    ij j ij M j  
j 1 j 1
aij  0 aij  0

30. Sparseletによるマルチクラス検出
 ψ * D     
K K
si    ij j ij M j  
j 1 j 1
aij  0 aij  0

31. Sparseletによるマルチクラス検出
N
scorerecon    m0     max si      di  

i 1

32. Sparseletによるマルチクラス検出
N
scorerecon    m0     max si      di  

i 1

33. フィルタ処理の計算量
Deformable Part Model
h

O Nlh 2 
カテゴリが増えると計算量↑
Sparselet Model

O Klh  N E α i
2
 0
 h フィルターサイズ
l 特徴次元
非ゼロの数の期待値
カテゴリが増えても計算量の上昇は緩やか N パーツの数
lh 2 K 基底の数
 
DPMと比較した時の
スピードアップ率 E αi 0

34. 実装
1. CPU Cascaded Sparselet
 カスケード型のDPM[1]にSparseletを適用して実装
2. Vanilla DPM and Sparselets on GPU
 オリジナルのDPMをGPUへ実装
 オリジナルのDPMにSparseletを適用してGPUへ実装
[1] P.F.Felzenszwalb et al., “Cascade object detection with deformable part models”,
CVPR2010

35. フィルターサイズ
 Partsフィルタサイズに対してSparseletフィルタのサイズを
小さく設定した場合
フィルタ再構成のコスト:
 (hF / hs )(wF / ws )  BR DPM Parts
wF
L0ノルム DPMフィルタ内のSparselet コスト上限 フィルタ
の上限 フィルタ数
Sparselet
フィルタの処理コスト: フィルタ
hs ws lK  BP hF
コスト上限
hs
l 特徴次元 K 基底の数
ws

36. フィルターサイズ
 Sparseletフィルタのサイズを小さく設定した場合の再構
成誤差

37. 実験
 Unseenカテゴリに対する実験
 データセット
 PASCAL VOC 2007
 ImageNet
 TRECVID
 １カテゴリを除いた残りのカテゴリから辞書を作成して、その１
カテゴリを認識

38. 実験
 20 PASCAL VOCカテゴリー
Average Precision
基底の数

39. 実験
 9 PASCAL VOCカテゴリー
Average Precision
基底の数

40. 実験
 PASCAL VOCのカテゴリから学習した辞書を用いて、他
のデータセットを認識する。
 2011 TRECVID MED Challenge
 ImageNetのデータから学習

41. 実験
 9 ImageNetカテゴリー
Average Precision
基底の数

42. 実験
TRECVIDの
キーフレーム
の例
PASCAL VOCの
辞書を用いて実
験を行った結果

43. 実験
 速度と性能について比較実験
 実装
 カスケード型DPM on CPU
 オリジナルDPM（Vanilla DPM） on GPU
 Sparselets DPM on GPU
 環境
 3.1 GHz Intel Core i5 CPU
 Nvidia GTX 580 GPU with 512 cores, 772MHz
 データセット
 PASCAL VOC 2007 20カテゴリ

44. 実験
 クラス数と処理速度比較(VGAサイズ)

45. 実験
 各パラメータ ( K ,  ) における速度と精度

46. 結論
 スパースな中間表現を導入することで
 リアルタイムにマルチクラスの物体検出を行うことができた。
 効率的に新しいカテゴリを導入できる。
 Sparseletによりモデルフィルター間の冗長性を削減し、
他のドメインから新しいカテゴリを生成可能となった。
 Sparseletを用いたDeformable Part ModelのGPU実装を
行った。
 従来のDeformable Part Modelベースの実装よりも１－２
段階早い実装で、性能もstate-of-the-artに匹敵する結果
を得た。