Mais conteúdo relacionado Semelhante a 関東CV勉強会20140802（Face Alignment at 3000fps） (20) 1. 1
Face Alignment at 3000 FPS
via Regressing Local Binary
Features
解説者
東京大学 佐藤洋一研究室
博士１年 tackson某
関東CV勉強会 2014年8月2日
CVPR 2014論文紹介
3. 3
Face Alignment at 3000 FPS
via Regressing Local Binary
Features
Shaoqing Ren Xudong Cao Yichen Wei Jian Sun
中国科学技術大学
（インターン生）
MSRAのVisual Computingｸﾞﾙｰﾌﾟ研究者
(Associate/Lead/Principal Researcher)
指導教員が入っていないのが気になる
現地では筆頭不在でWei氏がオーラル発表
5. 5
本研究の位置づけ
Active Shape Model [BMVC ’92]
Optimizationベース
・エネルギー関数を最小化
・”wild“環境で低性能
Regressionベース
ベストな形状更新を
直接予測
Active Appearance Model [ECCV ’98, PAMI ’01]
Cascaded Regression [CVPR ‘10]
Explicit Shape Regression [CVPR ‘12]
3000 FPS via Local Binary Features [CVPR ‘14]
(See [Cao+ CVPR ‘12] & [Burgos-Artizzu+ ICCV ‘13] for more discussions)
Under Occlusion [ICCV ‘13]
6. 6
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression（Random Forest）
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
7. 7
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression（Random Forest）
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
8. 8
Face Alignment via Regression (学習)
min
𝑅
𝑖
𝑆𝑖
∗
− 𝑆𝑖
0
+ 𝑅 𝐼𝑖, 𝑆𝑖
0
最適な変位量関数𝑹を様々なﾊﾟﾀｰﾝで学習
今の形状正解形状 変位量関数
学
習
用
デ
ー
タ
… …
𝑖 = 1 𝑖 = 𝑁training image 𝐼𝑖
9. 9
Face Alignment via Regression (テスト)
画像･形状ペアから直接 変位量を予測
更新後の形状𝑆1
𝑆1 = 𝑆0 + 𝑅 𝐼, 𝑆0
テ
ス
ト
デ
ー
タ
training image 𝐼𝑖
入力：画像𝐼と初期形状𝑆0
11. 11
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression（Random Forest）
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
15. 15
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression（Random Forest）
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
16. 16Shape-Indexed Feature [Fleuret+ JMLR
‘08]
𝑅 𝐼, 𝑆 = Δ𝑆
形状正解形状 変位量関数
𝑅 = argmin
𝑅
𝑖
(𝑆𝑖
∗
− 𝑆𝑖) − 𝑅 𝐼𝑖, 𝑆𝑖
画像と今の形状 正解への変位
マッピングの学習
𝑟 𝑓 𝐼, 𝑆 = Δ𝑆
要するに
Shape-Indexed Feature:
今の形状に相対的な画像特徴量
正確には特徴量と変位のﾏｯﾋﾟﾝｸﾞ
17. 17Shape-Indexed Feature [Fleuret+ JMLR
‘08]
つまり 形状に相対的な座標上での画像特徴抽出
絶対座標
形状中心から
の相対座標
Pose-variationになるべくinvariantに特徴抽出
一番近いlandmark
からの相対座標
[Cao+ CVPR ‘12]
2つのlandmarks
の線形結合座標
[B-A+ ICCV ‘13]
18. 18Shape-Indexed Feature [Fleuret+ JMLR
‘08]
実際の特徴量は pixel-difference features
2画素(p, q) の輝度値の差
𝑓 𝐼, 𝑆 =
𝐼 𝑝1
− 𝐼 𝑞1
𝐼 𝑝2
− 𝐼 𝑞2
𝐼 𝑝3
− 𝐼 𝑞3
⋮
𝐼 𝑝 𝑛
− 𝐼 𝑞 𝑛
画素ペア集合
サンプル点(p, q) はうまいこといい感じに選ぶ [Cao+ CVPR ‘12]
19. 19
あとは特徴量 𝒇 𝑰, 𝑺 と
変位量𝜟𝑺の対応関係
𝒓 𝒕
𝒇 𝑰, 𝑺 = 𝚫𝑺
を学習すればいいんだね!
まさに回帰問題だね！
20. 20
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression (Random Forest)
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
21. 21
Ensemble Regression (Random Forest)
Δ𝑆1
Δ𝑆4
Δ𝑆2 Δ𝑆3 Δ𝑆6
Δ𝑆 𝑁
Δ𝑆2
Δ𝑆9
Δ𝑆7 Δ𝑆3 Δ𝑆1
Δ𝑆4
𝑓1
𝑓1
Δ𝑆1
Δ𝑆4
Δ𝑆7 Δ𝑆8 Δ𝑆2
Δ𝑆 𝑁
𝑓1, Δ𝑆1 , 𝑓2, Δ𝑆2 , 𝑓3, Δ𝑆3 , 𝑓4, Δ𝑆4 , …, 𝑓𝑁, Δ𝑆 𝑁
学習
データ
subset
で学習
subset
で学習
subset
で学習
22. 22
Ensemble Regression (Random Forest)
Δ𝑆1
Δ𝑆4
Δ𝑆2 Δ𝑆3 Δ𝑆6
Δ𝑆 𝑁
Δ𝑆2
Δ𝑆9
Δ𝑆7 Δ𝑆3 Δ𝑆1
Δ𝑆4
𝑓1
𝑓1
Δ𝑆1
Δ𝑆4
Δ𝑆7 Δ𝑆8 Δ𝑆2
Δ𝑆 𝑁
𝑓1, Δ𝑆1 , 𝑓2, Δ𝑆2 , 𝑓3, Δ𝑆3 , 𝑓4, Δ𝑆4 , …, 𝑓𝑁, Δ𝑆 𝑁
学習
データ
subset
で学習
subset
で学習
subset
で学習
テストデータ 𝒕 の回帰予測
r 𝒕 = 𝑚𝑒𝑎𝑛 Δ𝑆2, Δ𝑆2, Δ𝑆 𝑁, Δ𝑆2, Δ𝑆9
𝒕
𝒕
𝒕
𝒕
𝒕
𝒕
※ これを直接使うと[Cao+ CVPR ‘12]とほぼ同じアプローチ
24. 24
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression (Random Forest)
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
25. 25
Global Regression vs Local Regression
landmark同士の相互作用やcontextを考慮できる
その利点を生かしきれない現実面での事情
（学習データ不足・学習時間・学習手法の性能）
全landmark同時の回帰学習 [Cao+ CVPR ‘12]
Landmarkごとの個別の回帰学習
26. 26
Local Binary Feature
Δ𝑆1
Δ𝑆4
Δ𝑆2 Δ𝑆3 Δ𝑆6
Δ𝑆 𝑁
Δ𝑆2
Δ𝑆9
Δ𝑆7 Δ𝑆3 Δ𝑆1
Δ𝑆4
Δ𝑆1
Δ𝑆4
Δ𝑆7 Δ𝑆8 Δ𝑆2
Δ𝑆 𝑁
𝒕
𝒕
𝒕
𝒕
𝒕
𝒕
Landmark周辺の
Shape-Indexed Featureで回帰学習
ローカルな回帰予測は精度が低いので捨てる (！)
Binary Features
1 0 0 0 0 0 0 1 0 1 0 0
27. 27
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression (Random Forest)
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
28. 28Local Binary Features の Global
Regression
0 0 1 0 0 … 0
0 1 0 0 0 … 1
Local Binary Features
…
0…00…1 0…0 0…0
全Landmarkの
Binary Featureを結合
min
𝑊
𝑖
𝑺𝒊
∗
− 𝑺𝒊 + 𝑊𝝓𝒊 2
2
+ 𝑊 2
2
今の形状正解形状
1 0 0 0 0 … 0
全landmarkの特徴量を使ったGlobal回帰学習
（Local回帰→ Global回帰の２段階回帰）
あるLandmarkが遮蔽されてても他が助けてくれる
over-fitting回避
29. 29
こ れ で よ う や く
回 帰 の 学 習 部 分 の
話 は お し ま い ☆
次 は 実 行 時 の 話
30. 30
提案手法の特徴
■ 従来手法と同じ
• Regressionベース
• Cascaded Regression Framework
• Shape-Indexed Feature
• Ensemble Regression (Random Forest)
■ 提案ポイント
• Local Binary Feature
• Local FeatureをGlobalにRegression
• 3000 FPSの秘訣
42. 42
参考文献
• 今回の論文
Shaoqing Ren, Xudong Cao, Yichen Wei, Jian Sun, Face Alignment at
3000 FPS via Regressing Local Binary Features (CVPR 2014).
• Cascaded Regressionの論文（今回のアプローチの大元？？）
Piotr Dollár, Peter Welinder, Pietro Perona, Cascaded Pose Regression
(CVPR 2010).
• 今回の論文と同じ著者グループ（実質のベースライン。ただし
Random Forestではなく別の方法でEnsemble Regressionしてる）
Xudong Cao, Yichen Wei, Fang Wen, Jian Sun, Face Alignment by
Explicit Shape Regression (CVPR 2012).
• 上論文に対してocclusionを考慮（そこまで大きな改善ではない）
Xavier P. Burgos-Artizzu, Pietro Perona, Piotr Dollar, Robust face
landmark estimation under occlusion (ICCV 2013).
44. 44
THANK YOU
本日の発表内容は
• Face Alignment
• Regressionアプローチ
– Cascaded Regression
– Shape-Indexed Feature
– Ensemble Regression
• 提案手法
– Local Binary Feature
– Local FeatureのGlobal Regression
でした
