1. 2011/11/27 CV勉強会＠関東
ICCV2011祭り 発表資料
takmin

2. 紹介する研究
 “Relative Attributes”
 Devi Parikh (Toyota Technological Institute Chicago)
 Kristen Grauman (University of Texas at Austin)

3. 画像の属性認識
 従来研究の属性判定は有/無の２値のみ判定
A B C
D E F

4. 画像の属性認識
 従来研究の属性判定は有/無の２値のみ判定
これらはどう判定する？
A B C
D E F

5. 画像の属性認識
 この研究では、他の対象との比較で表す。
BはCよりNatural、BはAよりNaturalでない。
EはFよりSmiling、EはDよりSmilingでない。
A B C
D E F

6. 画像の属性認識
 属性はそもそも全てが２値で表現できるものばかりでは
ない。
 属性を他の対象との比較で表したほうが、より表現とし
て豊かなのでは？
Relative Attributes
（関連属性）の提案

7. 発表の流れ
 Relative Attributesの学習方法
 教師データのないカテゴリの画像を学習する
方法（Zero-Shot Learning）
 新しい画像/カテゴリの表現方法
 実験と結果
 まとめ

8. Relative Attributesの学習法
 学習データ
属性mのおける学習画像間の強弱関の係集合
Om :  ･･･
,
属性mが同じ強さを持つ学習画像ペアの集合
Sm :  ･･･
,

9. Relative Attributesの学習法
 属性mのランキングスコアを算出するための重みwmを
学習する。
rm (xi )  w x T
m i
ランキングスコア 画像iから抽出した
特徴ベクトル
以下の条件を満たすように！
(i, j )  Om : wT xi  wT x j
m m

(i, j )  Sm : wT xi  wT x j
m m 

10. Relative Attributesの学習法
 属性mのランキングスコアを算出するための重みwmを
学習する。
rm (xi )  w x T
m i
ランキングスコア 画像iから抽出した
特徴ベクトル
以下の条件を満たすように！
(i, j )  Om : wT xi  wT x j  1  ij
m m ij  0
マージン
(i, j )  Sm : wT xi  wT x j   ij
m m  ij  0

11. Relative Attributesの学習法
 サポートベクターマシン(SVM)
*
m
1
w  arg min  w m  C
2
 2
ij

     2
ij 
wm 2 
以下の条件を満たすように！
(i, j )  Om : wT (xi  x j )  1  ij
m ij  0
(i, j )  Sm : wT (xi  x j )   ij
m  ij  0

12. Relative Attributesの学習法
 サポートベクターマシン(SVM)
Binary Attributesの場合 Relative Attributesの場合

13. Zero-Shot Learning From Relationships
 学習画像データの無いカテゴリを学習！
N  S U
全カテゴリ数 学習画像有り 学習画像無し
カテゴリ数 カテゴリ数
S(Seen)カテゴリ：
• 画像＋カテゴリ間の各m個のAttributesの相対関係
• ex. 「ライオンは犬より大きく、虎と同じくらい。象より小さい」
U(Unseen)カテゴリ：
• Sカテゴリとの各Attributesの相対関係
Attribute mについて
c (s) (u )
c (s)
c c(u )
q
(s)
c
r
c (ps )  cqu )
(
p q r
UカテゴリqはSカテゴリpより小さ UカテゴリqはSカテゴ UカテゴリqはSカテゴ
くSカテゴリrより大きい リpより大きい リpより小さい

14. Zero-Shot Learning From Relationships
Seenカテゴリ及び
Unseenカテゴリの分
布をガウス分布で近
似する。

15. Zero-Shot Learning From Relationships
 学習の手順(Seenカテゴリ)
1. 各Seenカテゴリについて、Relative Attributesを学習
rm (xi )  w x
T
m i
学習

16. Zero-Shot Learning From Relationships
 学習の手順(Seenカテゴリ)
1. 各Seenカテゴリについて、Relative Attributesを学習
rm (xi )  w x
T
m i
学習
2. 各Seenカテゴリの画像から、属性ベクトルを算出
~  r (x ),, r (x ),, r (x )T
xi 1 i m i M i

17. Zero-Shot Learning From Relationships
 学習の手順(Seenカテゴリ)
1. 各Seenカテゴリについて、Relative Attributesを学習
rm (xi )  w x T
m i
学習
2. 各Seenカテゴリの画像から、属性ベクトルを算出
~  r (x ),, r (x ),, r (x )T
xi 1 i m i M i
3. Seenカテゴリの分布をガウス分布で近似
c (ps )  N (μ (ps ) , Σ(ps ) )
c (s ) に属する ~i の平均
p x c (s ) に属する ~i の共分散
p x

18. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
 c (ps )  cqu ) の時、
(
μqm)  μ (pm  d m
(u s)
1 S (s)
Σ (ju )   Σi
 cqu )  cr( s ) の時、
(
S i 1
μqm)  μrm)  d m
(u (s
 それ以外（関連が記述されない場合）
1
μ (u )
qm   rm (xi )
S iS

19. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
属性mについてカテゴリpの平均と
カテゴリrの平均の中間

20. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
 c (ps )  cqu ) の時、
(
μqm)  μ (pm  d m
(u s)
1
d m   rm (xi )  μ (pm
s)
S iS
属性mの強さについて、Seenカテゴリの全画
像とカテゴリpの平均との距離の平均

21. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
 c (ps )  cqu ) の時、
(
μqm)  μ (pm  d m
(u s)
 cqu )  cr( s ) の時、
(
μqm)  μrm)  d m
(u (s

22. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
 c (ps )  cqu ) の時、
(
μqm)  μ (pm  d m
(u s)
 cqu )  cr( s ) の時、
(
μqm)  μrm)  d m
(u (s
 それ以外
1
μ (u )
qm   rm (xi ) 属性mの強さについて、Seenカ
S iS テゴリの全画像の平均

23. Zero-Shot Learning From Relationships
 学習の手順(Unseenカテゴリ)
4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似
 c (ps )  cqu )  cr( s ) の時、
(
1 (s)
μ (u )
qm  ( μ pm  μrm) )
(s
2
 c (ps )  cqu ) の時、
(
μqm)  μ (pm  d m
(u s)
1 S (s)
Σ (ju )   Σi
 cqu )  cr( s ) の時、
(
S i 1
μqm)  μrm)  d m
(u (s
全Seenカテゴリの共
分散行列の平均
 それ以外
1
μ (u )
qm   rm (xi )
S iS

24. Zero-Shot Learning From Relationships
 認識
1. 入力画像から各属性の強さを算出し、属性ベクトルを算出
rm (xi )  wT xi
m
~  r (x ),, r (x ),, r (x )T
xi 1 i m i M i
2. 最も尤度の高いカテゴリを選ぶ
c*  arg max P(~i | μ p , Σ p )
x
p1,, N 

25. Zero-Shot Learning From Relationships
 認識
クエリー画像
x

26. Describing Images in Relative Terms
Relative Attributesを用いた画像表現方法の提案
入力画像Aに対して、「属性mについて、画像Bよりも大きく、画
像Cより小さい」という表現を行う。
入力画像Aと近すぎず、遠すぎない、適切な画像Bと画像Cを選
ぶ。
•AB間とAC間にそれぞれデータセットの1/8が入るように

27. Describing Images in Relative Terms

28. 実験
1. 屋外シーン画像の実験
 データセット： Outdoor Scene Recognition (OSR) Dataset
 2688枚 / ８種類の屋外シーン画像
 特徴量： 512次元gist特徴（Spatial Envelope）
2. 顔画像での実験
 データセット： Public Figure Face Database (PubFig)
 800枚 / 8人の顔画像
 特徴量： gistと45次元Labカラーヒストグラムをつなげたもの

29. データセットとAttributes
T: tall-building
I : inside-city
S: street
H: highway
C: coast
O: open-country
M: mountain
F: forest
A: Alex Rodriguez
C: Clive Owen
H: Hugh Laurie
J : Jared Leto
M: Miley Cyrus
S : Scarlett Johansson
V: Viggo Mortensen
Z: Zac Efron

30. Attributes認識結果
 線形SVMで、Binary Attributesおよび、Relative Attributes
をそれぞれ学習/認識
Binary Relative
Attributes Attributes
OSR 80% 89%
PubFig 67% 82%

31. Zero-Shot Learning結果
 ベースライン
 Direct Attribute Prediction (DAP) model
 C. H. Lampert et al., “Learning To Detect Unseed Object Class by
Between-Class Attribute Transfer”, CVPR2009
 Score-based Relative Attributes (SRA)
wT
 二値の属性に対して学習した m x i をスコアとし、あとは本手法と同じ
 学習方法
 Seenカテゴリ数：６、Unseenカテゴリ数：２
 Seenカテゴリから４つのペアを用いて属性のランクを学習
 Unseenカテゴリは各属性の近傍２つのSeenカテゴリを選択し
て学習
 訓練画像： 各カテゴリ３０枚

32. Zero-Shot Learning結果
Unseenカテゴリ数を変化させた時の認識率の変化
（Seen + Unseen = 8）
提案手法が最も良い。Unseenカテゴリ数を増やすと認識率低下。

33. Zero-Shot Learning結果
Seenカテゴリの学習ペアを増やしていった時の結果
学習ペアが２つ以降は、ほぼ安定

34. Zero-Shot Learning結果
Unseenカテゴリの属性ラベルの数を減らしていった
場合
DAPよりも認識率低下は緩やか

35. Zero-Shot Learning結果
Unseenカテゴリにラベルを付けるとき、Seenカテゴリ
の属性の大きさが、より離れたものを使った場合
属性の距離はほとんど関係ない！

36. Describing Images実験
 人間の被験者に、２つの画像表現を見せて、元の画像
が何かを当ててもらう。
属性 属性の有無の表現
画像
識別器
関連属性の表現
被験者
正解画像 属性の有無で表現 関連属性で表現

37. Describing Images実験
 人間の被験者に、２つの画像表現を見せて、元の画像
が何かを当ててもらう。
 被験者数 18人
 20枚のPubFigと10枚のOSR画像をランダムに選択
 画像ごとに３つの属性をランダムに選んで、表現とその関連
画像を提示
正解画像 属性の有無で表現 関連属性で表現

38. 被験者へ提示したインターフェース

39. Describing Images結果

40. Relative Attributesによる表現例（OSR）
Binary
Image Relative descriptions
descriptions
more natural than tallbuilding, less natural than forest
not natural more open than tallbuilding, less open than coast
not open more perspective than tallbuilding
perspective
not natural more natural than insidecity, less natural than highway
not open more open than street, less open than coast
perspective more perspective than highway, less perspective than
insidecity
more natural than tallbuilding, less natural than
natural
mountain
open
more open than mountain
perspective
less perspective than opencountry

41. Relative Attributesによる表現例（PubFig）
Binary
Image Relative descriptions
descriptions
more White than AlexRodriguez
White more Smiling than JaredLeto, less Smiling than
not Smiling ZacEfron
VisibleForehead more VisibleForehead than JaredLeto, less
VisibleForehead than MileyCyrus
more White than AlexRodriguez, less White
White
than MileyCyrus
not Smiling
less Smiling than HughLaurie
not
more VisibleForehead than ZacEfron, less
VisibleForehead
VisibleForehead than MileyCyrus
more Young than CliveOwen, less Young than
ScarlettJohansson
not Young
more BushyEyebrows than ZacEfron, less
BushyEyebrows
BushyEyebrows than AlexRodriguez
RoundFace
more RoundFace than CliveOwen, less RoundFace
than ZacEfron

42. まとめと結論
 Relative Attributesという画像間の比較で属性を表す方
法を提案
 学習方法
 Zero-Shot Learning
 画像を属性の比較により表現
 Zero-Shot Learningでは、属性の二値表現よりも高い認
識率を実現
 新しい画像表現方法は、人間の被験者にとって、より判
別がつきやすいものであることを確認

43. Q&A