3. Class Imbalance Problem
◦ よく出現する class と稀にしか出現しない class (大抵めっちゃ少ない) の差が凄まじい
◦ Label を複数付けるため、(おそらく) single-label よりもひどい
Incomplete and Noisy Labels
◦ single-label に比べてアノテーションがとても大変
◦ 対応する label が全部ついていなかったり、誤ったラベルが付いたりしやすい
Interactions between Classes
◦ 同じ画像にラベル付けされたクラスが独立とは限らない
◦ 何らかの関係性を識別に利用できる可能性がある
Multi-Label Classification (前回資料より)
4. Class Imbalance Problem
Incomplete and Noisy Labels (and Interactions between Classes)
Interactions between Classes
CVPR2019 で “multi-label” と名の付くもの
[Oral, Poster] LaSO: Label-Set Operations networks for multi-label few-shot learning
(Alfassy et al.)
[Poster] Learning a Deep ConvNet for Multi-label Classification with Partial Labels
(Durand et al.)
[Poster] Multi-Label Image Recognition with Graph Convolutional Networks
(Chen et al.)
[Poster] Visual Attention Consistency under Image Transforms for Multi-label Image
Classification (Guo et al.)
前回紹介
した2本
やっぱり
発見
できず
今回紹介
5. Multi-Label Image Recognition with
Graph Convolutional Networks
Zhao-Min Chen1,2, Xiu-Shen Wei2, Peng Wang3, and Yanwen Guo1
1National Key Laboratory for Novel Software Technology, Nanjing University, China
2Megvii Research Nanjing, Megvii Technology, China
3School of Computer Science, The University of Adelaide, Australia
6. 概要
モチベーション
◦ 画像に対する multi-label recognition において、
class の依存関係を考慮したい
◦ ただし、依存関係は明示されていないものとする
提案手法
◦ class に対応する分散表現(e.g. word embedding)
を node の feature とする GCN
◦ 相関行列は dataset 内の共起ベースで構築
◦ GCNの出力(重み行列)を、CNNで抽出した意味特徴
に対して識別器として用いる
特徴
◦ 依存関係(相関行列)が not given
◦ 学習された識別器(上述の重み)は class の依存関係
(?)を反映したものになっている
9. 提案するGCNのポイント
提案手法(続き)
◦ 二値行列に変換
◦ 条件付き確率をそのまま使うのはよく無いのでハイパラで調整
◦ 共起回数はしばしば long-tail な分布
◦ そのまま使ってしまうと train data に overfit する可能性
◦ Noisy な エッジを filtering できる
◦ Re-weight
◦ 二値行列では over-smoothing が発生する
◦ “That is, the node features may be over-smoothed such
that nodes from different clusters (e.g., kitchen related vs.
living room related) may become indistinguishable“
◦ 要は周辺 node の影響を受け過ぎて区別が付かなくなることを
言ってるっぽい
◦ そこで、自分自身からの伝搬を優先するように edge を重み付け
◦ p もハイパラです
多分 𝐴𝑖,𝑗が抜けている??
