2021/06/25 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
RobustNet: Improving Domain Generalization in Urban-
Scene Segmentation via Instance SelectiveWhitening
Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業)
http://deeplearning.jp/
1

2. 書誌情報
• タイトル
RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via
Instance Selective Whitening
 著者
Sungha Choi*1,3 Sanghun Jung*2 Huiwon Yun4 Joanne T. Kim3 Seungryong Kim3
Jaegul Choo2
1LG AI Research 2KAIST 3Korea University 4Sogang University
• CVPR2021(Oral)に採択
• Paper
https://arxiv.org/abs/2103.15597
• Code
https://github.com/shachoi/RobustNet
2

3. 背景
• Domain Generalization (DG) によるunseen domain領域分割
既存の課題
Domain Adaptation (DA) はtarget domainを必要とするため、実用性にかける
multiple source domain情報からのDomain Generalizationは、コストがかかる
single source domainのDGを提案
3

4. Motivation
• Instance Normalization (IN)
– multiple sourceを必要としない汎化性能の向上が可能
– feature covariance (higher-order statistic of future representation) を考慮しない
ため、INはdomain-specific style（色・テキスチャー等）の抽出が不十分
• Feature Whitening
– image translation, style transfer, DAにおいて、domain-specific style情報を除去
する手法
• feature covarianceにおけるdomain-specific styleとdomain-invariant
contentをdecouplingしたい
4

5. Contribution
 instance selective whitening lossを提案し、 feature covarianceから、
domain-specificとdomain-invariant情報を抽出
 提案loss関数の計算リソースが低く、各既存手法に適用できる
 urban-scene segmentationに実験し、SOTAを達成
5

6. 既往研究
• DA/DG
– meta-learning, adversarial training, autoencoder, metric learning, data augmentation
– batch normは識別能力を向上できる、instance normは過学習を防げる
• Semantic segmentation in DG
– DGは画像分類に多く研究されている一方、segmentationに関する研究がまだ少ない
• Feature covariance
– style transferにおいて、feature covariance (correlations) がstyle informationを表現
できる
– whitening transformationはfeature representationsから、style informationを除去で
きる
• feature covarianceから、domain-specific styleを認識し、 style information
を除去する手法を提案
6

7. Preliminaries
• Whitening transformation (WT)
– 各channelの分散を１に、任意channel pairの共分散を0にする線形変換
– where, µ=mean vector, Σµ=covariance matrix
• WTの欠点
– 固有値（eigenvector）の計算コストが高い
– GDWCT（group-wise deep whitening-and-coloring transformation）は、 暗黙的にΣµ
を単位行列に近づけるloss関数を提案
– feature covarianceに対し、 domain-specific styleとdomain-invariant contentを分離
していないことが課題
7

8. 提案手法
• whitening transformed featureの学習
– 中間特徴マップに対し、Instance Whitening Loss（IW loss）でXsの学習をguide
8

9. 提案手法
• Margin-based relaxation of whitening loss
– IW lossでは、 Σsが全部0になる傾向がある
– instance-relaxed whitening (IRW) loss
– 汎化性能の向上につながるcovarianceが残っているかの保証がない
9

10. 提案手法
• domain-specific styleとdomain-invariant contentのdecoupling
– domain shiftを起こしたstyleに関するcovarianceを特定して取り除く
– color jittering/gaussian blurring等のphotometric変換によるaugmentationに起因する
domain shiftを対象
• ネットワークの初期化：数epoch程度IW lossでcovariance matrixを学習
• augmentedデータも入力に加え、 それぞれのcovariance matrix (V)の分散行列を計算
• Vはphotometric変換に対するcovarianceの感度を示す。分散が高いcovariance matrix要素には、
domain-specific style情報が入っている
10

11. 提案手法
• domain-specific styleとdomain-invariant contentのdecoupling
• k-meansクラスタリングで、covariance matrixの右上の要素に対し、分散の大きさにより分類する
• 高い要素を残すように、マスクを生成
• instance selective whitening (ISW) lossで、 domain-invariant content情報を抽出するcovariance
matrixの学習をguide
11

12. 提案
• ネットワーク構造
– ResNetを元に、instance norm layerを３つ追加
– それぞれのISW lossを計算
12

13. 実験 – Ablation Studies
• 対象:loss関数
– instance weighting (IW) loss
– instance-relaxed whitening (IRW) loss
– instance selective whitening (ISW) loss
• 既存手法は、source domainに過学
習する傾向
• 提案手法は、source dimainでの精度
が低下するのが課題
13

14. 実験 – Ablation Studies
• 対象:loss関数
– instance weighting (IW) loss
– instance-relaxed whitening (IRW) loss
– instance selective whitening (ISW) loss
• 既存手法は、source domainに過学
習する傾向
• 提案手法は、source dimainでの精度
が低下するのが課題
14

15. 実験 – Ablation Studies
• 対象:backbone
– ＳｈｕｆｆｌｅＮｅV２
– MobileNetV2
• 対象
– 複数source domain
15

16. 実験 - 既存手法との比較
• DG手法と比較
• DA手法と比較
– DAはtarget domainを使用する
16

17. 実験 - 計算コスト
• 既存手法と同程度
17

18. 実験 – 定性評価
• covariance matrixの可視化
– 左ペアが浅い層の結果、右ペアが深い層の結果
– style情報が浅い層にあり、深い層で除去されたことを確認できる
18

19. 実験 – 定性評価
• whitened featuresで画像を再現
– U-Netで再現
– content情報を保持していることを確認できる
19

20. 考察
• Affine parameters
– 既存手法では、元の分布の復元や表現能力の向上のため、norm layerに使う
– 本手法では、affine parameters/1x1 convで実験したが、有効性を確認できなかった
– affine parameters/1x1 convは、元の分布を復元する能力が欠けている
• Photometric transformation
– content情報に悪影響を与える
– 今後は、他の方法も検討
20

21. まとめ
• instance selective whitening (ISW) lossを提案
– 中間特徴マップに対し、domain-specific styleとdomain-invariant contentを分離
– モデルの汎化性能を向上
– urban-sceneにおけるsegmentationで、提案手法の有効性を確認
• 所感
– domainは有効に拡張されたが、拡張された分類境界に課題が残っている
21