【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features

1. DEEP LEARNING JP [DL Papers] Domain Generalization by Learning and Removing Domain- specific Features Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

2. 書誌情報 • タイトル – Domain Generalization by Learning and Removing Domain-specific Features • 著者 – Yu Ding1, Lei Wang1, Bin Liang2, Shuming Liang2, Yang Wang2, Fang Chen2 – 1University of Wollongong 2University of Technology Sydney • NeurIPS2022に採択 • Paper – https://openreview.net/forum?id=37Rf7BTAtAM • Code – https://github.com/yulearningg/LRDG 2

3. Introduction • 背景 – Domain shiftによる汎化性能の低下は深層学習の一つの課題 – CNNはdomainに依存するlocal特徴で認識してしまう傾向 • 本論文はunseen domainでも適用可能な学習手法domain generalizationに注目 – 既存手法は、 domain依存な特徴は除去できていないことが課題 • Domain-specific情報は明示的に教えず、sourceからdomain-invariant情報のみで学習 • テクスチャなどの情報をlocalな特徴として、学習しない（ペナルティをかける）手法もあるが、他の localな特徴の除去に保証がない – domain依存な特徴明示的に排除（学習しないように）する手法を提案 3

4. 概要 • 提案手法の概要 – domain-specific classifiers, encoder-decoder network, domain-invariant classifierで構成される – source domain毎にdomain-specific classifierを設け、対象domainに依存する情報を抽出 • 他のsource domainに対応できないように – 画像をdomain不変なspaceにmapping – domain-invariant classifierで最終的に認識を行う • Data augmentation的な手法と異なる点 – 学習データは増やさず、domain不変な中間表現を作成 4

5. 提案手法 • Image-to-image translation手法にインスパイアされた • 提案手法の全体図 5 出典：https://openreview.net/forum?id=37Rf7BTAtAM

6. 提案手法の詳細 • Learning domain-specific features – N source domain 𝒟𝑠 = 𝐷𝑠 1, 𝐷𝑠 2, ⋯ , 𝐷𝑠 𝑁 に対し、classifier ℱ𝑠 = 𝐹1, 𝐹2, ⋯ , 𝐹𝑁 を用意 – 𝐷𝑠 𝑖は𝐹𝑖のみ対応可能： • 𝐹𝑖のみ認識可能：分類loss(cross entropy loss)を最小になるように学習をガイド 𝑎𝑟𝑔 min 𝜃𝑖 𝔼𝐷𝑠 𝑖~𝒟𝑠 𝔼 𝑥𝑗 𝑖 ,𝑦𝑗 𝑖 ~𝐷𝑠 𝑖 𝐿𝐶 𝐹𝑖 𝑥𝑗 𝑖 ; 𝜃𝑖 , 𝑦𝑗 𝑖 • 他のclassifier（ 𝐹1, 𝐹2, ⋯ 𝐹𝑖−1, 𝐹𝑖+1, ⋯ 𝐹𝑁 )は認識できない：uncertainty loss(entropy loss)で学習できないように 𝑎𝑟𝑔 max 𝜃𝑖 𝔼𝐷𝑠 𝑘~𝒟𝑠,𝑘≠𝑖 𝔼 𝑥𝑗 𝑘 ,𝑦𝑗 𝑘 ~𝐷𝑠 𝑘 𝐿𝑈 𝐹𝑖 𝑥𝑗 𝑘 ; 𝜃𝑖 – classifier ℱ𝑠は予め学習したら、パラメータをフリーズ 6

7. 提案手法の詳細 • Removing domain-specific features – Encoder-decoder形式で入力画像を新しい画像空間にmapping – その画像空間は各classifierのuncertainty lossを最大化する → domain不変な画像空間にmapping 𝑎𝑟𝑔 max 𝜃𝑀 𝔼𝐷𝑠 𝑖~𝒟𝑠 𝔼 𝑥𝑗 𝑖 ,𝑦𝑗 𝑖 ~𝐷𝑠 𝑖 𝐿𝑈 𝐹𝑖 𝑀 𝑥𝑗 𝑖 ; 𝜃𝑀 ; 𝜃𝑖 – Reconstruction loss(pixel-wise l2 loss)で、変な画像にmappingされないように 𝑎𝑟𝑔 min 𝜃𝑀 𝔼𝐷𝑠 𝑖~𝒟𝑠 𝔼 𝑥𝑗 𝑖 ,𝑦𝑗 𝑖 ~𝐷𝑠 𝑖 𝐿𝑅 𝑀 𝑥𝑗 𝑖 ; 𝜃𝑀 , 𝑥𝑗 𝑖 – domain-invariant classifier Fで認識（タスク）を行う 𝑎𝑟𝑔 min 𝜃𝑀,𝜃𝐹 𝔼𝐷𝑠 𝑖~𝒟𝑠 𝔼 𝑥𝑗 𝑖 ,𝑦𝑗 𝑖 ~𝐷𝑠 𝑖 𝐿𝐶 𝐹 𝑀 𝑥𝑗 𝑖 ; 𝜃𝑀 ; 𝜃𝐹 , 𝑦𝑗 𝑖 7

8. 提案手法の詳細 • 提案手法のLoss – domain-specific classifier学習の段階 𝐿1 = 𝐿𝐶 ℱ𝑠 + 𝜆1𝐿𝑈 ℱ𝑠 – domain-invariant classifier学習の段階 𝐿2 = 𝐿𝐶 𝐹 𝑀 + 𝜆2𝐿𝑈 𝑀 + 𝜆3𝐿𝑅 𝑀 8

9. 提案手法の理論的な分析 • 提案手法の理論的な分析 – 完璧なlabeling function: 𝑓 ∶ 𝒳 → 𝒴 – 実際のfunction(hypothesis): ℎ ∶ 𝒳 → 𝒴 – domain 𝒟おけるℎのリスク: ℛ ℎ = 𝔼𝑥~𝒟 ℒ ℎ 𝑥 − 𝑓 𝑥 – Source domainが複数ある場合は混合分布で表現 • Λ𝑆 = ഥ 𝐷: ഥ 𝐷 ∙ = σ𝑖=1 𝑁 𝜋𝑖 𝐷𝑆 𝑖 ∙ , 0 ≤ 𝜋𝑖 ≤ 1, σ𝑖=1 𝑁 𝜋𝑖 = 1 – 既往文献[1]により、Λ𝑆と𝒟𝑡のgeneralization risk boundは – 𝒟𝑡のupper boundは𝛾, 𝜖に依存 – 提案手法domain specific featureを排除し、 𝐷𝑠 1 , 𝐷𝑠 2 , ⋯ , 𝐷𝑠 𝑁 , 𝒟𝑡から ෡ 𝐷𝑠 1 , ෡ 𝐷𝑠 2 , ⋯ , ෡ 𝐷𝑠 𝑁 , ෡ 𝒟𝑡に mapping • 𝑑ℋ ෡ 𝐷𝑠 𝑖 , ෡ 𝐷𝑠 𝑗 ≤ 𝐷𝑠 𝑖 , 𝐷𝑠 𝑗 → source domainの分布に接近し、𝜖が小さくなる • ෡ 𝒟𝑡もsource domainの分布に接近し、𝛾も小さくなる 9 [1] Isabela Albuquerque, João Monteiro, Mohammad Darvishi, Tiago H Falk, and Ioannis Mitliagkas. Generalizing to unseen domains via distribution matching. arXiv preprint arXiv:1911.00804, 2020.

10. 実験設定 • データセット – PACS: Photo (P), Art Painting (A), Cartoon (C) and Sketch (S) – VLCS: PASCAL VOC 2007 (V), LabelMe (L), Caltech (C) and Sun (S) – Office-Home: Art (A), Clipart (C), Product (P), and Real-World (R) – そのうち、３つをsource domain、1つをtarget domain • Network: – Encoder-decoder: U-Net – Classifier (ImageNet pretrained) • AlexNet: PACS, VLCS • ResNet18: PACS and Office-Home • ResNet50: PACS • 比較対象： – domain-invariant based手法、data augmentation based手法、 meta-learning based手法 – Baseline: empirical risk minimization (ERM) 10

11. 実験結果-定量評価 • PACSの検証結果 – Domain: Art painting, Cartoon, Photo, Sketch – 全体的に評価する場合、提案手法の精度が最も高い – Domain-specific/invariant情報両方を利用する手法と比較 • Art paintingとPhotoは共通するdomain-specific特徴があり、お互いのdomainの認識にポジティブな効果がある。一方、 Cartoon, Sketchにはネガティブに働く傾向 11 出典: https://deepai.org/publication/domain-generalization-via-gradient-surgery

12. 実験結果-定量評価 • VLCSの検証結果：精度が2nd • Office-Homeの検証結果：精度が1st • 提案手法の有効性は確認 12 出典: https://deepai.org/publication/domain-generalization-via-gradient-surgery

13. 実験結果-Domain divergence • Source domain divergence – H-divergenceで評価： • classifier(linearSVM)でsource domainを分類できるかで評価 • Proxy A-distance: 2 1 − 2𝜀 , where 𝜀 = test error • Baseline: AlexNetの最終層をＳＶＭに入力 • 提案手法：domain-invariant classifierの最終層をＳＶＭに入力 – 提案手法（mapped source domain）はdomain分布を近づけることができた 13

14. 実験結果-Domain divergence • Source-Target domain divergence – Λ𝑆と𝒟𝑡のdivergenceで評価 • Λ𝑆 = ഥ 𝐷: ഥ 𝐷 ∙ = σ𝑖=1 𝑁 𝜋𝑖 𝐷𝑆 𝑖 ∙ , 0 ≤ 𝜋𝑖 ≤ 1, σ𝑖=1 𝑁 𝜋𝑖 = 1 • 𝜋𝑖は{0, 0.1, 0.2, · · · , 0.9, 1}からrandom samplingして評価 – 提案手法は、source domainとtarget domain間のdivergence を削減できた • 提案手法は、source domain間の分布の違い𝛾、 source-target domain間の分布の違い𝜖を削減し、 generalization risk boundを減らすことができた 14

15. まとめ • 明示的にdomain-specific情報を除外する手法を提案 – ネットワークはdomain-specific classifiers, encoder-decoder network, domain- invariant classifierで構成 – 2-step形式で学習 • Limitation – Source domainの数に応じてdomain-specific classifierを用意する必要がある • novel domain-specific classifierが望ましい – Target domainのdomain-specific情報を除外できない • 潜在空間上で実施することが考えられる 15

【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features

Esté a ler uma amostra.

Confira estes a seguir

【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a 【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features (6)

Mais de Deep Learning JP (20)

Mais recentes (20)