Mais conteúdo relacionado Semelhante a SPIGAN理論と実装について at 論文LT会 in LPIXEL (20) Mais de WEBFARMER. ltd. (20) SPIGAN理論と実装について at 論文LT会 in LPIXEL4. 論文 SPIGAN の概要
論文:
K. Lee, et. al. ” SPIGAN: PRIVILEGED ADVERSARIAL LEARNING
FROM SIMULATION”
投稿先:
ICLR 2019 accepted
arXivのURL:
https://arxiv.org/abs/1810.03756
私の実装例:
https://github.com/masataka46/SPIGAN
5. 論文 SPIGAN の概要
simulatorで作成した画像を real な画像に変換する(domain adaptation)
real な画像に対するアノテーション無しで目的タスクの推論値が求まる
depth 情報等の privileged information を利用して real に変換する
6. 論文 SPIGAN の背景
real な画像 annotation
1. segmentation のようなタスクでは annotation に手間がかかる。
2. simulator を使って画像と annotation を自動で作成したい
annotationsimulator からの画像
3. しかし simulator からの画像と real な画像とでは大きく違うため学習で使えない
real な画像 simulator からの画像
・・・・・・
・・・・・・
7. 論文 SPIGAN の背景
4.そこで simulator 画像の domain から real な画像の domain へ domain adaptation したい
K. Saito, et. al, “Maximum Classifier Discrepancy for Unsupervised Domain Adaptation”
Figure 1 より
20. 実験方法
• SYNTHIA dataset の segmentation annotation は、人・車・自転車・バイク・ライダーなどが
インスタンスごとに色分けされている
• 各インスタンスの色に法則性が見つからない……
→先行研究の方が作成した修正データを使用
21. 実験結果
• 学習したモデルによる real data(CityScape の validation set)での各クラスIoU及び mean
IoU
• mean IoUはSPIGANが最も高い
• PI(privileged information)により数%精度が上がっている
23. 自分の実験結果
10 epoch
• 作成したコードで10epochほど学習させた
• 左から、simulator画像、adapted画像、 simulator画像に対するsegment推論値、adapted
画像に対するsegment推論値、segmentのground truth。
• 先にadapted画像が変化し始め、遅れてsegment推論値が変化する。まだ10epochなので
segmentationは面積の大きいクラスのみ描かれている
25. 論文 SPIGAN まとめ
simulatorで作成した画像を real な画像に変換する(domain adaptation)
real な画像に対するアノテーション無しで目的タスクの推論値が求まる
depth 情報等の privileged information を利用して real に変換する