cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。 http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/

1. PEPSI : Fast Image Inpainting
with Parallel Decoding Network
Min-cheol Sagong, Yong-goo Shin,
Seung-wook Kim, Seung Park,
Sung-jea Ko (Korea university)
資料作成︓Katsuya Shimabukuro 1

2. 概要
• Inpaintingのタスクで、GANを使⽤した
coarse-to-fineな既存⼿法を改良
• 推論時の計算コストを減らし、
同等の性能を達成できることを報告
• 既存⼿法と同じく、フリーフォームな
マスクにも対応することが可能
2

3. ⽬次
1. Inpaintingタスクのこれまで
2. PEPSIの詳細
3. PEPSIの結果と議論
3

4. Inpaintingタスクとは︖
「マスクされた画像」と
「どこがマスクされているかの情報」
をもとに、元の画像を復元するタスク
4
Inpainting
※ 画像引用：https://github.com/JiahuiYu/generative_inpainting

5. 近年のInpaintingタスクの課題
• フリーフォームなマスクへの対応
• 整合性がとれて、ぼやけない画像の⽣成
5
※1 Image Inpainting for Irregular Holes Using Partial Convolutions
※2 Free-Form Image Inpainting with Gated Convolution
※3 Generative Image Inpainting with Contextual Attention
※2※1
※3
※1

6. • GANのスキームで学習
– Generator︓マスクとマスク済み画像を⼊⼒
し、インペインティング済み画像を出⼒
– Discriminator︓インペインティング済み画像
かオリジナルがどうかを判定
• Generatorはエンコーダー・デコーダー
Deep NNによるInpaintingの基本構造
6
※ 画像引用：Globally and Locally Consistent Image Completion

7. 既存⼿法のアプローチ①
• Generatorはcoarse-to-fineな
⼆つのNetworkにより画像を⽣成
• Refinement Networkでは、⾮マスク
部分からマスク部分へのアテンションで
あるContextual Attentionを利⽤
• GANロスはWGAN-GPを使⽤
7
※ 画像引用：Generative Image Inpainting with Contextual Attention

8. 既存⼿法のアプローチ②
• エンコーダー・デコーダー構造（U-Net）
• Style Transferのスキームで学習
• マスクを考慮した
Convolution処理と、
ルールベースな
マスクの逐次更新
8
※ 画像引用：Free-Form Image Inpainting with Gated Convolution

9. 既存⼿法のアプローチ③
• アプローチ②をうけた①の発展
• Generator(Coarse)のConvolution処理で
マスクを考慮
• マスクの更新にもtrainableな
重みをを使⽤
9
※ 画像引用：Free-Form Image Inpainting with Gated Convolution

10. 既存⼿法のアプローチ③
• Discriminatorはフィーチャーマップの
ポイント毎に真偽判定(PatchGAN)
• 各Convolution層の重みには
Spectral Normalizationを適⽤
10
※ 画像引用：Free-Form Image Inpainting with Gated Convolution

11. PEPSIのネットワークアーキテクチャ
• アプローチ①および③の改良
– CoarseなデコーダーとInpaintingを⾏う
デコーダーの⼆つのデコーダーを⽤意
– デコーダー間で重みを共有
– Inpaintingデコーダーは、Contextual
Attentionを考慮したフィーチャーを⼊⼒
11
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network

12. Contextual Attentionの改良
• Attentionを計算する距離関数を
コサイン類似度からtruncatedなユーク
リッド距離に変更
• truncatedなユークリッド距離の⽅が
複雑な画像の補完にも対応できる
• PSNRやSSIMの値も改善する
12
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network
(a) 元画像 (b) マスク画像 (c) コサイン類似度によるCAM使用 (d) truncatedなユークリッド距離によるCAM使用

13. 実験
• ⽐較するデータセットは下記の2パターン
– CelebA-HQデータセットを学習セットと
テストセットに分割して使⽤
– ImageNetのすべての画像を学習セット、
Place2データセットをテストセットに使⽤
• ⽐較対象のモデルは下記4つ
– Context Encoder(CE)
– Globally and Locally Consistent(GL)
– Contextual Attention(GCA)
– Gated Convolution(GatedConv)
13

14. 実験結果① CeleabA-HQ
• 正⽅形のマスクでは、既存⼿法のように
ブラーや崩れなく補完できている
14
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network

15. 実験結果① CeleabA-HQ
• フリーフォームなマスクではより顕著
既存SOTAなGatedConvと同等の性能
15
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network

16. 実験結果① CeleabA-HQ
• PSNRやSSIMはGatedConvを超える結果
• 推論速度はGatedConvの半分以下
• PEPSIでもcoarse Networkを使⽤した⽅
が結果が良くなる
16
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network
*はCoarse Networkを使用しない場合の結果

17. 実験結果② Place2
17
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network

18. 実験結果② Place2
• Place2データセットでもPSNR、SSIM
ともにGatedConvを上回る性能
18
※ 画像引用：PEPSI : Fast Image Inpainting with Parallel Decoding Network