2022/06/17 Deep Learning JP http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
LAR-SR: A Local Autoregressive Model for Image Super-
Resolution
Presenter: Kazutoshi Akita
(ToyotaTechnological Institute, IntelligentInformation Media Lab)

2. 論文情報
• 論文名：LAR-SR: A Local Autoregressive Model for Image Super-Resolution (CVPR2022)
• 著者：Baisong Guo1, Xiaoyun Zhang1, Haoning Wu1, Yu Wang1,2, Ya Zhang1,2, Yan-Feng
Wang1,2
1Cooperative Medianet Innovation Center, Shanghai Jiao Tong University,
2Shanghai AI Laboratory
• URL:
https://openaccess.thecvf.com/content/CVPR2022/html/Guo_LAR-SR_A_Local_Autoregressive_Model_for_Image_Super-
Resolution_CVPR_2022_paper.html
2
※本資料の図は，言及がなければ自作あるいは上記論文からの引用

3. 前提知識
• 超解像（Super Resolution, SR）
– 画像を綺麗に拡大する技術
3
超解像
(SRNet)
低解像画像
（LR画像）
超解像画像
（SR画像）

4. 前提知識
4
• これまでの超解像
SRNet
低解像画像
（LR画像）
超解像画像
（SR画像）
・低解像化
・ブラー
高解像画像
（HR画像）
Loss (e.g., MSE, L1)

5. 前提知識
• MSE/L1損失による学習では，SR画像がボケる
– 1つのLR画像に対して複数の妥当なHR画像が対応するため
5
これに対処するため，確率モデルを利用した超解像が注目されている

6. 前提知識
• 確率モデルは様々
– GAN
• 実データを指定した確率分布（e.g., ガウス分布）に直接埋め込み
• 欠点：学習が困難 or 不安定
– Normalizing Flow
• 単純な確率分布からの変換で実データ分布を表現
• 欠点：ネットワーク構造に制限
6

7. 概要
• 確率モデルとして，自己回帰（Autoregressive; AR）モデルを利用した超解像手法を
提案
• 自己回帰モデルを局所的なパッチ内でのみ使用することで，計算コストの高さを解消
• 複数の超解像データセットにおいてベースラインを上回る性能
7

8. 自己回帰モデル
• i番目のモデル出力が，i-1番目までのモデル出力に依存する確率モデル
• メリット
– 特定の分布を仮定しないため，実データの分布を忠実に再現できるポテンシャルがある
– 安定的な学習が可能
8
𝑝 𝑥 = 𝑝(𝑥𝑖|𝑥1, … , 𝑥𝑖−1)

9. 自己回帰モデル
• 自己回帰モデルによる画像生成
– 例：Pixel RNN [1]
• 生成したい画像のピクセル数が増えると計算時間が膨大に
9
[1]V. Oord, et al., "Pixel recurrent neural networks." International conference on machine learning. PMLR, 2016.
[1]より引用

10. 提案手法
• 基本アイデア
– 画像の局所パッチ内でのみ自己回帰モデルを利用して
並列化可能にし，計算効率を改善
– 低解像画像で遠く離れた箇所との依存関係（画像構造）
がすでに与えられている
– 局所パッチ内での，生成したいテクスチャにおいて
のみ依存関係がある
10

11. 提案手法
• モデル概要
11

12. 提案手法
• Stage1: VQVAE
– 高解像テクスチャのコードブックを作成
12

13. 提案手法
• Stage2: Local Autoregressive (LAR) module
– 低解像画像を条件付けて，パッチ内でVQVAEのコードブックのindexを推定
13

14. 実験結果
• 一般画像超解像（DIV2K）
14

15. 実験結果
• 一般画像超解像（DIV2K）
• 指標
– PSNR： 再構成誤差
– SSIM： 標準偏差などに基づいた
GTとの差の指標
– LPIPS： 知覚的品質の指標
15

16. 実験結果
• 顔画像超解像
16

17. 実験結果
• 顔画像超解像
17

18. 実験結果
• パッチサイズ（＝ 自己回帰モデルの再帰回数）による性能比較
18

19. 実験結果
• 画像全体に自己回帰モデルを適用した場合
19

20. 実験結果
• 各ステージにおいてcoarse-SR（≒画像構造による条件付け）の有無によ
る比較
20

21. まとめ
• 自己回帰モデルを利用した超解像を提案
• 低解像画像（≒画像構造）を条件付けることで，局所パッチ内でのみ自己回帰モデルを使
用すればよく，計算効率を改善
• 一般画像超解像・顔画像超解像において従来手法を上回る性能を達成
21