冗長変換とその画像復元応用

2015/1/30 日本画像学会第26回フリートーキング 1
冗長変換と
その画像復元応用
平成２７年１月３０日（金）
新潟大学工学部電気電子工学科
准教授村松正吾

村松正吾（むらまつしょうご）
 画像・映像信号処理の教育研究に従事
 電子情報通信学会(IEICE)：基礎・境界，情報・システム
 映像情報メディア学会(ITE)
 IEEE：SP, CAS, COMP
 著書
 「マルチメディア技術の基礎DCT入門」
（CQ出版社, 1997年）
 「MATLABによる画像&映像信号処理」
（CQ出版社, 2007年）
日本画像学会第26回フリートーキング 22015/1/30

IoT時代を迎えて
 センシング環境の多様化
センサ端末（エッジ）
 リアルタイム処理
 遠隔・協調処理
 特徴抽出、認識処理

IoT時代の画像処理
 組込みビジョン技術への期待
 処理フローの典型例
組込み
コン
ピュータ
ビジョン
組込み
ビジョン
取得画像前処理特徴抽出認識解析情報
【例】
デジカメの
顔検出

昼夜問わず、風雨に耐えて…
劣悪な環境下でのセンシング
 前処理が重要な役割を担う
輝度・色彩調整
幾何補正
ノイズ除去
デモザイキング
ボケ除去
欠損修復
超解像
画像復元問題
冗長変換とスパース表現
共通に利用可能なツール

冗長変換とスパース表現による
ボケ＋ノイズ除去の例
原画像
観測画像
PSNR: 23.84 dB
復元画像
PSNR: 27.21 dB

単一フレーム超解像の例
原画像観測画像
復元画像
PSNR: 27.61 dB
Bicubic補間画像
PSNR: 23.92 dB

画像修復の例
原画像
観測画像
PSNR: 12.56 dB
復元画像
PSNR: 32.76 dB

講演内容
 変換と画像処理応用
 冗長変換の概要
 画像のスパース表現
 冗長変換の画像復元応用
 辞書（変換）設計
 まとめ

講演内容
 スパース表現の画像復元応用
 まとめ

画像変換の効果
 3-レベルウェーブレット変換
𝐓
𝐃
スパースな表現を与える

画像変換の応用例
 変換符号化（JPEG/JPEG2000）
順変換
𝐓
逆変換
𝐃
逆量子化
量子化前処理
後処理
エントロピー
符号化
エントロピー
復号
符号化
復号

画像と変換係数の関係
 要素画像の線形結合
1/2 1/2
1/2 1/2
０２
４６
-1/2 1/2
-1/2 1/2
-1/2 -1/2
1/2 1/2
1/2 -1/2
-1/2 1/2
=
6 × 2×
4× 0×
変換係数
要素画像（アトム）
U
+
++

要素画像(アトム)の例
4 × 4 離散コサイン変換
(DCT)
2 レベル 9/7離散ウェーブレット変換
(9/7 DWT)

画像変換の変遷
 【８０年代以前】ブロック直交変換
 アダマール変換，DCT
 【８０～９０年代】重複変換、ウェーブレット変換
 LOT，LBT，5/3 DWT，9/7 DWT
 【９０～００年代】指向性変換，冗長変換
 X-let系(Contourlet等)，DT-ℂWT，混成DirLOT
 【００年代以降】学習ベース辞書（冗長変換）
 MOD, K-SVD, 非分離冗長重複変換(NSOLT)

画像の列ベクトル表現の導入
0
4
2
6
⋮
6
4
0
2
⋮
0 2
4 6
列ベクトル化
𝐱 ∈ ℝ 𝑁 𝐲 ∈ ℝ 𝑀
=
1/2 -1/2 0 0 -1/2 1/2 0 ⋯
1/2 1/2 0 0 -1/2 -1/2 0 ⋯
0 0 0 0 0 0 0 ⋯
0 0 0 0 0 0 0 ⋯
1/2 -1/2 0 0 1/2 -1/2 0 ⋯
1/2 1/2 0 0 1/2 1/2 0 ⋯
0 0 0 0
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
配列化
画像配列
係数画像
𝐗 ∈ ℝ 𝑁0×𝑁1
𝐃 ∈ ℝ 𝑁×𝑀
逆変換行列
（辞書）
アトム 𝐝 𝑚∈ ℝ 𝑁

講演内容
 まとめ

辞書𝐃による画像表現
 アトム𝐝mの線形結合による画像表現
𝐱 = 𝐃𝐲
= …+ + +
𝐝0 𝐝1 𝐝 𝑀−1
・・・
𝑦 0 𝑦 1 𝑦 𝑀 − 1
𝐱
辞書𝐃 ：アトムの集合

基底とフレーム
 基底：非冗長なアトム集合（辞書𝐃）
 フレーム：冗長なアトム集合（辞書𝐃）
𝑥0
𝑥1
=
𝑑00 𝑑10
𝑑01 𝑑11
𝑦0
𝑦1
𝑥0
𝑥1
=
𝑑00 𝑑10 𝑑20
𝑑01 𝑑11 𝑑21
𝑦0
𝑦1
𝑦2
𝑦0
𝑦1
𝑦0
𝑦1
𝑦2
唯一
無数

基底と比べたフレームの利点は？
ℝ 𝑁
ℝ 𝑀
ℝ 𝑁
ℝ 𝑁
𝐱
𝐲
𝐱
変換（唯一）
𝐓
辞書（基底）
𝐃
辞書（フレーム）
𝐃
冗長な辞書（フレーム）では係数 𝐲 を選択できる
変換（無数）
非冗長冗長
𝐓 𝐲 ∈ 𝑉𝑥

係数選択の一例：最小二乗解
 画像𝐱，辞書𝐃 に対し無数の係数候補
適切な変換係数 𝐲 を選択する問題
 2（標準）-ノルム最小化問題として解く
𝐲 = arg min 𝐲 𝐲 2
2
subject to 𝐱 = 𝐃𝐲
無数に存在する係数𝐲の候補の中から
エネルギー 𝐲 2
2
が最小のものを探す
𝐲 = 𝐃 𝑇 𝐃𝐃 𝑇 −1 𝐱 = 𝐃+ 𝐱 ムーア・ペンローズ
一般逆行列

講演内容
 まとめ

非線形近似
= …𝐱
近似画像
+ +
|𝑦 𝑚0 | |𝑦 𝑚1 | ⋯ |𝑦 𝑚 𝐾−1 |
+
𝐝 𝑚0 𝐝 𝑚1
𝐝 𝑚 𝐾−1
一部（𝐾個）の係数のみで表現
（誤差が生じる）
もし， 𝐱 = 𝐱
⇒ 𝐱は𝐾-スパース
・・・
𝐝 𝑚 𝐾
…

0-ノルム最小化問題
 より少ない係数で良い近似を得たい
 標準ノルムは小さな係数を過小評価，誤差大
 0-ノルム最小化問題として解く
 最適な係数の組合せを探索する問題
 現実的な計算時間内で解を得ることは不可能
 貪欲法（OMP，MP）による近似解の探索が一般的
𝐲 = arg min 𝐲 𝐲 0 subject to 𝐱 = 𝐃𝐲
非零係数の数
係数がスパース
なほど良い

1-ノルム最小化問題
 0-ノルム最小化問題は解の探索が困難
0-ノルムに代わるスパース性尺度を導入
 1-ノルム最小化問題として解く
 基底追跡(BP)法と呼ばれる
線形計画問題に帰着
係数の絶対値和 𝐲 1 =
𝑚=0
𝑀−1
|𝑦 𝑚 |

基底追跡ノイズ除去(BPDN)
 BP法は多項式時間で解くことができる
 しかし、画像信号に対し事実上実現が困難
 再構成誤差を許容して解く
 基底追跡ノイズ除去(BPDN)法と呼ばれる
 演算量を大幅に削減可能
𝐲 = arg min 𝐲
1
2
𝐱 − 𝐃𝐲 2
2
+ 𝜆 𝐲 1
忠実度スパース性
制御パラメータ（重み）

ソフト縮退ノイズ除去
 もし，𝐃が正規直交ならば
 ‖𝐃 𝑇
𝐱‖2
2
= ‖𝐱 ‖2
2
， 𝐓𝐃 = 𝐃 𝑇
𝐃 = 𝐈より
分析
𝐓 = 𝐃 𝑇
合成
𝐃：：
入力出力
𝜆
−𝜆
࣮𝜆 𝑣 𝑚
Donoho, Johnstoneらの
ソフト縮退処理

原画像とノイズ画像の変換係数
𝑻
𝑫
28
𝑻
𝑫
2015/1/30 日本画像学会第26回フリートーキング

講演内容
 信号のスパース表現
 まとめ

スパース表現の画像処理応用
 画像の劣化／復元モデル
𝐱
観測
画像
𝐮
未知の
原画像
𝐏 +
𝐰
観測過程
（既知）
AWGN
𝐃
𝐲
𝐃
𝐲
辞書（既知）
スパース表現
𝐮
復元
画像
復元
𝐱 = 𝐏𝐮 + 𝐰
𝐮 = 𝐃𝐲
𝐲 はスパース
仮定
𝐲 = argmin 𝐲
1
2
𝐱 − 𝐏𝐃𝐲 2
2
+ 𝜆𝜌 𝐲
𝐮 = 𝐃 𝐲 正則化項（スパース性）
問題
設定

画像復元問題と観測過程
画像復元
問題
観測過程 𝐏
ボケ除去
レンズの点広がり関数や手ブレによるボケを
線形フィルタ 𝐏 = 𝐇 によりモデル化
超解像
低解像度の観測過程を線形フィルタ𝐇と
間引き処理𝐒↓により 𝐏 = 𝐒↓ 𝐇 とモデル化
画像修復
画素の欠損を不規則間引き処理𝑺↓と
零値挿入処理𝐒↓
𝑇
により𝐏 = 𝐒↓
𝑇
𝐒↓とモデル化
圧縮センシング
線形シフト変フィルタ𝐇と不規則間引き処理𝐒↓
により観測行列を𝐏 = 𝐒↓ 𝐇 とデル化

画像復元問題の解法例ー ISTA
（繰返し縮退／閾値アルゴリズム）
 正則化項（スパース性）：𝜌 𝐲 = 𝐲 1
係数 𝐲 の厳密解が得られる
ソフト縮退処理の一般化と見なせる
࣮𝜆
𝐿
⋅
𝐱
観測
画像
𝐏 𝑇
𝐃 𝑇
𝐏 𝐃 𝐲(𝑖−1)
+ + 𝐃
𝐲(𝑖)
𝐮(𝑖)
復元
画像
− 1/𝐿
𝐮(𝑖−1)

講演内容
 信号のスパース表現
 まとめ

辞書𝐃の選択
 解析的辞書
数学的な定義に基づいて与えられる
明確な構造を持ち，実装時の演算量が少ない
DCT, LOT, LBT, DWT，Contourlet など
 学習ベース辞書
対象信号や画像の事例を用いて設計
対象信号や画像に対して詳細に調整可能
MOD, K-SVD, SimCO, NSOLTなど

学習ベース辞書
 問題設定の典型例
𝐃, 𝐲𝑖 = argmin 𝐃,𝐲
𝒊
𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾
 スパース符号化
𝐲𝑖 = argmin 𝐲 𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾
 辞書更新
𝐃 = argmin 𝐃
𝒊
𝐱 − 𝐃 𝐲𝑖 2
2
日本画像学会第26回フリートーキング 352015/1/30
スパース符号化
辞書更新
収束
true
false
𝐱 𝑖
𝐃
事例画像群
設計辞書

(a)
(b)
二次元NSOLTの設計例
 学習ベース設計例
事例画像
学習辞書（アトム群） [Muramatsu,ICASSP2014]
２レベル
ツリー構成

三次元NSOLTの設計例
 学習ベース設計例
2015/1/30 日本画像学会第26回フリートーキング
[村松,SIPシンポ2014]

関連技術
𝐲 = argmin 𝐲
1
2
𝐱 − 𝐏𝐃𝐲 2
2
+ 𝜆 𝐲 1
係数毎の設定・適応化：𝝀 𝑇
𝐲
BayesShrink, MSIST など
正則化項の変更
pノルム 𝑝 < 1
全変動(TV)など
𝑝 𝐲 𝐱 ∝ 𝑝 𝐱 𝐲 𝑝 𝐲 ∝ 𝑒
−
𝐰 2
2
2𝜎 𝑤
2
⋅ 𝑒
−
𝐲 1
𝜙 𝑦
𝜆 =
𝜎 𝑤
2
𝜙 𝑦最大事後確率
（ＭＡＰ）推定
ノイズ～正規分布
𝑤[𝑛]~𝒩 0, σw
2
係数～ラプラス分布
𝑦[𝑚]~ℒ 0, 𝜙 𝑦
等価：
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2
0
0.2
0.4
0.6
0.8
1
x
-4 -3 -2 -1 0 1 2 3 4
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
x
辞書𝐃の設計
Contourlet, DT-ℂWTなど
辞書𝐃の学習
MOD, K-SVDなど
局所的画像パッチを利用
BM3Dなど
非線形モデルへ拡張
カーネル回帰法など
分布を仮定しない
SURE-LETなど
分散
最適化

まとめ
 画像変換とその画像復元応用について概説
 冗長変換とスパース表現の有用性を解説
 学習ベース辞書の設計法と設計例を紹介
 医療用画像，光線場画像などボリューム拡張可
 関連技術と発展性
 本講演が，画像のスパース表現への興味のきっ
かけとして役立てれば幸いです

謝辞
 本講演の機会をいただいた（社）日本画像学
会編集委員会の皆様に謝意を申し上げます．
 本報告内容の研究の一部は科研費(No.
26420347) の助成を受けた．

非冗長系－基底
 アトムの数が信号次元と等しい場合
アトム集合 𝐝 𝑚 を基底とよぶ．𝐓は唯一．
双直交基底（例：9/7DWT）
正規直交基底（例：DCT）
𝐓 = 𝐃−1
(≠ 𝐃 𝑇
)
𝐓 = 𝐃−1 = 𝐃 𝑇
𝐱 2
2
= 𝐲 2
2
が成り立つ
ℝ2
ℝ2
𝐝0
𝐝1
𝐝0𝐝1
パーセバル
の等式

冗長系－フレーム
 アトムの数が信号次元より多い場合
アトム集合 𝐝 𝑚 をフレームとよぶ．𝑻は無数．
 タイトフレーム
 𝜆min = 𝜆max = ℛ を満たす
𝜆min 𝐱 2
2
≤ 𝐃 𝑇
𝐱 2
2
≤ 𝜆max 𝐱 2
2
ℝ2
𝐝0
𝐝1𝐝2
直交基底と同じ

一般逆行列
 標準ノルム最小化問題はラグランジュ定数𝝀の導
入により
を最小化する問題となる．
より
となるので，最適な係数 𝒚は，
と導かれる．
ℒ 𝐲 = 𝐲 2
2
− 𝝀 𝑇(𝐃𝐲 − 𝐱)
𝜕ℒ 𝐲
𝜕𝐲
= 2𝐲 − 𝐃 𝑇 𝝀 = 0
2𝐃𝐲 = 2𝐱 = 𝐃𝐃 𝑇 𝝀 𝝀 = 2 𝐃𝐃 𝑇 −1 𝐱
𝐲 = 𝐃 𝑇 𝐃𝐃 𝑇 −1 𝐱 = 𝐃+ 𝐱
ムーア・ペンローズ一般逆行列

直交マッチング追跡法(OMP)
 残差に最も近いアトムを逐次選択
𝐝0
𝐝1
𝐝2
𝐝0
𝐝1
𝐝2
𝑦[0]𝐝0
𝐱
𝐝0
𝐝1𝐝2
𝐱 − 𝑦 0 𝐝0
残差
𝑦[1]𝐝1
選択されたアトムのみを用いて
最小二乗法により係数を更新
繰り返す

基底追跡法(BP)
 最短経路となるようアトムを選択
𝐝0
𝐝1
𝐝2
𝐱
𝑦[0]𝐝0
𝑦[1]𝐝1
𝐳 = arg min 𝐳 𝟏 𝑇 𝐳
subject to 𝐱 = 𝐃 − 𝐃 𝐳 and 𝐳 ≥ 𝟎
線形計画法に帰着
𝐳 =
𝐲+
𝐲−
∈ ℝ2𝑁
𝐲 = 𝐲+ − 𝐲− ∈ ℝ 𝑁
𝐲 1 = 𝟏 𝑇(𝐲+ + 𝐲−)
𝐱 = 𝐃𝐲 = 𝐃 (𝐲+ − 𝐲−)

冗長変換とその画像復元応用

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a 冗長変換とその画像復元応用

Semelhante a 冗長変換とその画像復元応用 (20)

冗長変換とその画像復元応用