Mais conteúdo relacionado Semelhante a 画像からの倍率色収差の自動推定補正 (20) 画像からの倍率色収差の自動推定補正1. 画像からの倍率色収差の自動推定補正
Automatic Estimation Correction of Lateral Chromatic Aberration
from a Single Image
松永 力
Chikara Matsunaga
株式会社朋栄アイ・ビー・イー
FOR-A IBE Co., Ltd.
E-mail: matsunaga@for-a.co.jp
Abstract
RGB カラー画像における倍率色収差を補正するため
に,RGB 画像間での画像全体のグローバル動きを推定
して,補正する.RGB 画像間は,画像内容によっては,
局所的にレベル反転しているので,予め前処理として,
方向エッジ二乗画像を局所正規化して,それらの差分
二乗総和(SSD)を最小化する補正パラメータを推定す
る.補正モデルとしては,相似変換,アフィン変換,射
影変換,擬似射影変換,多項式変換を用いる.動き推定
には,Lucas-Kanade アルゴリズム [14] を効率的に計算
する逆結合 Lucas-Kanade アルゴリズム [2] を基に,そ
の更新量を 1 次近似する.擬似射影変換や多項式変換
のような高次項を有する補正モデルにおいても,適用
できることを実験的に示す.補正モデルの妥当性につ
いても,幾何学的モデル選択 [13, 12] により検証する.
1 はじめに
近年のデジタル一眼レフカメラ(Digital Single Lens
Reflex camera,DSLR)の高解像度化や,次世代テレ
ビ放送へ向けて,地上デジタル放送における HD 画質
を越える解像度を持つ 4K / 8K (スーパーハイビジョ
ン)解像度が推進されているが 1
,そのような高解像度
の画像/映像の高画質化を阻む要因のひとつとして,色
収差と呼ばれる妨害が知られている.これは,画像/
映像における色ずれとして,物体境界に顕著に見られ
るが,高解像度化に伴い,レンズによる光学的な補正
だけでは十分とは言えなくなりつつある.
本論文では,RGB カラー画像における倍率色収差の
補正を,RGB 画像間のグローバル動き推定補正によっ
て行う.図 1 (a) は,倍率色収差推定補正処理のブロッ
ク図である.1 枚の RGB カラー画像を RGB 成分画像
に分解して,G 画像に対する B,R 画像の動きを推定
して,補正した後,再び合成する.
1 次世代放送推進フォーラム(Next Generation Television
& Broadcasting Promotion Forum, NexTV-F),http://www.
nextv-f.jp/
画像の動きの推定は大きく領域ベースによる手法と,
特徴ベースによる手法に分けられる.領域ベースの方
法としては,動画像圧縮符号化の国際標準規格 MPEG
[10] では,ブロックマッチングが用いられ,コンピュー
タビジョンではオプティカルフロー [7, 14] がよく用い
られるが,いずれも濃淡画素を直接処理するものであ
る.松永は,CMOS 動き歪み補正と映像の安定化のた
めに連続する 2 画像間の画像全体の 4 パラメータアフィ
ン変換を推定した [19].特徴ベースの方法としては,ハ
リス作用素 [6] によって抽出したコーナー等の画像特徴
点や,ハフ変換 [8] によって検出した直線を用いるもの
がある.松永は,特徴点の対応から拡張 FNS 法により
2 次元/3 次元幾何学変換を統一的に最適に計算する方
法を示した [18].松永は,海洋上の船舶から撮影される
映像に含まれる画像の回転と上下動を除去するために,
映像中の水平線を検出することにより動揺映像の安定
化を行った [17].
Irani と Anandan は,赤外画像と可視光画像の異な
るセンサにより得られた画像間の位置合わせのために,
各々の方向エッジ二乗画像の局所正規化相関を最大化
する補正パラメータを推定した [9].医用画像では,CT
画像と MRI 画像の異なるセンサにより得られた画像間
の位置合わせのために,相互情報量を最大化する補正
パラメータを推定する方法が用いられている [15, 21].
画像の幾何学的な変換による色収差補正を最初に提
唱したのは,Boult と Wolberg であるが [3],その補正
のための変換モデルを推定する具体的な方法は示され
ていない.Johnson と Farid は,倍率色収差によりデジ
タル画像の改竄の検出を試みた [11].倍率色収差の補正
モデルとしては,相似変換を用いて,相互情報量を最大
化する補正パラメータを推定した.Mallon と Whelan
は,市松パタン画像中の格子特徴点を抽出することに
より倍率色収差の推定を行った [16].吉村らは,内視
鏡における色順次時系列画像に生じる色収差を結合エ
ントロピーによる非剛体変形モデルとして局所推定を
行った [25].Chung らは,エッジ情報に基づく画像処
理により倍率色収差補正を行った [5].
2. (a) (b) (c)
図 1 (a) 倍率色収差推定補正処理ブロック図.1 枚の RGB カラー画像を RGB 成分画像に分解して,G 画像に対す
る B,R 画像の動きを推定し,補正した後,再び合成する.(b) 軸上色収差,(c) 倍率色収差.
本論文では,RGB カラー画像における倍率色収差を
補正するために,RGB 画像間での画像全体のグローバ
ル動きを推定して,補正する.RGB 画像間は,画像内
容によっては,局所的にレベル反転しているので,予
め前処理として,方向エッジ二乗画像を局所正規化し
て,それらの差分二乗総和(SSD)を最小化する補正
パラメータを推定する.補正モデルとしては,相似変
換,アフィン変換,射影変換,擬似射影変換,多項式変
換を用いる.動き推定には,Lucas-Kanade アルゴリズ
ム [14] を効率的に計算する逆結合 Lucas-Kanade アル
ゴリズム [2] を基に,その更新量を 1 次近似する.擬似
射影変換や多項式変換のような高次項を有する補正モ
デルにおいても適用できることを実験的に示す.補正モ
デルの妥当性についても,幾何学的モデル選択 [13, 12]
により検証する.
本論文の構成は,2 章でレンズの色収差について説明
する.3 章で補正モデルを示した後,Lucas-Kanade ア
ルゴリズム,逆結合 Lucas-Kanade アルゴリズムによ
る動きの推定,そして,前処理として方向エッジ二乗
画像を局所正規化した“ 近似逆結合 Lucas-Kanade ア
ルゴリズム ”による倍率色収差補正の手順を示す.4 章
で画像シミュレーションにおける実験方法と評価方法
について説明し,結果を示す.5 章で纏める.
2 色収差
レンズの屈折率は光の波長によって異なるため,焦
点距離も光の波長によって異なり,像の大きさと位置
に差が生じる.これをレンズの色収差と言う.色収差
は軸上色収差と倍率色収差に分けられる.
軸上色収差とは,レンズの焦点距離が波長によって
違うために,色によって像面の位置が前後にずれるこ
とである(図 1 (b)).白色点光源を撮影したとき点像の
周りに色づいたボケをまとっているように見える.倍
率色収差は色によって像の倍率が異なり,像の大きさ
が異なることである(図 1 (c)).白色点光源を撮影し
たとき,特に画面の周辺部において虹色に色づいて放
射方向に伸びるように見える.倍率色収差は絞りこみ
を行っても抑制できないが,軸上色収差は絞りこみに
よってある程度抑制することが可能である [23].
一方,色に依らず単色でも発生する収差として単色
収差がある.これは,いわゆるレンズ収差と呼ばれる
ものであり,カメラ校正として古くから多くの研究が
あるが [20, 22, 24],本論文では,倍率色収差を扱う.
3 倍率色収差補正パラメータの推定
3.1 倍率色収差補正モデル
G 画像を基準として,B,R 画像を次の補正モデルで
座標変換することにより G 画像に位置合わせする.
• 相似変換補正モデル(自由度 4)
xB/R = (1 + a1)xG − a2yG + a3,
yB/R = a2xG + (1 + a1)yG + a6. (1)
• アフィン変換補正モデル(自由度 6)
xB/R = (1 + a1)xG + a2yG + a3,
yB/R = a4xG + (1 + a5)yG + a6. (2)
• 射影変換補正モデル(自由度 8)
xB/R =
(1 + a1)xG + a2yG + a3
a7xG + a8yG + 1
,
yB/R =
a4xG + (1 + a5)yG + a6
a7xG + a8yG + 1
. (3)
• 擬似射影変換(Ψ 変換 [1])補正モデル(自由度 8)
xB/R = (1 + a1)xG + a2yG + a3 + a7x2
G + a8xGyG,
yB/R = a4xG + (1 + a5)yG + a6 + a7xGyG + a8y2
G.
(4)
• 多項式変換補正モデル(自由度 16)
xB/R = (1 + a1)xG + a2yG + a3xGyG + a4x2
G
+a5y2
G + a6x2
GyG + a7xGy2
G + a8,
yB/R = a9xG + (1 + a10)yG + a11xGyG + a12x2
G
+a13y2
G + a14x2
GyG + a15xGy2
G + a16.
(5)
3.2 近似逆結合 Lucas-Kanade アルゴリズム
画像間の位置合わせには,Lucas-Kanade アルゴリズ
ム [14] を用いる.Lucas-Kanade アルゴリズムは画素を
3. 直接処理する領域ベースの手法であり,何らの画像特
徴や対応付けを必要としない.入力画像 I(x) を基準と
なるテンプレート画像 T(x) に合わせる.ここで,x =
(x, y)⊤
は画素座標である 2
.W (x; a) は画像の幾何学
変換であり,a = (a1, . . . , an)⊤
は変換パラメータであ
る.例えば,相似変換の場合,
W (x; a) =
1 + a1 −a2 a3
a2 1 + a1 a6
0 0 1
x
y
1
, (6)
である 3
.したがって,Lucas-Kanade アルゴリズムは,
テンプレート画像 T とテンプレート画像の座標に変換
した入力画像 I の間の次のような差分二乗総和(Sum
of Squared Difference, SSD)を最小化するものである.
x
I(W (x; a))−T(x)
2
. (7)
いま,a → a + ∆a と変化したとすると,
x
I(W (x; a+∆a))−T(x)
2
, (8)
であり,これをテイラー展開すると,次のようになる.
x
I(W (x; a)) + ∇I
∂W
∂a
∆a − T(x)
2
. (9)
∇I = (Ix, Iy) は画像 I の W (x; a) での勾配であり,
∂W /∂aはヤコビ行列と呼ばれ,W (x; a) = Wx(x; a),
Wy(x; a)
⊤
とすると,
∂W
∂a
=
∂Wx
∂a1
. . .
∂Wx
∂an
∂Wy
∂a1
. . .
∂Wy
∂an
, (10)
である.相似変換の場合には,次のようになる.
∂W
∂a
=
x −y 1 0
y x 0 1
. (11)
式(9)を ∆a について微分すると,
x
∇I
∂W
∂a
⊤
I(W (x; a))+∇I
∂W
∂a
∆a−T(x) ,
(12)
であり,∆a は次のように解くことができる.
∆a=H−1
x
∇I
∂W
∂a
⊤
T(x)−I(W (x; a)) . (13)
ここで,H は次のようなヘッセ行列である.
H =
x
∇I
∂W
∂a
⊤
∇I
∂W
∂a
. (14)
2 倍率色収差補正の場合,G 画像を基準とするため,補正モデ
ルの表記に合わせると,xG = (xG, yG)⊤ であるが,以降,x =
(x, y)⊤ と略記する.
3 これは,同次座標形式であるが,後の(逆)変換の合成を行う
際の計算の都合から,この形式を用いる.
Lucas-Kanade アルゴリズム
Iterate:
(1) I(W (x; a)) を計算するために入力画像 I を
パラメータ W (x; a) で変換する.
(2) 誤差画像 T(x)−I(W (x; a)) を計算する.
(3) 勾配 ∇I を W (x; a) で変換する.
(4) (x; a) でヤコビ行列 ∂W
∂a を評価する.
(5) 最急降下画像 ∇I ∂W
∂a を計算する.
(6) 次のヘッセ行列 H の逆行列を計算する.
H = x ∇I ∂W
∂a
⊤
∇I ∂W
∂a
(7) 次の最急降下画像と誤差画像の積和を計算する.
x ∇I ∂W
∂a
⊤
T(x)−I(W (x; a))
(8) 次の変化量 ∆a を計算する.
∆a=H−1
x ∇I ∂W
∂a
⊤
T(x)−I(W (x; a))
(9) パラメータを次のように更新する.
a ← a + ∆a
Until ∆a ≤ ε(微小しきい値)
図 2 Lucas-Kanade アルゴリズム手順 [2].
したがって,a は適当な初期値から ∆a を反復的に解
くことによって,求めることができる.これは,ヘッセ
行列を計算するのに 2 階微分を行わずに近似する「ガ
ウス・ニュートン法」である.Lucas-Kanade アルゴリ
ズムの手順 [2] を図 2 に示す.
Lucas-Kanade アルゴリズムの問題は,反復毎に更新
した補正パラメータにより変換した入力画像のヘッセ
行列 H を計算しなければならないことである.そこで,
テンプレート画像と入力画像の役割を交換する.
x
T(W (x; ∆a))−I(W (x; a))
2
. (15)
これをテイラー展開すると,次のようになる.
x
T(W (x; 0))+∇T
∂W
∂a
∆a−I(W (x; a))
2
. (16)
W (x; 0) は ∆a = 0 とした恒等変換であるとして,一
般性を失わない.したがって,変化量 ∆a は,
∆a=H−1
x
∇T
∂W
∂a
⊤
I(W (x; a))−T(x) , (17)
であり,テンプレート画像 T(x) のヘッセ行列は,
H =
x
∇T
∂W
∂a
⊤
∇T
∂W
∂a
, (18)
となる.ヤコビ行列 ∂W /∂a は (x; 0) で評価する.これ
はパラメータによらず,予め計算しておくことができる.
反復毎に入力画像 I を変換して,テンプレート画像の最
急降下画像 ∇T∂W /∂a と誤差画像 T(x)−I(W (x; a))
の積和を計算する.そして,予め計算しておいたテン
プレート画像のヘッセ行列の逆行列 H−1
を掛けたもの
を変化量とするが,その更新方法が異なる.
4. 変化量を加算により更新するのではなく,変化量による
変換行列(の逆行列)を合成することにより更新する.
W (x; a) ← W (x; a) ◦ W (x; ∆a)−1
. (19)
これは,逆結合 Lucas-Kanade アルゴリズム(Inverse
Compositional Algorithm)と呼ばれ,Lucas-Kanade
アルゴリズムの効率的な方法として提案されている [2].
しかし,変換の合成結果を 1 次近似しても,通常は
問題ないことが確認できる.例えば,相似変換による
補正の場合,その逆変換は次のようになる.
W (x; a)−1
=
1
(1 + a1)2 + a2
2
1 + a1 a2 −a2a6 − (1 + a1)a3
−a2 1 + a1 −(1 + a1)a6 + a2a3
0 0 1
. (20)
これを,高次の積項を無視する 1 次近似すると,次の
ようになる.
W (x; a)−1
≈
1 − a1 a2 −a3
−a2 1 − a1 −a6
0 0 1
. (21)
したがって,相似変換の合成による更新は式(22)の
ようになる 4
.
すなわち,パラメータの更新は逆方向の加算,つま
り減算によってなされる.逆結合 Lucas-Kanade アルゴ
リズムは,逆変換が存在して,変換の結合則が成り立
つような変換にしか適用できないとされている [2].し
かし,擬似射影変換や多項式変換のような高次項を有
する補正モデルにおいても,1 次近似による更新が可能
なことが実験的に確認できる.このような逆結合の 1
次近似によって,Lucas-Kanade アルゴリズムの効率化
が図れることから,これを“ 近似逆結合 Lucas-Kanade
アルゴリズム ”と呼ぶことにする.
3.3 前処理
Irani と Anandan は,赤外画像と可視光画像の位置
合わせのために,各々の方向エッジ二乗画像の局所正規
化相関(Local Normalized Cross Correlation, LNCC)
を最大化する補正パラメータを推定した [9].局所正規
化相関は次のようになる.
x d
Id(W (x; a)) − ¯Id
σ[Id(W (x; a))]
Td(x) − ¯Td
σ[Td(x)]
. (23)
ここで,
¯Id =
1
N[B]
x∈B
Id(W (x; a)), (24)
¯Td =
1
N[B]
x∈B
Td(x), (25)
4 ここでもさらに,パラメータ同士の積項を無視する 1 次近似を
行った(次頁).
σ[Id(W (x; a))]
=
1
N[B]
x∈B
Id(W (x; a)) − ¯Id
2
, (26)
σ[Td(x)] =
1
N[B]
x∈B
Td(x) − ¯Td
2
, (27)
であり,N[B] は,注目画素 x を含む近傍の局所領域 B
の画素数である.入力画像,テンプレート画像ともに,
方向 d によるエッジを二乗したものを用いており,エッ
ジには,水平,垂直,斜め 2 方向の合計 4 方向を用い
ている [9].d = 1, . . . , 4 であるから,相関値は −4 か
ら 4 までの範囲を取り,4 に近ければ近いほど類似度が
高い.
これは,局所領域 B の画素値の平均値を引いて,標
準偏差値によりレベル変換したもの同士の積であるが,
次のような局所正規化 SSD(Local Normalized Sum of
Suqared Difference, LNSSD)と本質的に等価である.
x d
Id(W (x; a)) − ¯Id
σ[Id(W (x; a))]
−
Td(x) − ¯Td
σ[Td(x)]
2
. (28)
これを,次のように略記する.
x d
Id − ¯Id
σId
−
Td − ¯Td
σTd
2
. (29)
差分二乗の形であれば,(近似)逆結合 Lucas-Kanade
アルゴリズムが適用できる.局所領域の平均と標準偏
差によるレベル変換である局所正規化関数を次のよう
に定義する.
S[X] ≡
X − ¯X
σX
. (30)
すると,局所正規化 SSD は次のようになり,
x d
S[Id] − S[Td]
2
, (31)
a → a + ∆a としたとき,テイラー展開により 1 次近
似すると,次のように書ける.
x d
S[Id] + ∇S[Id]∇Id
∂W
∂a
∆a − S[Td]
2
. (32)
ここで,局所正規化関数 S[X] が平均,標準偏差も X
の関数であることに注意すると,
∇S[Id] =
1 −
1
N[B]
σId
−
1
N[B]
(Id − ¯Id)2
σId
σ2
Id
, (33)
であり,N[B] が十分大きい場合,∇S[Id] ≈ 1/σId
と近
似する.∇Id は方向エッジ二乗画像の勾配であり,∇Id
= Idx , Idy である.式(32)を ∆a で微分すると,
x d
∇S[Id]∇Id
∂W
∂a
⊤
S[Id] + ∇S[Id]∇Id
∂W
∂a
∆a − S[Td] , (34)
5. W (x; a) ◦ W (x; ∆a)−1
≈
1 + a1 −a2 a3
a2 1 + a1 a6
0 0 1
1 − ∆a1 ∆a2 −∆a3
−∆a2 1 − ∆a1 −∆a6
0 0 1
=
(1 + a1)(1 − ∆a1) + a2∆a2 (1 + a1)∆a2 − a2(1 − ∆a1) −(1 + a1)∆a3 + a2∆a6 + a3
a2(1 − ∆a1) − (1 + a1)∆a2 a2∆a2 + (1 + a1)(1 − ∆a1) −a2∆a3 − (1 + a1)∆a6 + a6
0 0 1
≈
1 + (a1 − ∆a1) −(a2 − ∆a2) a3 − ∆a3
a2 − ∆a2 1 + (a1 − ∆a1) a6 − ∆a6
0 0 1
= W (x; a − ∆a). (22)
であり,∆a について解くと,次のようになる.
∆a=H−1
x d
∇S[Id]∇Id
∂W
∂a
⊤
S[Id] − S[Td] . (35)
ここで,H は次のようなヘッセ行列である.
H =
x d
∇S[Id]∇Id
∂W
∂a
⊤
∇S[Id]∇Id
∂W
∂a
. (36)
しかし,この場合,反復毎に入力画像の局所正規化
処理を行わなければならない.そこで,(近似)逆結合
Lucas-Kanade アルゴリズムにおいて予めヘッセ行列を
計算するのと同様に,予め前処理として,方向エッジ
二乗画像を局所正規化して,それを反復更新された補
正パラメータにより補正する.すなわち,局所正規化
された入力画像とテンプレート画像をそれぞれ,˜Id, ˜Td
とすると,
x d
˜Id − ˜Td
2
, (37)
であり,a → a + ∆a としたときのテイラー展開によ
る 1 次近似は,
x d
˜Id + ∇˜Id
∂W
∂a
∆a − ˜Td
2
, (38)
となり,変化量 ∆a とヘッセ行列は次のようになる.
∆a = H−1
x d
∇˜Id
∂W
∂a
⊤
˜Id − ˜Td , (39)
H =
x d
∇˜Id
∂W
∂a
⊤
∇˜Id
∂W
∂a
. (40)
ここで,
˜Id ≡ S[Id] =
Id − ¯Id
σId
, (41)
˜Td ≡ S[Td] =
Td − ¯Td
σTd
, (42)
∇˜Id = ˜Idx , ˜Idy , (43)
である.図 3 に近似逆結合 Lucas-Kanade アルゴリズ
ムによる倍率色収差推定処理の手順を示す.
4 画像シミュレーション
4.1 実験方法
相似変換は 2 点の対応から,アフィン変換は 3 点の
対応から,射影変換,擬似射影変換は 4 点の対応から,
多項式変換は 8 点の対応から一意に決まる.画像中の
適当な基準点の画素座標に正規乱数誤差を加えて移動
した点との対応から,それぞれの変換補正モデルを計
算する.そのようにして計算した変換パラメータを真
の補正パラメータとして,適当な色ずれのない RGB カ
ラー画像における B あるいは R 画像を変換して倍率色
収差画像とする.変換画像の生成には,逆変換が必要と
なるが,高次項を含む擬似射影変換,多項式変換は逆変
換が解析的に求まらない.そこで,数値計算により逆変
換を求める.生成した倍率色収差画像から,G 画像を基
準画像として,B あるいは R 画像の各々を,予め前処
理として,方向エッジ二乗画像を近傍 3 × 3 画素領域に
より局所正規化して,それらの差分二乗総和(SSD)を
最小化する補正パラメータを近似逆結合 Lucas-Kanade
アルゴリズムによって推定して,補正する.
4.2 評価方法
シミュレーションにより生成した倍率色収差画像の
補正結果を次のような方法で評価する.
1. 変換パラメータにより B あるいは R 画像を変換
し,変換した B あるいは R 画像を推定した補正パ
ラメータにより補正する.そして,元の B あるい
は R 画像との平均二乗誤差を理論的下界(変換し
た B あるいは R 画像を真の補正パラメータにより
補正した結果との平均二乗誤差)と比較する.
2. 推定した補正パラメータにより補正した B あるい
は R 画像と基準となる G 画像の間の相互情報量
[15, 21] を理論的下界(真の補正パラメータにより
補正した B あるいは R 画像と基準となる G 画像
との間の相互情報量)と比較する.
6. 倍率色収差推定処理
Pre-compute:
(0) 基準画像 IG
d (x), 入力画像 I
B/R
d (x) の
方向エッジ二乗画像を局所正規化する.
(3) 局所正規化された基準画像 S[IG
d (x)] の
勾配 ∇S[IG
d (x)] を評価する.
(4) (x; 0) でヤコビ行列 ∂W
∂a を評価する.
(5) 最急降下画像 ∇S[IG
d (x)]∂W
∂a を計算する.
(6) 次のヘッセ行列 H の逆行列を計算する.
H = x d ∇S[IG
d (x)]∂W
∂a
⊤
∇S[IG
d (x)]∂W
∂a
Iterate:
(1) S[I
B/R
d (W (x; a))] を計算するために
局所正規化された入力画像 S[I
B/R
d (x)] を
パラメータ W (x; a) で変換する.
(2) 誤差画像 S[I
B/R
d (W (x; a))] − S[IG
d (x)]
を計算する.
(7) 次の最急降下画像と誤差画像の積和を計算する.
x d ∇S[IG
d (x)]∂W
∂a
⊤
S[I
B/R
d (W (x; a))] − S[IG
d (x)]
(8) 次の変化量 ∆a を計算する.
∆a=H−1
x d ∇S[IG
d (x)]∂W
∂a
⊤
S[IG
d (x)] − S[I
B/R
d (W (x; a))]
(9) パラメータを次のように更新する.
a ← a − ∆a
Until ∆a ≤ ε(微小しきい値)
図 3 近似逆結合 Lucas-Kanade アルゴリズムによ
る倍率色収差推定処理の手順.手順の番号は,図 2 の
Lucas-Kanade アルゴリズムと対応している.手順(0)
の前処理としての方向エッジ二乗画像の局所正規化と
手順(9)のパラメータ更新の式に注意する.
3. 画像中の局所領域における画素値データを 2 次元
G-B あるいは G-R 平面上にプロットし,それらの
画素値データに直線を最適に当てはめる.B あるい
は R 画像の推定した補正パラメータにより補正し
た結果の局所領域における画素値データへの直線
の当てはめ残差を理論的下界(真の補正パラメー
タにより補正した B あるいは R 画像の同局所領域
における画素値データへの直線当てはめ残差)と
比較する.
シミュレーションではない実際の倍率色収差が生じて
いる自然画像においても,補正前後で,画像の相互情
報量,2 次元 G-B あるいは G-R 平面上の画素値データ
への直線当てはめ残差を比較することによって,倍率
色収差補正処理の客観的な評価が可能となる.併せて,
各種変換による補正モデルの妥当性の幾何学的モデル
選択 [13, 12] による検証結果も示す.
補正モデル 平均反復回数
相似 23.4 (±3.2)
アフィン 31.0 (±4.6)
射影 39.6 (±9.0)
擬似射影 50.8 (±9.7)
多項式 201.7 (±70.7)
図 4 相似変換補正モデルによる残差結果.それぞれ
10 回の試行の結果である.横軸は反復回数である.表
は,各補正モデルの平均反復回数(括弧内は標準偏差).
4.3 結果
図 4 は,色ずれのない RGB カラー画像 5
を用いて,
相似変換補正モデルによる擬似的な倍率色収差画像を
生成して,本論文の近似逆結合 Lucas-Kanade アルゴリ
ズムによる倍率色収差の推定を行った残差 J(式(37)
の値)の収束の様子をプロットした結果である.横軸は
反復回数である.同一の RGB カラー画像を用いて,誤
差を変えて推定した 10 回の試行を重ねて表示した.各
補正モデルにおける平均反復回数も表に示す.いずれの
変換による補正モデルも急速に減少するが,補正モデ
ルの自由度の高いモデルほど,収束に要する反復回数が
増加しているのがわかる.推定結果は,Lucas-Kanade
アルゴリズムによる推定結果と数値計算上の誤差の範
囲で一致した.
図 5 は,射影変換を真の補正モデルとして B 画像を
変換することにより生成した擬似的な倍率色収差画像
と,その補正パラメータを推定した結果で補正した画
像の一例である.画像中白枠の領域を拡大した結果と
その中央 1 ラインの G/B 画素値をグラフ表示した結果
も示す.画像の周辺部ほど物体の境界部等に色ずれが
顕著であるが,補正により色ずれが除去されているの
がわかる.図 9 は,図 5 の基準となる G 画像と射影変
換した B 画像と各方向エッジ二乗画像である.
図 6 は,図 5 の補正前後の画像中白枠の領域におけ
る画素値データを 2 次元 G-B 平面上にプロットして,
最適に直線を当てはめた結果である.直線の当てはめ
には,FNS 法 [4] を用いた.補正前の画素の分布が広
がっているのに対して,補正後の画素の分布は小さく
なっているのがわかる.
図 7 に補正前後における B 画像の平均二乗誤差(画像
残差)と G-B 画像間の相互情報量 [15, 21],2 次元 G-B
平面における画素値データへの直線当てはめ残差の結
果を各々の理論的下界とともに示す.補正結果は,い
ずれの評価方法においても理論的下界に近づいている.
5 Kodak Lossless True Color Image Suite, http://r0k.us/
graphics/kodak/
7. 図 5 倍率色収差補正結果の一例.上段左側が補正前,右側が補正後.下段は,補正前後の画像中,白枠領域の拡大画
像とその中央 1 ラインの G/B 画素値のグラフ表示の結果.
(a) (b)
図 6 倍率色収差補正前後の同一の局所領域における
画素値データと最適直線当てはめ結果.(a) 補正前,(b)
補正後.
画像残差 相互情報量 直線当てはめ残差
補正前 66.455569 1.954950 37.736468
補正後 40.543593 2.042143 9.100606
理論的下界 39.945062 2.057682 7.050623
図 7 倍率色収差補正前後の画像残差,相互情報量お
よび直線当てはめ残差の結果.
図 8 に真の補正モデルが射影変換として B 画像を変
換することにより生成した擬似的な倍率色収差画像に
各補正モデルを当てはめたときの残差と幾何学的 AIC
(G-AIC),幾何学的 MDL (G-MDL)[13, 12] による
補正モデルの選択結果の一例を示す.表中,下線が選ば
れたモデルを示しており,G-AIC,G-MDL ともに真の
補正モデルである射影変換が最小である.残差は,多
項式,擬似射影,射影変換でほとんど変わらないが,真
の補正モデルである射影変換の残差が最も小さい.注
目すべきは,自由度が高く,残差が小さい多項式変換
モデルよりも,自由度が低く,残差の大きい擬似射影
変換モデルの方が G-AIC,G-MDL いずれも,僅かで
補正モデル 残差 G-AIC G-MDL
相似(4) 4.116211 9.664075 71.925386
アフィン(6) 4.062097 9.609996 71.871698
射影(8) 2.767532 8.315466 70.577558
擬似射影(8) 2.773804 8.321738 70.583830
多項式(16) 2.773757 8.321828 70.585454
図 8 倍率色収差補正モデルの選択結果の一例.各補
正モデルにおける括弧内の数値は補正モデルの自由度
である.下線は選ばれたモデル.
はあるが小さいことである.これは,残差の大小では
なく,幾何学的モデル選択により当てはまりのよさと
自由度がバランスされたモデルが選ばれる可能性を示
唆している.
5 まとめ
RGB カラー画像における倍率色収差を補正するため
に,RGB 画像間での画像全体のグローバル動きを推定
して,補正した.RGB 画像間は,画像内容によっては,
局所的にレベル反転しているので,予め前処理として,
方向エッジ二乗画像を局所正規化して,それらの差分
二乗総和(SSD)を最小化する補正パラメータを推定
した.補正モデルとしては,相似変換,アフィン変換,
射影変換,擬似射影変換,多項式変換を用いた.動き
推定には,Lucas-Kanade アルゴリズムを効率的に計算
する逆結合 Lucas-Kanade アルゴリズムを基に,その
更新量を 1 次近似した.擬似射影変換や多項式変換の
ような高次項を有する補正モデルにおいても適用でき
ることを実験的に示した.補正モデルの妥当性につい
ても,幾何学的モデル選択により検証した.
8. 図 9 方向エッジ二乗画像結果.上段が基準となる G 画像,下段が真の補正モデルを射影変換として変換した B 画像.
左から順に,原画像および水平方向,垂直方向,斜め方向 1,2 の各方向のエッジ二乗画像である.
謝辞: 本研究の機会を与えて下さった朋栄アイ・ビー・
イー和田社長に感謝します.有益なコメントを頂いた
金谷健一岡山大学名誉教授に感謝します.
参考文献
[1] G. Adiv, Determining three-dimensional motion and
structure from optical flow generated by several mov-
ing objects, IEEE Transactions on Pattern Analysis
and Machine Intelligence, 7-4 (1985), 384–401.
[2] S. Baker and I. Matthews, Lucas-Kanade 20 years
on: A unifying framework, International Journal of
Computer Vision, 56-3 (2004), 221–255.
[3] T. E. Boult and G. Wolberg, Correcting chromatic
aberrations using image warping, Proceedings of
IEEE Computer Society Conference on Computer Vi-
sion and Pattern Recognition (CVPR ’92), Jun 1992,
Champaign, IL, U.S.A., 684–687.
[4] W. Chojnacki, M. J. Brooks, A. van den Hengel and
D. Gawley, On the fitting of surfaces to data with
covariances, IEEE Transactions on Pattern Analysis
and Machine Intelligence, 22-11 (2000), 1294–1303.
[5] S.-W. Chung, B.-K. Kim and W.-J. Song, Removing
chromatic aberration by digital image processing, Op-
tical Engineering, 49-6 (2010), 067002-1–10.
[6] C. Harris and M. Stephens, A combined corner and
edge detector, Proceedings of the 4th ALVEY vision
conference, September 1988, University of Manch-
ester, England, 147–151.
[7] B. K. P. Horn and B. G. Schunck, Determining optical
flow, Artificial Intelligence, 17 (1981), 185–203.
[8] P. V. C. Hough, Methods and means for recognition
complex pattern, U. S. Patent 3,069,654 (1962).
[9] M. Irani and P. Anandan, Robust multi-sensor image
alignment, Proceedings of the 6th IEEE International
Conference on Computer Vision (ICCV’98), January
1998, Bombay, India, 959–966.
[10] ISO/IEC-11172, Coding of moving pictures and as-
sociated audio for digital storage media up to 1.5
Mbits/s, 1993.
[11] M. K. Johnson and H. Farid, Exposing digital
forgeries through chromatic aberration, Proceedings
of the 8th Workshop on Multimedia and Security
(MM&Sec’06), September 2006, Geneva, Switzerland,
48–55.
[12] K. Kanatani, Statistical Optimization for Geometric
Computation: Theory and Practice, Elsevier Science,
Amsterdam, The Netherlands, April 1996, reprinted
Dover Publications, New York, U.S.A., July 2005.
[13] K. Kanatani, Uncertainty modeling and model se-
lection for geometric inference, IEEE Transactions
on Pattern Analysis and Machine Intelligence, 26-10
(2004), 1307–1319.
[14] B. D. Lucas and T. Kanade, An iterative image regis-
tration technique with an application to stereo vision,
Proceedings of the 1981 DARPA Image Understand-
ing Workshop, April 1981, 121–130.
[15] F. Maes, A. Collignon, D. Vandermeulen, G. Marchal
and P. Suetens, Multimodality image registration by
maximization of mutual information, IEEE Transac-
tions on Medical Imaging, 16-2 (1997), 187–198.
[16] J. Mallon and P. F. Whelan, Calibration and removal
of lateral chromatic aberration in images, Pattern
Recognition Letters, 28-1 (2007), 125–135.
[17] 松永 力,水平線検出による船体動揺映像の安定化, 第 15
回画像センシングシンポジウム (SSII09) 講演論文集,横
浜 (パシフィコ横浜), 2009 年 6 月.
[18] 松永 力,2 次元/3 次元幾何学変換の統一的な最適計算,
第 18 回画像センシングシンポジウム (SSII2012) 講演論
文集,横浜 (パシフィコ横浜), 2012 年 6 月.
[19] 松永 力,対応点を用いないローリングシャッタ歪み補
正と映像安定化, 第 19 回画像センシングシンポジウム
(SSII2013) 講演論文集,横浜 (パシフィコ横浜), 2013
年 6 月.
[20] R. Tsai, A versatile camera calibration technique for
high accuracy 3D machine vision metrology using off-
the-shelf TV cameras and lenses, IEEE Transactions
on Robotics and Automation, 3-4 (1987), 323–344.
[21] P. Viola and W. M. Wells III, Alignment by maxi-
mization of mutual information, International Jour-
nal of Computer Vision, 24-2 (1997), 137–154.
[22] J. Weng, P. Cohen, and M. Herniou, Camera calibra-
tion with distortion models and accuracy evaluation,
IEEE Transactions on Pattern Analysis and Machine
Intelligence, 14-10 (1992), 965–980.
[23] 『フリー百科事典 ウィキペディア日本語版』「色収差」,
http://ja.wikipedia.org/wiki/色収差
[24] Z. Zhang, A flexible new technique for camera cali-
bration, IEEE Transactions on Pattern Analysis and
Machine Intelligence, 22-11 (2000), 1330–1334.
[25] 吉村 真, 清水 雅夫, 奥富 正敏, 部分空間に射影したジョ
イントヒストグラムのエントロピーを用いたカラー画像
の色チャンネル間における非剛体レジストレーション,
画像の認識・理解シンポジウム (MIRU2008) 論文集, 軽
井沢 (軽井沢プリンスホテル), 2008 年 7 月.