O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
対応点を用いないローリングシャッター歪み補正と映像の安定化
∼ 並進から回転へ
松永 力
株式会社朋栄アイ・ビー・イー
E-mail: matsunaga@for-a.co.jp
Abstract
ローリングシャッターに起因する映像の動き歪み変...
図 1 CMOS カメラの順次露光による動き歪み.縦
線が画像の右方向へ移動する場合(カメラが左を向く
場合)とその結果の歪み画像(上段),円が画像の下方
向へ移動する場合(カメラが上を向く場合)とその結
果の歪み画像(下段).
• 隣接する剛...
したがって,並進歪みによる隣接する 2 画像 In(xd
n),
In+1(xd
n+1) の間の関係は次のようになる(図 2 参照).
xd
n+1 = Dn+1T nD−1
n xd
n = Anxd
n. (8)
ここで,
T n =
(...
xd
n+1 = Dn+1(xn+1)
=
(
xn+1 + tx
n+1/V yn+1 − θn+1/V y2
n+1
(1 + ty
n+1/V )yn+1 + θn+1/V xn+1yn+1
)
=
(
xd
n+1
yd
n+1
)
....
であり,第 n フレーム画像 In(xd
n) のヘッセ行列は,
Hn =
∑
xd
n
(
∇In
∂W
∂pn
)⊤(
∇In
∂W
∂pn
)
, (35)
となる.ヤコビ行列 ∂W /∂pn は (xd
n; 0) で評価する.
これは...
図 5 CMOS カメラ映像の動き歪み補正および安定
化処理ブロック図.
松永は,これを“ 拡張バイラテラルフィルタ ”と呼ん
で,画像ノイズ除去処理にも用いた [6].
図 5 は,CMOS カメラ映像の動き歪み補正および
映像安定化処理のブ...
-18
-16
-14
-12
-10
-8
-6
-4
-2
0
0 10 20 30 40 50 60
tx
frame
true
estimate(rigid)
estimate(trans)
-16
-14
-12
-10
-8
-6
...
-5
0
5
10
15
20
0 10 20 30 40 50 60
t
x
, τx
frame
tx
IIR τx
IIRbilateral τx
-2
0
2
4
6
8
10
0 10 20 30 40 50 60
t
y
, τy
...
Próximos SlideShares
Carregando em…5
×

対応点を用いないローリングシャッター歪み補正と 映像の安定化~並進から回転へ論文

458 visualizações

Publicada em

第21回画像センシングシンポジウム(SSII2015)論文

Publicada em: Engenharia
  • Seja o primeiro a comentar

対応点を用いないローリングシャッター歪み補正と 映像の安定化~並進から回転へ論文

  1. 1. 対応点を用いないローリングシャッター歪み補正と映像の安定化 ∼ 並進から回転へ 松永 力 株式会社朋栄アイ・ビー・イー E-mail: matsunaga@for-a.co.jp Abstract ローリングシャッターに起因する映像の動き歪み変形 を隣接する画像間のグローバルな動きの変換としてモ デル化する.そして,従来の並進動きの場合 [5] から, 回転を含む一般的な運動の場合に拡張する.動きパラ メータを“ 逆結合 Lucas-Kanade アルゴリズム [1] ”の 更新量を 1 次近似した“ 近似逆結合 Lucas-Kanade ア ルゴリズム [7] ”により推定する.動き歪み補正ととも に,歪みのない基準フレームに対する映像の安定化を 同時に行うために,推定した隣接 2 画像間の動きパラ メータを累積加算した結果で補正する.移動カメラの 場合に,推定した並進パラメータの時系列変化に対し て,“巡回型バイラテラルフィルタ [5, 6]”により揺れ成 分を除去して,カメラの移動を保持したまま,映像中 の揺れのみを補正する.移動カメラから固定カメラへ 遷移する際にも,変化に忠実な安定化処理を実現する. 1 はじめに 近年,低価格な携帯電話カメラからハイエンドのデ ィジタル一眼レフカメラ(Digital Single Lens Reflex camera,DSLR)まで,CMOS センサが多く使われて きている.CMOS センサは,低価格化,低消費電力化, 大判化が可能であるが,これが従来の CCD センサと大 きく異なる点は,ローリングシャッターと呼ばれる順次 露光機構であり,それに起因して映像に動き歪み変形 が生じる点である. これまでのスタビライザ処理の多くは CCD センサ によるカメラを前提としているが,CMOS センサにお けるスタビライザ処理の研究もなされている.Ringaby と Forss´en [8] は,携帯電話のカメラ映像を安定化する ために,予めカメラの内部パラメータを校正した後,映 像中の特徴点を抽出し,それを追跡した.カメラの運 動を 3 次元回転モデルにより記述し,そのパラメータ 推定には,再投影誤差の最小化を行うために非線形最 適化を用いた.そして,推定したパラメータを平均化 することによって安定化を行った.Grundmann ら [2] は,画面をブロック分割して,ブロック毎に隣接する 2 画像間の 2 次元射影変換を計算して,それらの空間的 な重み付け平均により動き歪みを補正したが,射影変 換を計算するためには,やはり,映像中の特徴点を用 いている. 松永 [5] は,CMOS センサを用いたカメラにより撮 影された映像における並進歪み変形と揺れの補正を同 時に行うために,ローリングシャッターに起因する並進 歪み変形を隣接する 2 画像間の 2 次元 4 パラメータア フィン変換により記述して,勾配拘束条件の最小二乗 推定を反復することによって,その変換行列を最適に 推定した.推定したアフィン変換行列を解析的に分解 することにより並進パラメータを計算した.そして,移 動カメラの場合に,推定した並進パラメータの時系列 変化に対して,Tomasi と Manduchi によるバイラテラ ルフィルタ [9] を拡張した巡回型バイラテラルフィルタ を発見的に導入した.巡回型バイラテラルフィルタに より揺れ成分を除去して,カメラの移動を保持したま ま,映像中の揺れのみを補正した.移動カメラから固 定カメラへ遷移する際にも,変化に忠実な安定化処理 を実現した. 本論文では,並進動きによる歪み補正および安定化 処理を回転を含む一般の動き歪みの場合に拡張する.そ の概要は,次の 3 つの項目に纏められる. • 回転を含む剛体歪み変換モデルを定式化する.こ れは,歪みのない画像と歪み画像間における歪み 変換と,歪みのない画像間における動き変換の合 成の 1 次近似によるものである.これによって,さ らに高自由度な相似,アフィン,射影変換による 動き歪み変換のモデル化も可能となる. • 剛体歪み変換の補正パラメータの推定には,“Lucas- Kanade アルゴリズム [4]”を効率的に計算する“逆 結合 Lucas-Kanade アルゴリズム [1] ”の更新量を 1 次近似する“ 近似逆結合 Lucas-Kanade アルゴリ ズム [7] ”の適用が可能なことを示す. IS1 - 16 - 1 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  2. 2. 図 1 CMOS カメラの順次露光による動き歪み.縦 線が画像の右方向へ移動する場合(カメラが左を向く 場合)とその結果の歪み画像(上段),円が画像の下方 向へ移動する場合(カメラが上を向く場合)とその結 果の歪み画像(下段). • 隣接する剛体歪み 2 画像間における変換パラメー タの推定結果による歪み補正処理と安定化処理を 導出するとともに,剛体歪み画像列に対しても,移 動カメラにおける安定化処理のために,推定した 並進パラメータに対する時系列フィルタ処理とし て,レベル適応による“巡回型バイラテラルフィル タ [5, 6] ”が有効であることを示す. 本論文の構成は,2 章で,CMOS 動き歪みモデルと してローリングシャッター機構による動き歪みのモデル について説明する.3 章で,CMOS 動き歪みモデルと して,並進歪みモデルを記述して,その後,回転を含 む剛体歪みモデルに拡張する.4 章で,Lucas-Kanade アルゴリズム,さらに,Lucas-Kanade アルゴリズムを 効率的に計算する逆結合 Lucas-Kanade アルゴリズム の更新量を 1 次近似する近似逆結合 Lucas-Kanade ア ルゴリズムによる剛体歪み変換のパラメータ推定につ いて説明する.5 章で,推定した剛体歪み変換パラメー タによる剛体歪み補正および揺れの安定化のための時 系列処理について説明する.6 章で人工画像および実画 像列によるシミュレーション実験を行い,本論文の手 法による結果を示して,7 章で纏める. 2 CMOS 動き歪みモデル CMOS センサは CCD センサとは異なるシャッター 機構を持つ.CCD センサではすべての画素が同時に露 光されるが,CMOS センサの場合,小型,低価格を達 成するためにライン走査による順次露光を用いている. したがって,カメラの動きが走査時間に比較して非常 に大きい場合,CMOS センサの最初と最後のラインの 時間差のために,CMOS カメラ映像はカメラの動きに よって歪む.図 1 は,そのようなローリングシャッター 機構において,走査時間の間にシーン中の物体が動く と,画像中では,どのように歪んで見えるのかを示し ている 1 . 画像縦横サイズが V × H の CMOS カメラが動くと, 撮影されたシーン中の物体の任意の点 x が 1 フレーム 1 物体とカメラの動きは相対的である. 図 2 CMOS カメラの並進歪み. 期間中に画像の動き u によって動くとする.その速度 v は 1 フレーム時間 Tf で割ることによって得られる. v(x) = u(x)/Tf . (1) 時刻 t = 0 で画面左上の画像原点から走査開始する画 像 In において,任意の点 xn = (xn, yn)⊤ が 1 フレーム 期間に un で動くとすると,画素位置 xd n = (xd n, yd n)⊤ までの経過時間は,t = xd nTf /HV + yd nTf /V であり, CMOS 歪み位置 xd n は,歪みのない場合の位置 xn に動 き歪みによる変動項を加えた次のような CMOS 動き歪 みモデルを満たす. xd n = xn + ∫ t 0 vn(xn)dt′ = xn + ∫ t 0 1 Tf un(xn)dt′ . (2) t = yd nTf /V と近似すると, xd n = xn + un(xn) yd n V , (3) である. 3 並進歪みから回転歪みへ 3.1 並進歪みの場合 1 フレーム期間中の画像の動きを,並進動きと仮定す ると,u(x) = t = (tx , ty )⊤ であり,これを式(3)に 代入すると, xd n = xn + un(xn) yd n V = ( xn yn ) + ( tx n ty n ) yd n V = ( xd n yd n ) . (4) yd n = yn + ty nyd n/V だから,yd n について解くと, yd n = V V − ty n yn, (5) xd n = xn + tx n yd n V = xn + tx n V − ty n yn. (6) したがって,(xn, yn)⊤ と (xd n, yd n)⊤ の間の並進動きに よる歪み変換は次のようになる 2 .    xd n yd n 1    =       1 tx n V − ty n 0 0 V V − ty n 0 0 0 1          xn yn 1    = Dnxn. (7) 2 ここでは,点の位置ベクトルを同次形式としている. IS1 - 16 - 2 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  3. 3. したがって,並進歪みによる隣接する 2 画像 In(xd n), In+1(xd n+1) の間の関係は次のようになる(図 2 参照). xd n+1 = Dn+1T nD−1 n xd n = Anxd n. (8) ここで, T n = ( I2×2 tn 0⊤ 2×1 1 ) =    1 0 tx n 0 1 ty n 0 0 1    . (9) 並進動きによる歪み変形を表す変換行列 An は 2 次元 アフィン変換になるが,その自由度(未知パラメータ の個数)は 4 である.松永 [5] は,勾配拘束条件の最小 二乗推定を反復することによって,並進動きによる歪 み変形を表す 4 パラメータアフィン変換行列 An を最 適に計算して,それを解析的に分解することにより並 進パラメータ tn, tn+1 を求めた. 3.2 回転歪みの場合 本論文では,回転運動を含む,より高自由度な動き 歪みの場合に拡張する.純粋回転を仮定すると, u(x) = Rx − x = ( cos θ − sin θ sin θ cos θ ) ( x y ) − ( x y ) = ( −θy θx ) , (10) である.ただし,回転行列 R における回転角 θ は小さ いものとして 1 次近似した.並進動きによる歪み同様, これを式(3)に代入すると 3 , xd = x + u(x) yd V = ( x y ) + ( −θy θx ) yd V = ( xd yd ) . (11) yd = y + θxyd /V だから,yd について解くと, yd = V y V − θx , (12) xd = x − θy yd V = x − θy2 V − θx . (13) 式(12)(13)より,歪みのない場合の位置 x, y と CMOS 歪み位置 xd , yd の関係は線形ではないことがわ かる.しかし,式(12)(13)を x, y について解くこと はできて, x = xd V 2 + θyd2 V V 2 + θ2yd2 = xd + θyd2 V , (14) y = yd V 2 − θxd yd V V 2 + θ2yd2 = yd − θxd yd V , (15) である.ただし,式(10)同様,θ は小さいとして,そ の高次項を無視する近似を行った. 3 ここでの回転を含む歪み変換の式の導出では,添字の n を省略 している. (a) (b) (c) 図 3 CMOS 回転歪み画像(シミュレーションによ り生成).(a) カメラ動きなし(基準画像),(b) カメラ が 3 度回転(時計回りの回転)すると画像は左に変形 する,(c) カメラが −3 度回転(反時計回りの回転)す ると画像は右に変形する. したがって,回転歪み画像を生成することは可能で ある.計算されるサブピクセル精度の画像位置におけ る画素値は,ピクセル精度の近傍画素位置の画素値を 用いて内挿補間生成すればよい [5].注意すべきは,回 転中心が左上画像原点になることである.図 3 に回転 歪み画像例を示す. 並進成分を加えた剛体歪みの場合は,式(10)に,t = (tx , ty )⊤ を加えると, yd = V y V − (θx + ty) , (16) xd = x + (−θy + tx ) yd V = x + (−θy + tx )y V − (θx + ty) , (17) であり,x, y について解くと, x = xd + (θyd − tx )yd V , y = yd + (−θxd − ty )yd V . (18) これらの事実から,パラメータ同士の積項を無視す る 1 次近似によって,回転を含む動きにおいても,歪 みのない画像と歪み画像の間の幾何学的な変換をパラ メータに関して線形とすることができる.そこで,動 きによる変換と歪み変形による変換に分けてモデル化 して,それらを合成して,さらに 1 次近似する. 式(16)(17)の剛体歪み変換をパラメータ同士の積 項を無視する 1 次近似をすると,次のようになる. yd = y + θxy + ty y V , xd = x + −θy2 + tx y V . (19) そ し て ,歪 み の あ る 隣 接 す る 2 画 像 In(xd n), In+1(xd n+1) の間の動きを,仮想的な歪みのない隣接す る 2 画像 In(xn), In+1(xn+1) との間の歪み変形による 変換と,歪みのない隣接する 2 画像間の動きによる変 換に分離すると,次のようになる(図 4 参照). xn = D−1 n (xd n) = ( xd n − tx n/V yd n + θn/V yd n 2 (1 − ty n/V )yd n − θn/V xd nyd n ) = ( xn yn ) , (20) xn+1 = Mn(xn) = ( xn − θnyn + tx n θnxn + yn + ty n ) = ( xn+1 yn+1 ) , (21) IS1 - 16 - 3 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  4. 4. xd n+1 = Dn+1(xn+1) = ( xn+1 + tx n+1/V yn+1 − θn+1/V y2 n+1 (1 + ty n+1/V )yn+1 + θn+1/V xn+1yn+1 ) = ( xd n+1 yd n+1 ) . (22) 式(20)を式(21)に代入して,パラメータ同士の積 項を無視する 1 次近似を行う. xn+1 = xd n − (θn + tx n/V )yd n + θn/V yd n 2 + tx n, (23) yn+1 = θnxd n + (1 − ty n/V )yd n − θn/V xd nyd n + ty n. (24) さらに,式(23)(24)を式(22)に代入して,パラメー タ同士の積項を無視する 1 次近似を行う. xd n+1 = xd n − (p2n + q3n)yd n + q2nyd n 2 + p3n, (25) yd n+1 = p2nxd n + (1 − q6n)yd n − q2nxd nyd n + p6n. (26) ここで, pn = (p2n, p3n, p6n, q2n, q3n, q6n)⊤ ≡ (θn, tx n, ty n, θn/V − θn+1/V, tx n/V − tx n+1/V, ty n/V − ty n+1/V )⊤ . (27) このようにすると,回転を含む剛体歪みのみならず,よ り高自由度な相似,アフィン,射影変換による動き歪み についても同様にモデル化を行うことが可能となる 4 . 4 CMOS 動き歪みの推定 剛体歪み変換 W (xd n; pn) は,次のようになる. W (xd n; pn) = ( 1 −p2n − q3n q2n 0 p3n p2n 1 − q6n 0 −q2n p6n )         xd n yd n yd n 2 xd nyd n 1         . (28) したがって,剛体歪み変換は xd n, yd n の高次項を含 む多項式変換である.剛体歪み変換パラメータ pn = (p2n, p3n, p6n, q2n, q3n, q6n)⊤ を“ 近似逆結合 Lucas- Kanade アルゴリズム [7] ”により推定する.これは, Lucas-Kanade アルゴリズム [4] を効率的に推定する逆 結合 Lucas-Kanade アルゴリズム [1] における更新量を 1 次近似したものである [7].Lucas-Kanade アルゴリズ ムは画素を直接処理する領域ベースの手法であり,何 らの画像特徴や対応付けを必要としない.松永 [5] は, 勾配拘束条件の最小二乗推定を反復的に解くことによっ て並進歪みによる 4 パラメータアフィン変換の最適化 を行ったが,それは,Lucas-Kanade アルゴリズムと等 価である. 4 当然ではあるが,並進歪みも同様である.並進歪みにおける 4 パラメータアフィン変換行列 An の各要素をパラメータ同士の積項 を無視する 1 次近似すると,式(25)(26)において,p2n = q2n = 0 としたものと一致する. 図 4 CMOS カメラの剛体歪み. 第 n + 1 フレームの剛体歪み画像 In+1(xd n+1) を第 n フレームの剛体歪み画像 In(xd n) に合わせる.xd n+1 = W (xd n; pn) だから,Lucas-Kanade アルゴリズムによ り,次の差分二乗総和を最小化する pn を推定する. ∑ xd n ( In+1(W (xd n; pn)) − In(xd n) )2 . (29) 式(29)が,pn → pn + ∆pn と摂動したとする.それ をテイラー展開して 1 次近似したものを ∆pn で微分し て 0 と置く.∆pn について解くと次のようになる. ∆pn = H−1 n+1 ∑ xd n ( ∇In+1 ∂W ∂pn )⊤ ( In(xd n) − In+1(W (xd n; pn)) ) . (30) ここで,∇In+1 = (∂In+1/∂x, ∂In+1/∂y) は第 n + 1 フ レーム画像 In+1(xd n+1) の W (xd n; pn) での勾配である. ∂W /∂pn はヤコビ行列と呼ばれ,剛体歪み変換の場合 には,次のようになる. ∂W ∂pn = ( −yd n 1 0 yd n 2 −yd n 0 xd n 0 1 −xd nyd n 0 −yd n ) . (31) Hn+1 は次のようなヘッセ行列である. Hn+1 = ∑ xd n ( ∇In+1 ∂W ∂pn )⊤( ∇In+1 ∂W ∂pn ) . (32) したがって,pn は適当な初期値から ∆pn を反復的に 解くことによって,求めることができる.これは,ヘッ セ行列を計算するのに 2 階微分を行わずに近似する“ガ ウス・ニュートン法 [3] ”であるが,ヘッセ行列 Hn+1 (の逆行列)は,反復毎に計算しなければならない. そこで,第 n フレーム画像と第 n + 1 フレーム画像 の役割を次のように交換する. ∑ xd n ( In(W (xd n; ∆pn)) − In+1(W (xd n; pn)) )2 . (33) W (xd n; 0) は ∆pn = 0 とした恒等変換であるとすると, 変化量 ∆pn は, ∆pn = H−1 n ∑ xd n ( ∇In ∂W ∂pn )⊤ ( In+1(W (xd n; pn)) − In(xd n) ) , (34) IS1 - 16 - 4 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  5. 5. であり,第 n フレーム画像 In(xd n) のヘッセ行列は, Hn = ∑ xd n ( ∇In ∂W ∂pn )⊤( ∇In ∂W ∂pn ) , (35) となる.ヤコビ行列 ∂W /∂pn は (xd n; 0) で評価する. これはパラメータによらず,予め計算しておくことが できる.反復毎に第 n + 1 フレーム画像 In+1 を変換し て,それから誤差画像 In+1(W (xd n; pn))−In(xd n) と第 n フレーム画像の最急降下画像 ∇In∂W /∂pn の積和を 計算する.そして,予め計算しておいた第 n フレーム 画像のヘッセ行列の逆行列 H−1 n を掛けたものを変化量 とするが,その更新方法が異なる.変化量を加算によ り更新するのではなく,変化量による変換(の逆変換) を合成することにより更新する. W (xd n; pn) ← W (xd n; pn) ◦ W (xd n; ∆pn)−1 . (36) これは,逆結合 Lucas-Kanade アルゴリズム(Inverse Compositional Algorithm)と呼ばれ,Lucas-Kanade アルゴリズムの効率的な方法として提案されている [1]. しかし,高次項を含む多項式変換である剛体歪み変 換の逆変換を解析的に求めることはできない.そこで, 逆変換を 1 次近似して,さらに,変換との合成結果を 1 次近似する.そのようにしても,通常は問題ないこと が実験的に確認される [7].すなわち, pn ← pn − ∆pn, (37) である.このような逆結合による更新を 1 次近似によっ て,逆方向の加算とすることで Lucas-Kanade アルゴ リズムの効率化が図れることから,これを“ 近似逆結 合 Lucas-Kanade アルゴリズム ”と呼ぶ [7]. 5 CMOS 動き歪み補正と安定化処理 5.1 固定カメラの場合 隣接する 2 画像間の動きを推定して,歪みのない第 1 フレーム基準画像に対して位置合わせを行うことによ り,動き歪み補正とともに映像の安定化を行う.まず, 第 n + 1 フレーム歪み画像 In+1(xd n+1) を仮想的な歪み のない第 n フレーム画像 In(xn) に位置合わせする(図 4 参照). xn+1 = D−1 n+1(xd n+1) = ( xd n+1 − tx n+1/V yd n+1 + θn+1/V yd n+1 2 (1 − ty n+1/V )yd n+1 − θn+1/V xd n+1yd n+1 ) , (38) xn = M−1 n (xn+1) = ( xn+1 + θnyn+1 − tx n −θnxn+1 + yn+1 − ty n ) . (39) 式(38)を式(39)に代入して,パラメータ同士の積 項を無視する 1 次近似すると, xn = xd n+1 + ( p2n + n∑ α=1 q3α ) yd n+1 − n∑ α=1 q2αyd n+1 2 − p3n, (40) yn = −p2nxd n+1 + ( 1 + n∑ α=1 q6α ) yd n+1 + n∑ α=1 q2αxd n+1yd n+1 − p6n. (41) ここで,パラメータ pn の定義の式(27)より,q2n = θn/V − θn+1/V だから, n∑ α=1 q2α = −θn+1/V, (42) である.ただし,α = 1 のとき,q21 = −θ2/V である ことを用いた 5 .q3n, q6n についても,同様である.そ して,歪みのない第 1 フレーム基準画像 I1(x1) に位置 合わせをするためには, x1 = xd n+1 + ( n∑ α=1 p2α + n∑ α=1 q3α ) yd n+1 − n∑ α=1 q2αyd n+1 2 − n∑ α=1 p3α, (43) y1 = − n∑ α=1 p2αxd n+1 + ( 1 + n∑ α=1 q6α ) yd n+1 + n∑ α=1 q2αxd n+1yd n+1 − n∑ α=1 p6α, (44) である.したがって,動き歪み補正と安定化は,すべて のパラメータの推定結果の累積加算により行えばよい. 5.2 移動カメラの場合 問題は,移動カメラの場合であり,映像に含まれる 動きが不要な揺れなのか,有意なカメラの動きなのか を判別しなければならない.なぜなら,第 1 フレーム を基準画像として固定すると,移動カメラの場合には, カメラが移動するに従って,補正ができなくなる. 松永 [5] は,隣接する並進歪み 2 画像間の並進パラ メータの推定結果に対して時系列フィルタ処理を行う ことによって,移動カメラにおける安定化処理を行っ た.時系列フィルタには,信号のレベル差に応じた重 み係数を導入した巡回型フィルタを用いた.低域通過 フィルタとして巡回型フィルタを用いると,現在と過 去のデータしか使わないので余分なフレーム遅延が発 生せず,処理全体の遅延量の観点から優位であり,レベ ル適応により静止から移動,あるいは,移動から静止 へのカメラの状態の遷移にも追従が可能となる. これは,バイラテラルフィルタ [9] の巡回型フィルタ への拡張と見なすことができる(詳細は [5, 6] 参照). 5 第 1 フレーム基準画像は歪みなしと仮定しているから. IS1 - 16 - 5 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  6. 6. 図 5 CMOS カメラ映像の動き歪み補正および安定 化処理ブロック図. 松永は,これを“ 拡張バイラテラルフィルタ ”と呼ん で,画像ノイズ除去処理にも用いた [6]. 図 5 は,CMOS カメラ映像の動き歪み補正および 映像安定化処理のブロック図である 6 .図中,動き推 定(Motion Estimaiton)により隣接する 2 画像 In, In+1 の間の動き歪みパラメータを推定する.動き歪み パラメータの内の並進成分 tn = (tx n, ty n)⊤ に対して,時 系列フィルタ処理(LPF)を行う.時系列フィルタ処理 結果 τn = (τx n , τy n)⊤ との差分 ∆tn を累積加算した並進 成分˜tn によって,動き歪み補正と安定化処理(Motion Correction)を行う 7 .Z−1 は 1 フレーム遅延を表す. 時系列フィルタ処理が完全であれば,固定カメラの場 合の低域通過フィルタの出力は厳密に 0 となり 8 ,フィ ルタ処理結果との差分は並進パラメータそのものにな る.しかし,実際にはそうとは限らないので,現在の フレームと前フレームにおけるフィルタ出力結果の差 分絶対値のしきい値処理によって,固定/移動カメラ の判別を行う.固定カメラと判定された場合には,並 進パラメータの累積加算値によって補正する.最終的 な補正パラメータによるサブピクセル精度の画素座標 における画素値は,近傍画素による内挿補間により計 算する [5]. 6 画像シミュレーション 6.1 人工画像シミュレーション 図 6 は,図 3 の格子画像を歪み変形させたシミュレー ション画像において,カメラの動きなしの画像を基準 画像として,回転歪み補正した結果である.画像境界 は歪み変形の補正がわかりやすいように黒のままとし ている.回転歪み変形が補正できているのがわかる. 6.2 実画像列シミュレーション(固定カメラの場合) ディジタルカメラ(ニコン D40)で撮影した 3008 × 2000 画素の画像に対して,剛体歪みパラメータを与え て,その一部分を切り出して,剛体歪み画像を生成する. 水平および垂直方向にそれぞれ平均 0,標準偏差 1 画 素の正規乱数による並進パラメータ,平均 0,標準偏差 6 文献 [5] では誤りがあったので修正している. 7 その他の成分についても同様に累積加算したものを用いる. 8 不要な揺れによる移動量が期待値 0 の正規分布に従うと仮定す る. (a) (b) (c) 図 6 CMOS 回転歪み補正画像.(a) カメラ動きなし (基準画像),(b)(c) は,図 3 のカメラの動きによる回 転歪み画像 (b)(c) の補正結果.画像境界は歪み変形の 補正がわかりやすいように黒のままとしている. (a) (b) 図 7 (a) 剛体歪み画像列の加算平均画像(60 フレー ム),(b) 剛体歪み補正結果の画像列の加算平均画像.画 像境界付近の黒は補正処理による見切れのためである. 0.2 度の正規乱数による回転パラメータを用いて剛体歪 み画像列を生成する.生成した画像サイズは 640 × 480 画素である.これは,固定カメラによる定点監視映像 と見なすことができる. 図 7 (a) はそのようにして生成した剛体歪み画像列の 加算平均画像である(60 フレーム).歪み変形と揺れ により輪郭が重なって見える.第 1 フレームを基準画 像として,第 2 フレーム以降,順次隣接する 2 画像間 の剛体歪みパラメータを推定した結果を用いて歪み補 正および安定化処理を行った.図 7 (b) は処理結果の画 像列の加算平均画像である.処理前の加算平均画像に 対して,安定化処理によって加算平均画像は明瞭に見 える.画像境界付近の黒は補正処理による見切れのた めである. 図 8 (a)∼(c) は剛体歪み画像列の生成に用いたフレー ムに対する並進および回転パラメータである.剛体歪 みパラメータの推定結果(estimate(rigid))とともに, 真の値(true)も表示している.並進に関しては,並進 歪み補正モデルによる推定結果(estimate(trans))も 表示している.剛体歪みパラメータの推定結果は,ほ ぼ真の値に一致しているが,並進歪み補正モデルによ る推定結果は,モデル化誤差のため十分ではない. 第 1 フレーム基準画像と補正画像の間の二乗誤差画 像のピーク SN 比により定量的に評価する.ピーク SN 比 PSNR は二乗誤差画像の平均輝度値(平均ノイズ電 力)MSE および最大輝度値(最大信号電力)I2 max から 次のように求められる 9 . PSNR [dB] = 10 log10 ( I2 max MSE ) . (45) 9 実験では,Imax を 8 ビット最大画素値 255 とした. IS1 - 16 - 6 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  7. 7. -18 -16 -14 -12 -10 -8 -6 -4 -2 0 0 10 20 30 40 50 60 tx frame true estimate(rigid) estimate(trans) -16 -14 -12 -10 -8 -6 -4 -2 0 2 0 10 20 30 40 50 60 ty frame true estimate(rigid) estimate(trans) -0.4 -0.2 0 0.2 0.4 0.6 0.8 0 10 20 30 40 50 60 θ frame true estimate(rigid) 0 10 20 30 40 50 60 70 80 0 10 20 30 40 50 60 [dB] frame rigid trans (a) (b) (c) (d) 図 8 剛体歪み画像列の剛体歪みパラメータの推定結果.(a) 並進(水平方向)tx ,(b) 並進(垂直方向)ty ,(c) 回転 θ のフレームに対する推定結果(estimate(rigid))および真の値(true)である.並進に関しては,並進歪み補正モデル による推定結果(estimate(trans))も表示する.(d) 第 1 フレーム基準画像と補正画像の間の二乗誤差画像のピーク SN 比の変化.剛体歪み補正モデル(rigid),並進歪みモデル(trans)の結果である. 図 9 移動カメラによる剛体歪み画像列の一部.画像は左から右の順に,カメラが左上方へパンアップしている.上段 は,原画像列,中段は,固定カメラとして補正した結果の画像列,下段は,移動カメラとして補正した結果の画像列.い ずれも左の画像は歪みのない第 1 フレーム基準画像である. 補正画像の中央領域 90%におけるピーク SN 比の平均値 は,剛体歪み補正モデルの場合に 61.85(±1.18)[dB] で あり,並進歪み補正モデルの場合に 46.31(±10.49)[dB] であった(括弧内は標準偏差を表す).図 8 (d) にフレー ムに対するピーク SN 比の変化を示す. 6.3 実画像列シミュレーション(移動カメラの場合) 図 9 は,ディジタルカメラ(キヤノン IXY DIGITAL 500)で撮影した 2592 × 1944 画素の画像に対して,剛 体歪みパラメータを与えて,その一部分を切り出して 生成した剛体歪み画像列の一部である.水平および垂 直方向の基準となる並進パラメータ (tx , ty ) = (10, 5)⊤ に対して,それぞれ平均 0,標準偏差 1 画素の正規乱数 を加えた並進パラメータ,平均 0,標準偏差 0.2 度の正 規乱数による回転パラメータを用いて剛体歪み画像列 を生成する.生成した画像サイズは 720 × 486 画素で ある.図中,画像は左から右の順に,カメラが左上方 へパンアップしている等速直線運動する移動カメラに よる映像と見なすことができる.同図上段は,そのよ うにして生成した原画像列であり,中段は,固定カメ ラとして補正した結果の画像列,下段は移動カメラと して補正した結果の画像列である. 固定カメラとして行った歪み補正および安定化処理 の結果は,第 1 フレームを基準として安定しているが, 入力が移動カメラによる画像列のため,基準フレーム から大きく移動すると,次第に見切れる領域が大きく なって行く.一方,移動カメラとして行った歪み補正 および安定化処理の結果は,カメラの移動に伴い,補 正処理が追従しているのがわかる.ここでは,不要な 揺れ成分を除去して,カメラの軌跡を滑らかにするた めに,隣接 2 画像間において推定した並進パラメータ の時系列変化に対して 1 次バタワース巡回型バイラテ ラルフィルタ処理 [5] を行い,その結果の並進パラメー タを用いて各フレームを補正した.1 次バタワース巡回 型バイラテラルフィルタにおけるカットオフ周波数は 水平および垂直方向いずれも 0.01Hz,σ2 r をそれぞれ, 15,5 とした.図 10 は,隣接 2 画像間の並進パラメー タの時系列変化のグラフである.上段が水平方向,下 段が垂直方向である.1 次バタワース巡回型バイラテラ ルフィルタにより揺れ成分である高周波成分が除去さ れて並進パラメータが滑らかになっているのがわかる. IS1 - 16 - 7 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月
  8. 8. -5 0 5 10 15 20 0 10 20 30 40 50 60 t x , τx frame tx IIR τx IIRbilateral τx -2 0 2 4 6 8 10 0 10 20 30 40 50 60 t y , τy frame ty IIR τy IIRbilateral τy 図 10 移動カメラによる剛体歪み画像列から推定した隣接 2 画像間の並進パラメータの時系列変化.並進パラメー タの時系列変化(tx , ty )を 1 次バタワース巡回型低域通過フィルタ(fc = 0.75Hz)により平滑化した並進パラメータ (IIR τx , IIR τy ),1 次バタワース巡回型バイラテラルフィルタ(fc = 0.01Hz, σ2 r を水平および垂直方向でそれぞれ 15, 5)により平滑化した並進パラメータ(IIRbilateral τx , IIRbilateral τy ).上段が水平方向,下段が垂直方向. さらに,並進パラメータを (tx , ty ) = (0, 0)⊤ として, 同様に正規乱数を加えて,引き続き剛体歪み画像列を 生成する.すなわち,カメラが移動した後,静止して 固定カメラになる場合である.図 10 の 32 フレーム目 の移動カメラから固定カメラへの変化点において,カッ トオフ周波数が 0.75Hz の 1 次バタワース巡回型フィル タにより平滑化した並進パラメータは,平滑化作用に よる減衰のためカメラが静止したフレームを越えても, すぐには 0 にはならない.一方,1 次バタワース巡回バ イラテラルフィルタによる平滑化の結果は,移動カメ ラにおける揺れ成分を除去しつつ,変化点も保持して おり,カメラが静止した後もほぼ 0 に近い平滑結果が 得られている. 7 まとめ 本論文では,CMOS センサを用いたカメラにより撮 影された映像における動き歪み変形と揺れの補正を同 時に行うために,ローリングシャッターに起因する動き 歪み変形を隣接する画像間のグローバルな動きの変換 としてモデル化し,回転を含む一般的な運動の場合に 拡張した.近似逆結合 Lucas-Kanade アルゴリズムを 用いて,何らの画像特徴や対応付けを用いることなく, 画素を直接的に処理することにより推定を行った. 画像シミュレーション実験を行い,固定カメラ,移動 カメラいずれの映像に含まれる剛体歪み変形を補正す るとともに揺れを除去して安定化した.移動カメラの 場合には,推定した並進パラメータの時系列変化に対 して,巡回型バイラテラルフィルタにより揺れ成分を 除去して,カメラの移動を保持したまま,映像中の揺 れのみを補正した.移動カメラから固定カメラへ遷移 する際にも,変化に忠実な安定化処理を実現した. 今後の課題としては,次のものが挙げられる. • 局所移動物体や輝度変動に対してロバストな推定 補正の実現 • マルチコア CPU / GPU による実時間処理の実現 謝辞: 本研究の機会を与えて下さった朋栄アイ・ビー・ イー和田社長に感謝します. 参考文献 [1] S. Baker and I. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision, 56-3 (2004), 221–255. [2] M. Grundmann, V. Kwatra, D. Castro, and I. Essa, Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography (ICCP2012), April, 2012. [3] 金谷 健一, 「これなら分かる最適化数学 – 基礎原理から 計算手法まで –」, 共立出版, 2005 年 9 月. [4] B. D. Lucas and T. Kanade, An iterative image regis- tration technique with an application to stereo vision, Proceedings of the 1981 DARPA Image Understand- ing Workshop, April 1981, 121–130. [5] 松永 力, 対応点を用いないローリングシャッタ歪み補 正と映像安定化, 第 19 回画像センシングシンポジウム (SSII2013) 講演論文集, 横浜 (パシフィコ横浜), 2013 年 6 月. [6] 松永 力, 無限インパルス応答システムによる拡張バイ ラテラルフィルタ, 第 19 回画像センシングシンポジウ ム (SSII2013) 講演論文集, 横浜 (パシフィコ横浜), 2013 年 6 月. [7] 松永 力, 画像からの倍率色収差の自動推定補正, 第 20 回 画像センシングシンポジウム (SSII2014) 講演論文集, 横 浜 (パシフィコ横浜), 2014 年 6 月. [8] E. Ringaby and P.-E. Forss´en, Efficient video rectifi- cation and stabilisation for cell-phones, International Journal of Computer Vision, 96-3 (2012), 335–352. [9] C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images, Proceedings of the Sixth IEEE International Conference on Computer Vision (ICCV’98), Bombay, India, January, 1998. IS1 - 16 - 8 IS1 - 16 第21回画像センシングシンポジウム,横浜,2015年6月

×