1. 2 次元/3 次元幾何学変換の統一的な最適計算
Unified Optimal Computation for 2D/3D Geometric Transformation
松永 力
Chikara Matsunaga
株式会社 朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
Abstract パラメータ間に制約がある場合も，金谷はそのよう
な内部拘束を考慮せずに解を求めた後，その解が内部
コンピュータビジョンの問題に多く現れる 2 次元や 3 拘束を満たすように誤差の統計的な性質を考慮した最
次元の幾何学変換を統一的に最適に計算する方法を示 適補正を提案している [9, 13]．さらに，内部拘束を自
す．射影変換を一般モデルとして，それに制約を課す 動的に満たすように FNS 法を拡張した拡張 FNS 法も
ことにより，アフィン変換，相似変換，剛体変換，回転 提案している [12, 27]．金谷・菅谷は拡張 FNS 法によ
変換が得られるが，そのような拘束条件を自動的に満 る基礎行列の最適計算を示した [12, 27]．松永らは 3 次
たす最適計算法である「拡張 FNS 法」を用いる．ステ 元 RGB 色空間における 3 次元アフィン変換によるレベ
レオ視による 3 次元復元データにおける 3 次元相似変 ル制約付き色補正パラメータの推定に拡張 FNS 法を用
換のシミュレーション実験を行い，データの誤差分布 いた [18]．
が不均一である場合でも，計算した解が推定精度の理 本論文では，コンピュータビジョンに現れる 2 次元
論限界を達成することを実験的に示す． および 3 次元幾何学変換のパラメータを拡張 FNS 法に
より，一般モデルである射影変換に制約を課すことか
ら得られるアフィン変換，相似変換，剛体変換，回転変
1 はじめに 換の部分モデルを統一的に最適に計算する方法を定式
化するとともに，得られた解が推定精度の理論限界を
コンピュータビジョンに現れる問題の多くは， 次元や 2
達成することを実験的に示す．当てはめ残差や拘束条
3 次元の幾何学変換のパラメータ推定問題として定式化
件の収束の挙動を観察し，最小二乗法，レーベンバー
される．2 次元/3 次元の幾何学変換は，射影変換を一般
グ・マーカート法との比較も行う．2 章で 2 次元/3 次元
モデルとして，パラメータに制約を課すことにより，そ
幾何学変換についてまとめる．3 章では，金谷の統計的
の部分モデルであるアフィン変換，相似変換，剛体変換，
最適化の理論に基づき，幾何学的当てはめ問題を定式
回転変換が得られる．数学的には群（group）と呼ばれる
化して，最尤推定，推定精度の評価と理論限界につい
ものであり，変換の集合をなす変換群（transformation
て述べる．4 章で 2 次元/3 次元幾何学変換の拡張 FNS
group）と呼ぶ．ある群が他の群を包含しているとき，
法による統一的な最適計算手順を示し，5 章でステレオ
包含された群は包含した群の部分群（subgroup）であ
視による 3 次元復元データにおける 3 次元相似変換の
るという [7, 25]．それらの部分モデルは様々にパラメー
シミュレーション実験を行い，6 章でまとめる．
タ化することにより標準的にガウス・ニュートン法あ
るいは収束を強制するために勾配法を加味したレーベ
ンバーグ・マーカート法を用いて推定される [4, 6, 14, 2 2 次元および 3 次元幾何学変換
16, 20, 21, 22, 28]． 2.1 回転変換
ガウス・ニュートン法はバンドル調整（再投影誤差 2 次元平面上の点 x = (x, y) から 2 次元平面上の点
最小化）[24] とも呼ばれ，2 次元/3 次元幾何学変換の x = (x , y ) への回転変換は回転行列 R を用いて次
パラメータ推定だけではなく，カメラキャリブレーショ のように表される．
ン [16, 28]，基礎行列の計算 [26]，3 次元復元 [14] など，
x = Rx. (1)
様々な問題における非線形最適化手法として標準的に
用いられているが，そのパラメータ化については，特 ここで，R は回転を表す 2 × 2 行列であり，回転角 θ と
に 3 次元回転の表し方により様々であり，非線形の複 すると，次のように表される．
雑な式となったり，よい初期値から反復を開始しなけ R=
cos θ − sin θ
. (2)
れば，誤差が大きくなるにつれて局所解に陥りやすい． sin θ cos θ
一方，金谷は統計的最適化の理論を構築し，幾何学的 3 次元の回転にはいろいろな表現法がある [8]．よく
モデルを最適に計算する線形解法として，くりこみ法 使われるのはオイラー角とロール・ピッチ・ヨー（各
を提案し，楕円の当てはめや 3 次元復元などの様々な問 座標軸周りの回転角）である．一方，回転軸と回転角，
題に適用している [9, 10, 11]．これをきっかけとして， 四元数による表現もある．3 × 3 行列である回転行列に
その後，HEIV 法 [15]，FNS 法 [3] が提案されている． は 9 個の成分があるが，その自由度は 3 しかない．

2. 表1 2 次元/3 次元幾何学変換の応用例．
2 次元幾何学変換 3 次元幾何学変換
パノラマ画像生成 [6] ロボットの自律走行（SLAM）[4]
平面パタンによるカメラ校正 [16, 28] 3 次元モデルの生成（3 次元データの位置合わせ）[22]
ビデオスタビライザ [5, 17] 3 次元 RGB 色空間データにおける色補正 [18]
測地学 [1]
例えば，単位ベクトル n = (n1 , n2 , n3 ) を回転軸と ただし，s はスケール係数である．相似変換は剛体変換
して，その周りに正の回転方向に角度 Ω だけ回転する とスケール変換の積により
3 次元回転行列は次のように与えられる [8]． x = Z[HS x], (10)
cos Ω + n2 (1 − cos Ω) と表せる．ここで，HS は相似変換を表す 3 × 3 行列で

1
R =  n2 n1 (1 − cos Ω) + n3 sin Ω あり，次のようになる．
n3 n1 (1 − cos Ω) − n2 sin Ω
HS = SHE . (11)
n1 n2 (1 − cos Ω) − n3 sin Ω s = 1 のとき，相似変換 HS は剛体変換 HE と等しく
cos Ω + n2 (1 − cos Ω)
2 なる．
n3 n2 (1 − cos Ω) + n1 sin Ω
 3 次元の相似変換は次のように表せる．
n1 n3 (1 − cos Ω) + n2 sin Ω X = Z[HS X]. (12)
n2 n3 (1 − cos Ω) − n1 sin Ω  . (3)
ここで，HS は HE にスケール変換 S を加えた次のよ
cos Ω + n2 (1 − cos Ω)
2
うな 4 × 4 行列になる．
Ohta らは 3 次元回転を四元数で表現することにより
HS = SHE . (13)
くりこみ法により最適に計算した [23]．Niitsuma らは
FNS 法により最適に計算した [21]． S は定数倍のスケール係数 s により次のように表せる．
S = diag(s, s, s, 1). (14)
2.2 剛体変換
回転に並進を加えたものを剛体変換あるいはユーク 2.4 アフィン変換
リッド変換と呼ぶ．2 次元平面上の点 x = (x, y) から 正方形をひし形にするような変形をせん断変形と呼
2 次元平面上の点 x = (x , y ) への剛体変換は ぶ．すなわち，せん断変形とは直角性は保たれないが，
平行性は保たれるような変形である．このような変形
x = Rx + t, t = (tx , ty ) , (4)
は，図形を平面上である角度回転した後，x 方向に拡大
と表される．ここで，t は新たに加えた 2 次元の並進ベ （あるいは縮小）し，その後もとの角度に逆回転するこ
クトルであり，x 方向と y 方向の並進成分 tx , ty を持つ． とにより行うことが可能である．このような変形を行
式（4）は同次座標 x = (x, y, 1) を使えば，次のよ う行列 D は次のように表せる．
うにひとつの行列により表すことができる． 
cos ψ sin ψ 0

ρ 0 0

x = Z[HE x]. (5) D =  − sin ψ cos ψ 0   0 1 0 
ここで，Z[ · ] はベクトルの第 3 成分を 1 とする正規化 0 0 1 0 0 1
作用素であり，HE は次のような 3 × 3 行列である． 
cos ψ − sin ψ 0

R t  sin ψ cos ψ 0  . (15)
HE = . (6)
02×1 1 0 0 1
空間中の点の同次座標を X = (x, y, z, 1) とすると， ここで，ρ は x 方向に関する拡大（縮小）率であり，ψ
3 次元の剛体変換は次のように表せる． は回転角である．
X = Z[HE X]. (7) 2 次元の相似変換に対して，このようなせん断変形
D を加えたものがアフィン変換である．アフィン変換
Z[ · ] は 3 次元の場合は，ベクトルの第 4 成分を 1 とす
は次のように表せる．
る正規化作用素になる．HE は 3 次元回転行列 R と 3
次元並進ベクトル t からなる次のような 4 × 4 行列に x = Z[HA x]. (16)
なる． ここで，HA は次のような 3 × 3 行列である．
R t HA = HS D. (17)
HE = , t = (tx , ty , tz ) . (8)
03×1 1 アフィン変換で新たに加えたせん断変形 D はせん断の
方向 ψ とせん断の大きさ ρ で決まるものであり，その自
2.3 相似変換
由度は 2 である．したがって，アフィン変換の自由度は
2 次元の剛体変換にスケール変換（拡大縮小）を加え
6 である．行列 HA を要素で表すと，第 3 行が (0, 0, 1)
たものを 2 次元の相似変換と呼ぶ．2 次元平面上の点 x
になり，その左上 2 × 2 行列が正則であるような自由度
に作用するスケール変換は水平および垂直方向に等倍
6 の任意行列であるとしてもよい．
することであるから，次のような行列により表される．
3 次元のアフィン変換は次のように表せる．
S = diag(s, s, 1). (9)
X = Z[HA X]. (18)

3. 図1 2 次元幾何学変換． a）回転， b）剛体， c）相似， d）アフィン， e）射影．
（ （ （ （ （
HA は第 4 行が (0, 0, 0, 1) であり，その左上 3 × 3 行列 問題は誤差のあるデータ {xα } からパラメータ u を
が正則であるような任意の 4 × 4 行列である． 推定することである．これはデータ空間の N 個の点に
多様体 S を当てはめる問題と解釈できる．この問題を
射影変換
幾何学的当てはめと呼ぶ [9]．
2.5
扇形に変形することを扇形変形と呼ぶ．扇形変形で
は直線性は保たれるが，平行性や直交性は保たれない． 【例 1】2 次元/3 次元幾何学変換を推定する問題も典型
すなわち，扇形変形は平行線上の無限遠点を有限な点 的な幾何学的当てはめ問題であり，その場合，各デー
に移動させるような変形である．このような変形は次 タは 2 次元画像上や 3 次元空間上の点の位置を表すベ
のように表される． クトルである．例えば，第 1 画像上の点 (xα , yα ) と第 2
画像上の点 (xα , yα ) が対応すれば，その対応が 4 次元
x = Z[Bx]. (19)
ベクトル z α = (xα , yα , xα , yα ) で表せる．3 次元空間
ここで，B は， 上の点 (xα , yα , zα ) と点 (xα , yα , zα ) が対応すれば，そ
の対応が 6 次元ベクトル z α = (xα , yα , zα , xα , yα , zα )
 
1 0 0
B =  0 1 0, (20) で表せる．2 次元幾何学変換の場合，z α に対する独立
β γ 1 な方程式は 2 個であるから r = 2 となり，3 次元幾何学
である． 変換の場合，z α に対する独立な方程式は 3 個であるか
2 次元のアフィン変換に扇形変形を加えたものが 2 次 ら r = 3 となり，u はそれぞれ 2 次元/3 次元幾何学変
元射影変換である．射影変換は次のように表される． 換行列の要素を並べたベクトルである [9]．
x = Z[Hx]. (21) 式（24）の F (k) は一般に x の複雑な非線形関数であ
ここで，H はアフィン変換行列 HA と扇形変形行列 B るが，コンピュータビジョンに現れる多くの問題では，
の積であり，次のように表せる． 未知パラメータ u に関しては線形であったり，パラメー
H = HA B. (22) タを付け直して線形に表せることが多い．そのような
場合は式（24）が次の形に表せる．
射影変換は自由度 6 のアフィン変換に自由度 2 の扇形
変形を加えたものであるから，その自由度は 8 である． (ξ(k) (¯ α ), u) = 0, k = 1, . . . , r.
x (25)
射影変換のもとでは，長さや角度のみでなく平行性も ここで，ξ ( · ) は m 次元ベクトルから p 次元ベクト
(k)
保たれない． ルへの（一般に非線形の）写像である．以下，ベクト
行列 H は任意の 3 × 3 正則行列であるとしてもよい． ル a, b の内積を (a, b) と書く．u にはスケールの不定
3 × 3 行列には 9 個の要素があるが，すべての要素を定 性があるので u = 1 と正規化する．
数倍してもまったく同じ変換を表すことから，その自
【例 2】同一平面を異なる位置から撮影した 2 画像から
由度は 8 である．
N 個の特徴点を抽出し，第 1 画像の点 (xα , yα ) が第 2
3 次元の射影変換は次のように表せる．
画像の点 (xα , yα ) に対応するとする．カメラの焦点距離
X = Z[HX]. (23) が十分大きい場合には，両者は 2 次元アフィン変換で結
H は任意の 4 × 4 正則行列である．4 × 4 行列には 16 個 ばれると見なせる．真の特徴点位置 {¯α , yα }, {¯α , yα }
x ¯ x ¯
の要素があるが，すべての要素を定数倍してもまった は次の関係を満たす．
く同じ変換を表すことから，その自由度は 15 である． x = Z[HA xα ].
¯ ¯ (26)
α
ここで，
3 幾何学的当てはめ
¯ x ¯ ¯
xα = (¯α /f0 , yα /f0 , 1) , xα = (¯α /f0 , yα /f0 , 1) ,
x ¯
3.1 幾何学的モデル  
h11 h12 h13
N 個の m 次元データベクトル x1 , . . . , xN は，それ HA =  h21 h22 h23  , (27)
らの誤差がないときの値 x1 , . . . , xN が未知の p 次元パ
¯ ¯ 0 0 h33
ラメータベクトル u をもつ r 個の拘束条件
であり，f0 は要素 hij のオーダーを揃えるためのほぼ画
F (k) (¯ α , u) = 0,
x k = 1, . . . , r, (24) 像サイズの大きさの任意定数である．2 次元アフィン変
を満たすとする． これを（幾何学的）モデルと呼ぶ．デー 換行列 HA を誤差のあるデータ z α = (xα , yα , xα , yα )
タ {xα } の定義される空間 X をデータ空間，パラメー から推定する．
タ u の定義される空間 U をパラメータ空間，r を拘束 ξ (1) (z α ) = (xα , yα , f0 , 03×1 , −xα ) ,
条件のランクと呼ぶ．r 個の方程式（24）は x の方程
式として互いに代数的に独立で，データ空間 X に余次 ξ (2) (z α ) = (03×1 , xα , yα , f0 , −yα ) ,
元 r の（代数）多様体 S を定義する． u = (h11 , h12 , h13 , h21 , h22 , h23 , h33 ) , (28)

4. 図2 3 次元幾何学変換． a）回転， b）剛体， c）相似， d）アフィン， e）射影．
（ （ （ （ （
と置くと，式（26）は式（25）の形に書ける．u はア データの誤差は小さいと仮定して，線形近似を用い
フィン変換行列 HA の要素を並べたベクトルである．こ てラグランジュ乗数により拘束条件（25）を消去する
れにより，データ空間 X が 7 次元空間 R7 の 4 次元（代 と式（32）は次のように書ける [9]．
数）多様体として埋め込まれ，パラメータ空間 U は R7 N r
の原点を中心とする 6 次元単位球面 S 6 となる． Wα (ξ (k) , u)(ξ α , u).
(kl) (l)
J= α (33)
【例 3】3 次元空間中の点 (xα , yα , zα ) が点 (xα , yα , zα ) α=1 k,l=1
に 対 応 す る 場 合 ，真 の 特 徴 点 位 置 を {¯α , yα , zα }, ただし， α は (u, V0 [ξ α ]u) を (kl) 要素とする r×r
(kl) (kl)
x ¯ ¯ W
{¯α , yα , zα } とすると，3 次元アフィン変換は 2 次元の
x ¯ ¯ 行列の逆行列の (kl) 要素であり，次のように書く2 ．
場合同様，式（26）の関係を満たす．ただし， (kl) (kl)
−1
Wα = (u, V0 [ξα ]u) . (34)
¯
xα = (¯α /f0 , yα /f0 , zα /f0 , 1) ,
x ¯ ¯
ここで，V0 [ξ α ] は ξ α の正規化共分散行列である．
(kl)
(k)
¯
xα = (¯α /f0 , yα /f0 , zα /f0 , 1) ,
x ¯ ¯
データの誤差は小さいと仮定しているから，V0 [ξ α ]
  (kl)
h11 h12 h13 h14
h h22 h23 h24  はデータ xα の正規化共分散行列 V0 [xα ] から線形近似
HA =  21
 h31 h32 h33 h34  .
 (29) によって次のように計算できる．
(kl) (k) (l)
0 0 0 h44 V0 [ξα ] = xξ |x=xα V0 [xα ] xξ |x=xα . (35)
3 次元アフィン変換行列 HA を誤差のあるデータ z α = ただし， xξ
(k)
はξ (k)
(x) の m × p ヤコビ行列である．
(xα , yα , zα , xα , yα , zα ) から推定する．
ξ(1) (z α ) = (xα , yα , zα , f0 , 04×1 , 04×1 , −xα ) , 【例 4】2 次元アフィン変換の場合，4 次元ベクトル z α
= (xα , yα , xα , yα ) の正規化共分散行列 V0 [z α ] は，特
ξ(2) (z α ) = (04×1 , xα , yα , zα , f0 , 04×1 , −yα ) ,
に特徴的な誤差の現れ方をしない場合はデフォルト値と
ξ(3) (z α ) = (04×1 , 04×1 , xα , yα , zα , f0 , −zα ) , して I 4×4 を用いる．データ {xα , yα }, {xα , yα } のいず
u = (h11 , h12 , h13 , h14 , h21 , h22 , h23 , h24 , れか一方が誤差を含まない理想的な参照モデルの場合
h31 , h32 , h33 , h34 , h44 ) , (30) には，V0 [z α ] = diag(1, 1, 0, 0) あるいは diag(0, 0, 1, 1)
とすればよい．
と置くと，3 次元アフィン変換も式（25）の形に書ける．
3 次元アフィン変換の場合，6 次元ベクトル z α =
これにより，データ空間 X が 13 次元空間 R13 の 6 次
(xα , yα , zα , xα , yα , zα ) の正規化共分散行列 V0 [z α ] は，
元（代数）多様体として埋め込まれ，パラメータ空間
特に特徴的な誤差の現れ方をしない場合はデフォルト値
U は R13 の原点を中心とする 12 次元単位球面 S 12 と
として I 6×6 を用いる． データ {xα , yα , zα }, {xα , yα , zα }
なる．
のいずれか一方が誤差を含まない理想的な参照モデ
3.2 最尤推定 ルの場合には，V0 [z α ] = diag(1, 1, 1, 0, 0, 0) あるいは
写像されたデータ ξ (k) , k = 1, . . . , r の誤差の挙動を
α diag(0, 0, 0, 1, 1, 1) とすればよい．
記述する共分散行列を これらはいずれも誤差の分布が一様等方であること
V [ξ α ] = 2 V0 [ξ α ], (31) を仮定しているが，センサによっては誤差の分布が不
とする．ただし，ξ α = (ξ (1) , . . . , ξ (r) ) として， 均一な非等方性であることは珍しくない [20, 21]．
α α
V0 [ξ α ], k, l = 1, . . . , r を並べた (p × r) × (p × r) 行列
(kl)
3.3 精度の評価と理論限界
である．以下，ξ (xα ) を ξ α と略記する． は誤差の
(k) (k)
推定値 u の誤差 ∆u を次のように定義する．
ˆ
絶対量を表す定数であり，ノイズレベルと呼ぶ．V0 [ξ α ] ∆u = P U u, P U = I p×p − uu .
ˆ (36)
は誤差のデータや方向への依存を定性的に表すもので
ここで，P U は R において，点 u におけるパラメータ
p
あり，正規化共分散行列と呼んで既知とする．
空間 U の接空間 Tu (U) への直交射影行列である．I p×p
誤差がデータ毎に独立で正規分布に従うとすると，
は p 次の単位行列である．これから推定値 u の共分散 ˆ
{ξ α }, u の最尤推定は線形化された拘束条件（25）のも
¯
行列が次のように定義できる．
とでマハラノビス距離の二乗和
N V [ˆ ] = E[∆u∆u ].
u (37)
J= (ξ − ξ
α α
¯ , V0 [ξ ]−1 (ξ − ξ )),
α α α
¯ (32) 式（37）は，具体的に次のように計算できる [9]．
α=1 2
V [ˆ ] =
u M− .
p−1 (38)
を最小にするように {ξ α }, u を推定することである1 ．
¯(k)
ズの）一般逆行列に置き換えれば成り立つ [9]．
2 式（33）の r 個の式が冗長で，r (< r) 個だけが独立な場合は，
1 データ が何らかの制約を受ける（例えば単位ベクトル
(k)
{ξα } 式（34）の逆行列をランク r の（標準形において大きい r 個以外
に正規化される）場合にも，逆行列 V0 [ξα ]−1 を（ムーア・ペンロー の固有値を 0 として計算する）一般逆行列に置き換えればよい [9]．

5. ただし，行列 M を次のように置いた． 【例 6】3 次元相似変換行列は 3 次元アフィン変換行列
N r （29）の左上 3 × 3 行列を S = sR としたものである．
Wα ξ (k) ξα . S を次のように書く．
(kl) (l)
M= α (39)
α=1 k,l=1  
s11 s12 s13
u = 1 の正規化のためにランクが (p − 1) の（ムー S =  s21 s22 s23  = s1 , s2 , s3 . (46)
ア・ペンローズの）一般逆行列となっていることに注 s31 s32 s33
意する．
したがって，拘束条件は次のようになる．
このとき，どのような推定方法で u を計算しても，
ˆ
データに誤差がある限り，V [ˆ ] がある値より小さくな
u (s1 , s2 ) = 0, (s2 , s3 ) = 0, (s3 , s1 ) = 0,
らない．すなわち，精度には超えることができない理
2 2 2
s1 = s2 , s2 = s3 2 . (47)
論的な限界が存在する．これを式で書くと，次のよう 式（30）の 3 次元アフィン変換を表す 13 次元ベクトル
になる [9]． u の要素を用いると，3 次元相似変換行列における内部
V [ˆ ]
u 2 ¯ −
M . (40) p−1
拘束式は次のような 2 次同次式で書ける．
記号 は左辺引く右辺が半正値対称行列であること φ1 (u) = h11 h21 + h12 h22 + h13 h23 = 0,
を表す．行列 M は式（39）の M をデータの真値 xα
¯ ¯ φ2 (u) = h21 h31 + h22 h32 + h23 h33 = 0,
を用いて計算した値である．式（40）の右辺は KCR
φ3 (u) = h31 h11 + h32 h12 + h33 h13 = 0,
（Kanatani-Cram´r-Rao）下界と呼ばれる [2]．最尤
e
推定を行えば，KCR 下界が O( 4 ) の項を除いて等号
φ4 (u) = h2 + h12 + h2 − h21 − h2 − h23 = 0,
11
2
13
2
22
2
で成立する [9]．最尤推定はこの意味で最適な推定法で φ5 (u) = h2 + h22 + h2 − h31 − h2 − h33 = 0. (48)
2 2 2
21 23 32
ある． これにより，データ空間 X が 13 次元空間 R13 の 6 次
元（代数）多様体として埋め込まれ，パラメータ空間
U は R13 の u = 1, φm (u) = 0, m = 1, . . . , 5 で定義
4 幾何学変換の統一的な最適計算
される 7 次元（代数）多様体となる．
4.1 内部拘束
【例 7】2 次元剛体変換行列は，拘束条件 RR = I を
u にはスケールの不定性があるので u = 1 と正規
満たさなければならない．回転行列 R を次のように書
化するが，これは一つの内部拘束である．そして，こ
くと，
れ以外に u に次の q 個の内部拘束が存在するとする．
r11 r12
φm (u) = 0, m = 1, . . . , q. (41) R= = r1 , r2 , (49)
r21 r22
これら q 個の式は代数的に独立であるとする．式（41）
拘束条件は次のようになる．
はスケール不定の u に対して成立するとし，各 φm (u) 2
は κm 次同次式であると仮定する [12]．最尤推定量 u は ˆ (r 1 , r 2 ) = 0, r1 = r2 2 , r1 2
= 1. (50)
式（33）を内部拘束 u = 1, φm (u) = 0, m = 1, . . . , q 式（28）の 2 次元アフィン変換を表す 7 次元ベクトル
のもとで最小化することになる． u の要素を用いると，2 次元剛体変換行列における内部
拘束式は，2 次元相似変換における内部拘束式（45）と
【例 5】2 次元相似変換行列は 2 次元アフィン変換行列 次のような 2 次同次式になる．
（26）の左上 2 × 2 行列を S = sR としたものである．2 φ3 (u) = h2 + h22 − h33 = 0.
2 2
(51)
次元相似変換行列は次の内部拘束を満たさなければな
21
これにより，データ空間 X が 7 次元空間 R の 4 次元 7
らない．
（代数）多様体として埋め込まれ，パラメータ空間 U は
SS = (sR)(sR) = s2 RR = s2 I. (42) R7 の u = 1, φm (u) = 0, m = 1, 2, 3 で定義される
ここで，I は 2 次の単位行列である．S を次のように 3 次元（代数）多様体となる．
書く． 純粋な 2 次元回転変換行列は，並進ベクトル t =
s11 s12 (h13 , h23 ) = 02×1 になり，データおよびパラメータ
空間はそれぞれ 5 次元空間 R5 に縮退するが，内部拘
S= = s1 , s2 . (43)
s21 s22
したがって，拘束条件（42）は次のようになる． 束式は式（45） 51）と同じである．
（
(s1 , s2 ) = 0, s1 2
= s2 2 . (44) 【例 8】3 次元剛体変換行列は，回転行列 R を次のよう
式（28）の 2 次元アフィン変換を表す 7 次元ベクトル に書くと，
u の要素を用いると，2 次元相似変換行列における内部
 
r11 r12 r13
拘束式は次のような 2 次同次式で書ける． R =  r21 r22 r23  = r 1 , r 2 , r 3 , (52)
r31 r32 r33
φ1 (u) = h11 h21 + h12 h22 = 0,
拘束条件は次のようになる．
φ2 (u) = h2 + h2 − h2 − h2 = 0.
11 12 21 22 (45)
(r 1 , r 2 ) = 0, (r 2 , r 3 ) = 0, (r 3 , r 1 ) = 0,
これにより，データ空間 X が 7 次元空間 R7 の 4 次元
（代数）多様体として埋め込まれ，パラメータ空間 U は
2 2 2
r1 = r2 , r2 = r3 2 , r1 2
= 1. (53)
R7 の u = 1, φm (u) = 0, m = 1, 2 で定義される 4 式（30）の 3 次元アフィン変換を表す 13 次元ベクトル
次元（代数）多様体となる． u の要素を用いると，3 次元剛体変換行列における内部
拘束式は，3 次元相似変換における内部拘束式（48）と

6. 次のような 2 次同次式になる． 6. 固有値問題
φ6 (u) = h2
11 + h2
12 + h2
13 − h2
44 = 0. (54) Y v = λv, (62)
これにより，データ空間 X が 13 次元空間 R13 の 6 次 の小さい q + 1 個の固有値に対する単位固有ベクト
元（代数）多様体として埋め込まれ，パラメータ空間 ル v 0 , . . . , v q を求める．
U は R13 の u = 1, φm (u) = 0, m = 1, . . . , 6 で定義 7. 現在の解 u を次のように {v 0 , . . . , v q } に射影した
される 6 次元（代数）多様体となる． u を計算する．
ˆ
純粋な 3 次元回転変換行列は，並進ベクトル t = q
(h14 , h24 , h34 ) = 03×1 になり，データおよびパラメー ˆ
u= (u, v m )v m . (63)
タ空間はそれぞれ 10 次元空間 R10 に縮退するが，内部 m=0
拘束式は式（48） 54）と同じである．
（ 8. 次の u を計算する．
u = N [P V u].
ˆ (64)
u = 1 以外の内部拘束が存在する場合の推定値 u
ˆ N [ · ] は単位ベクトルへの正規化作用素である
の共分散行列は次のようになる [9]． （N [a] = a/ a ）．
9. u ≈ u なら u を返して終了する．そうでなけれ
−
2
V [ˆ ] =
u P UMP U . (55)
p−q−1 ば，u ← N [u + u ] としてステップ 2 に戻る．
ここで，射影行列 P U は，内部拘束 φm (u) の勾配ベク
トル u φ1 (u), . . . , u φq (u) にシュミットの直交化を施
q = 0 とすると，P V = I p×p であり，u は Y の最小固
有値に対する固有ベクトルとなり，通常の u = 1 以
した正規直交系 {u1 , . . . , uq } を用いると次のように書
外の内部拘束が存在しない場合の FNS 法に帰着する．
ける．
最小二乗法
q
4.3
P U = I p×p − um um − uu . (56)
拡張 FNS 法の反復には初期値が必要であるが，u に
は内部拘束が存在する．よく用いられる簡略化は， u
m=1
ただし，p 次元ベクトル u が内部拘束を受けて，パラ
= 1 の正規化以外の制約を無視することである．近似
メータ空間 U が p 次元空間 Rp の (p − q − 1) 次元多様
解を求めるのによく用いられるのは，最小二乗法であ
体となるため，式（39）の行列 M を P U M P U に置き
る．式（33）で Wα = δkl （クロネッカのデルタ：k
(kl)
換え，ランクが (p − q − 1) の（ムーア・ペンローズの）
= l で 1，それ以外で 0）と置くと次のようになる．
一般逆行列になる．
N r
(k)
JLS = (ξ α , u)2 . (65)
4.2 拡張 FNS 法 α=1 k=1
式（33）を u で微分すると次のようになる [19]． これは次のように変形される．
u J = 2(M − L)u. (57) N r
(k) (k)
ここで，行列 M は式（39）であり，行列 L は次のよ JLS = u ξ α ξα u = (u, MLS u). (66)
うに置いた．
α=1 k=1
N r ただし，次のように置いた．
(k) (l) (kl) N r
L= vα vα V0 [ξ α ]. (58) (k) (k)
α=1 k,l=1
MLS = ξα ξα . (67)
α=1 k=1
上式中の vα は次のように定義する．
(k)
式（66）は u の 2 次形式であるから，これを最小化す
る単位ベクトル u は（2 次）モーメント行列 MLS の最
r
(k)
vα = Wα (ξ (l) , u).
(kl)
(59)
小固有値に対する単位固有ベクトルである [9]．
α
l=1
式（33）を最小にするには式（57）より (M − L)u =
0 を解けばよく，固有値問題を反復して解く FNS 法 [3] 5 シミュレーション実験
を用いることができるが，u には内部拘束が存在する 図 3 のように曲面格子をその中心の格子点が世界座
ので，内部拘束を自動的に満たすように FNS 法を拡張 標の原点にあるように配置し，その後，原点を通るあ
した拡張 FNS 法 [12] の手順を以下に示す． る回転軸の周りに回転し，平行移動し，スケールを変
える．そして，ステレオ視によって各格子点の相似変
1. u の初期解を与える． 換前後の 3 次元位置を計測する．2 台のカメラは曲面格
2. 式（39） 58）の行列 M , L を計算する．
（ 子を 10 度で見込む位置に配置している．画像サイズは
3. 内部拘束の勾配ベクトル u φ1 (u), . . . , u φq (u) を 500 × 800 画素，焦点距離は 600 画素を想定している．
計算し，これにシュミットの直交化を施した正規 各格子点を対応点として，その x, y 座標に期待値 0，
直交系 {u1 , . . . , uq } を求める． 標準偏差 σ 画素の正規乱数を加え，それぞれ Kanatani
4. 次の射影行列 P V を計算する． らの方法 [13] で各格子点の 3 次元位置を最適に計算す
る．3 次元復元位置をデータとして，その正規化共分散
q
P V = I p×p −
行列を Niitsuma らの方法 [21] で予測して，前節で述
um um . (60)
べた拡張 FNS 法を適用して 3 次元相似変換行列を計算
m=1
5. 次の行列 Y を計算する．
する．拡張 FNS 法の初期値には，前節で述べた制約を
Y = P V (M − L)P V . (61) 無視した最小二乗法による解を用いる．

7. 図3 3 次元相似変換（回転，並進，スケール変化）
する曲面格子物体のステレオ視による 3 次元計測とそ
の誤差楕円体．奥行き方向の復元誤差が大きい（誤差
分布の不均一性） ．
図5 ステレオ画像に加えた標準偏差 σ の誤差に対す
る拡張 FNS 法（EFNS） LM 法（LM）
， ，最小二乗法
（LS）による 3 次元相似変換行列の RMS 誤差と KCR
下界（KCR） ．
【3 次元相似変換前】
図6 拡張 FNS 法の反復過程における当てはめ残差
J （左）と拘束条件 φm (u)（右）の変化．
【3 次元相似変換後】
考慮していないため非常に精度が低い．それに対して
図4 曲面格子の相似変換前後のステレオ画像．
拡張 FNS 法は LM 法とほぼ同じであり，精度の理論限
計算した 3 次元相似変換行列を式（30）の単位ベク 界にほぼ到達していることがわかる．図 6 は σ = 1 の
トル u の形に表し，その誤差を式（36）より計算する． 場合の代表的な例に対して，拡張 FNS 法による当ては
これを各 σ で誤差を変えて 1000 回づつ試行し，その平 め残差 J と拘束条件 φm (u), m = 1, . . . , 5 の収束の様
方平均二乗（RMS）誤差を次のように評価する． 子を反復回数に対してプロットしたものである．すべ
1000
ての拘束条件が急速に 0 に収束している．
E=
1
P U u(a) 2 .
ˆ (68) 図 7 は σ を横軸に取って拡張 FNS 法，LM 法，最小
1000 a=1 二乗法によるパラメータ毎の RMS 誤差 ER , Et , Es を
プロットしたものである．これから分かるように最小
ただし u(a) は a 回目の試行の 3 次元相似変換行列の解
ˆ
二乗法では，すべてのパラメータにおいて精度が極め
のベクトル表現であり，P U は式（56）の射影行列であ
て低い．LM 法，拡張 FNS 法を用いると精度が著しく
る．3 次元相似変換における拘束条件は式（48）より得
向上する．
られる．式（55）の両辺の平方根を取り，式（37）より
trV [ˆ ] = E[ ∆u 2 ] であることに注意すると，3 次元
まとめ
u
相似変換行列における RMS 誤差の KCR 下界が次のよ
6
うに得られる．
コンピュータビジョンに現れる 2 次元/3 次元幾何学
変換，幾何学的当てはめ問題，最尤推定，推定精度の評
−
E[ ∆u 2] ≥σ ¯
tr P U M P U . (69)
7 価と理論限界についてまとめた．2 次元/3 次元幾何学
比較のために，回転を特異値分解により計算する最小二 変換のパラメータの拡張 FNS 法による統一的な最適計
乗法 [20, 21]，リー代数により表現することによるレー 算の方法を示した．ステレオ視による 3 次元復元デー
ベンバーグ・マーカート（LM）法 [20] を適用する． タにおける 3 次元相似変換のシミュレーション実験を
そして，3 次元相似変換における回転行列，並進，ス 行い，拡張 FNS 法により得られた解が推定精度の理論
ケール変化を R, ˆ s とし，それらの真値を R, ¯ s と
ˆ t, ˆ ¯ t, ¯
限界を達成することを示した．当てはめ残差や拘束条
するとき，回転の誤差は相対回転 R ˆ R−1 の回転角を δΩ
¯
件の収束の挙動を観察し，最小二乗法，レーベンバー
（° ）で評価し，並進，スケール変化の誤差をそれぞれ グ・マーカート法との比較も行った．
δt = ˆ − ¯ δs = s − s として評価する．拡張 FNS 法に
t t, ˆ ¯ 拡張 FNS 法は，2 次元/3 次元幾何学変換のモデル毎
よる 3 次元相似変換行列は特異値分解により回転行列 に巧妙なパラメータ化による複雑な式変形を行わなく
とスケール変化に分解して評価する． とも，単に代数的な拘束条件式さえ書き下せば，同一の
図 5 はステレオ画像に加えた標準偏差 σ の誤差に対 計算手順によって拘束条件を課した部分モデルの最適
する拡張 FNS 法，LM 法，および最小二乗法による 3 な推定結果が得られる．拘束条件が複数ある場合にも
次元相似変換行列の RMS 誤差 E を KCR 下界ととも 対応が可能なため，相当に適用範囲が広い．拡張 FNS
にプロットしたものである．これから分かるように最 法により推定した複数の異なる部分モデルから最適な
小二乗法は 3 次元復元データの誤差分布の不均一性を モデルを選択することも可能である．

8. (a) (b) (c)
図7 ステレオ画像に加えた誤差の標準偏差 σ に対する（a）回転， b）並進， c）スケール変化の RMS 誤差．
（ （
謝辞： 長年に渡り御指導頂いた岡山大学大学院 金谷健 [15] Y. Leedan and P. Meer, Heteroscedastic regres-
一教授に感謝します． sion in computer vision: Problems with bilinear
constraint, Int. J. Comput. Vision., 37-2 (2000),
127–150.
参考文献 [16] 松永 力, 金谷 健一, 平面パタンを用いる移動カメ
ラの校正：最適計算，信頼性評価，および幾何学
¨ u 的 AIC による安定化, 電子情報通信学会論文誌 A,
[1] M. Acar, M. T. Ozl¨demir, O. Akyilmaz, R. N. J83-A-6 (2000-6), 694–701.
Celik and T. Ayan, Deformation analysis with
total least squares, Nat. Hazards Earth Syst. Sci., [17] 松永 力, 水平線検出による船体動揺映像の安定化,
6-4 (2006-6), 663–669. 第 15 回画像センシングシンポジウム (SSII2009)
[2] M. Chernov and C. Lesort, Statistical efficiency 講演論文集, 横浜 (パシフィコ横浜).
of curve fitting algorithms, Comput. Stat. Data [18] 松永 力, 趙 延軍, 和田 雅徳, カラーチャートを用
Anal., 47-4 (2004-4), 713–728. いた複数の再撮モニタとカメラの最適色補正, 第
[3] W. Chojnacki, M. J. Brooks, A. van den Hengel 16 回画像センシングシンポジウム (SSII2010) 講演
and D. Gawley, On the fitting of surfaces to data 論文集, 横浜 (パシフィコ横浜).
with covariances, IEEE Trans. Patt. Anal. Mach. [19] 新妻 弘崇, 金谷 健一, 最適な射影変換の新しい
計算アルゴリズム, 情報処理学会研究報告, 2009-
Intell., 22-11 (2000), 1294–1303.
[4] A. J. Davison, I. D. Reid, N. D. Molton and CVIM-169-37, (2009-11), 金沢市 (金沢工業大学),
O. Stasse, MonoSLAM: Real-time single camera 1–8.
SLAM, IEEE Trans. Patt. Anal. Mach. Intell.,
29-6 (2007), 1052–1067. [20] H. Niitsuma and K. Kanatani, Optimal compu-
tation of 3-D similarity from space data with in-
[5] M. Irani, B. Rousso and S. Peleg, Recovery of homogeneous noise distributions, 第 17 回画像セ
ego-motion using region alignment, IEEE Trans. ンシングシンポジウム (SSII2011) 講演論文集, 横
浜 (パシフィコ横浜).
Patt. Anal. Mach. Intell., 19-3 (1997), 268–272.
[6] 金澤 靖, 金谷 健一, 幾何学的 AIC による画像モ [21] H. Niitsuma and K. Kanatani, Optimal com-
ザイク生成の安定化, 電子情報通信学会論文誌 A, putation of 3-D rotation under inhomogeneous
J83-A-6 (2000-6), 686–693. anisotropic noise, Proc. 12th IAPR Conf. Ma-
[7] K. Kanatani, Group-Theoretical Methods in Im- chine Vision Appl. (MVA 2011), Nara, Japan,
age Understanding, Springer-Verlag, Berlin, Ger- 112–115, June 2011.
many, January 1990. [22] J. Novatnack and K. Nishino, Scale-dependent
[8] K. Kanatani, Geometric Computation for Ma- /invariant local 3D shape descriptors for fully
chine Vision, Oxford University Press, Oxford, automatic registration of multiple sets of range
U.K., June 1993. images, Proc. 10th Euro. Conf. Comput. Vision,
[9] K. Kanatani, Statistical Optimization for Geo- Florence, Italy, Part III, 440–453, October 2008.
metric Computation: Theory and Practice, Else- [23] N. Ohta and K. Kanatani, Optimal estimation
vier Science, Amsterdam, The Netherlands, 1996; of three dimensional rotation and reliability eval-
reprinted Dover Publications, New York, U.S.A., uation, IEICE Trans. Inf. & Syst., E81-D-11
2005. (1998-11), 1247–1252.
[10] 金谷 健一, コンピュータビジョンのためのくりこみ [24] 岡谷 貴之, バンドルアジャストメント, 情報処理学
法, 情報処理学会論文誌, 35-2 (1994-2), 201–209. 会研究報告, 2009-CVIM-167-37 (2009-6), 1–16.
[11] 金谷 健一, 「空間データの数理 – ３次元コンピュー [25] 佐藤 淳, 「コンピュータビジョン – 視覚の幾何学
ティングに向けて –」, 朝倉書店, 1995 年 3 月. –」, コロナ社, 1999 年 5 月.
[12] 金谷 健一, 菅谷 保之, 制約付きパラメータ推定の [26] Y. Sugaya and K. Kanatani, High accuracy com-
ための拡張 FNS 法, 情報処理学会研究報告, 2007- putation of rank-constrained fundamental ma-
CVIM-158-4, (2007-3), 鹿児島市 (鹿児島大), 25– trix, Proc. 18th British Machine Vision Conf.
32. (BMVC2007), Coventry, U.K., Vol.1, 282–291,
[13] K. Kanatani, Y. Sugaya and H. Niitsuma, Trian- September 2007.
gulation from two views: Hartley-Sturm vs. opti- [27] Y. Sugaya and K. Kanatani, Highest accu-
mal correction, 第 14 回画像センシングシンポジウ racy fundamental matrix computation, Proc.
ム (SSII2008) 講演論文集, 横浜 (パシフィコ横浜). 8th Asian Conf. Comput. Vision (ACCV2007),
[14] K. Kanatani and Y. Sugaya, Implementation and Tokyo, Japan, Vol. 2, 311–321, November 2007.
evaluation of bundle adjustment for 3-D recon- [28] Z. Zhang, A flexible new technique for camera
struction, 第 17 回画像センシングシンポジウム calibration, IEEE Trans. Patt. Anal. Mach. In-
(SSII2011) 講演論文集, 横浜 (パシフィコ横浜). tell., 22-11 (2000), 1330–1334.