O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
【解説】
一般逆行列
早稲田大学 杉本 憲治郎
(@wosugi3)
2017/9/12【解説】 一般逆行列
1
連立一次方程式・線形方程式を思い出す
• 中学では連立一次方程式
• (未知数の数)=(方程式の数)
• 解は必ず一意に定まった
• 高校では線形方程式
• 線形方程式 Ax=b で表現
• 逆行列で解く: x=A-1b
• Aは正方and正則...
現実世界の問題のほとんどは「解けない」
• 例)ノイズを含んだ多数のサンプルがとれる
• (未知数の数)≪(方程式の数)
• 多項式フィッティングなどの回帰問題
• 例)ベクトルは高次元だがサンプル数は少数
• (未知数の数)≫(方程式の数)
...
その最も素朴な対処法が一般逆行列
• 一般逆行列(一般化逆行列、擬似逆行列 etc.)
• 逆行列を非正方・非正則行列へと拡張したモノ
• ある適当な尺度を導入して「解けない場合」に対処
• 通常は『Moore-Penrose一般逆行列』を指す...
線形方程式を4ケースに分類して考える
a. Aが正方でフルランク: rank(A)=m=n
• 逆行列A-1によって解が一意に定まる(決定系)
b. Aが縦長で列フルランク: rank(A)=n<m
• 全ての方程式を満足できる解がない(優決定...
【図解】各ケースでの一例
• 各方程式を線形多様体(直線や平面など)と解釈
• 解は全ての線形多様体が交わる点
2017/9/12【解説】 一般逆行列
6
−𝑥 + 2𝑦 = 0
𝑥 + 𝑦 = 3
𝑦 = 2
𝑥
𝑦
𝑥 + 𝑦 = 3
𝑥
...
一般逆行列での各ケースに対する方針
a. そのまま逆行列として解く
b. 全ての方程式を満足できる解がない
• 全方程式の二乗誤差を最小にする点を解として採用
• 単なる最小二乗法(正規方程式)として解ける
c. 方程式が足らず解が一意に定まら...
b. 全方程式を満足する解がない:n<m
• 全方程式の二乗誤差が最小の点を解とする
• (目的関数の偏導関数)=0 をxについて解く
2017/9/12【解説】 一般逆行列
8
𝒙⋆ = arg min
𝒙
1
2
𝑨𝒙 − 𝒃 2
2
𝑓 ...
c. 解が一意に定まらない:m<n
• 全解候補のうちL2ノルムが最小の点を解とする
• Lagrangeの未定乗数法で解く
• (Lagrange関数の偏導関数)=0 をxについて解く
2017/9/12【解説】 一般逆行列
9
𝒙⋆ = a...
d. ランク落ち:rank(A)<min(m,n)
• 多数ある最小二乗点のうち最小ノルム点を解とする
• まずケースbして、その解候補の中からケースcする
• ランク落ちだと(ATA)-1や(AAT)-1が計算不可
• この難しさを階数分解 ...
【図解】各ケースでの一般逆行列による解
• 点線は最小二乗解or最小ノルム解の補助線
2017/9/12【解説】 一般逆行列
11
∴ 𝑥, 𝑦 =
23
11
,
13
11
𝑥
𝑦
𝑥
𝑦
𝑥
𝑦
ケース b ケース c ケース d
交点★...
全ケースでの結果をまとめると…
• A=BCを階数分解とすると、その一般逆行列は
• 特にAが正方・フルランクならば A-=A-1(ケースa)
• 特にAが列フルランクならば C=I(ケースb)
• 特にAが行フルランクならば B=I(ケースc...
特異値分解は階数分解の代表的な例
• 行列A (m×nサイズ、r=rank(A)) を特異値分解
• Aを直交行列U,Vと対角行列Σに分解
• 次のように変形すると階数分解に帰着
• Σとの乗算の結果残るのは、Uの左側とVTの上側のみ
2017...
【図解】行列 (3×4、r=2) の特異値分解
2017/9/12【解説】 一般逆行列
14
a11 a12 a13 a14
a21 a22 a23 a24
a31 a32 a33 a34
𝒖1 𝒖2 𝒖3
𝒗1
⊤
𝒗2
⊤
𝒗 𝟑
⊤
𝒗4...
一般逆行列を特異値分解で表現する
• んで導出したA-に を代入すると
• つまり、Aの一般逆行列A-の特異値分解は
• AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの
• この特異値分解の表現はあらゆる場面で登場
• 学生レベルだと...
• 行列A (m×n=3×4, r=2)の特異値分解
• Aを直交行列U,Vと対角行列Σに分解
• その一般逆行列A-の特異値分解
• AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの
𝜎1
−1
0
0 𝜎2
−1
𝜎1 0
0 𝜎2...
Moore-Penrose一般逆行列 (MP逆)
2017/9/12【解説】 一般逆行列
17
(1). 𝑨𝑨+ 𝑨 = 𝑨
(3). 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨
定義: Moore-Penrose一般逆行列
ある行列Aについて次の4条件を満た...
実は階数分解で導いた式はMP逆でした
• 証明》以下のように4条件全てを満たす
2017/9/12【解説】 一般逆行列
18
1. 𝑨𝑨+
𝑨 = 𝑩𝑪 𝑪⊤
𝑪𝑪⊤ −1
𝑩⊤
𝑩 −1
𝑩⊤
𝑩𝑪 = 𝑩𝑪 = 𝑨
3. 𝑨+ 𝑨 = 𝑪⊤...
当然、その特異値分解版もMP逆です
• 証明》以下のように4条件全てを満たす
2017/9/12【解説】 一般逆行列
19
𝑨+
= 𝑽𝜮+
𝑼⊤
1. 𝑨𝑨+
𝑨 = 𝑼𝜮𝑽⊤
𝑽𝜮+
𝑼⊤
𝑼𝜮𝑽⊤
= 𝑼𝜮𝜮+
𝜮𝑽⊤
= 𝑨
3. 𝑨+...
MP逆の各条件の意味(詳細は次頁以降)
1. 𝑨𝑨+ 𝑨 = 𝑨 (一般逆行列の必要十分条件)
• 要するに逆行列の条件 𝑨𝑨−1
= 𝑨−1
𝑨 = 𝑰 の一般化
2. 𝑨+ 𝑨𝑨+ = 𝑨+ (反射型一般逆行列)
• AとA+が対称性をもつ...
一般逆の挙動を写像の視点から考える
• ある行列A (m×nサイズ、ランクはr) は…
• 写像 x→Ax はRnからRmへ写す
• 特にr=rank(A)より、Rm中のr次元部分空間上に乗る
• その一般逆A-(n×mサイズ、ランクは?) は...
Aによって定まるor定まらない部分空間
• 次の部分空間はAによって一意に定まる(実線)
• Axの写像先(Im A)である、Rm中のr次元部分空間 V
• Axの零空間(Ker A)である、Rn中の(n-r)次元部分空間 W0
• 次の部分空...
反射型:AとA-に対称性を設ける
• A-yをV0上への写像とすれば対称性が生まれる
• 一般逆の条件 AA-A=A より r≦rank A- の必要
• さらに条件 A-AA-=A- を加えると r=rank A- に限定
• この両条件を満...
𝑨𝒙𝑨− 𝒚
写像から射影へとイメージを発展させる
• 他方の空間を経由する二連続の写像は射影そのもの
• A-A:Rn中のxをW0に沿ってV0上へと射影
• AA-:Rm中のyをWに沿ってV上へと射影
• 一般逆の条件AA-A=AよりA-Aや...
最小{二乗,ノルム}型:直交射影に限定
• 補空間W,V0として直交補空間V⊥,W0
⊥を採用
• 要するにA-AとAA-を直交射影行列にする
• 定義:射影行列PがPT=Pを満たす→Pは直交射影行列
• 以下の二つの条件が導かれる
• 条件 ...
より発展させると近年の研究テーマに
• ケースcではL2ノルム最小化により解を一つに定めた
• ただ、L2ノルム最小という尺度に目立った利点はない
• もっと都合の良い他の尺度にできないか?
• 都合の良い尺度の最たる例がスパース性
• スパー...
おわりに
• 大学数学で登場する一般逆行列についてまとめた
• 検索でみつかる資料のほとんどが不完全な説明
• 全体の8割以上がケースdの議論がなく不完全
• ランク落ちの場合、逆行列が計算不可のはずだが…
• 唐突に登場するMP逆の式
• 残...
参考文献
1. 柳井晴夫, 竹内啓: “射影行列・一般逆行列・特異値分解”,
東京大学出版会, (1983).
2. 田辺国士: “一般逆行列 (1)”, 日本オペレーションズ・リ
サーチ学会, pp. 213-215, (1976/4).
3...
Próximos SlideShares
Carregando em…5
×

【解説】 一般逆行列

学生向けの解説

  • Entre para ver os comentários

【解説】 一般逆行列

  1. 1. 【解説】 一般逆行列 早稲田大学 杉本 憲治郎 (@wosugi3) 2017/9/12【解説】 一般逆行列 1
  2. 2. 連立一次方程式・線形方程式を思い出す • 中学では連立一次方程式 • (未知数の数)=(方程式の数) • 解は必ず一意に定まった • 高校では線形方程式 • 線形方程式 Ax=b で表現 • 逆行列で解く: x=A-1b • Aは正方and正則 • 大学以降は「解けない場合」を主に扱う • (未知数の数)≠(方程式の数) • Aが非正方or非正則 • 逆行列が定義されない! 2017/9/12【解説】 一般逆行列 2 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 ∴ 𝑥 = 2 𝑦 = 1 −1 2 1 1 𝑥 𝑦 = 0 3 ∴ 𝑥 𝑦 = 2 1 −1 2 1 1 0 1 𝑥 𝑦 = 0 3 2 ∴ 𝑥 𝑦 = ? ?
  3. 3. 現実世界の問題のほとんどは「解けない」 • 例)ノイズを含んだ多数のサンプルがとれる • (未知数の数)≪(方程式の数) • 多項式フィッティングなどの回帰問題 • 例)ベクトルは高次元だがサンプル数は少数 • (未知数の数)≫(方程式の数) • 多次元ベクトル=多数の未知数 • 例)とれたサンプルに多数の重複があるかも? • 方程式がランク落ちの可能性? • そもそもノイズや誤差のせいで正確なランクの計算は困難 2017/9/12【解説】 一般逆行列 3
  4. 4. その最も素朴な対処法が一般逆行列 • 一般逆行列(一般化逆行列、擬似逆行列 etc.) • 逆行列を非正方・非正則行列へと拡張したモノ • ある適当な尺度を導入して「解けない場合」に対処 • 通常は『Moore-Penrose一般逆行列』を指す(後述) • 線形方程式 Ax=b を x=A-b のように解きたい • 特にAが非正方・非正則な場合にも対応したい • このA-を「Aの一般逆行列」と呼ぶ 2017/9/12【解説】 一般逆行列 4 𝑨𝒙 = 𝒃 𝒙 = 𝑨− 𝒃 𝑨 ∈ ℝ 𝑚×𝑛, 𝒃 ∈ ℝ 𝑚×1, 𝒙 ∈ ℝ 𝑛×1 m:方程式の数、n:未知数の数 では「解けない場合」をパターン分けして分析しよう
  5. 5. 線形方程式を4ケースに分類して考える a. Aが正方でフルランク: rank(A)=m=n • 逆行列A-1によって解が一意に定まる(決定系) b. Aが縦長で列フルランク: rank(A)=n<m • 全ての方程式を満足できる解がない(優決定系・不能) c. Aが横長で行フルランク: rank(A)=m<n • 方程式が足らず解が一意に定まらない(劣決定系・不定) d. Aがランク落ち: rank(A)<min(m,n) • 方程式に重複あり。重複除けば a,b,c のどれかに帰着 2017/9/12【解説】 一般逆行列 5 𝑨𝒙 = 𝒃 𝑨 ∈ ℝ 𝑚×𝑛 , 𝒃 ∈ ℝ 𝑚×1 , 𝒙 ∈ ℝ 𝑛×1 m:方程式の数、n:未知数の数
  6. 6. 【図解】各ケースでの一例 • 各方程式を線形多様体(直線や平面など)と解釈 • 解は全ての線形多様体が交わる点 2017/9/12【解説】 一般逆行列 6 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 𝑦 = 2 𝑥 𝑦 𝑥 + 𝑦 = 3 𝑥 𝑦 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 5 𝑥 𝑦 ケース b ケース c ケース d 交点★が解 直線上全てが解? (解が一意でない) 𝑥 𝑦 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 ケース a 全直線が通る 交点がない 並行で交点なし
  7. 7. 一般逆行列での各ケースに対する方針 a. そのまま逆行列として解く b. 全ての方程式を満足できる解がない • 全方程式の二乗誤差を最小にする点を解として採用 • 単なる最小二乗法(正規方程式)として解ける c. 方程式が足らず解が一意に定まらない • 全解候補のうちベクトル長最小の点を解として採用 • Lagrangeの未定乗数法で解ける d. ランク落ち • 二乗誤差最小点のうちベクトル長最小点を解として採用 • 階数分解によってフルランク行列の積に分解して解く • 結果としてbとcを順に適用した形に帰着 2017/9/12【解説】 一般逆行列 7
  8. 8. b. 全方程式を満足する解がない:n<m • 全方程式の二乗誤差が最小の点を解とする • (目的関数の偏導関数)=0 をxについて解く 2017/9/12【解説】 一般逆行列 8 𝒙⋆ = arg min 𝒙 1 2 𝑨𝒙 − 𝒃 2 2 𝑓 𝒙 = 1 2 𝑨𝒙 − 𝒃 2 2 ∈ ℝ 𝜕𝑓(𝒙) 𝜕𝒙 = 𝑨⊤ 𝑨𝒙 − 𝒃 = 𝟎 ∈ ℝ 𝑛×1 𝑨⊤ 𝑨𝒙 = 𝑨⊤ 𝒃 ∴ 𝒙⋆ = 𝑨⊤ 𝑨 −1 𝑨⊤ 𝒃 目的関数:二次関数 (微分可&凸) 制約集合:制約なし (Rnの全て) ↑いわゆる最小二乗法そのもの。 𝑨 ∈ ℝ 𝑚×𝑛 , 𝒃 ∈ ℝ 𝑚×1 , 𝒙 ∈ ℝ 𝑛×1 Aは列フルランク ⇒ ATAは正則 この式は通常『正規方程式』と呼ばれる
  9. 9. c. 解が一意に定まらない:m<n • 全解候補のうちL2ノルムが最小の点を解とする • Lagrangeの未定乗数法で解く • (Lagrange関数の偏導関数)=0 をxについて解く 2017/9/12【解説】 一般逆行列 9 𝒙⋆ = arg min 𝒙 1 2 𝒙 2 2 s. t. 𝑨𝒙 = 𝒃 ℒ 𝒙, 𝝀 = 1 2 𝒙⊤ 𝒙 − 𝝀⊤ 𝑨𝒙 − 𝒃 ∈ ℝ 𝜕ℒ 𝒙,𝝀 𝜕𝐱 = 𝒙 − 𝑨⊤ 𝝀 = 𝟎 ∈ ℝ 𝑛 𝜕ℒ 𝒙,𝝀 𝜕𝛌 = −𝑨𝒙 + 𝒃 = 𝟎 ∈ ℝ 𝑚 目的関数:二次関数 (微分可&凸) 制約集合:線形等式制約 (かつ、Aは行フルランク) 𝑨 ∈ ℝ 𝑚×𝑛, 𝒃, 𝝀 ∈ ℝ 𝑚×1, 𝒙 ∈ ℝ 𝑛×1 Aは行フルランク ⇒ AATは正則 ∴ 𝒙⋆ 𝝀 = 𝑨⊤ 𝑨𝑨⊤ −1 𝒃 𝑨𝑨⊤ −1 𝒃
  10. 10. d. ランク落ち:rank(A)<min(m,n) • 多数ある最小二乗点のうち最小ノルム点を解とする • まずケースbして、その解候補の中からケースcする • ランク落ちだと(ATA)-1や(AAT)-1が計算不可 • この難しさを階数分解 A=BC を使って回避 • 列フルランクなBおよび行フルランクなCの積に分解 • rank(A)=rとおくと、 • 「任意の行列は階数分解できる」[Wikipedia(汗] • B,Cはフルランク→ケースb,cの結果を順に適用可 2017/9/12【解説】 一般逆行列 10 𝑨𝒙 = 𝑩𝑪𝒙 = 𝒃 𝒙 = 𝑨− 𝒃 = 𝑪− 𝑩− 𝒃 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝒃 𝑨 ∈ ℝ 𝑚×𝑛, 𝑩 ∈ ℝ 𝑚×𝑟, 𝑪 ∈ ℝ 𝑟×𝑛 Cは行フルランク ⇒ CCTは正則 Bは列フルランク ⇒ BTBは正則
  11. 11. 【図解】各ケースでの一般逆行列による解 • 点線は最小二乗解or最小ノルム解の補助線 2017/9/12【解説】 一般逆行列 11 ∴ 𝑥, 𝑦 = 23 11 , 13 11 𝑥 𝑦 𝑥 𝑦 𝑥 𝑦 ケース b ケース c ケース d 交点★が解 L2ノルムが最小 𝑥 𝑦 ∴ 𝑥, 𝑦 = 2,1 ケース a 二乗誤差が最小 二乗誤差解のうち L2ノルムが最小 ∴ 𝑥, 𝑦 = 3 2 , 3 2 ∴ 𝑥, 𝑦 = 2,2 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 𝑦 = 2 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 3 𝑥 + 𝑦 = 5 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3
  12. 12. 全ケースでの結果をまとめると… • A=BCを階数分解とすると、その一般逆行列は • 特にAが正方・フルランクならば A-=A-1(ケースa) • 特にAが列フルランクならば C=I(ケースb) • 特にAが行フルランクならば B=I(ケースc) • とりま階数分解で全ケースを包括的に捉えれたが… • 階数分解のくだりが抽象的だしイメージしづらい? • そこでより具体的な特異値分解の視点から捉えよう • 特異値分解から階数分解の一例が容易に示せる • 実用上は特異値分解の形こそが通常広く使われている 2017/9/12【解説】 一般逆行列 12 𝑨− = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤
  13. 13. 特異値分解は階数分解の代表的な例 • 行列A (m×nサイズ、r=rank(A)) を特異値分解 • Aを直交行列U,Vと対角行列Σに分解 • 次のように変形すると階数分解に帰着 • Σとの乗算の結果残るのは、Uの左側とVTの上側のみ 2017/9/12【解説】 一般逆行列 13 𝑨 = 𝑼𝜮𝑽⊤ 𝜮 = 𝜮 𝑟 𝟎 𝟎 𝟎 𝜮 𝑟 = diag 𝜎1, 𝜎2, … , 𝜎𝑟 𝑨 ∈ ℝ 𝑚×𝑛 , 𝑼 ∈ ℝ 𝑚×𝑚 , 𝜮 ∈ ℝ 𝑚×𝑛 , 𝑽 ∈ ℝ 𝑛×𝑛 , 𝜮 𝑟 ∈ ℝ 𝑟×𝑟 𝑨 = 𝑼𝜮𝑽⊤ = 𝑼 𝑟 𝑼 𝑚−𝑟 𝜮 𝑟 𝟎 𝟎 𝟎 𝑽 𝑟 ⊤ 𝑽 𝑛−𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ = 𝑩𝑪
  14. 14. 【図解】行列 (3×4、r=2) の特異値分解 2017/9/12【解説】 一般逆行列 14 a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 𝒖1 𝒖2 𝒖3 𝒗1 ⊤ 𝒗2 ⊤ 𝒗 𝟑 ⊤ 𝒗4 ⊤ 𝜎1 0 O 0 𝜎2 O O 𝑨 = 𝑼 𝜮 𝑽⊤ 𝒖1 𝒖2 𝒗1 ⊤ 𝒗2 ⊤ 𝜎1 0 0 𝜎2 = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ 𝒖1 𝒖2 𝜎1 𝒗1 ⊤ 𝜎2 𝒗2 ⊤ = 𝑼 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ r=2なので、まさに階数分解の形! (もちろんΣrをUr側に吸収させてもOK)
  15. 15. 一般逆行列を特異値分解で表現する • んで導出したA-に を代入すると • つまり、Aの一般逆行列A-の特異値分解は • AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの • この特異値分解の表現はあらゆる場面で登場 • 学生レベルだとここまで理解しておけば大抵OK! 2017/9/12【解説】 一般逆行列 15 𝑨− = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑽 𝑟 𝜮 𝑟 𝜮 𝑟 𝑽 𝑟 ⊤ 𝑽 𝑟 𝜮 𝑟 −1 𝑼 𝑟 ⊤ 𝑼 𝑟 −1 𝑼 𝑟 ⊤ = 𝑽 𝑟 𝜮 𝑟 −1 𝑼 𝑟 ⊤ 𝑩 = 𝑼 𝑟, 𝑪 = 𝜮 𝑟 𝑽 𝑟 ⊤ 𝜮− = 𝜮 𝑟 −1 𝟎 𝟎 𝟎 ∈ ℝ 𝑛×𝑚𝑨− = 𝑽𝜮− 𝑼⊤
  16. 16. • 行列A (m×n=3×4, r=2)の特異値分解 • Aを直交行列U,Vと対角行列Σに分解 • その一般逆行列A-の特異値分解 • AT=VΣUTにおいて、その非ゼロ特異値を逆数にしたもの 𝜎1 −1 0 0 𝜎2 −1 𝜎1 0 0 𝜎2 【図解】一般逆行列と特異値分解の関係性 2017/9/12【解説】 一般逆行列 16 𝑨 = 𝑼 𝜮 𝑽⊤ 𝑨− = 𝑽 𝜮− 𝑼⊤
  17. 17. Moore-Penrose一般逆行列 (MP逆) 2017/9/12【解説】 一般逆行列 17 (1). 𝑨𝑨+ 𝑨 = 𝑨 (3). 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨 定義: Moore-Penrose一般逆行列 ある行列Aについて次の4条件を満たすA+のこと • 巷で一般逆行列というとMP逆を指すことがほとんど • 専門的な資料では以下のように呼び分けている • 一般逆行列 A-: (1)を満たす(←複数ありうる) • MP逆 A+: (1)~(4)の全てを満たす(←一意に決まる) • 証明》MP逆の一意性 • Aに2つのMP逆X,Yがあると仮定し、X=Yを示す (2). 𝑨+ 𝑨𝑨+ = 𝑨+ (4). 𝑨𝑨+ ⊤ = 𝑨𝑨+ 𝑿 = 𝑿𝑨𝑿 = 𝑿 𝑨𝑿 ⊤ = 𝑿 𝑨𝒀𝑨𝑿 ⊤ = 𝑿 𝑨𝑿 ⊤ 𝑨𝒀 ⊤ = 𝑿𝑨𝑿𝑨𝒀 = 𝑿𝑨𝒀, 𝒀 = 𝒀𝑨𝒀 = 𝒀𝑨 ⊤ 𝒀 = 𝒀𝑨𝑿𝑨 ⊤ 𝒀 = 𝑿𝑨 ⊤ 𝒀𝑨 ⊤ 𝒀 = 𝑿𝑨𝒀𝑨𝒀 = 𝑿𝑨𝒀
  18. 18. 実は階数分解で導いた式はMP逆でした • 証明》以下のように4条件全てを満たす 2017/9/12【解説】 一般逆行列 18 1. 𝑨𝑨+ 𝑨 = 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 = 𝑩𝑪 = 𝑨 3. 𝑨+ 𝑨 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑪 = 𝑪⊤ 𝑪𝑪⊤ −1 𝑪 ⊤ = 𝑨+ 𝑨 ⊤ 4. 𝑨𝑨+ = 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑩 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑩 𝑩⊤ 𝑩 −1 𝑩⊤ ⊤ = 𝑨𝑨+ ⊤ 2. 𝑨+ 𝑨𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 𝑩𝑪 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ = 𝑨+ 𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤ 定理: A=BCを階数分解とすると、そのMP逆は
  19. 19. 当然、その特異値分解版もMP逆です • 証明》以下のように4条件全てを満たす 2017/9/12【解説】 一般逆行列 19 𝑨+ = 𝑽𝜮+ 𝑼⊤ 1. 𝑨𝑨+ 𝑨 = 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ = 𝑼𝜮𝜮+ 𝜮𝑽⊤ = 𝑨 3. 𝑨+ 𝑨 = 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ = 𝑽𝜮+ 𝜮𝑽⊤, 𝑨+ 𝑨 ⊤ = 𝑽𝜮+ 𝜮𝑽⊤ ⊤ = 𝑽 𝜮+ 𝜮 ⊤ 𝑽⊤ = 𝑽𝜮+ 𝜮𝑽⊤ 4. 𝑨𝑨+ = 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ = 𝑼𝜮𝜮+ 𝑼⊤ , 𝑨𝑨+ ⊤ = 𝑼𝜮𝜮+ 𝑼⊤ ⊤ = 𝑼 𝜮𝜮+ ⊤ 𝑼⊤ = 𝑼𝜮𝜮+ 𝑼⊤ 2. 𝑨+ 𝑨𝑨+ = 𝑽𝜮+ 𝑼⊤ 𝑼𝜮𝑽⊤ 𝑽𝜮+ 𝑼⊤ = 𝑽𝜮+ 𝜮𝜮+ 𝑼⊤ = 𝑨+ 定理: A=UΣVTを特異値分解とすると、そのMP逆は
  20. 20. MP逆の各条件の意味(詳細は次頁以降) 1. 𝑨𝑨+ 𝑨 = 𝑨 (一般逆行列の必要十分条件) • 要するに逆行列の条件 𝑨𝑨−1 = 𝑨−1 𝑨 = 𝑰 の一般化 2. 𝑨+ 𝑨𝑨+ = 𝑨+ (反射型一般逆行列) • AとA+が対称性をもつようになる (rank A=rank A+) 3. 𝑨+ 𝑨 ⊤ = 𝑨+ 𝑨(最小ノルム型一般逆行列) • Aの零空間(ker A)の補空間として直交補空間を採用 4. 𝑨𝑨+ ⊤ = 𝑨𝑨+(最小二乗型一般逆行列) • Aの像(Im A)の補空間として直交補空間を採用 • この4条件を満たす一般逆は一意←これがMP逆 • 各条件の意味は写像・射影から説明できる(次頁) 2017/9/12【解説】 一般逆行列 20
  21. 21. 一般逆の挙動を写像の視点から考える • ある行列A (m×nサイズ、ランクはr) は… • 写像 x→Ax はRnからRmへ写す • 特にr=rank(A)より、Rm中のr次元部分空間上に乗る • その一般逆A-(n×mサイズ、ランクは?) は… • 写像 y→A-y はRmからRnへ写す(さっきと逆向き) • 具体的にどのような写像だと都合がよいだろうか?? 2017/9/12【解説】 一般逆行列 21 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑨− 𝒚? r次元 部分空間 便宜上 部分空間を 一本の軸で 表現する
  22. 22. Aによって定まるor定まらない部分空間 • 次の部分空間はAによって一意に定まる(実線) • Axの写像先(Im A)である、Rm中のr次元部分空間 V • Axの零空間(Ker A)である、Rn中の(n-r)次元部分空間 W0 • 次の部分空間は一意に定まらない(破線) • Vの補空間である、Rm中の(m-r)次元部分空間 W • W0の補空間である、 Rn中のr次元部分空間 V0 2017/9/12【解説】 一般逆行列 22 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑉0? 𝑉 𝑊0 V0の 方向が 任意 𝑊? 𝑨− 𝒚? Wの方向が任意
  23. 23. 反射型:AとA-に対称性を設ける • A-yをV0上への写像とすれば対称性が生まれる • 一般逆の条件 AA-A=A より r≦rank A- の必要 • さらに条件 A-AA-=A- を加えると r=rank A- に限定 • この両条件を満たすものを反射型一般逆行列と呼ぶ • VとV0が全単射(両者をAやA-の乗算によって往来可) • AやA-を一度でも乗算すればWとW0の成分は0に潰される 2017/9/12【解説】 一般逆行列 23 ℝ 𝑛 ℝ 𝑚 𝒙 𝑨𝒙 𝒚 𝑉0 𝑉 𝑊𝑊0 𝑨− 𝒚
  24. 24. 𝑨𝒙𝑨− 𝒚 写像から射影へとイメージを発展させる • 他方の空間を経由する二連続の写像は射影そのもの • A-A:Rn中のxをW0に沿ってV0上へと射影 • AA-:Rm中のyをWに沿ってV上へと射影 • 一般逆の条件AA-A=AよりA-AやAA-は射影行列 • 定義:正方行列PがP2=Pを満たすとき、Pは射影行列 • さて、この射影をどのように定めると便利だろうか? 2017/9/12【解説】 一般逆行列 24 ℝ 𝑛 ℝ 𝑚 𝑨𝑨− 𝒚 𝒚 𝑉0 𝑉 𝑊𝑊0 V上へ 射影 𝒙 𝑨− 𝑨𝒙 V0上へ 射影
  25. 25. 最小{二乗,ノルム}型:直交射影に限定 • 補空間W,V0として直交補空間V⊥,W0 ⊥を採用 • 要するにA-AとAA-を直交射影行列にする • 定義:射影行列PがPT=Pを満たす→Pは直交射影行列 • 以下の二つの条件が導かれる • 条件 (A-A)T=A-A(最小ノルム型一般逆行列) • 条件 (AA-)T=AA-(最小二乗型一般逆行列) 2017/9/12【解説】 一般逆行列 25 ℝ 𝑛 ℝ 𝑚 𝑨𝑨− 𝒚 𝒚 𝑊0 ⊥ 𝑉 𝑉⊥ 𝑊0 𝒙 𝑨− 𝑨𝒙 ┐ ┐ 𝑰 − 𝑨− 𝑨 𝒙 𝑰 − 𝑨𝑨− 𝒚
  26. 26. より発展させると近年の研究テーマに • ケースcではL2ノルム最小化により解を一つに定めた • ただ、L2ノルム最小という尺度に目立った利点はない • もっと都合の良い他の尺度にできないか? • 都合の良い尺度の最たる例がスパース性 • スパース=多くの要素がゼロ • ゼロ要素は計算不要なので大幅に高速化できる • 理想は(i)だが計算困難 ⇒ 実用上(ii)で代替 i. L0ノルム最小化(計算量が指数増大!) ii. L1ノルム最小化 (別名, Basis pursuit) 2017/9/12【解説】 一般逆行列 26 𝒙⋆ = arg min 𝒙 𝒙 0 s. t. 𝑨𝒙 = 𝒃 𝒙⋆ = arg min 𝒙 𝒙 1 s. t. 𝑨𝒙 = 𝒃 (ii)は(i)の凸緩和 (計算容易な近似)
  27. 27. おわりに • 大学数学で登場する一般逆行列についてまとめた • 検索でみつかる資料のほとんどが不完全な説明 • 全体の8割以上がケースdの議論がなく不完全 • ランク落ちの場合、逆行列が計算不可のはずだが… • 唐突に登場するMP逆の式 • 残り2割弱でも唐突に が登場 • この式の丁寧な導出は非常に少ない • そういう意味では貴重な資料に仕上がったはず(笑) • 改善のためのコメント大歓迎! 2017/9/12【解説】 一般逆行列 27 𝑨+ = 𝑪⊤ 𝑪𝑪⊤ −1 𝑩⊤ 𝑩 −1 𝑩⊤
  28. 28. 参考文献 1. 柳井晴夫, 竹内啓: “射影行列・一般逆行列・特異値分解”, 東京大学出版会, (1983). 2. 田辺国士: “一般逆行列 (1)”, 日本オペレーションズ・リ サーチ学会, pp. 213-215, (1976/4). 3. 田辺国士: “一般逆行列 (2)”, 日本オペレーションズ・リ サーチ学会, pp. 275-277, (1976/5). 4. 田辺国士: “一般逆行列 (3)”, 日本オペレーションズ・リ サーチ学会, pp. 324-326, (1976/6). 5. “確率・統計 (24) 主成分回帰と部分最小二乗法”, http://fussy.web.fc2.com/algo/stat24_pls.htm 2017/9/12【解説】 一般逆行列 28

×