28. 基底展開は特徴抽出でもある
, として、基底 を
と定義する
であれば、 は 個の情報を 個の変数に集約したものになる
変数が減る ⇛ バイアスが増えて分散が減る
既存の知識から適切な集約方法がわかっている時には、バイアスはあまり減らないの
で特に有用
x ∈ R
p
H ∈ R
p×M
∈x
∗
R
M
= xx
∗
H
T
p > M x
∗
p M
35. 証明（Exercise 5.7）
を最適化問題の解とする. が、各 において通る点を と置く.
一方、 を をノットとし、かつ 個の点 を通るような 3次自
然スプラインとする. 3次自然スプラインの自由度は なので、このような は必ず見つか
る.
この時、全ての において、 であることを示す.
Step (1): とすると、 .
部分積分によって、
ここで、 は自然スプラインなので、 は両端ではゼロになる.したがって、第1項はゼロ.
(x)g
~
g
~
xi = ( )zi g
~
xi
g(x) ( , , … , )x1 x2 xN N ( , )xi zi
N g
x ∈ [a, b] g(x) = (x)g
~
h(x) = (x) − g(x)g
~
(x) (x)dx = 0∫
b
a
g
′′
h
′′
(x) (x)dx = − (x) (x)dx∫
b
a
g
′′
h
′′
[ (x) (x)]g
′′
h
′ b
a
∫
b
a
g
′′′
h
′
g g
′′
36. 証明（Exercise 5.7）
また、 は3次の区分的多項式であるから、 は各区間内で定数になる. そこで、区間
における の値を と置く. すると
最後の等式は、 を用いている.
g (x)g
′′′
( , + 1)xj xj (x)g
′′′
g
′′′
j
(x) (x)dx∫
b
a
g
′′
h
′′
= − (x) (x)dx∫
b
a
g
′′′
h
′
= − (x)dx∑
j=1
N−1
g
′′′
j
∫
xj+1
xj
h
′
= − ∑
j=1
N−1
g
′′′
j
[h(x)]
xj+1
xj
= − (h( ) − h( )) = 0∑
j=1
N−1
g
′′′
j
xj+1 xj
h( ) = ( ) − g( ) = − = 0xj g
~
xj xj zj zj
37. 証明（Exercise 5.7）
Step (2):
また、両辺が等しいのは が全ての においてゼロの時のみ.
(x dx ≥ (x dx.∫
b
a
g
~′′
)
2
∫
b
a
g
′′
)
2
(x)g
~′′
(xg
~′′
)
2
(x dx∫
b
a
g
~′′
)
2
(x dx∫
b
a
g
~′′
)
2
(x dx∫
b
a
g
~′′
)
2
= (x) + (x)h
′′
g
′′
= (x + 2 (x) (x) + (xh
′′
)
2
h
′′
g
′′
g
′′
)
2
= (x)dx + 2 (x) (x)dx + (x)dx∫
b
a
h
′′
∫
b
a
h
′′
g
′′
∫
b
a
g
′′
= (x dx + (x∫
b
a
h
′′
)
2
∫
b
a
g
′′
)
2
≥ (x dx∫
b
a
g
′′
)
2
h(x) x ∈ [a, b]
39. 平滑化スプラインの行列表現
3次自然スプラインの基底を とおくと
行列 を、 , と定義すると、最小化問題は
この解, 予測値は
と書ける.
( , … , )N1 NN
f(x) = (x)∑
j=1
N
Nj θj
N, Ω = ( )Nij Nj xi = ∫ (t) (t)dtΩjk N
′′
j
N
′′
k
(y − Nθ (y − Nθ) + λ Ωθ.min
θ
)
T
θ
T
= ( N + λΩ y,θ
ˆ
N
T
)
−1
N
T
= N( N + λΩ y,yˆ N
T
)
−1
N
T
42. Traceオペレータ
は行列 の固有値の和に等しい（証明略）
行列 , について、 が成り立つ
（証明略）
のとき、 . よって、
.
trace(A) A
A(n × m) B(m × n) trace(AB) = trace(BA)
λ = 0 = N( NSλ N
T
)
−1
N
T
trace( ) = trace (N( N ) = trace ( N( N ) = trace ( ) = NSλ N
T
)
−1
N
T
N
T
N
T
)
−1
IN
45. 固有値について
正方行列 について、ベクトル とスカラー が
を満たすとき、 を の固有値、 を対応する固有ベクトルと呼ぶ.
が の固有値で、かつ が正則なら、 は の固有値（証明略）
が対称行列の場合、固有値は全て実数で、かつすべての固有ベクトルが互いに直交
するように選ぶことができる（証明略）
が対称行列の場合、 は直交行列 と対角行列 を用いて次のように分解すること
ができる（証明略）. これを固有値分解という.
A v ρ
Av = ρv
ρ A v
ρ ≠ 0 A A ρ
−1
A
−1
A
A A Q Λ
A = QΛQ
T
46. 固有値について
正方行列 について、任意のベクトル について
が成り立つ場合、 は半正定値 (positive semidefinite)という.
同様に なら半負定値 (negative semidefinite), なら正定値
(positive definite), なら負定値 (negative definite)という.
半正定値行列の固有値は全て非負（証明略）
A x
Ax ≥ 0x
T
A
Ax ≤ 0x
T
Ax > 0x
T
Ax < 0x
T
47. は の固有値
は の固有値なので、 を対応する固有ベクトルとすると と書ける.
よって、 は の固有値 (固有ベクトルは ). したがって、 は の固
有値.
(λ) = (1 + λρk dk )
−1
Sλ
dk K v K = vdk dk
v = (I + λK)v = v + λKv = v + λ v = (1 + λ )v.S
−1
λ
dk dk
(1 + λ )dk S
−1
λ
v (1 + dk )
−1
Sλ
48. の中には少なくとも2つのゼロが含まれ
る
はスプライン基底なので、定数項と1次の項を含む. 簡単化のため、
を定数項と1次の項とすると、 . したがって、全ての について、
ここで、 とすれば、
となるから、 は固有値ゼロを2つ以上持つ.
さらに、 の固有値を考える. ベクトル とすると、
となる. 同様に、 についても なので、 は固有値ゼロを2つ以
上持つ.
( , … , )d1 dN
( , … , )N1 NN
,N0 N1 = 0, = 0N
′′
1
N
′′
2
j
= = = = 0Ω1,j Ω2,j Ωj,1 Ωj,2
= (1, 0, 0, … , (0, 1, 0, …v1 )
′
v2 )
′
Ω = 0 = 0 × , Ω = 0 = 0 ×v1 v1 v2 v2
Ω
K = ( ΩN
T
)
−1
N
−1
= Nu1 v1
K = ( Ω N = ( Ω = 0 ×u1 N
T
)
−1
N
−1
v1 N
T
)
−1
v1 u1
= Ku2 v2 K = 0 ×u2 u2 K
49. 各要素が になっているようなベクトル を考えると と
書ける. 任意のベクトル について、
したがって は半正定値.
ここで . 任意のベクトル について、
したがって も半正定値なので、その固有値は非負.
≥ 0dk
(x)N
′′
j
N
′′
Ω = ∫ (t) (t dtN
′′
N
′′
)
T
v
Ωv = ∫ (t) (t vdt = ∫ ( (t v dt ≥ 0v
T
v
T
N
′′
N
′′
)
T
N
′′
)
T
)
2
Ω
K = ( Ω = ( QΛ = PN
T
)
−1
N
−1
N
T
)
−1
Q
T
N
−1
P
T
P = Λ
1/2
Q
T
N
−1
v
Kv = Pv = (Pv (Pv) ≥ 0v
T
v
T
P
T
)
T
K
