はじパタ6章前半

9/17/2013 6th #はじパタ #ピンクの薄い本 1
はじめてのパターン認識
６章線形識別関数前半（pp.71-82）
@tanimocchi

自己紹介
 Twitter ID： @tanimocchi
（もっちぃ）
 修士(数学)、博士(情報科学)
 所属：ﾀﾋにかけ半導体
 仕事：マーケティングなのか
ブランディングなのか？
 統計解析とパターン認識・機械学習は必要！だと信じてる。
 統数研公開講座に結構参加してますので、ご一緒の際は宜しくお願いします。
 アンケート設計・分析に従事しつつ、新規市場開拓も
 画像認識・センサ応用技術開発にも袖触れ合う程度に関係

4.2.2項のおさらい
 ベイズ誤り率最小識別規則：正規分布を仮定して
   
   
     
       
  x
ΣμxΣμxx
xxx
ΣμΣμCΣΣS
xCx
xCSxxx
i
i
iiiiii
jiij
jiijji
ij
ij
ji
g
CPg
ggf
Ff
Ff
CC
minarg
ln2ln
,
,,
02
02
,
1
1111










　識別クラス
　　　
　　　
　　　
　線形識別関数：
　２次識別関数：
の識別境界クラス
分散・共分散行列
平均事前確率
 
という形で表される。
　　
、一般に線形識別関数は
0wf  
xwx
次元の超平面線形識別関数：
次元入力データ：
的意味線形識別関数の幾何学
1-d
d


6.1 線形識別関数の定義
目的
・線形識別関数が２つのクラスを超平面で区分
・多クラス問題への拡張

6.1.1 超平面の方程式 [1/7]
   
 
 
 
  
  
 
  　となる。従って識別境界は、
　
　　
　　
　　識別クラス
、識別規則は　を識別境界とすると
：バイアス項　　
：係数ベクトル　　
次元入力ベクトル：　　
の線形識別関数：クラス問題
0
0
0
0
0
,,
d,,
,2
00
0
2
1
0
1
1
021




























w
w
d
d
f
ww
wf
fC
fC
f
w
ww
xx
wfCC
xnx
xn
w
x
w
w
w
x
w
w
xwx
x
x
x
w
x
xwx











ww
w
n 0
,
w
w

6.1.1 超平面の方程式 [2/7]
   0 
wf xnx超平面：
：法線ベクトルn
 位置ベクトル　　
：超平面上の任意の点P
 原点　0
 
Pn
PnPP




w
wf が成立。に対して、位置ベクトル 0
ルは直線①の法線ベクト
直線②より、直線①
　直線②：
直線①：












































b
a
y
x
b
a
y
x
b
a
c
y
x
b
a
//
0
0
  0xf
  0xf

6.1.1 超平面の方程式 [3/7]
   0 
wf xnx超平面：
n
P
 原点　0
x
Px 
    0 
PxnPnxnxPn fw より、
 Pxn 幾何学的には、
  0xf
  0xf

6.1.1 超平面の方程式 [4/7]
   0 
wf xnx超平面：
n
P
 原点　0
x
 は単位法線ベクトル　　　　 nP
PnPn


cos
cos

 
w
w

原点から超平面への距離
正規化されたバイアス
  0xf
  0xf

6.1.1 超平面の方程式 [5/7]
   0 
wf xnx超平面：
n
  0xf
  0xf
P
 原点　0
'x
w

 
1'
0'''
C
f ww

 
x
xnxxn

6.1.1 超平面の方程式 [6/7]
   0 
wf xnx超平面：
n
  0xf
  0xf
P
 原点　0
''x
w

 
2''
0''''''
C
f ww

 
x
xnxxn

6.1.1 超平面の方程式 [7/7]
 
ことを確かめよ。
のように表現できるを用いて、識別境界がルを求め、適当なベクト
の直線の法線ベクトルで表されるとする。こ　識別境界が直線例題
0
226.1



PxnP
xy
   
 
 
      
      
  として表現できた。を　即ち、
　　　　　　　
　
すると、を直線上の任意の点と　
より、法線ベクトル　　
は直交。とより、解答　　
022
022
5
1
22
5
1
2
5
1
5
1
5
2
02b2
5
1
5
2
512
1202
1
2
02y2
22















 







 





















Pxn
Pxn
P
w
w
nw
wx
xy
yxbayx
byax
by
ax
aba
yx
y
x
x

6.1.2 多クラス問題への拡張 [1/9]
K(>2)クラスの識別関数の作り方
・一対多（one-versus-the-rest）
・一対一（one-versus-one）
・最大識別関数法
識別不能領域
（空白クラス）発生
解消！

  
  
  0;
0;
1,,1
21-K







　
　
を用意　線形識別関数
クラス個のてのクラスを識別する一つのクラスと他の全
x
x
x
j
j
K
j
j
fKj
fj
C
C
Kjf 
(1) 一対多
クラス2
クラス3
クラス1
  01 xf
  02 xf
  01 xf   02 xf
    00 21  xx ff
    00 21  xx ff ←空白領域（１か２か識別不能）

 
    
       
 jvote
fKljfjijvote
KKKjif
KKCji
j
jlij
ij
K
maxarg
0|#0|1#
:
211
2212




　　　　　
識別クラスを決定
で個の識別関数の多数決を用意し、　
クラス線形識別関数個のを識別するとクラス
xx
x
(2) 一対一 [1/2]
 
  に投票　　
に投票　　
多数決投票ルール：
jf
if
ij
ij


0
0
x
x
クラス3
クラス2
クラス1
  013 xf
  012 xf
     
     
     
     
      evenvotevotevote
fff
voteff
voteff
voteff





　　　　　
空白領域：
：クラス
：クラス
：クラス
13,11,12
000
23003
22002
21001
231312
2313
2312
1312
xxx
xx
xx
xx
  023 xf

 
能性ありない票が投票される可　仕方に依っては関係
義の別クラスの判定法の定個が無関係であり、識②
がとれないより、多数決で過半数①
ある手法である。従って、下記の懸念が
個の　　　　　
に対しては、タ　１つ固定した入力デー　　　例
個の個数に直接関連したクラス　入力データのクラス
個　識別関数の個数
を識別する場合個手書き文字
36
95.22245
9,,,,,,,,
3)
9
45
,90,ex.10
393837363534231303
210



fffffffff
C

(2) 一対一 [2/2]

(3) 最大識別関数法 [1/5]
 
   
   
       
   
   
に一致。ラスの場合の識別境界この識別境界は、２ク
　　　　　
　　　　　
　　
よりの識別境界は、とクラス
一意性？義　を識別クラスとして定識別関数を最大とする
0
maxargmaxarg
00
00
00
0










jiji
jiji
jjiijiij
ji
jj
j
j
j
j
ww
ww
wwfff
ffji
wf
C
xww
xww
xwxwxxx
xx
xwx
以下、最大識別法にて、K(>2)個の線形識別関数で、
K個のクラス(領域)に必ず分割可能である事を示す。

 
 
 
  は凸でない。となり、　　即ち、
穴に属する点が存在。点を結ぶ直線上には、　　をとると、
点ると、その穴を跨ぐ２に穴が開いているとす　　
は凸でない」を示す。が単連結でない　対偶、即ち「証明
穴の開いていない領域は単連結が凸補題：
」「　　　
が凸定義：領域
RR
RR
RR
RR
RR
R





21
21
2121
1;10
2
,
1*,10;,
xx
xx
xxxxx



 
   
 
          
          
  は凸。となり　　クラス　　　
　　　　　　
　　　
数の線形性とから、　　とすると、識別関
をとり、と　　さて、任意に
　　　
の定義から、とすると、識別クラスクラス　　
事のみ示せば良い。　補題から、凸である証明
める領域は単連結で凸命題１：各クラスの占
RReiRif
ijforffff
ffff
R
ffijR
iR
k
k
jjjj
iiii
ji






*.,.*maxarg
*11
11*
1*10,
,,
2121
2121
2121
xx
xxxxx
xxxxx
xxxxx
xxx




 
     
 
するからである。空白クラスが現れ矛盾何れかが判別できない
とすると、２つの何故なら、一意でないである事が示される。
スの定義が一意別関数法での識別クラ上記命題から、最大識
矛盾。として識別されるためラス　　空白エリアは、ク
となり、、は線形関数であるためと　　然るに、
ルを持つ。にて同一の法線ベクトは、と　　即ち、
　　　　
が存在したとすると、次元の空白エリア　　
　背理法にて示す。証明
エリアなし識別境界を除いて空白法命題２：最大識別関数
ji
ffff
Aff
ffAjifAji
Ad
jiji
ji
jiij




xxxxx ,;,0,;,

 
れる。個の領域に必ず分割さ個の識別関数で、　　従って、
命題２の主張に矛盾。来た事となり、これは　　の空白エリアが出
個とすると、個の領域に分割されたなる　　今仮に、
。個の領域に分割される高々飛び地はできないので　　ため、
各クラスは凸である個であり、命題１から　識別関数は証明
れる個の領域に必ず分割さ個の識別関数で、　　　　
法命題３：最大識別関数
kk
k)(
k
kk
lklkl 


6.2 最小２乗誤差基準に
よるパラメータの推定
目的
・最小2乗誤差基準による線形識別関数の
パラメータが正規方程式により得られる事
・多クラス問題への拡張

6.2.1 正規方程式 [1/7]
 
 
 
   
 
 
 
 ：教師ベクトル　　
：データ行列　　
を以下とする。と教師ベクトルとし、データ行列また、学習数を
のとする。のように与えられるも
　　
　　
　　
により、教師入力が所属するクラスは、さて、入力ベクトル
トル　番目の学習用入力べク：　　
先変数：入力ベクトルの代入　　
：バイアス項：係数ベクトル、　　
　　
線形識別関数


















N
N
i
i
i
ii
iidii
d
d
dd
tt
N
C
C
t
t
xixx
xx
wwww
xwxwwf
,,
,,
1
1
1,,,1
,,,1
,,,
1
1
2
1
01
1
010
110






t
xxX
tX
x
x
x
x
x
w
xwx

6.2.1 正規方程式 [2/7]
 
      
   
  
      より、スカラスカラ　　　　　
　　　
　　　
　　　
　　　
　　
乗誤差とすると教師入力の差のを識別関数の出力値と評価関数
tXwXwtXwXwXwttt
XwXwtXwXwttt
XwtXwt
XwtXwt
xw
xw
xw
xw
xw
xw
xwxw
w




















































 


2
2
22
11
22
11
1
2
1
2
NNNN
N
i
ii
N
i
ii
t
t
t
t
t
t
tftE
E
 


















































































NNddN
dd
dNdNN
d
dNd
N
xwxww
xwxww
w
w
xxx
xxx
w
w
w
w
xw
xw
x
x
xxXw









1
110
11110
0
21
11211
010
1
1
1
,,

6.2.1 正規方程式 [3/7]
 
 
 
 
 
 
。ハット行列と呼ばれる
、に変換する行列でありを予測値は、教師データ行列
となる。
　　
は、測値学習データに対する予
：正規方程式　　
　　
の最小を与えるになるパラメータがでの微分が故に、
　は下に凸な関数評価関数
ttXXXX
tXXXXwXt
t
tXXXw
tXXwXXwXtX
w
w
ww
XwXwXwtttw
ˆ
ˆˆ
ˆ
ˆ
022
0
2
1
1
1











E
E
E
   
  
   
  tX
w
wtX
w
Xwt
XttXwxtXaa
x
xa
BXXXXBXwX
w
XwXw
wxXXBxBB
x
Bxx























　　
からとおくと、で、　公式　
　　　　
とおくと、で、　公式　
,
2
,

   
 
  の存在を保証可能。
とできで、入力ベクトルの与え方
：正方行列　
より
1
1
1,1
,1,1,






XX
XX
XX
dN
ddM
NdMdNM

6.2.1 正規方程式 [4/7]
     
   
  
 
となる等高線を描け。　が
平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項
平面に図示せよ。識別関数をを求めよ。　
いに答えよ。としたとき、下記の問
をとする。学習データ対　識別関数を例題
6,0,6
,1(3)
,1,(2)ˆ(1)
2,1,
,1,1,,16.2
1000
11
212
11111010



xxxw
xfx
xt
xtxwwxxf
w
 
  






































































































2
3
1
1
11
12
1
1
21
11
23
35
ˆ
23
35
53
32
21
11
21
11
21
11
1
1
21
11
)1(
1
1
2
1
210
110
tXXXw
XXXXX
tX
　　　
、、　　　
、教師ベクトルデータ行列
解答　
t
t
xx
xx

6.2.1 正規方程式 [5/7]
     
   
  
 
6,0,6
,1(3)
,1,(2)ˆ(1)
2,1,
,1,1,,16.2
1000
11
212
11111010



xxxw
xfx
xt
xtxwwxxf
w
     
    1
1
1
23
1
2,3
2,3ˆ,,1,ˆ(2)
x
x
fy
xf







 
x
wxxwx
　　　
より識別関数
解答
 1,1 xfy 
0f
0f
が識別境界5.11 x
y
x

6.2.1 正規方程式 [6/7]
     
   
  
 
6,0,6
,1(3)
,1,(2)ˆ(1)
2,1,
,1,1,,16.2
1000
11
212
11111010



xxxw
xfx
xt
xtxwwxxf
w
     
    10
1
0
10
232,3
2,3ˆ,,,ˆ(3)
xx
x
x
fy
xxf







 
x
wxxwx
　　　
より識別関数
解答
  0, 10 xxf
1x
0x
法線ベクトル
2
2
  6, 10 xxf
  6, 10 xxf
10 x
標準座標系での識別境界
 10 xが現れる平面
標系同次座標系内の標準座
標準座標系同次座標系

6.2.1 正規方程式 [7/7]
  示せ。は必ず原点を通る事をば、識別境界　同次座標表現によれ例題 06.3 xf
 
 
   
なる。　は識別境界上の点と
　　　
より、。識別境界は、　のように表現される
　　　
は、識別関数は解答　同次座標表現で




0,0,
0
23
10
10
xx
f
xxf
x
x
x
 
  。を線形識別関数とするを用いて、
表現ので、以降、同時座標平面として表現可能な
点を通るは、同次座標系では原に依らず
アス項平面で表現され、バイバイアスは
xwx
x




f
f
x
0
10

   
 
 
 
 
 
 
  を求める。乗誤差を与えるこの前提で、最小
個の学習データ：　　
個の教師ベクトル：　　
個のベクトル：要素数　　　
それ以外
番目のクラスに属する番目の学習入力が
　
　
　　　
：教師ベクトル　　　
：識別関数　　　
















K
N
N
i
ik
iNii
kk
N
N
K
ki
t
tstt
Kkf
wwW
xxX
ttT
t
t
xwx
,,ˆ2
,,
,,
0,,1,,0
0
1
..,,
,,1
1
1
1
1







 
      
   
 














 

 






































K
k
kkkkkk
K
k
kkkk
K
k
NkNk
kk
kk
NkNk
kk
kk
K
k
N
i
ikik
K
k
N
i
ikik
t
t
t
t
t
t
tftE
E
1
1
1
22
11
22
11
1 1
2
1 1
2
2
2
XwXwXwttt
XwtXwt
xw
xw
xw
xw
xw
xw
xwxw
w
　　　
　　　
　　　
　　
乗誤差とすると教師入力の差のを識別関数の出力値と評価関数


   
   
 
 
           xWxwwx
w
w
xwxwxxxf
TXXXW
TXXWX
tXXwX
XwXtX
w
w
wwXwXwXwtttw
ˆ,,,,,,
2ˆ
0
,,10
,,1022
,,2
1
1
11
1
1
1






























K
K
KK
jj
jj
j
K
K
k
kkkkkk
ff
Kj
Kj
E
E




　
識別関数
ラメータ乗誤差を最小にするパ　　　　
　　
　　　　
　　　　
で偏微分を、評価関数

 
　行かない！！
だと上手く並んでいるような分布のクラスが一直線上に　
かない場合あり！上手く行く場合と、行　
識別規則
2
maxarg



K
f j
j
x

6.3 線形判別分析
・線形識別関数：
・最小2乗誤差法：教師データに忠実になるよう
fを求めた
・線形判別分析：1-dimに写像したとき、クラス
間の分布が出来るだけ重ならないようにする
 重なりの少ない写像を実現するベクトルw
を見つける事が大事！
上のスカラ関数ベクトル次元ベクトル wd
  xwxx 
f w
0w

6.3.1 フィッシャーの線形判別関数 [1/9]
 
 
 2121
22
11
21
1
,2
μμw
μwμ
xμ
xw









mm
m
N
y
CN
CN
CC
kkk
Ci
i
k
k
i
　　
る、クラス分離が良くな平均の差が大きいほど
　　写像：
　　平均ベクトル：
線形変換　線形識別関数
向け学習データ数：　
向け学習データ数：　
問題クラス

0w
w

 
   
   
シャーの基準という。を見つける事をフィッを最大にする
　　
内変動の比クラス間変動とクラス
　　
全クラス内変動はクラスしかないので、
　　　　
次元に写像後の分散クラス内変動
　　　
乗平均の差のクラス間変動
w
w
xw
2
2
2
1
2
21
2
2
2
1
22
2
21
2
1:
2:
SS
mm
J
SS
ymyS
mm
ii
Ci
kik
i












    
          
  
   より、対称行列
変動行列学習データのクラス間：線形変換される前の
　　
　　
スカラスカラ　　　　
　　　
乗平均の差のクラス間変動











2121
2121
2121
2
21
2
21
2:
μμμμS
S
wSw
wμμμμw
μμwμμw
μμw
B
B
B
mm


    
          
  
     
     
 
  wSwwSSwwSwwSw
SS
wSw
xAAxAxAwμxμxw
xxxwμxμxw
wμxμxw
μxwμxw
μxw
w
wk
k
Ci
kiki
Ci
kiki
Ci
kiki
Ci
kiki
Ci
ki
Ci
kik
SS
yyyy
myS
i
i
i
i
ii



































2121
2
2
2
1
2121
2121
222
,
1:
　
は対称行列構成の仕方から全クラス変動　　
　　
　　　　
　　　　
　　
スカラスカラ　　　　
　
次元に写像後の分散クラス内変動




 
   
        




























wSwS
wSSwSSSS
w
wSSw
wSSwwSwwSw
wSwwSw
wSw
wSw
wSwS
w
wSw
wSw
w
wB
wBwBwB
wB
wBwB
wB
w
B
wB
w
B
J







　　
　　
　　
　　　
、を未定乗数と見立てて　
　　
問題の解は、次の一般化固有値これを最大にする解
　　
フィッシャーの基準は
02
0

も対称行列は対称行列より、 wBwB SSSS ,

 
 
       
 
 
 
来ない。で、直接求める事が出が消去されてしまうのの項で
　　
ーの基準では、イアス項。フィッシャが識別境界を与えるバであり、
　　
、さて、線形識別関数は
となる。による最適ながフィッシャーの基準
　　
より、
はスカラ内積　　　　
通常の固有値問題　　　　
とすると
0
2121
0
0
21
11
21212121
1
w
mm
w
wf
dGL
wBw
B
Bw
w
μμw
xwx
w
μμSwSSw
wμμμμwμμμμwS
wwSS
S













0w
w

  
   
   
    
違いのみとなる。
動行列は比例乗数の全クラスのクラス内変となり、共分散行列と
　　
より、
　　　　
　　
関数と仮定。すると、を持つ多次元正規分布
　　
散行例の値に依らず同じ共分
が、率に、クラス条件付き確を算出可能とするため
wpool
i
i
N
j
ijij
i
i
pool
k
NNNN
N
NN
N
i
NN
N
N
CP
N
N
CP
CPCP
k
kCPw
i
S
SS
SSΣ
SμxμxΣ
ΣΣΣ
x
111
2,1
11
,
2,1
21
2
2
2
1
1
1
1
2
2
1
1
2211
0









0w
w

   
 
 
 
 
      
線形変換に一致。最小識別規則で求めたとなり、ベイズ誤り率
は対称行列　　　
　　
とすると、
　　
にてルにて定義されたベクト
となる。
　　
のみ重要定数倍を無視した向きはよる最適解フィッシャーの基準に
　　
poolijpoolijpool
poolijiijj
poolji
iijj
pool
poolw N
ΣμμΣμμΣc
ΣμμΣμΣμc
ΣΣΣ
ΣμΣμc
μμΣw
w
μμΣμμSw











11
111
11
21
1
21
1
21
1
32.4
0w
w

0w
w
  
 
       
とすれば良い。への射影をのとなるような
　　
ように
にある章、即ち、じになる点を従って、事後確率が同
正規分布正規分布の線形変換は　正規分布で近似可能　
元の射影は、それぞれ一次に属するデータのへのため、
関数に従うと仮定したを持つ多次元正規分布共分散行例
の値に依らず同じは、クラス条件付き確率
0
2211
0 p.263
2,1
w
CPCPCPCP
w
C
kkCP
k
pool
k
wx
xx
Σ
x




Thanks a lot!

はじパタ6章前半

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Mais de T T

Mais de T T (9)

Último

Último (7)

はじパタ6章前半