18. 18
8.1.3 離散変数
• パラメータ数について議論
K個の状態をとりうる離散変数xの確率分布
K
p( x | µ) = ∏ µ kxk (8.9)
k =1 K-1個のパラメータ
2つのK状態離散変数x1及びx2がある場合
K K
p( x1 , x2 | µ) = ∏∏ µ kl1k x2 k
x
k =1 l =1 K2-1個のパラメータ
変数M個の時:KM-1個のパラメータ→指数的に増大
19. 19
8.1.3 離散変数
a) 全結合 パラメータは K2-1個
a) 独立と仮定 パラメータは 2(K-1)個
リンクを除去することによって、パラメータの数を減らすことが可能
ただし、独立と仮定してしまうので、モデルの表現力は減少
全結合だとパラメータが多すぎる。独立性を仮定しすぎると表現力が失われる。
折衷案として、例えば上のような連鎖を考えると
K-1+(M-1)K(K-1)個のパラメータ ・・・・ O(K2M)