O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
第4章 推定 前半
第 3 回「続・ 認識」読書会
@ksmzn
会場:株式会社 様 東銀座
January 27, 2015
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
自己紹介
Koshi @ksmzn
某大学 M2
法 研究
勉強中 ( )
@ksmzn 第 4 章 推定 前半 January...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
推定
1. 母集団分布 特徴 値
(母数) 。
2. 未知 、 値 興味
、観測値 用 未知
類推 推定 。
3. 章 最尤推定...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
例題4.1
1枚 投
n 回投 結果
x(n)
= x1x2 . . . xn
n 回中 r 回 表
θ 値 推定
最尤推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤原理
「現実 我々 得 観測 、確率最大
実現 結果 」 考 。
観測 x(n)
θ 、
P(x(n)
; θ) 最大 θ
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
観測値 得 確率
各試行 独立 , 観測値 得 確率
P(x(n)
; θ) =P(x1)P(x2)P(x3) . . . P(...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定
P(x(n)
; θ) 最大 θ ˆθ(最尤推定量)
、
ˆθ = argmax
θ
{P(x(n)
; θ)}
。
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
P(x(n)
; θ) 最大
未知 θ 値 尤 度合
P(x(n)
; θ) 、尤度 。
尤度 最大 θ 求 。
→ 微分 行 ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定量 求
対数尤度 微分 0
d
dθ
log p(x(n)
; θ) =
d
dθ
(r log θ + (n − r)...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
観測値 得 確率(n = 10)
@ksmzn 第 4 章 推定 前半 January 27, 2015 13 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定 推定
未知 扱
最尤推定 定数 見
推定 確率変数 見
確率変数 見 、
θ 具体的 値 推定 最尤推定 違 、
推定...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
定理
種類 対 用 、
定理 連続的 値 θ 定義 。
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
尤度
表 確率 θ n 回投 x(n)
得
確率 、各試行 独立
P(x(n)
|θ) =P(x1)P(x2)P(x3) . ....
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
尤度
x(n)
既 得 観測 、
θ 未知 、
尤度 P(x(n)
|θ) L
(
θ|x(n)
)
表 。
Tips
一般 、...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布
表 出 確率 θ 情報 何 、
事前分布 p (θ) 決 !!
↓
、
「 特性値 見当 」 知識
状態 表 、無情報...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
一様分布
今回 2 値分布 θ 何
示 無情報事前分布 、θ
取 得 区間 [0, 1] 上 一様分布 、
p (θ) = 1
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
周辺分布
尤度 事前分布 決 、周辺分布 求
P
(
x(n)
)
=
∫ 1
0
P
(
x(n)
|θ
)
p (θ) dθ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
関数 関数
B(α, β) 関数 、
B(α, β) =
∫ 1
0
uα−1
(1 − u)β−1
du
=
Γ (α) Γ ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
周辺分布 求
α 非負整数 場合、
Γ (α + 1) = α!
。 、
P
(
x(n)
)
=B(r + 1, n − r ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事後分布
値 定理 式 代入
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n)
) · p (θ)
=...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定 推定 比較
最尤推定→最尤推定量
ˆθ =
r
n
推定→事後確率
p
(
θ|x(n)
)
= (n + 1) · ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
分布
Be (α, β) =
θα−1
(1 − θ)β−1
B (α, β)
(0 ≤ θ ≤ 1)
前節 事後分布
p
(
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 問題 当
問題設定 Be (α, β)
表 出 回数 r α − 1
裏 出 回数 n − r β − 1
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 形状
@ksmzn 第 4 章 推定 前半 January 27, 2015 29 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 選択
観測 情報 、事前
知 情報 導入
専門家 見解、従来 検討、 他理論・
無情報事前分布
、θ 関 情報
一様分...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 Be (α, β)
事前分布 一様分布 Be (α, β) 使
↓
事前知識 、(α + β − 2) 回 投 、
表...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 Be (α, β)
事前分布 p (θ) Be (α, β) 用 。
p (θ) = Be (α, β) =
θα−1...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
共役事前分布
二項分布 θ 推定 際、事
前分布 分布 用 事後分布
分布 。
、事前分布 事後分布 同 分布族
属 、 事前分...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
推定 推定値
推定 得 、事後分布。
↓
推定値 得 !!
@ksmzn 第 4 章 推定 前半 January 27, 201...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
θ 推定値 候補
θ 期待値
ˆθ =E [θ]
=
α
α + β
=
r + 1
n + 2
決定法則 、損失関数 二次損失...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
θ 推定値 候補
θ 最頻値
ˆθ = argmax
θ
{P(θ|x(n)
)}
=M [θ]
=
α − 1
α + β −...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
期待値 最頻値 比較
@ksmzn 第 4 章 推定 前半 January 27, 2015 39 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 形状
@ksmzn 第 4 章 推定 前半 January 27, 2015 40 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1. 最尤推定 値 唯一 推定
(点推定)。
2. 推定 事後分布 求
。
3. 際、事前分布 共役事前分布 用
計算 容易 。...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
References
[1] 石井健一郎・上田修功 (2014) 『続・
認識 -教師 学習入門』
社
[2] G.Petris...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
清聴 .
@ksmzn 第 4 章 推定 前半 January 27, 2015 44 / 44
続・わかりやすいパターン認識 勉強会 4章前半
Próximos SlideShares
Carregando em…5
×

続・わかりやすいパターン認識 勉強会 4章前半

2.001 visualizações

Publicada em

続・わかりやすいパターン認識
勉強会
4章前半

Publicada em: Ciências
  • Seja o primeiro a comentar

続・わかりやすいパターン認識 勉強会 4章前半

  1. 1. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 第4章 推定 前半 第 3 回「続・ 認識」読書会 @ksmzn 会場:株式会社 様 東銀座 January 27, 2015 @ksmzn 第 4 章 推定 前半 January 27, 2015 1 / 44
  2. 2. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 自己紹介 Koshi @ksmzn 某大学 M2 法 研究 勉強中 ( ) @ksmzn 第 4 章 推定 前半 January 27, 2015 2 / 44
  3. 3. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 3 / 44
  4. 4. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 4 / 44
  5. 5. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 推定 1. 母集団分布 特徴 値 (母数) 。 2. 未知 、 値 興味 、観測値 用 未知 類推 推定 。 3. 章 最尤推定 推定 取 上 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 5 / 44
  6. 6. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 6 / 44
  7. 7. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 例題4.1 1枚 投 n 回投 結果 x(n) = x1x2 . . . xn n 回中 r 回 表 θ 値 推定 最尤推定 推定 推定 @ksmzn 第 4 章 推定 前半 January 27, 2015 7 / 44
  8. 8. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤原理 「現実 我々 得 観測 、確率最大 実現 結果 」 考 。 観測 x(n) θ 、 P(x(n) ; θ) 最大 θ 「最 尤 」 。 最尤原理!! @ksmzn 第 4 章 推定 前半 January 27, 2015 8 / 44
  9. 9. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 観測値 得 確率 各試行 独立 , 観測値 得 確率 P(x(n) ; θ) =P(x1)P(x2)P(x3) . . . P(xn) = n∏ t=1 P(xt; θ) =θr (1 − θ)n−r @ksmzn 第 4 章 推定 前半 January 27, 2015 9 / 44
  10. 10. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 P(x(n) ; θ) 最大 θ ˆθ(最尤推定量) 、 ˆθ = argmax θ {P(x(n) ; θ)} 。 推定法 最尤推定 @ksmzn 第 4 章 推定 前半 January 27, 2015 10 / 44
  11. 11. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 P(x(n) ; θ) 最大 未知 θ 値 尤 度合 P(x(n) ; θ) 、尤度 。 尤度 最大 θ 求 。 → 微分 行 ! 計算 、尤度 対数 。 (対数尤度) log p(x(n) ; θ) @ksmzn 第 4 章 推定 前半 January 27, 2015 11 / 44
  12. 12. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定量 求 対数尤度 微分 0 d dθ log p(x(n) ; θ) = d dθ (r log θ + (n − r) log(1 − θ) = r θ − n − r 1 − θ =0 ˆθ = r n 「n 回中 r 回表 出 割合」 、 直感的 妥当 結果 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 12 / 44
  13. 13. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 観測値 得 確率(n = 10) @ksmzn 第 4 章 推定 前半 January 27, 2015 13 / 44
  14. 14. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 14 / 44
  15. 15. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 推定 未知 扱 最尤推定 定数 見 推定 確率変数 見 確率変数 見 、 θ 具体的 値 推定 最尤推定 違 、 推定 未知 確率分布 推定 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 15 / 44
  16. 16. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 定理 種類 対 用 、 定理 連続的 値 θ 定義 。 p ( θ|x(n) ) = P ( x(n) |θ ) P ( x(n) ) · p (θ) p (θ) 事前分布、p ( θ|x(n) ) 事後分布 。 P ( x(n) ) x(n) 周辺分布 。 P ( x(n) ) = ∫ 1 0 P ( x(n) |θ ) p (θ) dθ @ksmzn 第 4 章 推定 前半 January 27, 2015 16 / 44
  17. 17. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 尤度 表 確率 θ n 回投 x(n) 得 確率 、各試行 独立 P(x(n) |θ) =P(x1)P(x2)P(x3) . . . P(xn) = n∏ t=1 P(xt|θ) =θr (1 − θ)n−r 値 θ 各値 「尤 」 表 、 尤度 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 17 / 44
  18. 18. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 尤度 x(n) 既 得 観測 、 θ 未知 、 尤度 P(x(n) |θ) L ( θ|x(n) ) 表 。 Tips 一般 、尤度 L ( θ|x(n) ) θ 対 確率分 布 。 実際 、尤度 全領域 [0, 1] 積分 1 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 18 / 44
  19. 19. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 表 出 確率 θ 情報 何 、 事前分布 p (θ) 決 !! ↓ 、 「 特性値 見当 」 知識 状態 表 、無情報事前分布 用 。 例 1. 一様分布 2. Dirichlet 分布 @ksmzn 第 4 章 推定 前半 January 27, 2015 19 / 44
  20. 20. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 一様分布 今回 2 値分布 θ 何 示 無情報事前分布 、θ 取 得 区間 [0, 1] 上 一様分布 、 p (θ) = 1 。 分布 Beta(1,1) 書 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 20 / 44
  21. 21. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 周辺分布 尤度 事前分布 決 、周辺分布 求 P ( x(n) ) = ∫ 1 0 P ( x(n) |θ ) p (θ) dθ = ∫ 1 0 θr (1 − θ)n−r · 1dθ =B(r + 1, n − r + 1) @ksmzn 第 4 章 推定 前半 January 27, 2015 21 / 44
  22. 22. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 関数 関数 B(α, β) 関数 、 B(α, β) = ∫ 1 0 uα−1 (1 − u)β−1 du = Γ (α) Γ (β) Γ (α + β) Γ (·) 関数 、 Γ(α) = ∫ ∞ 0 uα−1 e−u du 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 22 / 44
  23. 23. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 周辺分布 求 α 非負整数 場合、 Γ (α + 1) = α! 。 、 P ( x(n) ) =B(r + 1, n − r + 1) = Γ (r + 1) Γ (n − r + 1) Γ (n + 2) = r! (n − r)! (n + 1)! = 1 (n + 1) · nCr @ksmzn 第 4 章 推定 前半 January 27, 2015 23 / 44
  24. 24. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事後分布 値 定理 式 代入 p ( θ|x(n) ) = P ( x(n) |θ ) P ( x(n) ) · p (θ) = (n + 1) · nCrθr (1 − θ)n−r θ 事後分布 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 24 / 44
  25. 25. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 推定 比較 最尤推定→最尤推定量 ˆθ = r n 推定→事後確率 p ( θ|x(n) ) = (n + 1) · nCrθr (1 − θ)n−r @ksmzn 第 4 章 推定 前半 January 27, 2015 25 / 44
  26. 26. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 26 / 44
  27. 27. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 分布 Be (α, β) = θα−1 (1 − θ)β−1 B (α, β) (0 ≤ θ ≤ 1) 前節 事後分布 p ( θ|x(n) ) = (n + 1) · nCrθr (1 − θ)n−r 、 Be (r + 1, n − r + 1) 分布 ! @ksmzn 第 4 章 推定 前半 January 27, 2015 27 / 44
  28. 28. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 問題 当 問題設定 Be (α, β) 表 出 回数 r α − 1 裏 出 回数 n − r β − 1 総観測回数 n α + β − 2 @ksmzn 第 4 章 推定 前半 January 27, 2015 28 / 44
  29. 29. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 形状 @ksmzn 第 4 章 推定 前半 January 27, 2015 29 / 44
  30. 30. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 30 / 44
  31. 31. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 選択 観測 情報 、事前 知 情報 導入 専門家 見解、従来 検討、 他理論・ 無情報事前分布 、θ 関 情報 一様分布 事前分布 用 。 先 求 事後分布 分布 、 新 事前分布 用 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 31 / 44
  32. 32. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 Be (α, β) 事前分布 一様分布 Be (α, β) 使 ↓ 事前知識 、(α + β − 2) 回 投 、 表 (α − 1) 回、裏 (β − 1) 回観測 情報 得 。 ↓ 表 出 確率 θ 、「 α−1 α+β−2 」 知識 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 32 / 44
  33. 33. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 Be (α, β) 事前分布 p (θ) Be (α, β) 用 。 p (θ) = Be (α, β) = θα−1 (1 − θ)β−1 B (α, β) (0 ≤ θ ≤ 1) 、事後分布 、 p ( θ|x(n) ) = 1 Z1 · θα+r−1 · (1 − θ)β+n−r−1 =Be (α + r, β + n − r) 。(Z1 正規化定数) @ksmzn 第 4 章 推定 前半 January 27, 2015 33 / 44
  34. 34. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 共役事前分布 二項分布 θ 推定 際、事 前分布 分布 用 事後分布 分布 。 、事前分布 事後分布 同 分布族 属 、 事前分布 共役事前分 布 。 共役事前分布 用 、事後分布 導出 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 34 / 44
  35. 35. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 35 / 44
  36. 36. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 推定 推定値 推定 得 、事後分布。 ↓ 推定値 得 !! @ksmzn 第 4 章 推定 前半 January 27, 2015 36 / 44
  37. 37. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 θ 推定値 候補 θ 期待値 ˆθ =E [θ] = α α + β = r + 1 n + 2 決定法則 、損失関数 二次損失 選 、 期待損失 最小 値 選 同 。 →詳 、他 統計 本 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 37 / 44
  38. 38. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 θ 推定値 候補 θ 最頻値 ˆθ = argmax θ {P(θ|x(n) )} =M [θ] = α − 1 α + β − 2 = r n 決定法則 、損失関数 0-1 損失 選 、 期待損失 最小 値 選 同 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 38 / 44
  39. 39. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 期待値 最頻値 比較 @ksmzn 第 4 章 推定 前半 January 27, 2015 39 / 44
  40. 40. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 形状 @ksmzn 第 4 章 推定 前半 January 27, 2015 40 / 44
  41. 41. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1. 最尤推定 値 唯一 推定 (点推定)。 2. 推定 事後分布 求 。 3. 際、事前分布 共役事前分布 用 計算 容易 。 4. 事後分布 推定値 決 方法 、複数 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 41 / 44
  42. 42. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 References [1] 石井健一郎・上田修功 (2014) 『続・ 認識 -教師 学習入門』 社 [2] G.Petris[他] (2013) 『R 動的 線型 』 (統計 ) 和合肇・萩 原淳一郎訳, 朝倉書店 [3] 仁木直人 (2009) 『基礎情報学』 培風館 @ksmzn 第 4 章 推定 前半 January 27, 2015 42 / 44
  43. 43. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 清聴 . @ksmzn 第 4 章 推定 前半 January 27, 2015 44 / 44

×