IBISML33 Variable-order infinite hidden Markov models

1. 可変次数無限隠れマルコフモデル
内海 慶＜kuchiumi@d-itlab.co.jp＞
持橋大地＜daichi@ism.ac.jp＞
2018/9/28 Denso IT Laboratory All Right Reserved 1

2. 概要
• 投稿論文の概要
– 高次HMMの問題を解決し，その有効性を示した
– 高次HMMの問題
• 次数をいくつにすれば良いのか
• 計算量が大きくなるため高次化が難しい
• パラメータ数が増加し，データスパースネスの問題が生じる
2018/9/28 Denso IT Laboratory All Right Reserved 2

3. （1次）隠れマルコフモデル
2018/9/28 Denso IT Laboratory All Right Reserved 3
状態列
観測列
時系列データを扱うために広く使われるモデル
e.g. 品詞推定，形態素解析，音響モデル，運転行動分析

4. 隠れマルコフモデルの近年の研究
状態数有限 状態数無限
1〜2次
[Goldberg, ACL-HLT2008]
[Goldwater, ACL2007]
[Blunsom, ACL-HLT2011]
[Paisley, IEEE2009]
[Gael, EMNLP2009, ICML2008]
[Beal, NIPS2002]
高次
（3次以上）
[Carter, EMNLP2010]
英語の品詞の教師あり学習では5-
gram(4次)が最も高い accuracy
取り組まれていない
2018/9/28 Denso IT Laboratory All Right Reserved 4

5. 高次化が持つ問題
• 問題に合わせた最適な次数が不明
– e.g. 英語の品詞推定では4次が良い．日本語や中国語は？
• 計算量の問題
– 計算量がn乗
• データスパースネス
– パラメータ数もK^n
– パラメータを学習するのに大規模な学習データが必要
2018/9/28 Denso IT Laboratory All Right Reserved 5
viterbiアルゴリズムの例

6. 研究目的
• 高次化の問題を解決する新しい高次無限HMMを提案する
– 次数は？
– 計算量は？
– パラメータ数？
2018/9/28 Denso IT Laboratory All Right Reserved 6
データから
推定
（ドメイン知識不要）

7. 提案手法の生成モデル
2018/9/28 Denso IT Laboratory All Right Reserved 7
各時刻に次数を扱うための潜在変数を追加
・次数を潜在変数として扱い，データからサンプルする
・各時刻毎で可変次数とすることで，必要な箇所のみ高次化
→ 計算量，パラメータ数の削減

8. 提案手法の学習手続き
• 各データ i について，以下を行う
1. パラメータからデータ i の影響を削除
2. データ i の各時刻の次数をサンプル
3. 各時刻の状態をサンプル
4. パラメータの更新
2018/9/28 Denso IT Laboratory All Right Reserved 8

9. 次数のサンプリング
2018/9/28 Denso IT Laboratory All Right Reserved 9
0 1 2 1 ... nt
0 3 1 5 ... 4
y1 y2 y3 ... yt
S の値は過去のサンプルを用いる
※ パラメータへの影響は削除済み
状態列sの遷移確率と次数の事前分布の積から
各時刻の次数をサンプリングする

10. 状態のサンプリング（1/2）
• Beam Sampling[Gael, ICML2008]を拡張したもの
2018/9/28 Denso IT Laboratory All Right Reserved 10
0 1 2 1 ... 3
0 {1,3} {1,4} {5} ... {?}
y1 y2 y3 ... yt
時刻t の遷移確率
（3次）
状態
42 5
μt
閾値を超える状態
のみ考慮する
閾値も確率的にサンプリング
{2, 4, 5}
無限の状態を有限にする

11. 状態のサンプリング（2/2）
• Forward-filtering Backward-sampling
– 以下の前向き確率に従って末尾から先頭まで状態をサンプル
2018/9/28 Denso IT Laboratory All Right Reserved 11
pt：遷移確率，p’：状態列の事前分布

12. 実験・評価
1. トイデータによる実験
– 次数の異なるパラメータから生成されたデータ
2. 品詞推定
– 品詞の文脈依存の確認
– 英語・日本語・中国語の品詞推定
3. 連続値データ
– 運転データへの適用
2018/9/28 Denso IT Laboratory All Right Reserved 12

13. トイデータ
• 以下のパラメータから500件の系列を生成
2018/9/28 Denso IT Laboratory All Right Reserved 13
E:出力確率，A:1次の遷移確率，B:2次の遷移確率
次数の異なる遷移確率から
生成されている点に注意
従来では最大次数に合わせた
パラメータのみを持つ

14. 獲得したパラメータ
2018/9/28 Denso IT Laboratory All Right Reserved 14
・1次の場合
状態3への遷移確率が0
・2次の場合
2つ前の状態が1，2，4の時に3へ遷移

15. 品詞推定
• 使用データ
2018/9/28 Denso IT Laboratory All Right Reserved 15

16. 品詞の文脈依存
2018/9/28 Denso IT Laboratory All Right Reserved 16

17. 品詞遷移の条件付きエントロピー
2018/9/28 Denso IT Laboratory All Right Reserved 17
高次の文脈を見ることで小さくなっている
日本語や英語では2次くらいからなだらか

18. 品詞推定精度
2018/9/28 Denso IT Laboratory All Right Reserved 18
iHMMがベースライン（Gael,2008）
全てのコーパスで提案手法が最も高い精度となった

19. 定性的な比較
2018/9/28 Denso IT Laboratory All Right Reserved 19
「の」を見ると，
・名詞の前 → 「助詞」
・助詞の前で，さらに「の」の前が動詞→「名詞」
文脈に応じて品詞が変わっていることを確認

20. 連続値対応
• 出力確率をガウス分布へ変更
– 平均と分散もベイズ推定
2018/9/28 Denso IT Laboratory All Right Reserved 20

21. 連続値データ
• 走行ログ
• 特徴量
2018/9/28 Denso IT Laboratory All Right Reserved 21
デモ

22. 2018/9/28 Denso IT Laboratory All Right Reserved 22

23. まとめ
• 可変次数の無限隠れマルコフモデルを提案した
– 局所的に高次を扱うことで効率的な学習を実現
– 異なる次数のパラメータを持つことでパラメータを削減
• 実際にはパラメータは積分消去しているので観測値のみ持つ
– 品詞推定タスクで最高精度を達成
– 連続値データへも適用できることを示した
2018/9/28 Denso IT Laboratory All Right Reserved 23

24. 今後
• 離散の出力確率を階層Pitman-Yor過程に変更する
• 連続値の場合の定量的な評価を行う
• 高速な状態予測のアルゴリズムの検討
2018/9/28 Denso IT Laboratory All Right Reserved 24