1. 坪坂 正志 Twitter @tsubosaka Mail: m{dot}tsubosaka@gmail.com PRML勉強会(第11回) LDPC符号について 2010/02/06 1 PRML勉強会第9回

2. 概要 8.4.7でループあり確率伝搬の有用な例として紹介されている誤り訂正符号であるLDPC符号の概要について説明します 詳しく知りたい方はMackayの教科書とかを読んでください David Mackay : Information Theory, Inference, and Learning Algorithms (http://www.inference.phy.cam.ac.uk/mackay/itila/book.html, Webからpdfが無料でダウンロードできます) Frank R. Kschischang, Brendan J. Frey, Hans-Andrea Loeliger : Factor Graphs and the Sum-Product Algorithm, IEEE Trans. Inform Theory, Vol 47, No 2 , 2001 2010/02/06 PRML勉強会第9回 2

3. 通信路符号化 雑音のある通信路において、情報を送信する ことを考える 情報に冗長性を持たせることによって、通信中に誤りがあっても訂正するような符号を構成する 2010/02/06 PRML勉強会第9回 3

5. 通信路符号化定理 シャノンの第二基本定理とも呼ぶ Claude Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423 and 623–656, 1948 通信レート R = n / k がXとYの相互情報量 I(X,Y)以下ならばn->∞のとき誤りのない通信が可能となる 通信路符号化定理は上を満たす符号化が存在することを保障するが構成法については述べていない 2010/02/06 PRML勉強会第9回 8

6. LDPC符号 LDPC符号は各種符号化の中でも理論限界に最も近い性能を持つ符号である 衛星通信や10GBase-Tなどで用いられている 2010/02/06 PRML勉強会第9回 9 日経エレクトロニクスより引用 http://techon.nikkeibp.co.jp/article/WORD/20060306/114138/

7. 線形符号 メッセージ 生成行列 : 行列 符号 符号語 は で計算される を満たすHをパリティ検査行列という: 2010/02/06 PRML勉強会第9回 10

8. LDPC符号 パリティ検査行列が疎行列である線形符号のことをLow Density Parity Check符号という 疎行列を用いることによって次で出てくるグラフィカルモデルによる表現の際にループがあまりないという性質を持たせることができる 2010/02/06 PRML勉強会第9回 11

9. Factor Graphによる表現 パリティ検査行列 入力 x 観測値 y 2010/02/06 PRML勉強会第9回 12 接続しているxのパリティ和が0のとき1,そうでないとき0をとる (Kschischang et al. 2001)

10. Sum-Product ループがあるため本当はsum-productは適応できないのだけど、ループがないと考えてsum-productアルゴリズムを実行する 行列を疎かつランダムに作るとグラフにほとんどループができないためこれでも上手くいく 実験的に短いループが多い場合は性能が悪くなることが分かっている P(x_i | y)を計算してMAP推定する 2010/02/06 PRML勉強会第9回 13

11. 最近の話 Loopy BPの代わりに線形計画法を使うことによって、より復号誤り率を低くできる Jon Feldman, Martin J. Wainwright and David R. Karger: “Using linear programming to decode binary linear codes”, IEEE TRANSACTIONS ON INFORMATION THEORY, VOL. 51, NO. 3, MARCH 2005 有歪みあり圧縮への応用 Y.Matsunaga and H.Yamamoto, "A coding theorem for lossy data compression by LDPC codes", IEEE-ISIT2002, June 30-July 5, 2002 本多, 三宅, 山本, 丸山，"LDPC符号と線形計画法を用いた情報源符号化", 信学技法, IT2008-13, pp.27-32, 2008 J.Honda, H.Yamamoto, "Variable Length Lossy Coding using an LDPC Code", IEEE-ISIT2009, pp.1973-1977, June 28- July 3, 2009 2010/02/06 PRML勉強会第9回 14