MLaPP 2章 「確率」（前編）
•
2 gostaram•3,589 visualizações
機械学習輪講の発表資料 教科書：Kevin Murphy "Machine Learning: a Probabilistic Perspective" (MLaPP) 内容は確率の基礎についてです。
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Mais de Shinichi Tamura
Mais de Shinichi Tamura (7)
Último
Último (12)
MLaPP 2章 「確率」（前編）
- 2. La théorie des probabilités n'est, au fond, que le bon sens réduit au calcul
- 3. La théorie des probabilités n'est, au fond, que le bon sens réduit au calcul 確率理論とは、実は数式に落とし 込まれた常識にすぎない ―ピエール＝シモン・ラプラス
- 4. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 5. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題 内容的に盛りだくさんになって しまった上、作者が夏休みまで 時間が取れないため、前編の みの公開とします m(_ _)m
- 6. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 7. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 12. 確率とはなにか 確率値の２つの解釈 「この歪んだコインは、表が出る確率が0.6だ」 ……この言葉が意味するところはなにか？ そのコインを延々と投げ続けたら、 6割の回数だけ表が出るってことさ いや、ただ単に彼が『そのくらい だろう』と思っているだけだよ 客観確率 → 頻度主義 主観確率 →ベイズ主義 「主観確率だなんて厳密さに欠く！」と仰る方々 もいたようですが（Fisher とか Neyman とか…）、 ちゃんと確率の公理を満たすものですし、自然 科学に必要十分な客観性は備えています。
- 31. 確率とはなにか ベイズ主義によるパラメータ推定 ―発言者不明。2005年統計関連学会連合広島大会 「科学的な推論の形式としての Bayes 統計」セッションの 久保拓弥による記録より抜粋 http://eprints.lib.hokudai.ac.jp/dspace/bitstream/2115/49477/8/kubostat2008g.pdf “ ” 頻度論的な統計学を正しく使いこなせるのは Fisher のような天才だけ Bayesian は理解できてないバカが使っても間違 いがない……それが Bayesian の良いところです
- 32. 確率とはなにか ベイズ主義と頻度主義 ベイズ主義 頻度主義 確率とは… どのくらい曖昧に考えているか （主観確率） 無限回の試行の偏り （客観確率） 確率的なのは… パラメータ データ 推定するのは パラメータの… 分布 点 推定に必要な 試行回数は… 0回～ たくさん
- 36. 確率とはなにか どちらの立場を取るか ベイズ主義っしょ、どう考えても！ あくまで考え方の違いなので、お好きな方を。 でも、片方しか知らないのと、両方知った上で選ぶのは 大違い。だからちゃんと勉強しましょう！ （ベイズ主義については5章で詳しくやります） ※この MLaPP（をはじめ PRML や ESL など）では基本的に ベイズ主義に立っています
- 37. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 38. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 39. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 40. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 42. 確率論のおさらい 確率変数とは 起こりうる事象に対して値の定まる変数 • 離散確率変数 (Discrete Random Variable) – 例）ある人のこれまでの婚姻回数 • 連続確率変数 (Continuous Random Variable) – 例）ある人の体重 の2種類がある 論文などではrvと 略されることも
- 43. 確率論のおさらい 確率変数とは 起こりうる事象に対して値の定まる変数 • 離散確率変数 (Discrete Random Variable) – 例）ある人のこれまでの婚姻回数 • 連続確率変数 (Continuous Random Variable) – 例）ある人の体重 の2種類がある 論文などではrvと 略されることも
- 44. 確率論のおさらい 確率変数とは 起こりうる事象に対して値の定まる変数 • 離散確率変数 (Discrete Random Variable) – 例）ある人のこれまでの婚姻回数 • 連続確率変数 (Continuous Random Variable) – 例）ある人の体重 の2種類がある 同じ離散値でも、カテゴリカル変数（因子/factor）なのか順序変数なのかなども 意識したほうがいいことも！ 論文などではrvと 略されることも
- 45. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 46. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 47. 確率論のおさらい 離散確率変数の確率関数 確率質量関数 (Probability Mass Function) 「X = となる確率」を表す関数 p( )
- 48. 確率論のおさらい 離散確率変数の確率関数 確率質量関数 (Probability Mass Function) 「X = となる確率」を表す関数 p( ) 変数 が離散値なので、 関数 p( ) も離散的になる 確率なので 0≤p( )≤1 で 全て足すと1に
- 49. 確率論のおさらい 連続確率変数の確率関数 累積分布関数 (CumulativeDistributionFunction) 「X ≤ となる確率」を表す関数 F( )
- 50. 確率論のおさらい 連続確率変数の確率関数 累積分布関数 (CumulativeDistributionFunction) 「X ≤ となる確率」を表す関数 F( ) 連続なので 「X= となる確率」 は実質0
- 51. 確率論のおさらい 連続確率変数の確率関数 累積分布関数 (CumulativeDistributionFunction) 「X ≤ となる確率」を表す関数 F( )
- 52. 確率論のおさらい 連続確率変数の確率関数 累積分布関数 (CumulativeDistributionFunction) 「X ≤ となる確率」を表す関数 F( )
- 53. 確率論のおさらい 連続確率変数の確率関数 累積分布関数 (CumulativeDistributionFunction) 「X ≤ となる確率」を表す関数 F( ) 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数
- 54. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数
- 55. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数
- 56. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数
- 57. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数 ƒ( ) はあくまで微分値で Pr(X= )そのものではないが 値の比には意味がある 全て積分すると1になるが p( )≤1 とは限らない！
- 58. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数 連続確率変数で「～な確率」と言いたいなら
- 59. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数 連続確率変数で「～な確率」と言いたいなら
- 60. 確率論のおさらい 連続確率変数の確率関数 確率密度関数 (Probability DensityFunction) …… 累積分布関数の導関数 連続確率変数で「～な確率」と言いたいなら 幅をもたせて 計算してあげる
- 61. 確率論のおさらい 確率関数まとめ 連続確率変数 →確率密度関数 0≤p( ) ∫p( )d = 1 離散確率変数 →確率質量関数 0 ≤ p( ) ≤ 1 ∑ p( ) = 1
- 62. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 63. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 64. 確率論のおさらい 分布を特徴づける量 世の中にはいろいろな分布がある • サイコロの出る目の分布 • 日本人の年収の分布 • トヨタ車の耐用年数の分布 • etc…
- 65. 確率論のおさらい 分布を特徴づける量 世の中にはいろいろな分布がある • サイコロの出る目の分布 • 日本人の年収の分布 • トヨタ車の耐用年数の分布 • etc… 分布そのものを見るよりも、それを特徴付ける分かり やすい指標があったほうがいい！
- 67. 確率論のおさらい 分布を特徴づける量：平均と分散 分布の特徴を端的に表す量として、以下がよく使われる 平均 (Mean) / 期待値 (ExpectedValue)
- 68. 確率論のおさらい 分布を特徴づける量：平均と分散 分布の特徴を端的に表す量として、以下がよく使われる 平均 (Mean) / 期待値 (ExpectedValue) 分散 (Variance)
- 69. 確率論のおさらい 分布を特徴づける量：平均と分散 分布の特徴を端的に表す量として、以下がよく使われる 平均 (Mean) / 期待値 (ExpectedValue) 分散 (Variance) 分布の 「真ん中」 分布の 「ばらつき」
- 70. 確率論のおさらい 分布を特徴づける量：平均と分散 分布の特徴を端的に表す量として、以下がよく使われる 平均 (Mean) / 期待値 (ExpectedValue) 分散 (Variance) 元のデータと同じ単位で比較 したいなら標準偏差を使う 分布の 「真ん中」 分布の 「ばらつき」
- 73. 確率論のおさらい 分布を特徴づける量：α分位点 分布の特徴を表す別の量として、以下も使われる α分位点 (α-quantile) 分布を α:1-α に分割する点 = F-1(α) α 1-α F-1(α) F-1(α)
- 74. 確率論のおさらい 分布を特徴づける量：α分位点 分布の特徴を表す別の量として、以下も使われる α分位点 (α-quantile) 分布を α:1-α に分割する点 = F-1(α) ちなみに 最小値 第１四分位点 中央値 第３四分位点 最大値 Minimum 1st Quartile Median 3rd Quartile Maximum F-1(0) F-1(1/4) F-1(1/2) F-1(3/4) F-1(1)
- 75. 確率論のおさらい 分布を特徴づける量：α分位点 分布の特徴を表す別の量として、以下も使われる α分位点 (α-quantile) 分布を α:1-α に分割する点 = F-1(α) ちなみに 最小値 第１四分位点 中央値 第３四分位点 最大値 Minimum 1st Quartile Median 3rd Quartile Maximum F-1(0) F-1(1/4) F-1(1/2) F-1(3/4) F-1(1) 差＝四分位範囲： 分布の「ばらつき」 分布の 「真ん中」
- 76. 確率論のおさらい 分布を特徴づける量：最頻値 分布の特徴を表すさらに別の量として、以下も使われる 最頻値 (Mode) 分布の中で一番良く出てくる値 = argmax p( ) （多峰分布の場合、一つとは限らないが…） 分布の 「真ん中」 分布の「ばらつき」を表す 量を対応付けるとすれば、 平均情報量 → 最終節
- 77. 確率論のおさらい 分布を特徴づける量の比較 分布の 「真ん中」 分布の 「ばらつき」 外れ値への 頑健性 大小関係 （正に偏っているとき） 使える 尺度基準 平均 ∫ p( )d 分散 ∫( -μ)2p( )d × 小 間隔尺度以上 中央値 F-1(1/2) 四分位範囲 F-1(3/4)-F-1(1/4) ○ 中 順序尺度以上 最頻値 argmax p( ) 平均情報量 ∫p( ) log p( )d ◎ 大 名義尺度以上 負に偏っていれば大小関係は逆になる また多峰分布等ではこの限りではない
- 78. 確率論のおさらい 分布を特徴づける量の比較 分布の 「真ん中」 分布の 「ばらつき」 外れ値への 頑健性 大小関係 （正に偏っているとき） 使える 尺度基準 平均 ∫ p( )d 分散 ∫( -μ)2p( )d × 小 間隔尺度以上 中央値 F-1(1/2) 四分位範囲 F-1(3/4)-F-1(1/4) ○ 中 順序尺度以上 最頻値 argmax p( ) 平均情報量 ∫p( ) log p( )d ◎ 大 名義尺度以上 負に偏っていれば大小関係は逆になる また多峰分布等ではこの限りではない
- 79. 確率論のおさらい 分布を特徴づける量の比較 分布の 「真ん中」 分布の 「ばらつき」 外れ値への 頑健性 大小関係 （正に偏っているとき） 使える 尺度基準 平均 ∫ p( )d 分散 ∫( -μ)2p( )d × 小 間隔尺度以上 中央値 F-1(1/2) 四分位範囲 F-1(3/4)-F-1(1/4) ○ 中 順序尺度以上 最頻値 argmax p( ) 平均情報量 ∫p( ) log p( )d ◎ 大 名義尺度以上 負に偏っていれば大小関係は逆になる また多峰分布等ではこの限りではない 普段使うのは こいつ！
- 80. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 81. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 83. 確率論のおさらい 同時確率と条件付き確率 同時確率 (JointProbability) X1かつX2の確率 p( 1, 2) 条件付き確率 (ConditionalProbability) X2が分かった上でのX1の確率 p( 1| 2)
- 84. 確率論のおさらい 同時確率と条件付き確率 同時確率 (JointProbability) X1かつX2の確率 p( 1, 2) 条件付き確率 (ConditionalProbability) X2が分かった上でのX1の確率 p( 1| 2)
- 85. 確率論のおさらい 同時確率と条件付き確率 同時確率 (JointProbability) X1かつX2の確率 p( 1, 2) 条件付き確率 (ConditionalProbability) X2が分かった上でのX1の確率 p( 1| 2) ∫p( 1| 2)d 1 = 1 となるように 正規化しているだけ！
- 86. 確率論のおさらい 同時確率と条件付き確率 同時確率 (JointProbability) X1かつX2の確率 p( 1, 2) 条件付き確率 (ConditionalProbability) X2が分かった上でのX1の確率 p( 1| 2) ∫p( 1| 2)d 1 = 1 となるように 正規化しているだけ！
- 87. 確率論のおさらい 同時確率と条件付き確率 同時確率 (JointProbability) X1かつX2の確率 p( 1, 2) 条件付き確率 (ConditionalProbability) X2が分かった上でのX1の確率 p( 1| 2) ∫p( 1| 2)d 1 = 1 となるように 正規化しているだけ！ これを逆に使うと…
- 90. 確率論のおさらい 積の公式・チェーンルール 同時確率は以下のようにも書ける これをもっと多変数に拡張すると 1:D は { 1, 2,…, D} という意味
- 91. 確率論のおさらい 積の公式・チェーンルール 同時確率は以下のようにも書ける これをもっと多変数に拡張すると 1:D は { 1, 2,…, D} という意味
- 92. 確率論のおさらい 積の公式・チェーンルール 同時確率は以下のようにも書ける これをもっと多変数に拡張すると 1:D は { 1, 2,…, D} という意味 さらにこれを利用して
- 93. 確率論のおさらい 確率の周辺化 周辺確率 (MarginalProbability) p( 1, 2) に対する p( 2) のこと p( 2) = ∫p( 1, 2)d 1
- 94. 確率論のおさらい 確率の周辺化 周辺確率 (MarginalProbability) p( 1, 2) に対する p( 2) のこと p( 2) = ∫p( 1, 2)d 1
- 95. 確率論のおさらい 確率の周辺化 周辺確率 (MarginalProbability) p( 1, 2) に対する p( 2) のこと p( 2) = ∫p( 1, 2)d 1 1はなんでもよいから 2の確率を知りたい ↓ あらゆる 1 に対して p( 1| 2) の期待値をとる （ 1の積分消去）
- 96. 確率論のおさらい 各種公式のまとめ p( 1| 2) = p( 1, 2) / p( 1) p( 1, 2) = p( 1| 2) p( 1) p( 1, 2) p( 1| 2) p( 2| 1)p( 2) p( 1) p( 2) = ∫p( 1, 2)d 1 p( 2) = ∫p( 1, 2)d 1 p( 2| 1) = p( 1, 2) / p( 2) p( 1, 2) = p( 2| 1) p( 2)
- 97. 確率論のおさらい 各種公式のまとめ p( 1| 2) = p( 1, 2) / p( 1) p( 1, 2) = p( 1| 2) p( 1) p( 1, 2) p( 1| 2) p( 2| 1)p( 2) p( 1) p( 2) = ∫p( 1, 2)d 1 p( 2) = ∫p( 1, 2)d 1 p( 2| 1) = p( 1, 2) / p( 2) p( 1, 2) = p( 2| 1) p( 2) ここを直接 変換するには？
- 98. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 99. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 100. 確率論のおさらい ベイズの公式 p( 1| 2) と p( 2) が与えられたとき p( 2| 1) は
- 102. 確率論のおさらい ベイズの公式 例）乳ガン検診 実際に乳ガンがあった場合、結果が陽性になる確率は80% じゃあ検診で陽性だった場合に、本当に乳ガンにかかってし まっている確率は？ 80%!?
- 103. 確率論のおさらい ベイズの公式 例）乳ガン検診 実際に乳ガンがあった場合、結果が陽性になる確率は80% じゃあ検診で陽性だった場合に、本当に乳ガンにかかってし まっている確率は？ 80%!?
- 106. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 107. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 109. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 例）サイコロを2回振って、出た目の値をそれぞれ X1, X2 とし、 XSUM=X1+X2 とする １回目の結果は、２回目に影響しないので X1 と X2 は独立 だが、 XSUM には影響するので X1 と XSUM は独立でない
- 110. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 例）サイコロを2回振って、出た目の値をそれぞれ X1, X2 とし、 XSUM=X1+X2 とする １回目の結果は、２回目に影響しないので X1 と X2 は独立 だが、 XSUM には影響するので X1 と XSUM は独立でない このX1,X2 のように、独立に同じ分布に従う場合 independent and identically- distributed (iid) と言い、Xi∼p(X) と書くiid
- 111. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 言い換えると p( 1| 2)=p( 1) （逆もしかり） 例）サイコロを2回振って、出た目の値をそれぞれ X1, X2 とし、 XSUM=X1+X2 とする １回目の結果は、２回目に影響しないので X1 と X2 は独立 だが、 XSUM には影響するので X1 と XSUM は独立でない このX1,X2 のように、独立に同じ分布に従う場合 independent and identically- distributed (iid) と言い、Xi∼p(X) と書くiid
- 112. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 言い換えると p( 1| 2)=p( 1) （逆もしかり） 独立 独立ではない
- 113. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 言い換えると p( 1| 2)=p( 1) （逆もしかり） 【定義】X1 と X2 が独立であるとは「X1⊥X2」と書き、 と定義される
- 114. 確率論のおさらい 独立な確率変数 独立 (Independence) 一方の分布が、もう一方の変数の値によらないこと 言い換えると p( 1| 2)=p( 1) （逆もしかり） 【定義】X1 と X2 が独立であるとは「X1⊥X2」と書き、 と定義される もっと変数が増えたら どうなるのか？
- 115. 確率論のおさらい 多変数の独立性 変数がたくさんあっても、 p( 1, 2,…, N)=p( 1)p( 2)…p( N) が成り立っていれば、 { 1, 2,…, N} は独立
- 116. 確率論のおさらい 多変数の独立性 変数がたくさんあっても、 p( 1, 2,…, N)=p( 1)p( 2)…p( N) が成り立っていれば、 { 1, 2,…, N} は独立 でも現実はそんなに甘くない！ 扱っている変数が完全に独立になるのはレアケース
- 117. 確率論のおさらい 多変数の独立性 変数がたくさんあっても、 p( 1, 2,…, N)=p( 1)p( 2)…p( N) が成り立っていれば、 { 1, 2,…, N} は独立 でも現実はそんなに甘くない！ 扱っている変数が完全に独立になるのはレアケース とは言え、逆に全部が全部からまって影響しあっている ことは少なく、間接的にしか依存していない場合もある → その構造を見極めたい！
- 118. 確率論のおさらい 多変数の独立性 変数がたくさんあっても、 p( 1, 2,…, N)=p( 1)p( 2)…p( N) が成り立っていれば、 { 1, 2,…, N} は独立 でも現実はそんなに甘くない！ 扱っている変数が完全に独立になるのはレアケース とは言え、逆に全部が全部からまって影響しあっている ことは少なく、間接的にしか依存していない場合もある → その構造を見極めたい！
- 119. 確率論のおさらい 多変数の独立性 変数がたくさんあっても、 p( 1, 2,…, N)=p( 1)p( 2)…p( N) が成り立っていれば、 { 1, 2,…, N} は独立 でも現実はそんなに甘くない！ 扱っている変数が完全に独立になるのはレアケース とは言え、逆に全部が全部からまって影響しあっている ことは少なく、間接的にしか依存していない場合もある → その構造を見極めたい！ 誰が仲介して いるのか？ がポイント
- 122. 確率論のおさらい 多変数の独立性：条件付き独立 条件付き独立 (ConditionallyIndependent;CI) 仲介役の変数が定まれば独立になる 「Zが与えられたもとでXとYは条件付き独立」といい 「X⊥Y | Z」と書く 条件付き独立を活用するには グラフィカルモデルが有用です （詳細は10章にて…）
- 123. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 124. 確率論のおさらい …のお品書き 確率変数とは何か 分布を表す確率関数 分布を特徴づける量 同時確率・条件付き確率・周辺確率 ベイズの公式 確率変数の独立性
- 125. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 126. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題
- 127. 確率とはなにか 確率論のおさらい いろいろな確率分布 情報理論の基本的概念 きょうの話題 → 後編へ続く（？）