Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
大阪PRML読書会#1資料
- 1. 1章 読書会#1 資料 twitter: @wrist facebook: hiromasa.ohashi 13年12月25日水曜日
- 2. スライド作成について • • • 図: 著者HPから落としてくる 表: CamScannerというiPhoneアプリで撮影 数式: tex2imgで画像を作成 • 13年12月25日水曜日 osxだとCUI版がある
- 3. まえがき • 追加資料のURL • http://research.microsoft.com/en-us/um/ people/cmbishop/PRML • PRMLに載ってるURLでもリダイレクト されます 13年12月25日水曜日
- 7. 第1章 目次(1) 1. 序論 1.1. 例:多項式フィッティング 1.2. 確率論 1.2.1.確率密度 1.2.2.期待値と分散 1.2.3.ベイズ確率 1.2.4.ガウス分布 1.2.5.曲線フィッテイング再訪 1.2.6.ベイズ曲線フィッティング 13年12月25日水曜日
- 8. 第1章 目次(2) 1. 序論 1.3. モデル選択 1.4. 次元の呪い 1.5. 決定理論 1.5.1.誤識別率の最小化 1.5.2.期待損失の最小化 1.5.3.棄却オプション 1.5.4.推論と決定 1.5.5.回帰のための損失関数 13年12月25日水曜日
- 13. 実際の応用 • 前処理(preprocessing)によって新しい変 数に変換 • 画像の場合は拡大縮小、回転 • 特徴抽出(feature extraction)とも 13年12月25日水曜日
- 14. 機械学習の分類 • 教師あり学習(supervised learning) • • • クラスタリング(clustering) 密度推定(densitiy estimation) 視覚化(visualization) => 射影なども含む 強化学習(reinforcement learning) • 13年12月25日水曜日 出力が連続変数:回帰(regression) 教師なし学習(unsupervised learning) • • • • 出力が離散カテゴリ:クラス分類(classification) 報酬を最大にするような行動を見つける
- 19. 誤差関数の最小化 • wで微分して0になる係数を探す • 誤差関数はwに関して2次 • 微分すると線形 • ただひとつの解w* • 結果として得られる多項式y(x,w) 13年12月25日水曜日
- 20. 多項式の次数の選び方 • 多項式の次数Mの選択 • モデル比較(model comparison)、モデ ル選択(model selection) 13年12月25日水曜日
- 28. 最尤推定と過学習 • 最小二乗誤差基準の学習 • • • 最尤推定(maximum likelihood) 過学習は最尤推定において一般的な性質 過学習を避ける方法 • ベイズ的(Bayesian)アプローチが有効 • • 13年12月25日水曜日 有効パラメータ数(number of effective parameters)が自 動的にデータサイズに適合 誤差関数への罰則項の追加
- 31. 正則化項が汎化誤差に与える影響 • RMS誤差をlnλに対してプロット • • 13年12月25日水曜日 λが実質的なモデルの複雑さを制御 訓練集合だけでなく確認用集合(検証用集合; validation set; ホールドアウト集合(hold-out set))も使うべき
- 32. 1.2 確率論(probability theory) • 不確実性に対する定量化と操作に関す る一貫した枠組みを与える • パターン認識の中心 13年12月25日水曜日
- 35. 確率の直感的な定義 • どの箱を選ぶかを表す確率変数B={r,b} • どの果物を選ぶかを表す確率変数F={a,o} • 確率=(ある事象の生起回数)/(全試行回数) • ただし無限回試行した時の極限 • P(B=r)=4/10, P(B=b)=6/10 • Pは[0,1]に収まり、総和が1 13年12月25日水曜日
- 36. 確率に関する2つの法則 • • 13年12月25日水曜日 確率の加法定理(sum rule of probability) 確率の乗法定理(product rule of probability)
- 38. 各種確率 同時確率 (結合確率; joint probability) 周辺確率 (marginal probability) 加法定理の適用 条件付き確率 (conditional probability) 乗法定理 13年12月25日水曜日
- 39. 確率の基本法則とベイズの定理 • 確率の加法定理と確率の乗法定理 • ベイズの定理(Bayes’ theorem) • p(X,Y)=p(Y,X)よりp(Y|X)p(X)=p(X|Y)p(Y) 13年12月25日水曜日