入門パターン認識と機械学習　1章　2章

1. 入門パターン認識と機械学習
@hiro5585
Section1
パターン認識と統計的学習の概要

2. 1.1 パターン認識とは
観測パターンρをクラスcに対応付ける写像ｆを求める
学習の種類
・教師あり学習（分類問題など）
・教師なし学習（クラスタリングなど）
特徴量の表現
ベクトルで表現されd次元の特徴空間上の点で表される
入力 前処理 特徴量 識別
2

3. 1.2.1 ベイズ決定による最適分類
クラスC’のパターンXをクラスCに誤って判断したときの損失
→ L(C|X)を最小にするようなクラスCを選択
例：正しい場合0、間違いの場合1を取るような損失関数の時
平均損失関数Lの最小化は事後確率P(C|X)の最大化と等価3
損失関数 パターンｘがC’に属する確率

4. 1.2.1 ベイズ決定による最適分類
ベイズの定理：事後確率の計算方法
パターンがどのクラスに属しやすいかはクラスCの現れやす
さとクラスCからどれぐらいパターンが出現したかで分かる
4

5. 1.2.1 ベイズ決定による最適分類
事後確率最大化(Maximum A Posteriori：MAP)
事後確率を最大化
事後確率の対数を最大化
条件付き確率を最大化（事前確率がp(c)が一様分布）
5

6. 1.2.2 識別関数による解釈
識別関数法
クラスに関数を対応させその値が最大となるクラスを選ぶ
例：正規分布を仮定した２クラス分類
以下の式を上式に代入して最大となるクラスを選ぶ
p(c1)、p(c2)はどちらのクラスが出やすいかを表す
２つのクラスが等確率の場合：p(c1)=p(c2)=0.5 6

7. 1.2.3線形識別関数によるパターン分類
パーセプトロン
線形識別関数などを識別関数として用いて、
線形和の計算とその最大化によってクラスを求める手法
２クラス分類：識別関数が大きい方のクラスに分類
7

8. 1.3 統計的学習とパターン認識
（１）確率モデルに基づく方法
ナイーブベイズ、混合モデル、潜在クラスモデル
（２）識別関数に基づく方法
線形識別モデル、サポートベクターマシン、ニューラルネット
（３）類似度に基づく方法
ｋ最近傍法、テンプレートマッチング
（４）特徴空間の分割に基づく方法
決定木
（５）集団学習に基づく方法
バギング、AdaBoost、ランダムフォレスト
8

9. 入門パターン認識と機械学習
@hiro5585
Section2
特徴空間の構成と統計的性質

10. 2.1.2 パターン分布を測る尺度
特徴ベクトル
平均ベクトル
共分散
分散
10

11. 2.1.4 特徴の選択
相関係数
特徴量次元が大きいと特徴間に相関が見られる場合が多い
計算量が増加、推定精度が劣化する
→相関の強い特徴を削減する
11

12. 2.2.1 パターン分布の評価
クラス内分散：クラス内でのパターンの分散度合いを示す
クラス間分散：クラス間でのパターンの分散度合いを示す
分散比：値が大きいほどパターンの分離度が高い
12

13. 2.2.2 ベイズ誤り率
ベイズ識別の誤り率
特徴量が与えられた時の識別を誤る確率
ベイズ識別の平均誤り率
識別を誤り率を全ての特徴量に対して和を取ったもの
13

14. 2.2.3 特徴空間と次元の呪い
大数の法則
次元が大きいと原点からある距離の点しか生起しない
データが特定の箇所に集中してしまい分離性能が落ちる
球面集中現象
次元が大きいと半径ｒと半径r+εの超球の体積比が0になる
14