O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
統計的学習の基礎 第2章
2.5 ~ 2.9
@Prunus1350
2.5 高次元での局所的手法
これまで学んだ予測のための二つの方法
• 線形モデル
• 安定しているがバイアスが大きい
• k最近傍法
• 不安定だがバイアスが小さい
• 訓練データが十分多ければk最近傍法でいいのでは?
• →高次元において破綻をきたす(次元の呪い)
次元の呪いを理解するための例題
10次元の場合、10%の
データが近傍に含まれ
るようにするには、各
変数の80%をカバーす
る必要がある。
→もはや「局所的」と
はいえない
高次元空間から疎に標本を得ることに起因する
もう一つの問題
• 原点を中心とする半径が1のp次元超球内にN個のデータ点が一様に分
布しているとする。
• 原点に最も近いデータ点までの距離の中央値
• N = 500, p = 10 の場合、d(...
標本化密度の観点から次元の呪いを理解する
• pを入力変数の次元、Nをデータ数とすると、標本化密度は𝑁
1
𝑝に比例
する。
• 入力変数が1次元の場合に𝑁1 = 100であれば、十分に密なデータであ
ると見なすことにする。
• 10次元の入力...
最近傍法で下方バイアスのある推定となる例
• 𝑓(0)を推定する場合、最近傍点が
原点でない限り下方バイアスがか
かる。
• 次元が増えると最近傍点までの距
離も増えるのでバイアスが増大す
る。
• この例では、平均2乗誤差は2乗バ
イアスによ...
2.6 統計モデル, 教師あり学習, 関数近似
2.6 統計モデル, 教師あり学習, 関数近似
• ここでの目的は、背後に潜む入出力関係f(x)の有用な近似を行うこと
である。
• 高次元に起因する問題を解決するためには、回帰関数f(x)の他のクラ
スの近似モデルを考えるのが有意義である。
2.6.1 同時分布Pr(X,Y)のための統計モデル
• ?
2.6.2 教師あり学習
• 機械学習の観点から関数当てはめの問題を説明しておく。
• 学習中のシステムの入力と出力の両方を観察し、それらを集めて観測
値の訓練集合を構成する。
• 観測された𝑥𝑖を人工システムへ入力すると、その出力 𝑓(𝑥𝑖)...
2.6.3 関数近似
• ここでの目的は、訓練データを用いて入力空間内の任意のxについて
f(x)の有用な近似を求めることである。
• 議論を簡潔にするため、入力空間としてp次元ユークリッド空間を仮定する。
• 教師あり学習を関数近似の問題と見...
パラメータの推定
• 線形基底関数のパラメータθを推定するには、線形モデルの場合と同
様、最小2乗法を用いて残差2乗和
を最小化すればよい。
2入力の関数に最小2乗法で関数を当てはめた例
2.7 構造化回帰モデル
2.7.1 なぜ問題が困難なのか
• 全ての訓練データ点を通るような関数は無数に存在する。
• 残差2乗和は最小化されるが、汎化性能が低い。
• データ数が有限の場合、解となる関数の集合を限定し、残差2乗和の
解を制限して考える必要がある。
•...
2.8 制限付き推定法
2.8 制限付き推定法
• ノンパラメトリックな回帰や学習のためには、さまざまな方法が存在
する。
• 本節では概要を述べるに留め、詳しくは以降の章で解説する。
• ここでは、三つの代表的なクラスを紹介する。
• 粗度に対する罰則とベイズ法
•...
2.8.1 粗度に対する罰則とベイズ法
• このクラスの方法では、残差2乗和 RSS(f) に粗度に対する罰則を加え
を最小化することで関数のクラスを制限する。
• ユーザーが指定する汎関数 J(f) は、関数fが入力空間の小さな領域で急激に変...
2.8.2 カーネル法と局所回帰
• このクラスの方法では、局所的な近傍をどのように決めるか、どのよ
うな関数を局所的に当てはめるか、といった事項を直接指定し、回帰
関数や条件付き期待値を明示的に推定する。
• 局所的な近傍はカーネル関数(ke...
2.8.3 基底関数と辞書による方法
• このクラスのモデルは基底関数(basis function)を線形展開した
の形式で表される。
• ⇒ 5.2節および第9章のCARTモデルやMARSモデル
• 動径基底関数(radial basis ...
2.8.3 基底関数と辞書による方法
• 出力層が線形の単層フィードフォワード・ニューラルネットワーク
• は活性化関数(activation function)として知られている
• ⇒ 詳細は第11章
• このような基底関数を用いる方法は、...
2.9 モデル選択と, バイアスと分散の
トレードオフ
モデルに含まれるパラメータ
• 多くのモデルが、平滑化パラメータ(smoothing parameter)や複雑度
パラメータ(complexity parameter)を有している。
• これらのパラメータはユーザーが指定するもので
• 罰則...
バイアスと分散のトレードオフ
• 𝑥0における期待予測誤差は
と分解できる。
• 第2項(バイアス項)と第3項(分散)はユーザーが制御可能な項である。
• 両者はトレードオフの関係にある。
バイアスと分散のトレードオフ
モデル複雑度 増 ⇔ 減
バイアス(の2乗) 減 ⇔ 増
分散 増 ⇔ 減
k最近傍法の近傍数k 少 ⇔ 多
• モデルの複雑度は、テスト誤差が最小化されるように、バイアスと分
散のトレードオフを調整して選ぶ。
ご清聴ありがとうございました。
Próximos SlideShares
Carregando em…5
×

統計的学習の基礎 第2章後半

2.644 visualizações

Publicada em

カステラ本読書会

Publicada em: Dados e análise
  • Seja o primeiro a comentar

統計的学習の基礎 第2章後半

  1. 1. 統計的学習の基礎 第2章 2.5 ~ 2.9 @Prunus1350
  2. 2. 2.5 高次元での局所的手法
  3. 3. これまで学んだ予測のための二つの方法 • 線形モデル • 安定しているがバイアスが大きい • k最近傍法 • 不安定だがバイアスが小さい • 訓練データが十分多ければk最近傍法でいいのでは? • →高次元において破綻をきたす(次元の呪い)
  4. 4. 次元の呪いを理解するための例題 10次元の場合、10%の データが近傍に含まれ るようにするには、各 変数の80%をカバーす る必要がある。 →もはや「局所的」と はいえない
  5. 5. 高次元空間から疎に標本を得ることに起因する もう一つの問題 • 原点を中心とする半径が1のp次元超球内にN個のデータ点が一様に分 布しているとする。 • 原点に最も近いデータ点までの距離の中央値 • N = 500, p = 10 の場合、d(p, N) ≈ 0.52 • 超球の境界までの距離の半分以上にあたる。 • 近傍の点を用いた予測が、極めて不安定になってしまう。
  6. 6. 標本化密度の観点から次元の呪いを理解する • pを入力変数の次元、Nをデータ数とすると、標本化密度は𝑁 1 𝑝に比例 する。 • 入力変数が1次元の場合に𝑁1 = 100であれば、十分に密なデータであ ると見なすことにする。 • 10次元の入力変数に関して同様に密であるためには、𝑁10 = 10010もの データが必要になる。 • →ある程度次元の高い状況では、訓練データが入力空間で極めて疎に 分布していると考えなければならない。
  7. 7. 最近傍法で下方バイアスのある推定となる例 • 𝑓(0)を推定する場合、最近傍点が 原点でない限り下方バイアスがか かる。 • 次元が増えると最近傍点までの距 離も増えるのでバイアスが増大す る。 • この例では、平均2乗誤差は2乗バ イアスによって増大する。
  8. 8. 2.6 統計モデル, 教師あり学習, 関数近似
  9. 9. 2.6 統計モデル, 教師あり学習, 関数近似 • ここでの目的は、背後に潜む入出力関係f(x)の有用な近似を行うこと である。 • 高次元に起因する問題を解決するためには、回帰関数f(x)の他のクラ スの近似モデルを考えるのが有意義である。
  10. 10. 2.6.1 同時分布Pr(X,Y)のための統計モデル • ?
  11. 11. 2.6.2 教師あり学習 • 機械学習の観点から関数当てはめの問題を説明しておく。 • 学習中のシステムの入力と出力の両方を観察し、それらを集めて観測 値の訓練集合を構成する。 • 観測された𝑥𝑖を人工システムへ入力すると、その出力 𝑓(𝑥𝑖)を得る。 • 真のシステムによる出力𝑦𝑖と人工システムによる出力 𝑓(𝑥𝑖)の違いに応 じて入出力関係 𝑓を修正していく。(例による学習) • 学習プロセスを終えた段階では、真のシステムと人工システムの出力 が十分に近いことが期待される。
  12. 12. 2.6.3 関数近似 • ここでの目的は、訓練データを用いて入力空間内の任意のxについて f(x)の有用な近似を求めることである。 • 議論を簡潔にするため、入力空間としてp次元ユークリッド空間を仮定する。 • 教師あり学習を関数近似の問題と見なすと、ユークリッド空間の幾何 学的な概念や確率推論の数学的概念を利用することができる。 • テキスト内で扱う多くの近似モデルでは、データに応じて修正可能な パラメータ集合θが含まれている。 • 線形モデル • 線形基底展開
  13. 13. パラメータの推定 • 線形基底関数のパラメータθを推定するには、線形モデルの場合と同 様、最小2乗法を用いて残差2乗和 を最小化すればよい。 2入力の関数に最小2乗法で関数を当てはめた例
  14. 14. 2.7 構造化回帰モデル
  15. 15. 2.7.1 なぜ問題が困難なのか • 全ての訓練データ点を通るような関数は無数に存在する。 • 残差2乗和は最小化されるが、汎化性能が低い。 • データ数が有限の場合、解となる関数の集合を限定し、残差2乗和の 解を制限して考える必要がある。 • 学習に用いられる制約は、さまざまな形式の複雑度(complexity)と して表現されることが多い。 • 複雑度とは、入力空間内の小さな近傍領域内でのある種の規則性である。 • 制約の強さは近傍の大きさによって決まる。 • 制約の性質は入力空間の計量に依存する。
  16. 16. 2.8 制限付き推定法
  17. 17. 2.8 制限付き推定法 • ノンパラメトリックな回帰や学習のためには、さまざまな方法が存在 する。 • 本節では概要を述べるに留め、詳しくは以降の章で解説する。 • ここでは、三つの代表的なクラスを紹介する。 • 粗度に対する罰則とベイズ法 • カーネル法と局所回帰 • 基底関数と辞書による方法
  18. 18. 2.8.1 粗度に対する罰則とベイズ法 • このクラスの方法では、残差2乗和 RSS(f) に粗度に対する罰則を加え を最小化することで関数のクラスを制限する。 • ユーザーが指定する汎関数 J(f) は、関数fが入力空間の小さな領域で急激に変化 する場合に大きな値をとる。 • 罰則関数や正則化(regularization)を用いると、推定対象の関数にあ る特定の滑らかさを持たせることができる。 • 粗度に関する罰則を用いたアプローチ ⇒ 第5章 • ベイズ的な枠組み ⇒ 第8章
  19. 19. 2.8.2 カーネル法と局所回帰 • このクラスの方法では、局所的な近傍をどのように決めるか、どのよ うな関数を局所的に当てはめるか、といった事項を直接指定し、回帰 関数や条件付き期待値を明示的に推定する。 • 局所的な近傍はカーネル関数(kernel function)を用いて定義される。 • 例えば、ガウスカーネル • 当然、高次元データに用いる際には、次元の呪いを避けるための工夫 が必要 ⇒ 第6章
  20. 20. 2.8.3 基底関数と辞書による方法 • このクラスのモデルは基底関数(basis function)を線形展開した の形式で表される。 • ⇒ 5.2節および第9章のCARTモデルやMARSモデル • 動径基底関数(radial basis function) • ある特定の点を中心として対称的な広がりを持つp次元のカーネル • ⇒ 推定については6.7節
  21. 21. 2.8.3 基底関数と辞書による方法 • 出力層が線形の単層フィードフォワード・ニューラルネットワーク • は活性化関数(activation function)として知られている • ⇒ 詳細は第11章 • このような基底関数を用いる方法は、辞書による方法(dictionary method)として知られている。
  22. 22. 2.9 モデル選択と, バイアスと分散の トレードオフ
  23. 23. モデルに含まれるパラメータ • 多くのモデルが、平滑化パラメータ(smoothing parameter)や複雑度 パラメータ(complexity parameter)を有している。 • これらのパラメータはユーザーが指定するもので • 罰則項の乗数 • カーネルの幅 • 基底関数の数 などの形でモデルに含まれている。 • これらパラメータを決めるために訓練データの残差2乗和を使うと残 差が0になり過学習を起こす。
  24. 24. バイアスと分散のトレードオフ • 𝑥0における期待予測誤差は と分解できる。 • 第2項(バイアス項)と第3項(分散)はユーザーが制御可能な項である。 • 両者はトレードオフの関係にある。
  25. 25. バイアスと分散のトレードオフ モデル複雑度 増 ⇔ 減 バイアス(の2乗) 減 ⇔ 増 分散 増 ⇔ 減 k最近傍法の近傍数k 少 ⇔ 多 • モデルの複雑度は、テスト誤差が最小化されるように、バイアスと分 散のトレードオフを調整して選ぶ。
  26. 26. ご清聴ありがとうございました。

×