Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (19)
Semelhante a 人工知能10 サポートベクトルマシン
Semelhante a 人工知能10 サポートベクトルマシン (20)
人工知能10 サポートベクトルマシン
- 2. 機械学習と分類問題 機械学習：人間が設計したモデルを、データから統計・確率・ 情報理論・最適化などを用いて学習する方法の総称 人間が用意できるデータと 人間が設定した目的によって 機械学習の手法が決まる 【学習フェーズ】 猫猫 猫カテゴリ 画像を猫または犬カテゴリに 分類する規則を学習 猫猫 犬カテゴリ データをカテゴリに分ける 【運用フェーズ】 犬 学習した規則を用いて、データをカテゴリに分類 手法 分類問題：人間が用意した入力と出力（カテゴリ）データから、入 力データをカテゴリに分類する関係モデルを学習 手法の種類 定義 応用例 教師あり学習 入力と出力（教師）のペアのデータか ら、入出力の関係モデルを学習 画像認識、音声認識、翻訳、 時系列予測など 教師なし学習 入力データのみから、データの特性 （規則性、構造）モデルを学習 データの可視化（クラスタリング、 次元圧縮）、生成分布の学習など 半教師あり学習 入力の一部に出力（教師）が付与さ れたデータから、入出力の関係モデ ルを学習 大量のログデータなど一部にしか 出力を人間が設定できない場合 強化学習 入力と評価（間接的な教師）のペアか ら、評価を最大化するモデルを学習 ロボット制御、Web広告の選択、 マーケティング戦略、囲碁、将棋 2
- 3. 分類問題の実用例 画像領域分割 各画素を人、空、木、草、建物カテゴリに分類 より綺麗な写真を撮るために、 領域の種類に合わせて適切な画像処理を適用 空の明度を抑えて、人の明度を上げるなど 顔認証 登録された顔画像と比較して同一人物か否かを分類する NEC・NeoFace：コンサートのチケットレス入場や会社の入退室管理 LYKAON：万引き犯の顔画像と一致する人が入店時に店員に通知 顔認証によるコンサートの入場チェック（NEC・TAPIRIS） 顔認証して店員に通知（LYKAON） 空、人の領域を特定 3
- 4. 特徴量：データから抽出した分類に必要な数値化された情報 特徴抽出方法：専門知識に基づき人間が設計 最近は、分類精度を最大化するように、特徴抽出方法も学習 （Deep Learning）するのが一般的 分類問題と特徴量 データ入力 特徴抽出 分類 SIFT（Scale Invariant Feature Transform）の例 画像からキーポイントを選択 キーポイントごとに勾配を計算し、 勾配パターンのヒストグラムを求める 数値ベクトル（数万次元） を分類に入力 4
- 5. 特徴量：データから抽出した分類に必要な数値化された情報 特徴抽出方法：専門知識に基づき人間が設計 最近は、分類精度を最大化するように、特徴抽出方法も学習 （Deep Learning）するのが一般的 分類問題と特徴量 データ入力 特徴抽出 分類 SIFT（Scale Invariant Feature Transform）の例 画像からキーポイントを選択 キーポイントごとに勾配を計算し、 勾配パターンのヒストグラムを求める 数値ベクトル（数万次元） を分類に入力 5
- 6. 構成 1. 機械学習と分類 2. 分類問題の定式化 3. サポートベクトルマシンの定式化 4. マージン最大化の簡易化 5. ラグランジュ双対問題 6. サポートベクトルマシンの実装 6
- 7. 分類問題の定式化 特徴量：可視化可能な２次元のベクトル カテゴリ：スカラー 学習データ： 犬カテゴリ（ ） 猫カテゴリ（ ） 課題：どのようにモデルパラメータ を学習データから決定する？ 線形分類モデル： 線形分類器： 符号関数（シグナム関数） 学習するモデルのパラメータ： 法線ベクトル： 7
- 14. 構成 1. 機械学習と分類 2. 分類問題の定式化 3. サポートベクトルマシンの定式化 4. マージン最大化の簡易化 5. ラグランジュ双対問題 6. サポートベクトルマシンの実装 14
- 15. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離） を最大にする 最近傍距離 C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 15
- 16. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離を最大にする 最近傍距離 どちらかのカテゴリに 偏る限り最大ではない C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 16
- 17. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 最近傍距離 どちらかのカテゴリに 偏る限り最大ではない C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 17
- 18. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 最近傍距離 （マージン） 最近傍距離 （マージン） 最近傍距離を最大化するためには、 ２つのカテゴリに最近傍点があり、 つり合っている状態（真ん中） C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 18
- 19. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 【マージン最大化問題】最近傍距離 （マージン） 最近傍距離 （マージン） C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 19
- 20. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 【マージン最大化問題】 データ点 と分類境界との距離 最近傍距離 （マージン） 最近傍距離 （マージン） C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 20
- 21. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 【マージン最大化問題】 データ点 と分類境界との距離 最近傍距離 （マージン） 最近傍距離 （マージン） 最近傍距離（マージン） C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 21
- 22. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする の領域 【マージン最大化問題】 全ての学習データを正しく分類 するための制約条件 データ点 と分類境界との距離 最近傍距離 （マージン） 最近傍距離 （マージン） 最近傍距離（マージン） の領域 C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 22
- 23. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 特徴：分類器の決定に最近傍点（サポートベクトル）しか使わない の領域 【マージン最大化問題】 全ての学習データを正しく分類 するための制約条件 データ点 と分類境界との距離 最近傍距離 （マージン） 最近傍距離 （マージン） 最近傍距離（マージン） の領域 C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 23
- 24. サポートベクトルマシン（SVM） 真ん中を通る：誤分類しない範囲で、最近傍の学習データ点 との距離（最近傍距離）を最大にする 特徴：分類器の決定に最近傍点（サポートベクトル）しか使わない 課題：最近傍距離を探索するのは計算コストが大きい の領域 【マージン最大化問題】 全ての学習データを正しく分類 するための制約条件 データ点 と分類境界との距離 最近傍距離 （マージン） 最近傍距離 （マージン） 最近傍距離（マージン） の領域 C. Cortes & V. Vapnik, Support-vector networks, Machine Learning, 1995 24
- 25. 構成 1. 機械学習と分類 2. 分類問題の定式化 3. サポートベクトルマシンの定式化 4. マージン最大化の簡易化 5. ラグランジュ双対問題 6. サポートベクトルマシンの実装 25
- 27. SVMの簡単化 続き 仮定：２つのカテゴリは余白をとっても線形分離可能 つまり、距離の最小値（マージン）は マージン最大化問題を簡単化できる 【マージン最大化問題】 余白 最近傍距離（マージン） 【マージン最大化問題】 27
- 28. 演習問題１：距離の簡易表現 1. 直線と点 の距離 を求めてみよう 2. 距離を簡単な表現 に変換してみよう 3. 簡単な表現に変換した直線が点（5,0）を通ることを確認しよう 分類境界と学習データの距離 ： 配布した用紙にタイトル「演習レポート」、日付、学生番号、氏名を書いて提出 28
- 29. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 30
- 30. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 31
- 31. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 を小さくするほど マージンは大きくなる 32
- 32. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 33
- 33. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 制約条件 を満たすように と を調整 34
- 34. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 【マージン最大化問題】 支持境界 支持境界 35
- 35. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 サポートベクトル （支持境界上にある） 【マージン最大化問題】 支持境界 支持境界 36
- 36. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 マージン サポートベクトル （支持境界上にある） 【マージン最大化問題】 支持境界 支持境界 37
- 37. マージン最大化問題の解釈 各カテゴリの学習データが領域（ 、 ）にある 範囲で、分類境界 を動かし、マージンを最大化する の領域 の領域 マージン サポートベクトル （支持境界上にある） 【マージン最大化問題】 課題：マージン最大化をプログラミングする 支持境界 支持境界 38
- 38. 構成 1. 機械学習と分類 2. 分類問題の定式化 3. サポートベクトルマシンの定式化 4. マージン最大化の簡易化 5. ラグランジュ双対問題 6. サポートベクトルマシンの実装 39
- 42. ラグランジュ乗数法を解きやすい双対問題に変換する 最小化問題におけるラグランジュ関数の解釈： SVMのプログラミング実装の準備 【マージン最大化問題】 【ラグランジュ関数】 ：ラグランジュ乗数 の最小値が制約 の外にある場合： 停留点： が制約条件 を満たす の最小値となる。ただし、 この停留点を一般化したのがラグランジュ関数： は利用する制約式を決める役割を持つ（ の制約式は無視） 制約式から目的関数に移動 43
- 43. 演習問題2：停留点 以下の手順で、マージン最大化問題の停留点を求めよう： 1. ラグランジュ関数を を と について偏微分し、 ０とおき式を２つ作ってみよう。 2. ２つの式をラグランジュ関数に代入し、ラグランジュ関数か ら と を消去してみよう。 【マージン最大化問題】 【ラグランジュ関数】 ：ラグランジュ乗数 制約式から目的関数に移動 配布した用紙にタイトル「演習レポート」、日付、学生番号、氏名を書いて提出 44
- 44. 構成 1. 機械学習と分類 2. 分類問題の定式化 3. サポートベクトルマシンの定式化 4. マージン最大化の簡易化 5. ラグランジュ双対問題 6. サポートベクトルマシンの実装 46
- 45. ラグランジュ乗数法を解きやすい双対問題に変換する SVMのプログラミング実装の準備 【マージン最大化問題】 【ラグランジュ関数】 ：ラグランジュ乗数 制約式から目的関数に移動 を で微分＝０ を で微分＝０ ①と②を に代入 ー① ー② 【マージン最大化の双対問題】 ラグランジュ関数を最小化する （制約式、サポートベクトル）を選択する ラグランジュ関数を微分してゼロと置き、停留点を求める 47
- 46. ラグランジュ乗数法を解きやすい双対問題に変換する SVMのプログラミング実装の準備 【マージン最大化問題】 【ラグランジュ関数】 制約式から目的関数に移動 行列表現にして凸２次計画問題のライブラリで解く ：ベクトルzを対角成分に持つ行列（NxN） ：全要素が1のベクトル（Nx1） ：各列に を持つ行列（2xN） を で微分＝０ を で微分＝０ ①と②を に代入 ー① ー② 【マージン最大化の双対問題】 ラグランジュ関数を最小化する （制約式、サポートベクトル）を選択する ラグランジュ関数を微分してゼロと置き、停留点を求める ：ラグランジュ乗数 48
- 47. 最適化の手順のおさらい 【KKT条件】 ① ② ③ ④ ：停留点 ：主問題の制約式 ：双対問題の制約式 ：相補性 を と に変換 主問題（マージン最大化） 双対問題ラグランジュ関数 偏微分してゼロとおき wとbを消去 二次計画法で 最適解 を求める 49
- 52. PythonでSVMをプログラミング実装 Pythonの凸最適化問題パッケージCVXOPTを用いる 凸２次計画問題の関数cvxopt.solvers.qp： http://cvxopt.org/userguide/coneprog.html#quadratic-programming P, q, G, h, A, bを作成 マージン最大化の行列表現 54
- 53. PythonでSVMをプログラミング実装 Pythonの凸最適化問題パッケージCVXOPTを用いる 凸２次計画問題の関数cvxopt.solvers.qp： http://cvxopt.org/userguide/coneprog.html#quadratic-programming P, q, G, h, A, bを作成 cvxoptを用いて解く マージン最大化の行列表現 55
- 55. 宿題＆次回の内容 宿題： ラグランジュ乗数aを、線形分類モデルのパラメータwとbに変換する ヒント： 次回：カーネルモデルの導入による線形SVMの非線形拡張 【KKT条件】 ① ② ③ ④ 最適解 、 および は KKT(Karush-Kuhn-Tucker)条件満たす ：停留点 ：主問題の制約式 ：双対問題の制約式 ：相補性 （ラグランジュ関数の２項目が0） ：主問題の目的関数 ：主問題の制約式 57