シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
•
4 gostaram•1,949 visualizações
機械学習シリーズスライドです。このスライドでは、ニューラルネットワークを用いた識別（シングルラベル）の概要について説明しました。
Recomendados
Mais conteúdo relacionado
Mais de Katsuhiro Morishita
Mais de Katsuhiro Morishita (20)
シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
- 2. 更新履歴 • 2017-08-19 Ver. 1.0 release 2
- 3. Series Index ML-01 機械学習の概要 ML-02 機械学習におけるデータの前処理 ML-03 ランダムフォレストによる自動識別 ML-04 機械学習の性能の定義と一般的な性能向上策 ML-05 ニューラルネットワーク ML-06 ニューラルネットワークによる線形回帰 ML-07 ニューラルネットワークによる非線形回帰 ML-08 ニューラルネットワークを用いた識別・分類 ーシングルラベルー ML-09 ニューラルネットワークを用いた識別・分類 ーマルチラベルー ML-10 ニューラルネットワークで画像識別 ML-11 ニューラルネットワークのチューニングの基本 3
- 4. Re:識別（分類）問題とは？ • 特徴ベクトルを基に、クラスを分類する問題を識別問題という 4 • 特徴ベクトルが数値やラベルという点は回帰問題と同じ • 正解が文字列や整数で与えられる「ラベル」という点が回帰問 題と異なる “ネコ” “イヌ” 学習器 学習器 ここでの「クラ ス」とは、”ネコ” とか”イヌ”のこと
- 6. シングルラベル分類問題と マルチラベル分類問題 • 写真に写っている物体が”イヌ”か”ネコ”かという単一のラベ ルに分類する問題は、シングルラベル分類問題という • 一方で、「SF」「アニメ」など、映画のジャンルの様に複数のラ ベルに分類する問題はマルチラベル分類問題という 6 タイトル アニメ SF 映画版 押し プリンセス・プリンシパル ◯ ◯ ◯ ノーゲーム・ノーライフ ゼロ ◯ ◯ ◯ マルチラベルの例 入力画像 識別結果の正解 ネコが写った画像 “ネコ” イヌが写った画像 “イヌ” シングルラベルの例
- 10. 正解ラベルをベクトル化する • 正解（整数）を非線形回帰問題として求められなくはない • しかし、正解はベクトル化した方が高性能となる • 正解をベクトル化すると、出力層におけるとあるユニットにつながる結合 係数を調整しても、他の出力層のユニットには影響せず、調整し易い • ∴正解ラベルをベクトル化する（これをOne-hot-encodingという） 10 教師データに含まれ る正解ラベル 2 1 0 virginica versicolor setosa Irisの識別例におけるOne-hot-encoding [0, 0, 1] [0, 1, 0] [1, 0, 0] このベクトルを出力層のユニット の出力として学習させる ベクトル化した 正解ラベル
- 12. NNにおける識別問題への対応 • ニューラルネットワークを用いて識別問題を解く場合、実現 したいことが非線形な変換なので、3層以上の構成として、 中間層には非線形な活性化関数を使う • また、出力層のユニットには0か1しか出して欲しくないので、 出力層の活性化関数はsigmoidを使う • 故に、入力する特徴ベクトルは次元ごとの正規化をしていな いとほとんど学習が進まない • 正規化しない場合は、活性化関数を全てLeakyReLUにすると良いか もしれないが、ノイズに弱くなるかもしれない • 出力層の出力を確率に変換するために、softmax層を使う 12
- 13. Softmax層の役割 13 • 出力層の複数のユニットが同時に活性化している場合は、推定 結果の信頼性は低下する • 例えば、”ネコ”のユニットが最も活性化していても、他にも”イヌ”のユ ニットも活性化している場合は”ネコ”の可能性は下がる • Softmax層は信頼性を反映した確率を計算する • 後述する、categorical_crossentropyを使った学習にも寄与する 中間層 （隠れ層） 出力層 ネコ イヌ 0.98 0.65 ・・・ 中間層 （隠れ層） 出力層 ネコ イヌ 0.98 0.05 ・・・ ネコのユニットは0.98と強く発火してい るが、イヌのユニットもそこそこ発火し ており、ネコの可能性が低い状態 ネコのユニットは同じ0.98だが、イ ヌのユニットは発火しておらず、ネ コである可能性が高い状態 小さい
- 14. 基本的なモデル構成のイメージ 14 活性化関数は ReLUやsigmoidなど 活性化関数は sigmoid 中間層 （隠れ層） Softmax層 入力層 出力層 ・・・ 中間層は1層以上 𝑥1 𝑥2 𝑥3 ⋮ 𝑥 𝑛−1 𝑥 𝑛 𝑦1 𝑦2 𝑦3 ⋮ 𝑦 𝑁−1 𝑦 𝑁 各次元毎に N(0,1)に調整し た特徴ベクトル 𝑦′1 𝑦′2 𝑦′3 ⋮ 𝑦′ 𝑁−1 𝑦′ 𝑁 𝑗=1 𝑁 𝑦′ 𝑗 = 1.0 * 𝑁は識別したいクラス の数でもあり、出力層 のユニット数 に等しい。
- 15. Kerasでは、損失関数（目的関数）に binary_crossentropyか categorical_crossentropyを使う • 出力の誤差を定義するのが損失関数 • binary_crossentropy • 正解のベクトルに含まれる1と0を学習に使う • categorical_crossentropy • 正解のベクトルに含まれる1だけを学習に使う • ∴Softmax層とセットで使う • 一般的には、categorical_crossentropyが使われる • とはいえ、性能の良い方を使えば良い 15
- 17. 17 な、長かった・・・・・
- 20. アヤメ（Iris）の分類問題 20 Iris versicolorIris setosa Iris versinica 3種類の花の種類を自動的に識別したい
- 21. Irisの4つの特徴量 • ガク片の長さと幅 • 花弁の長さと幅 21 https://www.kamikochi-vc.or.jp/learn/dictionary/dic_plants.html
- 26. iris_learning_num_label.csv • 教師データのCSVファイル • 正解は整数で与えてある • 注：Excelで編集したときに数値が丸まったorz 26
- 28. learning.py • 教師データを学習するプログラム（スクリプト） • 教師データを学習データと検証データに自動的に分割 • 結果は教師データに含まれる正解ラベルに自動変換 28 200行もあって結構複雑→
- 31. 活性化関数は ReLU 活性化関数は sigmoid モデル構造 31 ユニット数 input_dim ユニット数3 ユニット数 output_dim 中間層 （隠れ層） Softmax層 入力層 Layer 0 Layer 1 Layer 3 出力層 Layer 2
- 33. prediction.py • 未知データの属するクラスを推定するプログラム • 取り込むファイルは正解が付属していないことを想定 • 結果はprediction_rexult.csvに出力 33
- 37. 37