シリーズML-06 ニューラルネットワークによる線形回帰
•
4 gostaram•4,644 visualizações
機械学習シリーズスライドです。このスライドでは、Kerasを使ったニューラルネットワークによる線形回帰問題について説明しました。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a シリーズML-06 ニューラルネットワークによる線形回帰
Semelhante a シリーズML-06 ニューラルネットワークによる線形回帰 (10)
Mais de Katsuhiro Morishita
Mais de Katsuhiro Morishita (20)
シリーズML-06 ニューラルネットワークによる線形回帰
- 2. 回帰問題とは？ • 特徴ベクトルを基に、値を推定する問題を回帰問題という • 特徴ベクトルが数値やラベルという点は識別問題と同じ • 正解が実数という点が識別問題と異なる 2 学習器 過去7時間の雨量 3時間後の河川水位 河川水位を予測する回帰の例
- 4. Kerasの概要 4
- 5. Kerasとは • ニューラルネットワークの積層を直感的に実現 • 広く使われている 5 Kerasは，Pythonで書かれた，TensorFlowまたはCNTK， Theano上で実行可能な高水準のニューラルネットワークライブ ラリです． Kerasは，迅速な実験を可能にすることに重点を置い て開発されました． アイデアから結果に到達するまでのリード タイムをできるだけ小さくすることが，良い研究をするための鍵 になります． －Keras Documentation https://keras.io/ja/
- 16. 重回帰式とは • 重回帰式とは、式(1)である • ここで、 𝑥は特徴量を表し、𝛽はその係数である • 予測値の計算に式(1)を使う • ちなみに、重回帰分析は係数𝛽を行列計算により求める 16 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽 𝑛 𝑥 𝑛 (1) *ここでの線形とは、直線という意味である。 **式(1)は1次式であるので、直線の式である ***重回帰分析は線形の式に回帰させるので線形回帰問題の一種である
- 17. 17 これをKerasで解いてみる 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽 𝑛 𝑥 𝑛 (1)
- 25. モデル構造 25 出力層入力層 𝑥1 𝑦 1 Unit 0 Unit 𝑛 𝑤1,1 0 𝑤2,1 0 𝑤0,1 0 結合係数 Layer 0 Layer 1 出力層のユニットの活 性化関数は指定され ていないので、linear ∴ ℎ 𝑧 = 𝑧 𝑦 = 𝑦1 1 = 𝑧1 1 = 𝑾1 1 ∙ 𝑿 𝑥 𝑛 ・ ・ ・ 𝑾1 1 = (𝑤0,1 0 , ⋯ , 𝑤 𝑛,1 0 ) 𝑇 𝑿 = (1, 𝑥1, ⋯ , 𝑥 𝑛) 𝑇ここで、 プログラムの中で、 nはs-1として表現さ れていた 結合係数を求めれば、そ れが回帰式の係数となる 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽 𝑛 𝑥 𝑛重回帰式 Unit 1
- 27. 学習結果の見方 27 [array([[ 0.11853985], [ 0.25794539], [ 0.24517672], [ 0.44266531], [ 0.1166774 ], [ 0.49679297], [-0.26336813], [-0.54205322], [-0.83572966]], dtype=float32), array([ 0.47580394], dtype=float32)] 𝑤 𝑛,1 0 , 𝑛 = 9 𝑤1,1 0 バイアス項 𝑤0,1 0 結合係数をコンソールに出力しているので、ここから重回帰係 数を読み取ることができる。なお、「weights.txt」にも同じ文字列 が出力されている。
- 31. 予測結果の検証 • prediction.pyによる予測結果がresult_test.csvに出力される • このファイルに記載された予測結果と正解の散布図を作成した • 完全に予測と正解が一致していれば、完全相関となる • 一次近似式の決定係数R2で予測精度を評価できる 31 予測値と正解の散布図の例 （横軸が正解、縦軸が予測値）
- 32. 重回帰分析に対する ニューラルネットワークの利点 • 普通の重回帰分析では、ほぼ完全相関な説明変数があると逆 行列を求めることができずに計算できない • 高い相関のある片方の変数を使わないという手で回避できるけども • NNでは、多重共線性があっても計算できる • 相関のある変数間ではお互いの影響を補完し得るので、相関のある変 数の重み係数は不安定ではあるが、発散はしない 32
- 33. 33
- 35. 参考文献 35
- 36. 参考リンク集 • Keras 公式 • https://keras.io/ja/getting-started/sequential-model-guide/ • Iris • http://aidiary.hatenablog.com/entry/20161108/1478609028 • Neural Networkでの失敗経験やアンチパターンを語る • http://nonbiri-tereka.hatenablog.com/entry/2016/03/10/073633 • 目的関数（ロス関数） • https://keras.io/ja/objectives/ • auto encoder • https://elix-tech.github.io/ja/2016/07/17/autoencoder.html • KerasでVGG16を使う 人工知能に関する断創録 • http://aidiary.hatenablog.com/entry/20170104/1483535144 • 技術力の有りそうな人のブログ • CNNの隠れ層の可視化の記事も良いかもしれない • DeepLearning系ライブラリ、Kerasがあまりにも便利だったので使い方メモ • 最初に読むブログとしては網羅的で分かりやすいかも • http://www.procrasist.com/entry/2017/01/07/154441 36
- 37. 参考リンク集 • TensorFlowを始める前に知っておくべきテンソルのこと(追記：より一般的な話題へ) • http://s0sem0y.hatenablog.com/entry/2016/12/01/223834 • scikit-learn で線形回帰 (単回帰分析・重回帰分析) • pandasの使い方の参考にも良い • http://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0 • [TF]KerasでModelとParameterをLoad/Saveする方法 • http://qiita.com/supersaiakujin/items/b9c9da9497c2163d5a74 • h5pyが必要だった • Batch Normalization：ニューラルネットワークの学習を加速させる汎用的で強力な手法 • https://deepage.net/deep_learning/2016/10/26/batch_normalization.html • Softmaxって何をしてるの？ • http://hiro2o2.hatenablog.jp/entry/2016/07/21/013805 • 機械学習におけるクラス分類問題の各関数の意味解説 • http://qiita.com/shunchan0677/items/d30e5206677f2068a468 37