Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a データサイエンス概論第一=3-3 回帰分析
Semelhante a データサイエンス概論第一=3-3 回帰分析 (13)
Mais de Seiichi Uchida
Mais de Seiichi Uchida (13)
データサイエンス概論第一=3-3 回帰分析
- 1. 1 九州大学大学院システム情報科学研究院 データサイエンス実践特別講座 データサイエンス概論第一 第3回 主成分分析と回帰分析： 3-3 回帰分析 システム情報科学研究院情報知能工学部門 内田誠一
- 2. 2 データサイエンス概論第一の内容 データとは データのベクトル表現と集合 平均と分散 データ間の距離 データ間の類似度 データのクラスタリング （グルーピング） 線形代数に基づくデータ解析の基礎 主成分分析と因子分析 回帰分析 相関・頻度・ヒストグラム 確率と確率分布 信頼区間と統計的検定 時系列データの解析 異常検出
- 5. 55 予測とは？ 「入力に対する結果を推定する」手法 例 予測器 入力 (原因) 結果 入力(原因) 結果 勉強時間 試験の点数 食事量 糖尿病になる確率 (身長，体重) バスケットボールの得点 画像 その画像がリンゴの写真である確率
- 15. 15 どういう「あてはめ結果」が望ましい？(3/3) 15 結果 𝑦 入力 𝑥 𝑎と𝑏をいじって 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 を最小化 𝑦 = 𝑎𝑥 + 𝑏 𝑥𝑖, 𝑦𝑖𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 二乗誤差で「あてはめ誤差」を定義
- 16. 16 これを「最小二乗法」と呼ぶ 16 𝑎と𝑏をいじって 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 を最小化 二乗誤差を最小にしたいから 最小二乗法 どうやって？？
- 17. 17 参考：最小二乗法，どう解く？ まず問題をよく見る(1/2) 17 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 = 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 = 𝑖 𝑥𝑖 2 𝑎2 − 𝑦𝑖 − 𝑏 2𝑎 + 𝑦𝑖 − 𝑏 2 = 𝑖 𝑥𝑖 2 𝑎2 − 2 𝑖 𝑦𝑖 − 𝑏 𝑎 + 𝑖 𝑦𝑖 − 𝑏 2 落ち着いて考えれば 𝑎に関する2次関数 最小化したいもの
- 18. 18 参考：最小二乗法，どう解く？ まず問題をよく見る(2/2) 18 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 = 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 − 𝑏 𝑦𝑖 − 𝑎𝑥𝑖 − 𝑏 = 𝑖 𝑏2 − 𝑦𝑖 − 𝑎𝑥𝑖 2𝑏 + 𝑦𝑖 − 𝑎𝑥𝑖 2 = 𝑖 1 𝑏2 − 2 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 𝑏 + 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 2 落ち着いて考えれば 𝑏に関しても2次関数 最小化したいもの
- 19. 19 ここはイマイチ ここがベスト 参考：最小二乗法，どう解く？ 要するにこんな形になっています 19 𝑏 𝑎 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 ベストは１か所→ベストな「モデルあてはめ」は一つ！ (by 一か所だけ出っ張った二次関数の美しい特性) 誤差大 誤差最小 誤差
- 20. 20 参考：最小二乗法，どう解く？ 解き方の細かいところ 20 𝜕 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 𝜕𝑎 = 0 𝜕 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 𝜕𝑏 = 0 解き方(要は「極値なら微分してゼロ」という条件) 高校時代 二次関数の 極値問題を 解かされたな... 𝑎と𝑏をいじって 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 を最小化
- 21. 21 主成分分析と回帰分析の違い： どちらがいい・悪いというものではなく，目的からして全く違う 21 要素 𝑥2 要素 𝑥1 第1主成分= 分布の近似方向 主成分分析 結果 𝑦 入力(原因)𝑥 回帰直線= 入力と結果の関係 (線形)回帰分析 要素 𝑥1, 𝑥2を交換しても同じ 入力 𝑥と結果𝑦を交換すると違う直線
- 26. 2626 余談：なんで「重」回帰？ 何か重たいのか？ 英語では Multiple regression analysis このmultipleを「重」と訳した Regression analysis = 回帰分析 Multiple＝「複数のものを(同時に)」という意味合いか というわけで「何かが重たい」わけではない
- 29. 29 回帰分析は「線形モデル」だけじゃない： 𝑁次多項式モデル 結果 入力 𝑦 = 𝑎 𝑛 𝑥 𝑛 + 𝑎 𝑛−1 𝑥 𝑛−1 + ⋯ + 𝑎1 𝑥 + 𝑎0 全データを通過 →誤差ゼロ でも...これOK？ (この点，後述)
- 31. 31 アウトライヤ(はずれ値)の悪影響(1/4) 31 結果 𝑦 入力 𝑥 アウトライヤ • センサの異常 • 測定ミス • イイカゲンな返答