Enviar pesquisa
Carregar
解説#81 ロジスティック回帰
•
0 gostou
•
176 visualizações
Ruo Ando
Seguir
2値分類問題のスタンダードであるロジスティック回帰についての解説資料です。
Leia menos
Leia mais
Educação
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 11
Baixar agora
Baixar para ler offline
Recomendados
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
観察データを用いた因果推論に共変量選択
観察データを用いた因果推論に共変量選択
Jaehyun Song
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析
aa_aa_aa
Recomendados
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
観察データを用いた因果推論に共変量選択
観察データを用いた因果推論に共変量選択
Jaehyun Song
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析
aa_aa_aa
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
サポートベクトルマシン(SVM)の勉強
サポートベクトルマシン(SVM)の勉強
Kazuki Adachi
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
多重代入法(Multiple Imputation)の発表資料
多重代入法(Multiple Imputation)の発表資料
Tomoshige Nakamura
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
Hidetoshi Matsui
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
ブースティング入門
ブースティング入門
Retrieva inc.
強化学習入門
強化学習入門
Shunta Saito
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Learning with a Wasserstein Loss (NIPS2015)
Learning with a Wasserstein Loss (NIPS2015)
Hayato Watanabe
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
Seiichi Uchida
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
KISTI-NII Joint Security Workshop 2023.pdf
KISTI-NII Joint Security Workshop 2023.pdf
Ruo Ando
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
Ruo Ando
Mais conteúdo relacionado
Mais procurados
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
サポートベクトルマシン(SVM)の勉強
サポートベクトルマシン(SVM)の勉強
Kazuki Adachi
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
多重代入法(Multiple Imputation)の発表資料
多重代入法(Multiple Imputation)の発表資料
Tomoshige Nakamura
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
Hidetoshi Matsui
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
ブースティング入門
ブースティング入門
Retrieva inc.
強化学習入門
強化学習入門
Shunta Saito
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Learning with a Wasserstein Loss (NIPS2015)
Learning with a Wasserstein Loss (NIPS2015)
Hayato Watanabe
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
Seiichi Uchida
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
Mais procurados
(20)
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
サポートベクトルマシン(SVM)の勉強
サポートベクトルマシン(SVM)の勉強
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
関数データ解析の概要とその方法
関数データ解析の概要とその方法
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
機械学習の理論と実践
機械学習の理論と実践
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
多重代入法(Multiple Imputation)の発表資料
多重代入法(Multiple Imputation)の発表資料
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
ブースティング入門
ブースティング入門
強化学習入門
強化学習入門
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Learning with a Wasserstein Loss (NIPS2015)
Learning with a Wasserstein Loss (NIPS2015)
データサイエンス概論第一=8 パターン認識と深層学習
データサイエンス概論第一=8 パターン認識と深層学習
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Mais de Ruo Ando
KISTI-NII Joint Security Workshop 2023.pdf
KISTI-NII Joint Security Workshop 2023.pdf
Ruo Ando
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
Ruo Ando
解説#86 決定木 - ss.pdf
解説#86 決定木 - ss.pdf
Ruo Ando
SaaSアカデミー for バックオフィス アイドルと学ぶDX講座 ~アイドル戦略に見るDXを専門家が徹底解説~
SaaSアカデミー for バックオフィス アイドルと学ぶDX講座 ~アイドル戦略に見るDXを専門家が徹底解説~
Ruo Ando
解説#83 情報エントロピー
解説#83 情報エントロピー
Ruo Ando
解説#82 記号論理学
解説#82 記号論理学
Ruo Ando
解説#74 連結リスト
解説#74 連結リスト
Ruo Ando
解説#76 福岡正信
解説#76 福岡正信
Ruo Ando
解説#77 非加算無限
解説#77 非加算無限
Ruo Ando
解説#1 C言語ポインタとアドレス
解説#1 C言語ポインタとアドレス
Ruo Ando
解説#78 誤差逆伝播
解説#78 誤差逆伝播
Ruo Ando
解説#73 ハフマン符号
解説#73 ハフマン符号
Ruo Ando
【技術解説20】 ミニバッチ確率的勾配降下法
【技術解説20】 ミニバッチ確率的勾配降下法
Ruo Ando
【技術解説4】assertion failureとuse after-free
【技術解説4】assertion failureとuse after-free
Ruo Ando
ITmedia Security Week 2021 講演資料
ITmedia Security Week 2021 講演資料
Ruo Ando
ファジングの解説
ファジングの解説
Ruo Ando
AI(機械学習・深層学習)との協働スキルとOperational AIの事例紹介 @ ビジネス+ITセミナー 2020年11月
AI(機械学習・深層学習)との協働スキルとOperational AIの事例紹介 @ ビジネス+ITセミナー 2020年11月
Ruo Ando
【AI実装4】TensorFlowのプログラムを読む2 非線形回帰
【AI実装4】TensorFlowのプログラムを読む2 非線形回帰
Ruo Ando
Intel Trusted Computing Group 1st Workshop
Intel Trusted Computing Group 1st Workshop
Ruo Ando
情報セキュリティと標準化I 第15回
情報セキュリティと標準化I 第15回
Ruo Ando
Mais de Ruo Ando
(20)
KISTI-NII Joint Security Workshop 2023.pdf
KISTI-NII Joint Security Workshop 2023.pdf
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
Gartner 「セキュリティ&リスクマネジメントサミット 2019」- 安藤
解説#86 決定木 - ss.pdf
解説#86 決定木 - ss.pdf
SaaSアカデミー for バックオフィス アイドルと学ぶDX講座 ~アイドル戦略に見るDXを専門家が徹底解説~
SaaSアカデミー for バックオフィス アイドルと学ぶDX講座 ~アイドル戦略に見るDXを専門家が徹底解説~
解説#83 情報エントロピー
解説#83 情報エントロピー
解説#82 記号論理学
解説#82 記号論理学
解説#74 連結リスト
解説#74 連結リスト
解説#76 福岡正信
解説#76 福岡正信
解説#77 非加算無限
解説#77 非加算無限
解説#1 C言語ポインタとアドレス
解説#1 C言語ポインタとアドレス
解説#78 誤差逆伝播
解説#78 誤差逆伝播
解説#73 ハフマン符号
解説#73 ハフマン符号
【技術解説20】 ミニバッチ確率的勾配降下法
【技術解説20】 ミニバッチ確率的勾配降下法
【技術解説4】assertion failureとuse after-free
【技術解説4】assertion failureとuse after-free
ITmedia Security Week 2021 講演資料
ITmedia Security Week 2021 講演資料
ファジングの解説
ファジングの解説
AI(機械学習・深層学習)との協働スキルとOperational AIの事例紹介 @ ビジネス+ITセミナー 2020年11月
AI(機械学習・深層学習)との協働スキルとOperational AIの事例紹介 @ ビジネス+ITセミナー 2020年11月
【AI実装4】TensorFlowのプログラムを読む2 非線形回帰
【AI実装4】TensorFlowのプログラムを読む2 非線形回帰
Intel Trusted Computing Group 1st Workshop
Intel Trusted Computing Group 1st Workshop
情報セキュリティと標準化I 第15回
情報セキュリティと標準化I 第15回
Último
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
yuitoakatsukijp
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ssusere0a682
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ssusere0a682
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
YukiTerazawa
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
Tokyo Institute of Technology
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
koheioishi1
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
Takayuki Itoh
Último
(7)
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
解説#81 ロジスティック回帰
1.
解説#81 ロジスティック回帰 https://www.youtube.com/user/blinknetmonitoring 安藤類央
2.
ロジスティック回帰とは • 線形分離問題と二値分類問題に使う手法(アルゴリズム)。 • 名前とは裏腹に、分類問題に使う。 •
閾値関数の前の、活性関数にシグモイド関数を使う。 • データが特定のクラス(2つ)に属する確率を出力する。 • シンプルだが、精度と性能が理論的に保証されており、強力な 手法。
3.
x1 x2 f(x1,x2)<0 f(x1,x2)>0 P=0.5 f(x1,x2) 感染確率P 感染していない 感染している σ x = 1 1
+ 𝑒 P −∞ ≤ x ≤ ∞ = 𝑓 𝑥 𝑑𝑥 = 1 F x = 𝑓 𝑡 𝑑𝑡 ロジスティック回帰のイメージ シグモイド関数σ x 確率密度関数σ x
4.
W W ∑ 予測値 W W ∑ σ
予測値 W W ∑ 予測値 ❐パーセプトロン ❐ADALINE (Adaptive Linear Neuron) ❐ロジスティック回帰 σ x = 1 1 + 𝑒 ❐線形活性化関数 φ 𝑤 ∗ 𝑥 = 𝑤 + 𝑥 ❐シグモイド関数 ❐活性化関数:なし ロジスティック回帰への道 ニューロンの出力は0か1。 線形加重和∑に活性関数φが加わる。 ニューロンの出力は0か1。 0から1の確率が出力される。
5.
𝑃 𝑐 =
1 ) = 𝜎(𝑊 𝑥 + 𝑏) … (1) 𝑃 𝑐 = 0 𝑥 = 1 − 𝑃 𝑐 = 1 ) … (2) 𝑦 ∶= 𝜎(𝑊 𝑥 + 𝑏) 𝑃 𝐶 = 𝑡 𝑥 = 𝑦 +(1 − 𝑦) … (3) (1)と(2)をまとめると、 N個の入力データXn およびそれぞれに対応する正解の出力データtnがあたえられたとき、尤度関数は、 L w, b = ∏ 𝑃 𝐶 = 𝑡 𝑥 …(4) L w, b = 𝑦 1 − 𝑦 … (5) 確率関数から尤度関数へ (1)と(3)から、 データが1と分類される確率 データが0と分類される確率 この式がデータの個数tだけ存在する。 なぜ総乗関数なのか。個々の確率関数(3)の値を すべて1に近づけたいため。 この尤度関数を最適化 (最尤推定)する
6.
= - 尤度関数から交差エントロピー誤差関数へ この関数の最大化を考える場合、 パラメータの偏微分(勾配)を求める。 しかし、(5)の式は積の形(総乗)を しており、偏微分の計算が非常に困難 E(エネルギー値)を設定し、 対数を取って和の形にする。 交差エントロピー誤差関数 関数Eのことを誤差関数・損失関数と言う。
7.
誤差関数から勾配降下法へ 𝑤 = 𝑤
− 𝜂 𝑦 − 𝑡 )𝑥 … (9) 𝑏 = 𝑏 − 𝜂 𝑦 − 𝑡 … 10 𝜕𝐸(𝑤, 𝑏) 𝜕𝑤 = 𝜕𝐸 𝜕𝑦 𝜕𝑦 𝜕𝑤 = − 𝑡 − 𝑦 )𝑥 … (7) 𝜕𝐸(𝑤, 𝑏) 𝜕𝑏 = − 𝑡 − 𝑦 ) … (8) - ❐交差エントロピー誤差関数におけるパラメータは wとbなので、「w、bで偏微分して0になる値」 を求める。 ❐この場合、解析的にこの値を求めるのは困難。 ❐反復学習により、パラメータを逐次的に更新 することで最適解を探すアプローチを 勾配降下法という。
8.
勾配降下法① – 1変数(1つの重み) ①現地点Wでの勾配を計算する ことにより方向を特定 ②誤差の小さくなる方向に Wを変化させる ❐
重みを変化させると誤差が変化する ❐ 勾配は𝛻𝐸とする ❐ 誤差Eが最小になるような重みの値を見つける ❐ 勾配を使った反復学習により、パラメータを逐次的に更新することで最適解を探索するアプローチ。 ① 現時点Wでの勾配を計算する ② 誤差の小さくなる方向へWを変化させる ΔE = * ΔW Δ ΔW Δ Δw = (Δ𝑤 , Δ𝑤 , … Δ𝑤 )
9.
勾配降下法② - 2変数(2つの重み) ΔError=h(w1,
w2) w1=0, w2=0の時 Errorの値が最小(0) 等高線 (Eが標高) ΔE = ▽E * ΔW <0 (0以下)の値を 取るときに誤差は 確実に減少方向に 進む。 計算したら出てく る値であり、変更 できない。 変更できるのは この値。 最小値(E=0) 等高線: Eが同じ値になる w1とw2の組み合わせを線に したもの。 等高線が近接していればいる ほど、局面の傾きが急になる。 最も誤差が急になるのは常に 等高線に対して垂直な方向。 ❐ ΔError=h(w1, w2)として、2次元の曲面を下っていくイメージで考える。
10.
参考:混合行列(Confusion Matrix) 予測 猫 犬 実際 猫
30 10 犬 20 40 40匹の猫と60匹の犬をサンプリング 正しく認識できたのは、 猫40匹に対して30匹 犬60匹に対して40匹 適合率=30/30+20=30/50=0.6 感度=30/30+10=30/40=0.75 ✔ 🚫 ✔ TP FN 🚫 FP TN 感度(再現率・真陽性率)=TP/TP+FN 適合率=TP/TP+FP 陰性的中率 = FN/FN+TB
11.
ロジスティック回帰とは • 線形分離問題と二値分類問題に使う手法(アルゴリズム)。 データが特定のクラス(2つ)に属する確率を出力する。 • 閾値関数の前の、活性関数にシグモイド関数を使う。 •
シンプルだが、精度と性能が理論的に保証されており、強力な手法。 • Scikit-Learnのライブラリでは、結果の評価に混合行列やROC曲 線などが容易されている。
Baixar agora