Enviar pesquisa
Carregar
1 6.変数選択とAIC
•
8 gostaram
•
29,586 visualizações
L
logics-of-blue
Seguir
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-6.変数選択とAIC 検定とAICを用いて変数選択する方法について説明します。
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 25
Recomendados
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
強化学習 と ゲーム理論 (MARL)
強化学習 と ゲーム理論 (MARL)
HarukaKiyohara
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
Recomendados
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
強化学習 と ゲーム理論 (MARL)
強化学習 と ゲーム理論 (MARL)
HarukaKiyohara
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
深層学習の数理
深層学習の数理
Taiji Suzuki
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
PRML輪読#1
PRML輪読#1
matsuolab
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
Deep Learning JP
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
[DL輪読会]Deep Neural Networks as Gaussian Processes
[DL輪読会]Deep Neural Networks as Gaussian Processes
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
1 8.交互作用
1 8.交互作用
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
Mais conteúdo relacionado
Mais procurados
深層学習の数理
深層学習の数理
Taiji Suzuki
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
PRML輪読#1
PRML輪読#1
matsuolab
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
Deep Learning JP
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
[DL輪読会]Deep Neural Networks as Gaussian Processes
[DL輪読会]Deep Neural Networks as Gaussian Processes
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
Mais procurados
(20)
深層学習の数理
深層学習の数理
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
ベイズファクターとモデル選択
ベイズファクターとモデル選択
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
変分ベイズ法の説明
変分ベイズ法の説明
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
PRML輪読#1
PRML輪読#1
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
関数データ解析の概要とその方法
関数データ解析の概要とその方法
2 3.GLMの基礎
2 3.GLMの基礎
階層ベイズとWAIC
階層ベイズとWAIC
[DL輪読会]Deep Neural Networks as Gaussian Processes
[DL輪読会]Deep Neural Networks as Gaussian Processes
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
Destaque
1 8.交互作用
1 8.交互作用
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
1 3.分散分析 anova
1 3.分散分析 anova
logics-of-blue
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
変数選択におけるAICの利用:理論と実装
変数選択におけるAICの利用:理論と実装
sstat3
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Takahiro Yoshinaga
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
tnoda
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
Hirofumi Tsuruta
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
Destaque
(20)
1 8.交互作用
1 8.交互作用
1 2.t検定
1 2.t検定
1 7.Type II ANOVA
1 7.Type II ANOVA
1 1.はじめに
1 1.はじめに
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
1 3.分散分析 anova
1 3.分散分析 anova
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 1.予測と確率分布
2 1.予測と確率分布
2 2.尤度と最尤法
2 2.尤度と最尤法
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
変数選択におけるAICの利用:理論と実装
変数選択におけるAICの利用:理論と実装
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
幾何を使った統計のはなし
幾何を使った統計のはなし
Último
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Último
(10)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
1 6.変数選択とAIC
1.
変数選択とAIC 1 1日目-第6講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト: logics
of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 変数選択とAIC 是非 Type II ANOVA、交互作用
3.
3 変数選択って? 変数選択とは、モデルに入る変数を選ぶ作業です
4.
4 変数選択 漁獲量 天気 漁獲量 天気
5.
5 ネコ 漁獲量 天気 ネコのデータはいらない
6.
6 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる
7.
7 変数選択のご利益 1.実世界に対する理解が深まる 現象の見える化 →漁獲量に効く要因は何? →売り上げに効く要因は何? 2.実世界の模倣ができる 予測ができる
8.
8 今回の内容 1.変数選択の方法論(検定&AIC)の理解 2.Rを使って変数選択する
9.
9 検定を使って変数選択 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 普通の分散分析(回帰分析) 検定とは「予測誤差の比較」である =ナイーブ予測と比べてどれだけ予測残差が減ったか
10.
10 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定を使って変数選択 モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を増やすと残差は“有意に”減った?
11.
11 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる この当てはまりの向上は 誤差の範囲内だと示す
12.
12 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定まとめ モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を入れても残差が“有意” に減らないなら その変数はいらない 変数を増やすと残差は“有意に”減った? 質問どうぞ!
13.
13 検定結果の解釈 モデル|Y ~ X1
+ X2 + Option1 + Option2 モデル|Y ~ X1 ナイーブ予測 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 予測残差は“有意に”減ったか? 検定 比較・検定 比較・検定
14.
14 検定結果の解釈 この2種類の検定は意味が違う モデル|Y ~ X1
+ X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option2 検定タイプA 検定タイプB
15.
15 情報量規準の世界 モデルに「良さの指標」があればいい 「良さの指標」がBestなモデルを選べば楽ちん AIC [Akaike’s Information Criterion]
16.
16 AICとは 未知のデータへの予測誤差が 小さくなるモデルが良いモデル AIC 細かい理屈は明日説明します!! 今日は使い方だけ!!
17.
17 ネコ 漁獲量 天気 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった!
18.
18 ネコ 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった! でも、ほかの年ではこの関係は続かないだろう
19.
19 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる しかし、 未知データへの当てはまりは 良くならないはず
20.
20 検定とAIC 検定(当てはまりの向上の有意性の検定) 要因の見える化ができる →必要な要因を用いて将来予測ができる AIC(未知データへの当てはまりの最適化) (未知の)将来予測ができる →予測に必要な変数の見える化ができる 質問どうぞ!
21.
21 実演
22.
22 検定とAIC 検定 色々な手法があります →分散分析、t検定、Wald検定、スコア検定 情報量規準 いろいろあります →AIC, AICc, BIC,
TIC
23.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
24.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
25.
25 さいごに マナーを守って 楽しく明るく統計モデリング 質問どうぞ!