Enviar pesquisa
Carregar
機械学習基礎(2)(パラメータ推定)
•
Transferir como PPTX, PDF
•
8 gostaram
•
6,242 visualizações
mikan ehime
Seguir
機械学習の基礎的なプレゼンを行った際のスライド(2) 今回はパラメータ推定(最尤推定・ベイズ推定)
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 27
Baixar agora
Recomendados
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
深層学習の数理
深層学習の数理
Taiji Suzuki
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
Kunihiro Hisatsune
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
Recomendados
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
深層学習の数理
深層学習の数理
Taiji Suzuki
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
Kunihiro Hisatsune
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
PRML輪読#13
PRML輪読#13
matsuolab
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
14 データ収集とバイアス
14 データ収集とバイアス
Seiichi Uchida
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
ベータ分布の謎に迫る
ベータ分布の謎に迫る
Ken'ichi Matsui
強化学習その3
強化学習その3
nishio
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
Naoki Matsunaga
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
(DL hacks輪読) Deep Kernel Learning
(DL hacks輪読) Deep Kernel Learning
Masahiro Suzuki
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
Ken'ichi Matsui
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
BERT入門
BERT入門
Ken'ichi Matsui
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
Seiichi Uchida
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
Shunsuke Nakamura
Introduction to statistics
Introduction to statistics
Kohta Ishikawa
Mais conteúdo relacionado
Mais procurados
PRML輪読#13
PRML輪読#13
matsuolab
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
14 データ収集とバイアス
14 データ収集とバイアス
Seiichi Uchida
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
ベータ分布の謎に迫る
ベータ分布の謎に迫る
Ken'ichi Matsui
強化学習その3
強化学習その3
nishio
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
Naoki Matsunaga
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
(DL hacks輪読) Deep Kernel Learning
(DL hacks輪読) Deep Kernel Learning
Masahiro Suzuki
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
Ken'ichi Matsui
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
BERT入門
BERT入門
Ken'ichi Matsui
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
Seiichi Uchida
Mais procurados
(20)
PRML輪読#13
PRML輪読#13
PRML第6章「カーネル法」
PRML第6章「カーネル法」
14 データ収集とバイアス
14 データ収集とバイアス
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
ベータ分布の謎に迫る
ベータ分布の謎に迫る
強化学習その3
強化学習その3
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
(DL hacks輪読) Deep Kernel Learning
(DL hacks輪読) Deep Kernel Learning
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
BERT入門
BERT入門
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
データサイエンス概論第一=3-2 主成分分析と因子分析
データサイエンス概論第一=3-2 主成分分析と因子分析
Semelhante a 機械学習基礎(2)(パラメータ推定)
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
Shunsuke Nakamura
Introduction to statistics
Introduction to statistics
Kohta Ishikawa
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
Shunsuke Nakamura
人工知能10 サポートベクトルマシン
人工知能10 サポートベクトルマシン
Hirotaka Hachiya
20190512 bayes hands-on
20190512 bayes hands-on
Yoichi Tokita
PRML第3章_3.3-3.4
PRML第3章_3.3-3.4
Takashi Tamura
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V7
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V7
Shunsuke Nakamura
20181219_全部見せます、データサイエンティストの仕事
20181219_全部見せます、データサイエンティストの仕事
Shunsuke Nakamura
エンジニアのための機械学習の基礎
エンジニアのための機械学習の基礎
Daiyu Hatakeyama
Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1
Sho Shimauchi
Maeshori missing
Maeshori missing
Daisuke Ichikawa
ITエンジニアのための機械学習理論入門8.1ベイズ推定
ITエンジニアのための機械学習理論入門8.1ベイズ推定
Daisuke Shimada
MLaPP輪講 Chapter 1
MLaPP輪講 Chapter 1
ryuhmd
Semelhante a 機械学習基礎(2)(パラメータ推定)
(13)
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
Introduction to statistics
Introduction to statistics
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
人工知能10 サポートベクトルマシン
人工知能10 サポートベクトルマシン
20190512 bayes hands-on
20190512 bayes hands-on
PRML第3章_3.3-3.4
PRML第3章_3.3-3.4
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V7
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V7
20181219_全部見せます、データサイエンティストの仕事
20181219_全部見せます、データサイエンティストの仕事
エンジニアのための機械学習の基礎
エンジニアのための機械学習の基礎
Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1
Maeshori missing
Maeshori missing
ITエンジニアのための機械学習理論入門8.1ベイズ推定
ITエンジニアのための機械学習理論入門8.1ベイズ推定
MLaPP輪講 Chapter 1
MLaPP輪講 Chapter 1
Último
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Último
(11)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
機械学習基礎(2)(パラメータ推定)
1.
機械学習基礎 パラメータ推定
2.
本シリーズの目的 とりあえずデータを持ってきた 機械学習を使って何かやろう 目的を決めて問題を設定する 問題に対して適切な手法を決定する 万能感! ↑ができるようになる
3.
今回の範囲 まず機械学習における基礎知識が必要 今回はパラメータ推定の基本について 最尤推定 ベイズ推定
4.
パラメータ推定とは パラメータ推定の概要
5.
パラメータ推定とは ex. データはポアソン分布でμの値が未知 →データからパラメータ推定で獲得 あるデータが観測された データはある確率分布で生成されたと仮定する パラメータを推定
6.
確率分布(仮定) 観測データ パラメータθ{μ,σ} 推定サンプリング パラメータ推定とは ※イメージ補足
7.
何が嬉しい? データの分布が分かる クラスタリング・分類ができるようになる 仮説検定に利用できる 統計的仮説検定
BIC 分布から補間ができる 内挿・外挿 などなど…
8.
パラメータ推定手法 最尤推定とベイズ推定について
9.
パラメータ推定 基本的なパラメータの推定手法 1.最尤推定 2.ベイズ推定 どっちを選べば?
10.
最尤推定とベイズ推定 考え方の違い 最尤推定 頻度主義
真の値(モデル)から観測データが確率的に得られるという考え 観測データが得られる尤もらしい真の値を推定する ベイズ推定 ベイズ主義 真の値の確率分布を考えて観測データによって分布を更新する 確率分布から真の値を決定する
11.
最尤推定とベイズ推定 推定の仕方の違い 尤度:ある仮説Hiのもとで事象Dが起こる度合い
P(D|Hi) 事後確率:事象Dを観測したとき仮説Hiが正しい確率 P(Hi|D) 最尤推定 最尤推定は尤度を最大化する仮説Hiを推定する ⇛パラメータHiの点推定 ベイズ推定 事後確率の確率分布を求めて、パラメータHiを推定する ⇛事前分布(事前確率P(Hi)の分布)を導入する必要がある
12.
仮定 独立に同一の確率分布に従うデータであるとする “独立に” =
観測データは各データの確率の積の形で書ける “同一の” = 1種類の確率関数p(x)で書ける このP(D|θ)を尤度という :パラメータがθであるときの確率関数 :観測データ このとき観測データが得られる確率は 尤度って?
13.
対数尤度とは 尤度が積の形で少し扱いにくい →対数をとって和算の形に このlog P(D|θ)を対数尤度という
14.
推定の仕方 最尤推定とベイズ推定の手法
15.
最尤推定 最尤推定は対数尤度が最も高くなるようにパラメータを決定 P(D|θ)についての最大化問題 凸関数なら偏微分して0!
16.
ベイズ推定 ベイズ推定はP(θ|D)の確率分布(事後分布)を求める 最尤推定ではθを未知パラメータとしたが、ベイズ推定はθを 確率変数とする 事前にあるθの分布をデータによって更新した分布を求めると いう考え方 ただし、パラメータの事前確率分布P(θ)が既知である必要が ある
17.
ベイズ推定 事後分布P(θ|D) は、 ↑事前分布 ※θの確率ではなくθの確率分布(事後分布)
18.
ベイズ推定 θの事後分布の導出はできたが,θを一つに定めたいときはど うするのか? 事後分布の期待値を使う ⇛ 一般的な手法
事後分布が最大となる値を使う ⇛ 最大事後確率推定(MAP推定)
19.
最大事後確率推定(MAP推定) 最大事後確率推定(maximum a posteriori
estimation)の頭文字 とってMAP推定とか言ったりする 事後確率(事後分布)P(θ|D)が最大となるθを採用する
20.
θの事後分布P(θ|D) は、 最大となるθを求めたいので、右式の分子のみについて考える 積の形は扱いにくいので対数をとって、 ↑対数尤度 事前分布↑ 最大事後確率推定(MAP推定) これを計算して最大となったθを採用する
21.
ところで…
22.
事前分布P(θ)ってどうするの? パラメータθの分布が既に分かっているならばその確率分布を 設定する パラメータθについて何も知見が無い場合は事前分布を適当に 決める 無情報自然分布(要は一様分布) 階層事前分布(事前分布の事前分布を推定)
自然共役事前分布(事前分布と事後分布の形を同じにする)
23.
データの予測 点推定の場合とベイズ推定の場合
24.
データの予測 最尤推定・MAP推定・ベイズ推定でθの値or分布は入手できた けど,値を予測したい場合はどうすれば? 以下予測したいデータの分布を(確率変数をyとして) とする(予測分布)
25.
点推定の場合 最尤推定とMAP推定はパラメータθの値を推定した このとき求めたい予測分布を として分布を決定する
26.
ベイズ推定の場合 ベイズ推定の場合,得られたのはθの事後分布P(θ|D) 求めたい予測分布は, として得られる
27.
結局どれを選べばよいのか?(まとめ) ベイズ推定は事前分布の導入が必要 点推定は外れ値に弱い 点推定は計算量が少ない ベイズ推定は分布が出力されるので、最尤推定では得られな い推定値の信頼度等が得られる 事前分布がベイズ推定に及ぼす影響は、観測回数nが小さいほ ど大きく、nが大きいほど小さい nが小さい場合は、事前分布が適切に設定されているならば、 ベイズ推定が有利 nが大きい場合は事前分布の重要度が小さくなるので、最尤推 定とベイズ推定の結果がほぼ一致し、両者に優劣は無い
Notas do Editor
このようにすると尤度は同時確率に見えるが,意味合い的には確率ではなく,「観測データ下での仮説の尤もらしさ」であることに注意
ちなみに事前分布に一様分布を設定した場合,MAP推定と最尤推定は一致する
Baixar agora