Enviar pesquisa
Carregar
ニューラルネットワークの理論
•
Transferir como PPTX, PDF
•
0 gostou
•
144 visualizações
K
Kazuma Komiya
Seguir
学内勉強会で使用したニューラルネットワークに関する資料. 機械学習に関する前提知識,ニューラルネットワークの構造,学習方法などをまとめた.
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 58
Baixar agora
Recomendados
学内勉強会で使用したGANについての資料.初心者向けの噛み砕いた説明,GANの色々な発展系,分かる人向けの少し難しい解釈をまとめた.
GANの簡単な理解から正しい理解まで
GANの簡単な理解から正しい理解まで
Kazuma Komiya
* Satoshi Hara and Kohei Hayashi. Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach. AISTATS'18 (to appear). arXiv ver.: https://arxiv.org/abs/1606.09066# * GitHub https://github.com/sato9hara/defragTrees
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
授業のゼミで作りました。
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも?
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
2018/09/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
第4回 統計・機械学習若手シンポジウム(11/15)発表資料
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
1/24 パンハウスゼミ
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
Recomendados
学内勉強会で使用したGANについての資料.初心者向けの噛み砕いた説明,GANの色々な発展系,分かる人向けの少し難しい解釈をまとめた.
GANの簡単な理解から正しい理解まで
GANの簡単な理解から正しい理解まで
Kazuma Komiya
* Satoshi Hara and Kohei Hayashi. Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach. AISTATS'18 (to appear). arXiv ver.: https://arxiv.org/abs/1606.09066# * GitHub https://github.com/sato9hara/defragTrees
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
授業のゼミで作りました。
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも?
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
2018/09/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
第4回 統計・機械学習若手シンポジウム(11/15)発表資料
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
1/24 パンハウスゼミ
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
WACODE 3rdの資料
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
2017/12/12 強化学習アーキテクチャ勉強会の資料
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
2018/3/16 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
Deep Learning JP
第34回全脳アーキテクチャ若手の会 勉強会「実世界応用のための深層学習」with エクサウィザーズ の発表資料です。オープンセット認識、オープンワールド認識の基礎と代表的手法を紹介しています。 https://wbawakate.connpass.com/event/80290/
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
Takuma Yagi
2023/1/20 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
Deep Learning JP
社内で使った深層学習勉強会スライド(再構成版) 2019/10/30@Hirosaji ===== Title (English): GAN overview and DCGAN architecture / algorithm
GANの概要とDCGANのアーキテクチャ/アルゴリズム
GANの概要とDCGANのアーキテクチャ/アルゴリズム
Hirosaji
2021/02/19 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
第33回R勉強会@東京 MICとHSICの性能比較です
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
2017/7/7 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Adversarial Feature Matching for Text Generation
[DL輪読会]Adversarial Feature Matching for Text Generation
Deep Learning JP
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です(キーワード:Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio)
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
2020/02/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
Lassoなどで使う劣微分を簡単な形で説明しています.
劣微分
劣微分
ShintaUrakami
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
春学期に行ったゼミでの文献調査です. ベイズの枠組みを利用したActive Learningを中心に発表しました
Active Learning と Bayesian Neural Network
Active Learning と Bayesian Neural Network
Naoki Matsunaga
マーク付き点過程
マーク付き点過程
Yoshiaki Sakakura
機械学習の基礎
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
Hirotaka Hachiya
差分プライバシー (Differential privacy) という技術に関する入門スライドです
差分プライバシーとは何か? (定義 & 解釈編)
差分プライバシーとは何か? (定義 & 解釈編)
Kentaro Minami
2019/11/29 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Deep Learning JP
クライアントDevDay @ 関西 (2018/06/16) https://connpass.com/event/87879/ #DevDayKansai
機械学習入門
機械学習入門
Fujio Kojima
機械学習の原理と Azure Machine Learning や C# と ML.NET を使った実例 2021年1月23日 https://dotnetlab.connpass.com/event/199890/
.NETラボ 勉強会 2021年1月 「C#で機械学習」
.NETラボ 勉強会 2021年1月 「C#で機械学習」
Fujio Kojima
Mais conteúdo relacionado
Mais procurados
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
WACODE 3rdの資料
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
2017/12/12 強化学習アーキテクチャ勉強会の資料
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
2018/3/16 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
Deep Learning JP
第34回全脳アーキテクチャ若手の会 勉強会「実世界応用のための深層学習」with エクサウィザーズ の発表資料です。オープンセット認識、オープンワールド認識の基礎と代表的手法を紹介しています。 https://wbawakate.connpass.com/event/80290/
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
Takuma Yagi
2023/1/20 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
Deep Learning JP
社内で使った深層学習勉強会スライド(再構成版) 2019/10/30@Hirosaji ===== Title (English): GAN overview and DCGAN architecture / algorithm
GANの概要とDCGANのアーキテクチャ/アルゴリズム
GANの概要とDCGANのアーキテクチャ/アルゴリズム
Hirosaji
2021/02/19 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
第33回R勉強会@東京 MICとHSICの性能比較です
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
2017/7/7 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Adversarial Feature Matching for Text Generation
[DL輪読会]Adversarial Feature Matching for Text Generation
Deep Learning JP
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です(キーワード:Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio)
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
2020/02/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
Lassoなどで使う劣微分を簡単な形で説明しています.
劣微分
劣微分
ShintaUrakami
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
春学期に行ったゼミでの文献調査です. ベイズの枠組みを利用したActive Learningを中心に発表しました
Active Learning と Bayesian Neural Network
Active Learning と Bayesian Neural Network
Naoki Matsunaga
マーク付き点過程
マーク付き点過程
Yoshiaki Sakakura
機械学習の基礎
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
Hirotaka Hachiya
差分プライバシー (Differential privacy) という技術に関する入門スライドです
差分プライバシーとは何か? (定義 & 解釈編)
差分プライバシーとは何か? (定義 & 解釈編)
Kentaro Minami
2019/11/29 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Deep Learning JP
Mais procurados
(20)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
GAN(と強化学習との関係)
GAN(と強化学習との関係)
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
GANの概要とDCGANのアーキテクチャ/アルゴリズム
GANの概要とDCGANのアーキテクチャ/アルゴリズム
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
[DL輪読会]Adversarial Feature Matching for Text Generation
[DL輪読会]Adversarial Feature Matching for Text Generation
生成モデルの Deep Learning
生成モデルの Deep Learning
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
劣微分
劣微分
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Active Learning と Bayesian Neural Network
Active Learning と Bayesian Neural Network
マーク付き点過程
マーク付き点過程
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
差分プライバシーとは何か? (定義 & 解釈編)
差分プライバシーとは何か? (定義 & 解釈編)
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Semelhante a ニューラルネットワークの理論
クライアントDevDay @ 関西 (2018/06/16) https://connpass.com/event/87879/ #DevDayKansai
機械学習入門
機械学習入門
Fujio Kojima
機械学習の原理と Azure Machine Learning や C# と ML.NET を使った実例 2021年1月23日 https://dotnetlab.connpass.com/event/199890/
.NETラボ 勉強会 2021年1月 「C#で機械学習」
.NETラボ 勉強会 2021年1月 「C#で機械学習」
Fujio Kojima
日本心理学会第86回大会のチュートリアル企画「心理ネットワークアプローチ入門:横断データ解析を中心に」用に作成したスライド資料です (5つある資料の2個目)。 心理ネットワークアプローチについて知るとともに,横断データ解析の実施手続きを学べる内容となっています。心理学や精神医学だけではなく,社会科学の様々な領域で生かせる手法ですので,ぜひ目を通してみてください!
JPA2022_NetworkTutorial_Part2.pdf
JPA2022_NetworkTutorial_Part2.pdf
Jun Kashihara
Azure Machine Learning Services の概要です。 データの準備、学習ジョブ、モデルの展開、Automated Machine Learning、Hyperparameter Explorer、ONNIX、WindowsMLなどが含まれています。
Azure Machine Learning Services 概要 - 2019年3月版
Azure Machine Learning Services 概要 - 2019年3月版
Daiyu Hatakeyama
2019/02/13 AI/ML (Machine Learning: 機械学習) 勉強会 資料 1. 機械学習 (Machine Learning) とは 2. ニューラル ネットワークとは 3. デモ - Microsoft Cognitive Services - C# / Python による機械学習 - Azure Machine Learning Studio
機械学習 (AI/ML) 勉強会 #1 基本編
機械学習 (AI/ML) 勉強会 #1 基本編
Fujio Kojima
2020年10月5日に開催された Tech-on MeetUp Online#03「マルチクラウドで解決するものしないもの 〜エンタープライズにおけるマルチクラウドのリアル〜」 で登壇した際の資料です。 https://techplay.jp/event/793105
マルチクラウドってそもそも何?いるの?いらないの? (20201005)
マルチクラウドってそもそも何?いるの?いらないの? (20201005)
Masanori KAMAYAMA
de:code 2018 ( https://www.microsoft.com/ja-jp/events/decode/2018/ ) の AI61 ( https://www.event-marketing.jp/events/decode/2018/sess/Schedule_Detail.aspx?id=AI61&url=Schedule.aspx ) の資料です (2018年5月22日)。 ソースコードは: https://github.com/Fujiwo/CSharpNeuralNetworkSample-AI-decode 関連資料: 「Microsoft Azure Machine Learning Studio による株価予想プログラム」 https://github.com/Fujiwo/PredictStockPrice-AI-decode
C# でニューラルネットワークをスクラッチで書いて機械学習の原理を理解しよう
C# でニューラルネットワークをスクラッチで書いて機械学習の原理を理解しよう
Fujio Kojima
分割データサイズのバランスにフォーカスを置いたコミュニティ抽出手法の並列分散化
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
Tokyo Institute of Technology
2018/10/20コンピュータビジョン勉強会@関東「ECCV読み会2018」発表資料 Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on Computer Vision.
3DFeat-Net
3DFeat-Net
Takuya Minagawa
「忙しいあなたに代わってリスクを検知 あったら便利!CSPMのススメ」 トレンドマイクロ株式会社 セールスエンジニアリング部 サーバセキュリティチーム ソリューションアーキテクト 根本 恵理子 様
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
ssuser0b75ac1
長岡技術科学大学 2015年度先端GPGPUシミュレーション工学特論(全15回,大学院生対象講義) 第8回偏微分方程式の差分計算(拡散方程式) 2015年度先端GPGPUシミュレーション工学特論 ・第1回 先端シミュレーションおよび産業界におけるGPUの役割 http://www.slideshare.net/ssuserf87701/2015gpgpu1-59180313 ・第1回補足 GROUSEの利用方法 http://www.slideshare.net/ssuserf87701/2015gpgpu1-59180326 ・第2回 GPUによる並列計算の概念とメモリアクセス http://www.slideshare.net/ssuserf87701/2015gpgpu2-59180382 ・第3回 GPUプログラム構造の詳細(threadとwarp) http://www.slideshare.net/ssuserf87701/2015gpgpu3-59180483 ・第4回 GPUのメモリ階層の詳細(共有メモリ) http://www.slideshare.net/ssuserf87701/2015gpgpu4-59180572 ・第5回 GPUのメモリ階層の詳細(様々なメモリの利用) http://www.slideshare.net/ssuserf87701/2015gpgpu5-59180652 ・第6回 プログラムの性能評価指針(Flop/Byte,計算律速,メモリ律速) http://www.slideshare.net/ssuserf87701/2015gpgpu6-59180736 ・第7回 総和計算(Atomic演算) http://www.slideshare.net/ssuserf87701/2015gpgpu7-59180844 ・第8回 偏微分方程式の差分計算(拡散方程式) http://www.slideshare.net/ssuserf87701/2015gpgpu8-59180918 ・第9回 偏微分方程式の差分計算(移流方程式) http://www.slideshare.net/ssuserf87701/2015gpgpu9-59180982 ・第10回 Poisson方程式の求解(線形連立一次方程式) http://www.slideshare.net/ssuserf87701/2015gpgpu10-59181031 ・第11回 数値流体力学への応用(支配方程式,CPUプログラム) http://www.slideshare.net/ssuserf87701/2015gpgpu11-59181134 ・第12回 数値流体力学への応用(GPUへの移植) http://www.slideshare.net/ssuserf87701/2015gpgpu12-59181230 ・第13回 数値流体力学への応用(高度な最適化) http://www.slideshare.net/ssuserf87701/2015gpgpu13-59181316 ・第14回 複数GPUの利用 http://www.slideshare.net/ssuserf87701/2015gpgpu14-59181367 ・第15回 CPUとGPUの協調 http://www.slideshare.net/ssuserf87701/2015gpgpu15-59181450 2015年度GPGPU実践基礎工学 ・第1回 学際的分野における先端シミュレーション技術の歴史 http://www.slideshare.net/ssuserf87701/2015gpgpu1 2015年度GPGPU実践プログラミング ・第1回 GPGPUの歴史と応用例 http://www.slideshare.net/ssuserf87701/2015gpgpu1-59179080 講義には長岡技術科学大学のGPGPUシステム(GROUSE)を利用しています。 開発環境 CPU Intel Xeon X5670 × 32 GPU NVIDIA Tesla M2050(Fermi世代) × 64 CUDA 4.0(諸般の事情によりバージョンアップされていません) PGI Fortran 11.3
2015年度先端GPGPUシミュレーション工学特論 第8回 偏微分方程式の差分計算(拡散方程式)
2015年度先端GPGPUシミュレーション工学特論 第8回 偏微分方程式の差分計算(拡散方程式)
智啓 出川
オープンソースカンファレンス2023 Online Fall セミナープログラム 2023年9月29日(金) 15:00 〜 15:45/2023年9月30日(土) 15:00 〜 15:45 セッション概要 GridDBは、膨大なリアルタイムのセンシングデータ(時系列データ)を活用するミッションクリティカルなIoTシステムをターゲットにデザインした日本発のオープンソースのデータベース管理システムです。 本セミナーでは、GridDBの概要と強化された時系列データ管理・検索機能について説明します。
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
griddb
Interop : SDN ShowCase OpenStageにて、さくらインターネットの大久保氏とのコラボセッションに使用しましたスライド。 MidoNetの概要、さくらインターネット様がお困りだったポイント、それにMidoNetがどう応えたかについてお話させて頂きました。
20130614 Interop SDN ShowCase-OpenStage2-MidoNet with Sakura Internet
20130614 Interop SDN ShowCase-OpenStage2-MidoNet with Sakura Internet
Midokura
Webアプリケーションにおいて、マルチテナント型、つまり複数のユーザー組織がアプリケーションとデータベースを共有する構成にすることがあります。この構成の持つリスクとして、万が一バグにより他テナントの情報が見えてしまうとそれは情報漏洩となり、重大なインシデントとなってしまうことがあります。この重要性を考えると、「気を付けて実装する」だけではなく、仕組みで漏洩を防ぐような対策には価値があります。 そこで、今回はPostgresSQLの行レベルセキュリティと、SpringAOPによる処理を組み合わせて、ログインしているテナントのデータにしかアクセスできなくする仕組みを実現しました。 導入にあたり考慮した複数の選択肢、乗り越えたいくつかの壁についてご紹介します。 同様の課題を抱えている方の参考にしていただけるような情報をお伝えしたいと思います。
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
Koichiro Matsuoka
Azure Machine Learning servicesの概要資料です。データクリーニング・AutoML含む学習・k8s, IoTも選択肢の展開、そしてMLOpsの概要です。 サービス自体が逐次更新されますので、あくまでスナップショットとして。
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Daiyu Hatakeyama
Microsoft 365 Virtual Marathon (2021) での発表資料です。
Microsoft Tunnel 概要
Microsoft Tunnel 概要
Yutaro Tamai
Semelhante a ニューラルネットワークの理論
(16)
機械学習入門
機械学習入門
.NETラボ 勉強会 2021年1月 「C#で機械学習」
.NETラボ 勉強会 2021年1月 「C#で機械学習」
JPA2022_NetworkTutorial_Part2.pdf
JPA2022_NetworkTutorial_Part2.pdf
Azure Machine Learning Services 概要 - 2019年3月版
Azure Machine Learning Services 概要 - 2019年3月版
機械学習 (AI/ML) 勉強会 #1 基本編
機械学習 (AI/ML) 勉強会 #1 基本編
マルチクラウドってそもそも何?いるの?いらないの? (20201005)
マルチクラウドってそもそも何?いるの?いらないの? (20201005)
C# でニューラルネットワークをスクラッチで書いて機械学習の原理を理解しよう
C# でニューラルネットワークをスクラッチで書いて機械学習の原理を理解しよう
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
A Distributed Parallel Community Detection Heuristics for Large-scale Real Gr...
3DFeat-Net
3DFeat-Net
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
2015年度先端GPGPUシミュレーション工学特論 第8回 偏微分方程式の差分計算(拡散方程式)
2015年度先端GPGPUシミュレーション工学特論 第8回 偏微分方程式の差分計算(拡散方程式)
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
20130614 Interop SDN ShowCase-OpenStage2-MidoNet with Sakura Internet
20130614 Interop SDN ShowCase-OpenStage2-MidoNet with Sakura Internet
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Microsoft Tunnel 概要
Microsoft Tunnel 概要
Último
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン (OCHaCafe Season 8 #4 発表資料) 2024年5月8日(水) NTTデータグループ 技術開発本部 小林 隆浩
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
2024年4月に社内向けに開催した勉強会資料の社外公開版です
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Último
(7)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
ニューラルネットワークの理論
1.
DDoS2023春 小宮和真 武蔵野大学 データサイエンス学部 2年 misya11p @ds33miya ニューラルネットワーク 武蔵野大学
脱初心者データサイエンスオンラインセミナー 2023春 2023/3/15
2.
DDoS2023春 目次 2023/3/15 1 1. ニューラルネットワークとは 2. ニューラルネットワークの構成 3.
ニューラルネットワークの学習 4. ニューラルネットワークの実装
3.
DDoS2023春 1. ニューラルネットワークとは 2023/3/15 2
4.
DDoS2023春 ニューラルネットワーク 人間の脳の神経回路を模した数理モデル 数理モデル ある現象を数式で記述したもの.ここでは関数と捉えておくと良い. 2023/3/15 3 1. ニューラルネットワークとは 数理モデル なんらかの数字 なんらかの数字
5.
DDoS2023春 機械学習モデル 2023/3/15 4 1. ニューラルネットワークとは 入力に対して適切な出力が行えるように学習できる数理モデル なんらかの数字 いい感じの数字 機械学習 モデル
6.
DDoS2023春 機械学習モデル 2023/3/15 5 1. ニューラルネットワークとは 上手く学習させると色々なタスクがこなせる様になる タスク 入力例
出力例 画像分類 猫の画像 猫(テキスト) 将棋 盤面 次の手 会話 質問 回答
7.
DDoS2023春 機械学習モデル 2023/3/15 6 1. ニューラルネットワークとは モデルへの入出力は数値である必要がある →あるタスクに機械学習モデルを適応させたい場合,数値として表せる入出力 を考えることが必須 数値化の例:画像 画像は画素(単色の正方形)の集まりで,色はカラーコードなどから数値化で きる 0 2
0 1 0 2 3 3 2 1 0 1 2 6 9 1 0 8 2 2 6 0 2 1 1
8.
DDoS2023春 機械学習 2023/3/15 7 機械学習モデルを学習させること → 入力に対して適切な出力を行える様にすること 機械学習モデルは関数であるため,機械学習の目的はいい関数を得ることと言 える 1. ニューラルネットワークとは
9.
DDoS2023春 機械学習 2023/3/15 8 関数の内部の式は事前に決まっている(人間が決める) 例えば以下の式 𝑓 𝑥 =
𝑎𝑥 + 𝑏 しかし,この式の中の具体的な値(𝑎, b)は決まっていない この値(𝑎, b)をパラメータと呼び,適切なパラメータをデータから自動で求め ることを機械学習と呼ぶ 1. ニューラルネットワークとは
10.
DDoS2023春 ニューラルネットワーク 2023/3/15 9 NN(ニューラルネットワーク)は機械学習モデルの一種で,以下の様な特徴を 持つ • 人間の脳の神経回路を模して作られる • 表現力が高い •
拡張性・汎用性が高い この様な特徴があってか,多様な使い方が考案されており,近年話題のAIには 全てNNが使われていると言っても過言ではない 1. ニューラルネットワークとは
11.
DDoS2023春 2. ニューラルネットワークの構造 2023/3/15 10
12.
DDoS2023春 具体的な構造を見ていく.イメージは以下. 「ネットワーク」って感じがするね ニューラルネットワークの構造 2023/3/15 11 2. ニューラルネットワークの構造 入 力 出 力
13.
DDoS2023春 人工ニューロン 2023/3/15 12 2. ニューラルネットワークの構造 NNを構成する要素.さっきの図の●が人工ニューロン. この人工ニューロンも一つの機械学習モデルと見ることができ,入力に対して パラメータに基づいた出力を行う 人工ニューロンは複数の数値を受け取り,一つの数値を返す 入力1 入力2 入力𝑛 : 出力 人工ニューロン
14.
DDoS2023春 人工ニューロン 2023/3/15 13 2. ニューラルネットワークの構造 各入力に重みをかけたものの和にバイアスを足した数を活性化関数と呼ばれる 関数にかけて出力する 重みとバイアスは人工ニューロンにおけるパラメータである 人工ニューロンは以下の式で表せる 𝑦 =
ℎ(𝑥 ∙ 𝑤 + 𝑏) 𝑥 ∙ 𝑤は内積で 𝑥1𝑤1 + 𝑥2𝑤2 + ⋯ + 𝑥𝑛𝑤𝑛 と同じ 入力:𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑛 重み:w = 𝑤1, 𝑤2, ⋯ , 𝑤𝑛 バイアス:𝑏 活性化関数:ℎ
15.
DDoS2023春 人工ニューロン 2023/3/15 14 2. ニューラルネットワークの構造 グラフにすると以下 入力𝑥𝑖に対応する重みw𝑖をこんな感じで書くことが多い気がする 𝑥1 𝑦 =
ℎ(𝑥 ⋅ 𝑤 + 𝑏) 𝑥2 x𝑛 : 𝑦 w1 w2 w𝑛
16.
DDoS2023春 パーセプトロン 2023/3/15 15 2. ニューラルネットワークの構造 人工ニューロンの活性化関数にステップ関数を使用したもの ステップ関数 グラフが階段状になる関数の総称.ただここでは以下の関数に限定する. 𝑦 = 1
(𝑥 ≥ 0) 0 (𝑥 < 0) この関数はヘヴィサイドの階段関数とか単位ステップ関数とか呼ばれる
17.
DDoS2023春 人工ニューロンとパーセプトロン 2023/3/15 16 2. ニューラルネットワークの構造 この資料では,活性化関数にステップ関数を使用した人工ニューロンをパーセ プトロンと定義した.ただ色んな記事を見ていると,人工ニューロンをパーセ プトロンと呼んでいる人もいる.またこの後説明するニューラルネットワーク は,この資料でいう人工ニューロンを組み合わせたモデルであるが,多層パー セプトロンとも呼ばれる. つまりこの二つの言葉の違いは定義できない.辞書の中で定義はあるかもしれ ないが,現状人によって微妙に解釈が異なってしまっている以上,そこに敏感 にならない方が良い気がする.
18.
DDoS2023春 ニューラルネットワーク 2023/3/15 17 2. ニューラルネットワークの構造 複数の人工ニューロンを組み合わせたモデル.先ほどの図を再掲. 一つ一つの●が人工ニューロン ニューロンのネットワークなのでニューラルネットワーク 入 力 出 力
19.
DDoS2023春 ニューラルネットワーク 2023/3/15 18 2. ニューラルネットワークの構造 演算の流れは簡単で,各人工ニューロンの出力が次の人工ニューロンに渡って いくだけ.最終的に流れてきた値がそのNNの出力. 入 力 出 力 𝑥 𝑥 𝑦1 𝑦1 𝑦1 𝑦2 𝑦2
20.
DDoS2023春 ニューラルネットワーク 2023/3/15 19 2. ニューラルネットワークの構造 NNでは層を一つの単位として考える.層は図の縦一列を指す. 最初の層は入力層,最後の層は出力層,それ以外の層は中間層または隠れ層と 呼ぶ. 入 力 出 力
21.
DDoS2023春 ニューラルネットワーク 2023/3/15 20 2. ニューラルネットワークの構造 中間層が2層以上あるものはディープニューラルネットワーク(DNN)と呼ぶ. DNNの学習をディープラーニングといい,これを和訳したものが深層学習であ る. 入 力 出 力 Deep!
22.
DDoS2023春 全結合層 2023/3/15 21 2. ニューラルネットワークの構造 人工ニューロンを一列に並べたものを層と述べたが,厳密には全結合層と呼ぶ. これはNNを構成する最も基本的な層である. 全結合層も一つのモデルとしてみることができる 入 力 出 力 全結合層
23.
DDoS2023春 全結合層 2023/3/15 22 2. ニューラルネットワークの構造 入出力にはベクトルを想定する ある全結合層の人工ニューロンの数を𝑚,一つ前の層の人工ニューロンの数を𝑛 とすると,入力は𝑛次元ベクトル,出力は𝑚次元ベクトルとなる. 全結合層 𝑥1 𝑥2 𝑥𝑛 : 𝑦1 𝑦2 𝑦𝑚 :
24.
DDoS2023春 全結合層 2023/3/15 23 2. ニューラルネットワークの構造 全結合層全体で見ると,𝑛 ×
𝑚個の重みと𝑚個のバイアスを持つ.これらが全結 合層のパラメータとなる. 全結合層は以下の式で表せる 𝑦 = 𝑥 ∙ 𝑊 + 𝑏 𝑥: 入力ベクトル(𝑚次元) 𝑦: 出力ベクトル(𝑛次元) 𝑊: 各人工ニューロンの重みを並べた𝑛 × 𝑚行列 𝑏: 各人工ニューロンの重みを並べた𝑚次元ベクトル
25.
DDoS2023春 活性化関数 2023/3/15 24 2. ニューラルネットワークの構造 活性化関数は人工ニューロンに対して定めるものだったが,NNでは活性化関数 も一つの層として捉える 入 力 出 力 入 力 層 全 結 合 層 活 性 化 関 数 全 結 合 層 活 性 化 関 数
26.
DDoS2023春 活性化関数 2023/3/15 25 2. ニューラルネットワークの構造 活性化関数には非線形な関数を用いる 非線形 𝑦 =
𝑎𝑥 + 𝑏の様な一次式で表せないもの.逆に表せるものは線形という. 線形な関数を用いた場合,どれだけ層を増やしてもNN表現力はただ一つの全結 合層と変わらない
27.
DDoS2023春 活性化関数 2023/3/15 26 2. ニューラルネットワークの構造 ReLU (Rectified
Linear Unit) 最もよく使われる活性化関数 𝑦 = 𝑥 (𝑥 ≥ 0) 0 (𝑥 < 0)
28.
DDoS2023春 活性化関数 2023/3/15 27 2. ニューラルネットワークの構造 sigmoid ステップ関数を滑らかにしたもの 値の範囲を制限したい時とかに使う 𝑦 = 1 1
+ 𝑒−𝑥
29.
DDoS2023春 活性化関数 2023/3/15 28 2. ニューラルネットワークの構造 tanh (Hyperbolic
Tangent) sigmoidを-1~1に拡張したもの こっちを使う方が上手くいく場面がある 𝑦 = 𝑒𝑥 − 𝑒−𝑥 𝑒𝑥 + 𝑒−𝑥
30.
DDoS2023春 活性化関数 2023/3/15 29 2. ニューラルネットワークの構造 Softmax 要素の総和が1になる様に調整するもの.分類を行う際の出力層に設定し,各要 素の値を対応するクラスに属する確率とする. 𝑦𝑘 = exp(𝑥𝑘) 𝑖
exp(𝑥𝑖)
31.
DDoS2023春 3. ニューラルネットワークの学習 2023/3/15 30
32.
DDoS2023春 ニューラルネットワークの学習 2023/3/15 31 3. ニューラルネットワークの学習 機械学習における学習とは,パラメータを最適化することである NNでは各人工ニューロンが別々のパラメータ(重み,バイアス)を持っている. NNの学習ではこれらを全て最適化する. 入 力 出 力 w11 1 w12 1 w13 1 w21 1 w22 1 w23 1 w11 2 w12 2 w21 2 w22 2 w31 2 w32 2
33.
DDoS2023春 最適化問題 2023/3/15 32 3. ニューラルネットワークの学習 ある関数を最大または最小にする変数を求める問題.この関数は目的関数と呼 ぶ. NNの学習を最適化問題に落とし込むとイイ感じになる.以下の様に考える. • 目的関数:NNの精度 •
変数:NNのパラメータ こうすると,NNの学習を「NNの精度を最大にするパラメータを求める」とい う最適化問題として捉えられる
34.
DDoS2023春 損失 2023/3/15 33 3. ニューラルネットワークの学習 NNの精度を表す指標の一つ.誤差ともいう.以下の流れに従って算出する. 1. NNに入力するデータ(値)の例を用意する 2.
それを入力した時に出てきてほしい値を正解値として定める 3. NNに入力例を入力し,出力値を求める 4. 出力値と正解値との差を求める 入 力 出 力 NN 正 解 損 失 1 2 3 4
35.
DDoS2023春 損失関数 2023/3/15 34 3. ニューラルネットワークの学習 損失を求める関数 二つのベクトルの差を表す方法は色々ある 損失 出力 正解 NN
損失関数
36.
DDoS2023春 損失関数 2023/3/15 35 3. ニューラルネットワークの学習 平均二乗誤差 (MSE
- Mean Square Error) 差の2乗の平均 𝐸 = 1 𝑛 𝑖=1 𝑛 𝑦𝑖 − 𝑡𝑖 2 𝑦: 出力 𝑡: 正解
37.
DDoS2023春 損失関数 2023/3/15 36 3. ニューラルネットワークの学習 二乗和誤差 (SSE
- Sum of Squared Error) 差の二乗の和.2で割って微分が綺麗になる様にしたものが多いかも. 𝐸 = 1 2 𝑖=1 𝑛 𝑦𝑖 − 𝑡𝑖 2 𝜕𝐸 𝜕𝑦𝑖 = 𝑦𝑖 − 𝑡𝑖
38.
DDoS2023春 損失関数 2023/3/15 37 3. ニューラルネットワークの学習 交差エントロピー (Cross
Entropy) 二つの確率分布の距離を表す 𝐸 = − 𝑖 𝑡𝑖 log 𝑦𝑖 分類のタスクを行うときに使う.その場合𝑡は 基本one-hotベクトルなので,正解のクラスをi とすると以下と同じ意味になる. 𝐸 = − log 𝑦𝑖
39.
DDoS2023春 勾配法 2023/3/15 38 3. ニューラルネットワークの学習 最適化問題を解くアルゴリズムの一つ 関数の最大値を求める場合は勾配上昇法,最小値を求める場合は勾配降下法と なる.NNの学習では先ほどの損失を最小にする問題を考えるので後者. 目的関数を変数で微分すれば傾きが分かる→傾きが分かるなら大きくする・小 さくする方向が分かるよねという発想 この「傾き」のことをここでは勾配と呼ぶ
40.
DDoS2023春 勾配法 2023/3/15 39 3. ニューラルネットワークの学習 以下の手順に従って最適化する 1. 変数を初期化する(乱数などで初期値を決める) 2.
その地点の勾配を求める 3. 勾配に合わせて変数を少し変化させる 4. 2, 3を適当に繰り返す
41.
DDoS2023春 勾配法 2023/3/15 40 3. ニューラルネットワークの学習 例:以下の関数𝑓(𝑥)を最小にする変数𝑥を求める 𝑓(𝑥) =
𝑥2
42.
DDoS2023春 1. 初期値を決める → 適当に,-5としよう 勾配法 2023/3/15 41 3.
ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
43.
DDoS2023春 1. 初期値を決める → 適当に,-5としよう 2.
勾配を求める → 𝑓′(𝑥) = 2𝑥より,f′ −5 = −10 勾配法 2023/3/15 42 3. ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
44.
DDoS2023春 1. 初期値を決める → 適当に,-5としよう 2.
勾配を求める → 𝑓′(𝑥) = 2𝑥より,f′ −5 = −10 3. 勾配に合わせて値を更新する → 勾配が負なので,正の方向に動かせばよさそう(小さくなりそう) 勾配法 2023/3/15 43 3. ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
45.
DDoS2023春 勾配法 2023/3/15 44 3. ニューラルネットワークの学習 値の更新を式で定義する 𝑥 ≔
𝑥 − 𝜂 f′ x 𝜂は学習率といい,更新する度合いを調整するもの.基本0~1.
46.
DDoS2023春 勾配法 2023/3/15 45 3. ニューラルネットワークの学習 勾配降下法でNNを学習させる際は,パラメータの勾配を求める.この勾配は損 失をパラメータ(𝑤)で微分したもので,これに基づいてパラメータを更新する. 入 力 出 力 w11 1 w12 1 w13 1 w21 1 w22 1 w23 1 w11 2 w12 2 w21 2 w22 2 w31 2 w32 2 損 失 正 解
47.
DDoS2023春 確率的勾配降下法 2023/3/15 46 3. ニューラルネットワークの学習 勾配降下法にランダムな要素を持たせ,局所的最適解にハマる可能性を減らし た手法.SGD (Stochastic
Gradient Descent) とも. 局所的最適解 最適解っぽいが実はそうでない場所.極小値.真の最適解は大域的最適解とよ ぶ. 局所的最適解 大域的最適解
48.
DDoS2023春 確率的勾配降下法 2023/3/15 47 3. ニューラルネットワークの学習 NNでは以下を繰り返すことでランダム性を取り入れる. 1. 入力と正解の組をランダムにいくつか選ぶ 2.
選んだデータでの勾配を求める 3. 求めた勾配でパラメータを更新する 試行ごとに関数が変わるイメージ
49.
DDoS2023春 誤差逆伝播法 2023/3/15 48 3. ニューラルネットワークの学習 NNのパラメータの勾配を求める手法 さっきの例では𝑓 𝑥
= 𝑥2という簡単な関数を使ったが,NNはもうちょい複雑な 形をしているので,ちょっと工夫が必要 層や活性化関数はモデルによって異なるので,𝑓′ 𝑥 = 2𝑥の様に導関数を一つ定 めることができないのだ
50.
DDoS2023春 誤差逆伝播法 2023/3/15 49 3. ニューラルネットワークの学習 ここで考えるのが,合成関数の微分 例として以下の関数を微分してみよう 𝑓 𝑥
= 𝑥 + 1 2 これは普通に展開しても解けるけど,合成関数の微分を使っても解ける
51.
DDoS2023春 誤差逆伝播法 2023/3/15 50 3. ニューラルネットワークの学習 関数の関数を微分する時は,一つ一つの関数の微分を掛け合わせればいい g 𝑥
= 𝑥 + 1 とすると 𝑓 𝑥 = 𝑔 𝑥 2 𝜕𝑓 𝜕𝑥 = 𝜕𝑓 𝜕𝑔 𝜕𝑔 𝜕𝑥 となり 𝜕𝑓 𝜕𝑥 = 2𝑔 𝑥 ⋅ 𝑔′ 𝑥 = 2 𝑥 + 1 ⋅ 1 = 2(𝑥 + 1) となる 𝑓 𝑥 = 𝑥 + 1 2
52.
DDoS2023春 誤差逆伝播法 2023/3/15 51 3. ニューラルネットワークの学習 これをNNで考えたのが誤差逆伝播法 損失を出す時に通った層や活性化関数を微分してそれらを掛け合わせればいい よねという話
53.
DDoS2023春 誤差逆伝播法 2023/3/15 52 3. ニューラルネットワークの学習 例を見てみよう 出力層のある一つの重みに着目し,勾配を求めてみる 出 力 w11 1 w12 1 w13 1 w21 1 w22 1 w23 1 w11 2 w12 2 w21 2 w22 2 w31 2 w32 2 損 失 正 解
54.
DDoS2023春 誤差逆伝播法 2023/3/15 53 3. ニューラルネットワークの学習 この重みから損失を算出するまでの流れをグラフで見てみる この様に演算の流れをグラフで記述したものを計算グラフと呼ぶ 𝑤 𝑥 × 𝑢
+ 𝑏 𝑦 𝑡 𝐸 損失関数 着目した重み 前の層の出力 バイアス 正解 損失 全結合層
55.
DDoS2023春 誤差逆伝播法 2023/3/15 54 3. ニューラルネットワークの学習 すると,求めたい勾配が以下の様に表せる 𝜕𝐸 𝜕𝑤 = 𝜕𝐸 𝜕𝑦 𝜕𝑦 𝜕𝑢 𝜕𝑢 𝜕𝑤 𝑤 𝑥 × 𝑢
+ 𝑏 𝑦 𝑡 𝐸 損失関数 着目した重み 前の層の出力 バイアス 正解 損失 全結合層
56.
DDoS2023春 𝜕𝐸 𝜕𝑦 誤差逆伝播法 2023/3/15 55 3. ニューラルネットワークの学習 この様に微分を逆方向に伝えることを逆伝播と呼ぶ 𝑤 𝑥 × 𝑢
+ 𝑏 𝑦 𝑡 𝐸 損失関数 𝜕𝑦 𝜕𝑢 𝜕𝑢 𝜕𝑤
57.
DDoS2023春 4. ニューラルネットワークの実装 2023/3/15 56
58.
DDoS2023春 2023/3/15 57 4. ニューラルネットワークの実装 ノートブック参照 https://github.com/misya11p/neural-network/blob/main/neural_network.ipynb
Baixar agora