Enviar pesquisa
Carregar
深層学習オートエンコーダー
•
6 gostaram
•
3,512 visualizações
S
Shuhei Sowa
Seguir
MLPシリーズ深層学習輪講会「オートエンコーダー」後半のスライド
Leia menos
Leia mais
Dados e análise
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 27
Baixar agora
Baixar para ler offline
Recomendados
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
研究室内発表で使った資料です
強化学習1章
強化学習1章
hiroki yamaoka
最新版のスライドは http://www.akihironitta.com/slides/ で公開しています。 The latest version of this slides is available at http://www.akihironitta.com/slides/.
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
Akihiro Nitta
2017/12/11 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
2019/02/01 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Meta Reinforcement Learning
[DL輪読会]Meta Reinforcement Learning
Deep Learning JP
2017年10月19日に発表されたGoogle DeepMindのAlphaGo Zero ( アルファ碁, アルファご ) の論文解説。 AlphaGo Zeroの仕組みを分かりやすく説明します。
AlphaGo Zero 解説
AlphaGo Zero 解説
suckgeun lee
出典: Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou : ArcFace: Additive Angular Margin Loss for Deep Face Recognition, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (2019) 公開URL:https://arxiv.org/abs/1801.07698 概要 : 顔認識のための畳み込みニューラルネットワーク(DCNN)の課題は識別力を高める適切な損失関数を設計することです。本論文では、顔認識のための識別性の高い特徴量を得るために、Additive Angular Margin Loss (ArcFace)を提案します。一般的な顔認識ベンチマークから1兆ペアの大規模データセットなどを用いて、最先端顔認識技術との比較実験を行いました。結果は、従来手法を凌駕する精度を持つことが明らかになりました。
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
2019/12/20 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
Recomendados
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
研究室内発表で使った資料です
強化学習1章
強化学習1章
hiroki yamaoka
最新版のスライドは http://www.akihironitta.com/slides/ で公開しています。 The latest version of this slides is available at http://www.akihironitta.com/slides/.
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
Akihiro Nitta
2017/12/11 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
2019/02/01 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Meta Reinforcement Learning
[DL輪読会]Meta Reinforcement Learning
Deep Learning JP
2017年10月19日に発表されたGoogle DeepMindのAlphaGo Zero ( アルファ碁, アルファご ) の論文解説。 AlphaGo Zeroの仕組みを分かりやすく説明します。
AlphaGo Zero 解説
AlphaGo Zero 解説
suckgeun lee
出典: Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou : ArcFace: Additive Angular Margin Loss for Deep Face Recognition, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (2019) 公開URL:https://arxiv.org/abs/1801.07698 概要 : 顔認識のための畳み込みニューラルネットワーク(DCNN)の課題は識別力を高める適切な損失関数を設計することです。本論文では、顔認識のための識別性の高い特徴量を得るために、Additive Angular Margin Loss (ArcFace)を提案します。一般的な顔認識ベンチマークから1兆ペアの大規模データセットなどを用いて、最先端顔認識技術との比較実験を行いました。結果は、従来手法を凌駕する精度を持つことが明らかになりました。
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
2019/12/20 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
2019.4.19 LPIXEL Inc. Presents #1【画像処理 & 機械学習】論文LT会! で発表した資料です。 https://lpixel.connpass.com/event/126425/
semantic segmentation サーベイ
semantic segmentation サーベイ
yohei okawa
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向 6月10日 (木) 11:00 - 12:30 メイン会場(vimeo + sli.do) 登壇者1:中山 英樹 氏(東京大学) 登壇者2:幡谷 龍一郎 氏(東京大学) 概要:データ拡張は画像認識の精度向上テクニックとして古くから用いられてきたが、最新の深層学習においても最重要技術の一つとして年々注目を集めており、多様かつ複雑な進化を遂げている。その成功のカギは、タスクに関する先見知識を活用しながら、如何にして汎化性能を高めるように訓練画像を変換あるいは生成するかにある。本講演では、データ拡張の原理や最新動向について解説すると共に、自動的なデータ拡張に関する講演者の研究事例についても紹介する。
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
ResNetに代表されるSkip Connectionについて理論と有効性をまとめました。
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
関連スライド一覧 https://github.com/nishio/reinforcement_learning
強化学習その3
強化学習その3
nishio
2017/8/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
MLPシリーズの赤い本異常検知と変化検知で、 パターン認識と機械学習を復習します。 ホテリングのt2・ナイーブベイズ・kNN・SVM・混合分布・ガウス過程などを復習します。
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
機械学習プロフェッショナルシリーズ輪読回の資料 2015-11-18 異常検知と変化検知 井手剛/杉山将・著 http://www.kspub.co.jp/book/detail/1529083.html
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
2020/01/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
2019/06/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
Deep Learning JP
2018/08/17 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
2019/12/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
Deep Learning JP
機械学習における主成分分析について説明するとともに、実際のデータを用いた処理について説明しました。 2018-05-17 誤字修正のため、再アップ それまでのログ:view: 6934, like 4, download: 35
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
「『内積』を知っている人に,深層学習の中身がだいたいわかってもらう」ことを目指しています.これぐらいをスタートに,理解を深めていけばいいのではないかと思いました.ちなみに学習(例えばback propagationあたりの)の部分については,特に触れていません.それ以前の基本の部分です. (2017.1.28, 少々補足スライドをいれて,初学者向けにさらにわかりやすくしたつもりです.) なお,ここで出てくる数式は,せいぜい足し算と掛け算ぐらいです.
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明
Seiichi Uchida
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
第3回3D勉強会@関東(DeepSLAM大会)で発表した資料です https://3dvision.connpass.com/event/100054/
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Masaya Kaneko
4/16に行われた筑波大の手塚若林研合同ゼミでの発表スライドです。
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
第13回 Zansa http://zansa.info/materials-13.html 独立成分分析 その概念と有用性について
121218 zansa13 for web
121218 zansa13 for web
Zansa
Structural engineering part 1
Structural engineering part 1
Structural engineering part 1
Min Kyaw Thu
Mais conteúdo relacionado
Mais procurados
2019.4.19 LPIXEL Inc. Presents #1【画像処理 & 機械学習】論文LT会! で発表した資料です。 https://lpixel.connpass.com/event/126425/
semantic segmentation サーベイ
semantic segmentation サーベイ
yohei okawa
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向 6月10日 (木) 11:00 - 12:30 メイン会場(vimeo + sli.do) 登壇者1:中山 英樹 氏(東京大学) 登壇者2:幡谷 龍一郎 氏(東京大学) 概要:データ拡張は画像認識の精度向上テクニックとして古くから用いられてきたが、最新の深層学習においても最重要技術の一つとして年々注目を集めており、多様かつ複雑な進化を遂げている。その成功のカギは、タスクに関する先見知識を活用しながら、如何にして汎化性能を高めるように訓練画像を変換あるいは生成するかにある。本講演では、データ拡張の原理や最新動向について解説すると共に、自動的なデータ拡張に関する講演者の研究事例についても紹介する。
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
ResNetに代表されるSkip Connectionについて理論と有効性をまとめました。
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
関連スライド一覧 https://github.com/nishio/reinforcement_learning
強化学習その3
強化学習その3
nishio
2017/8/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
MLPシリーズの赤い本異常検知と変化検知で、 パターン認識と機械学習を復習します。 ホテリングのt2・ナイーブベイズ・kNN・SVM・混合分布・ガウス過程などを復習します。
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
機械学習プロフェッショナルシリーズ輪読回の資料 2015-11-18 異常検知と変化検知 井手剛/杉山将・著 http://www.kspub.co.jp/book/detail/1529083.html
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
2020/01/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
2019/06/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
Deep Learning JP
2018/08/17 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
2019/12/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
Deep Learning JP
機械学習における主成分分析について説明するとともに、実際のデータを用いた処理について説明しました。 2018-05-17 誤字修正のため、再アップ それまでのログ:view: 6934, like 4, download: 35
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
「『内積』を知っている人に,深層学習の中身がだいたいわかってもらう」ことを目指しています.これぐらいをスタートに,理解を深めていけばいいのではないかと思いました.ちなみに学習(例えばback propagationあたりの)の部分については,特に触れていません.それ以前の基本の部分です. (2017.1.28, 少々補足スライドをいれて,初学者向けにさらにわかりやすくしたつもりです.) なお,ここで出てくる数式は,せいぜい足し算と掛け算ぐらいです.
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明
Seiichi Uchida
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
第3回3D勉強会@関東(DeepSLAM大会)で発表した資料です https://3dvision.connpass.com/event/100054/
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Masaya Kaneko
4/16に行われた筑波大の手塚若林研合同ゼミでの発表スライドです。
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
Mais procurados
(20)
semantic segmentation サーベイ
semantic segmentation サーベイ
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Active Learning 入門
Active Learning 入門
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
強化学習その3
強化学習その3
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
機械学習と主成分分析
機械学習と主成分分析
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明
PRML輪読#11
PRML輪読#11
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Optimizer入門&最新動向
Optimizer入門&最新動向
Destaque
第13回 Zansa http://zansa.info/materials-13.html 独立成分分析 その概念と有用性について
121218 zansa13 for web
121218 zansa13 for web
Zansa
Structural engineering part 1
Structural engineering part 1
Structural engineering part 1
Min Kyaw Thu
This presentation summarizes a study of the relative bikeability of three paths on the Shasta College campus.
Shasta college bikeability study
Shasta college bikeability study
Melvin Shuster
GIS Resume_Portfolio_MS
GIS Resume_Portfolio_MS
Melvin Shuster
Dịch vụ của W360s corp Năm 2016
W360 s presentation2016
W360 s presentation2016
W360S CORP
PTSA Meeting August 20, 2015
Ptsa mtg 8 20 15
Ptsa mtg 8 20 15
pudongptsa
This power point describes the Bear Creek sampling program.
Bear creek sampling program
Bear creek sampling program
Melvin Shuster
Youth Survey Results
Youth Survey Results
Melvin Shuster
RENACIMIENTO
Renacimiento
Renacimiento
milagros blanco
Oberoi Eternia And Enigma Enigma and Eternia is located in LBS Marg in Mulund west close to Johnson and Johnson Company. The project is just walk able distance from Mulund station. The project is strategically located and offers east access to other parts of Mumbai and its suburbs. Enigma and Eternia by Oberoi group offers exclusive lifestyle to Mulund landscape. Oberoi offers private clubhouse, jogging track, café and much more.
Oberoi Eternia & Enigma
Oberoi Eternia & Enigma
grassrootproperties
ĐOÀN KẾT LÀ SỨC MẠNH: câu châm ngôn này không bao giờ cũ, nó luôn đúng và mãi là chân lý
Suc Manh Cua Su Doan Ket
Suc Manh Cua Su Doan Ket
W360S CORP
Tahir cv
Tahir cv
Muhammad Tahir Raza
PF Strategic Leadershp Introductory pages (1)
PF Strategic Leadershp Introductory pages (1)
John Terhune
The Economics of Putting People First-White Paper-Final
The Economics of Putting People First-White Paper-Final
John Terhune
自分がもっと早くに読んでおけば更にhappyになっていたかもしれない本の紹介
20150116_techwomen
20150116_techwomen
amico8
Runwal My City..My Desire Presenting MyCity - the first city, ever, to be built on what you wanted and desired, instead of simply architectural plans and blueprints. It isn’t being built on promises or for a profit; but to inspire a lifestyle that you have always wished for and dreamt about, for long.
Runwal My City...My Desire Prelaunched In Dombivali
Runwal My City...My Desire Prelaunched In Dombivali
grassrootproperties
Rooks Approach to Leadership
Rooks Approach to Leadership
Pete Rooks
.
Photoshoot 2
Photoshoot 2
EmilyCollins7
"Agritourism - source of income in the rural”
Cojocaru adriana cristina,grupa 8218,imapa
Cojocaru adriana cristina,grupa 8218,imapa
Adrianna Adda
Structural Engineering part 2
Structural Engineering part 2
Structural Engineering part 2
Min Kyaw Thu
Destaque
(20)
121218 zansa13 for web
121218 zansa13 for web
Structural engineering part 1
Structural engineering part 1
Shasta college bikeability study
Shasta college bikeability study
GIS Resume_Portfolio_MS
GIS Resume_Portfolio_MS
W360 s presentation2016
W360 s presentation2016
Ptsa mtg 8 20 15
Ptsa mtg 8 20 15
Bear creek sampling program
Bear creek sampling program
Youth Survey Results
Youth Survey Results
Renacimiento
Renacimiento
Oberoi Eternia & Enigma
Oberoi Eternia & Enigma
Suc Manh Cua Su Doan Ket
Suc Manh Cua Su Doan Ket
Tahir cv
Tahir cv
PF Strategic Leadershp Introductory pages (1)
PF Strategic Leadershp Introductory pages (1)
The Economics of Putting People First-White Paper-Final
The Economics of Putting People First-White Paper-Final
20150116_techwomen
20150116_techwomen
Runwal My City...My Desire Prelaunched In Dombivali
Runwal My City...My Desire Prelaunched In Dombivali
Rooks Approach to Leadership
Rooks Approach to Leadership
Photoshoot 2
Photoshoot 2
Cojocaru adriana cristina,grupa 8218,imapa
Cojocaru adriana cristina,grupa 8218,imapa
Structural Engineering part 2
Structural Engineering part 2
深層学習オートエンコーダー
1.
MLP深層学習 自己符号化器 後半 曽和 修平
2.
前提知識 [対角行列] 対角成分以外が0の正方行列 [対称行列] 自身の転置行列と一致するような正方行列 [共分散行列] 対角成分に分散、それ以外の部分に共分散が並ぶ行列
3.
前提知識(2) [直交行列] 転置行列と逆行列が等しくなる正方行列 AT A = AAT =
I が成り立つ [固有値,固有ベクトル] 正方行列Aに対して が成り立つ時xを固有ベクトル,λを固有値という 固有ベクトルはあるベクトルAの方向は変えず大きさだけ変 えるような線形変換を施すベクトル 固有値はその変換倍率を表している
4.
白色化
5.
白色化とは • 成分間の相関をなくす処理 • 自己符号化器が良い特徴を学習できるかどうかに大き く影響する可能性
6.
成分間の相関をなくすとは?(1) • 特徴量としてテストの点数 (国語,算数,理科,社会,英語)をとるとする 国語の点数が高い人は英語の点数も高い傾向がある 相関あり 白色化は任意の2成分間で相関をなくす処理
7.
成分間の相関をなくすとは?(2) • 任意の2成分間で相関を0に • 共分散行列の非対角成分を全て0にする 1成分と3成分間の分散
8.
具体的な考え方 • 考え方 データに対してある線形変換Pを施す 施した後のデータの共分散行列の非対角成分が0に なっている このような変換行列Pを見つけ出せば良い
9.
線形変換Pの導出(1) • ここまでを数式化する ・データXの共分散行列 (データは各成分の平均値を引いた状態) ・線形変換Pを施した後のデータu ・線形変換Pを施した後のデータの共分散行列
10.
線形変換Pの導出(2) • ΦU が対角行列に成ることが目標 •
ここで、目標とする対角行列をI(=単位行列)にする 変換には を用いている
11.
線形変換Pの導出(3) • ΦXは固有ベクトルの定義に従って下記に分解できる 固有ベクトルの定義 E・・固有ベクトルを列ベクトルに持つ行列 D・・固有値を対角に並べた対角行列 E−1 AE =
D Aが対称行列,エルミート行列の時Eは直交行列 になることが知られている Φxは対称行列なので、Eは直交行列
12.
線形変換Pの導出(4) PT P = Φ−1 XΦ−1 X
= ED−1 ET と を用いて の逆行列を求める Qは任意のPと同じサイズの直交行列 Qの任意性の分だけPは無数に存在 対称行列の逆行列も対称行列 よって、Pは対称行列なので P P^t = P^2 Pt P = ED−1 ET , P2 = ED−1 ET , P = ED−1/2 ET
13.
線形変換Pの例 ・PCA白色化 共分散行列の固有ベクトルを用いる事から 主成分分析と似ているためこう呼ばれる Q = I ・ZCA白色化 Pが対称行列になっていることから、 ゼロ位相白色化(ZCA白色化)とよぶ。 Q
= E
14.
PCA白色化とZCA白色化の違い ・以下はPCA白色化とZCA白色化のPの行ベクトルを画像化し たもの (引用)http://stats.stackexchange.com/questions/117427/what-is-the-difference-between-zca-whitening-and-pca-whitening (ZCA) フィルタ部分とその他の部分の画素の 差を強調するようになっている (オンセンタと呼ばれる) (PCA) 高周波成分を強調するようになっている。 元画像とは全く違う見た目になる。
15.
PCA白色化とZCA白色化の違い PCA白色化 ZCA白色化 元画像
16.
ディープネットの事前学習
17.
概要 • 勾配消失問題のため多層の順伝搬型ネットワークは学 習が難しい • 順伝搬型ネットワークでは学習開始時の重みはランダム で初期化 •
学習開始時の重みをもっと良い値で初期化してやれば 学習がうまくいく(経験則) =積層自己符号化器
18.
積層型自己符号化器の構築 W 2 W 3 W 4 この多層順伝播型ネットワークの重みを事前学習する
19.
積層型自己符号化器の構築(2) (1)1層ずつに分割し、それぞれを自己符号化器とみなして 教師なし学習を行う W 2 W 3 W 4 Z 2 Z 3 Z 4 ここで得られる重みW2~4とバイアスb2~4が初期値となる
20.
積層型自己符号化器の構築(3) W 2 in (補足) out この層が次のネットワークの 入力 自己符号化器に分割した状態 W’ 2
21.
積層型自己符号化器の構築(4) (2)学習した重みW2~W4とバイアスb2~b4に初期化した ネットワークを構築する ただし、最後にランダムに初期化した層を1層追加する W 2 W 3 W 4 W 5
22.
その他の自己符号化器
23.
その他の自己符号化器 • 多層自己符号化器 これまでの自己符号化器は単層であったが、それを 多層にしたもの 勾配消失問題のリスクが伴う • デノイジング自己符号化器 学習に確率的な要素を取り入れ性能を向上したもの
24.
多層自己符号化器 W W’ 単層 W 2 W 3 W’ 3 W’ 2 多層
25.
デノイジング自己符号化器 ・ノイズを除去する能力を備えた特徴を得る事が期待できる ・ネットワークの構築方法は全く同じ ・入力と出力(教師)のデータにノイズを加える ・誤差関数を復号化したx’と元のサンプルxの差にする
26.
デノイジング自己符号化器 (出力) ・活性化関数が恒等写像なら (誤差関数) ・シグモイド関数なら ˆx(ˆx) = ˆf(
ˆWf(W ˆx + b) + ˆb) 二乗誤差 交差エントロピー ||ˆx(ˆx) − x||2 C(ˆx(ˆx), x)
27.
ノイズの例 ・ガウシアンノイズ 平均x,分散σ^2のガウス分布に従う値を加算する ・マスク状のノイズ 適当な割合で要素をランダムに選出し,0にする ・ソルト&ペッパーノイズ 適当な割合で要素をランダムに選出し,上限値or下限値 どちらかにランダムでする
Baixar agora