SlideShare a Scribd company logo
1 of 40
Download to read offline
����������������� ����
@�� �������
����������
������� �����
�� �� �� ������������
��
4.52•
����• 1���13�
����• ����
����• ����
����• ����
����• ������
����• ������3���
����• ��0������
����• ������0���
����• ���1����
�����• ���1��3��1��
�����• 967�
�����• ����3�����
�����• ����
�����• ��������
•
•
–
–
•
•
� � �������
����• ������������������
��– ������������
����• �������������
���– ���������������
����• ������
���– �����
����• ���x�������������������
���– ����������
���– ������
��• ���������������������)�
����– ���
��� �������
• ����������������������
��– �y���������������
• �������������������������
• ����������������������
– �������������������nq����
���• ������������f������������������
��������������
����������������������������– ����������������
���• �����������������������
��������
• ����������������
���– ����������������
���������• ����������������������������
�����������
�3 �– !1��!2������3������
�3 �– $������ ��������������
���• ���������
•
–
•
–
–
�������� � �����������
• ��������������������������������
����– �����
��– ������������������������������
������• !��������
!– ������x�f�������������������
��– ������������������������s�����������
���������������������������������������
��������
• ∀$ ∈ x, 0 ≤ !($) ≤ 1
���–
• ∑$ ∈ x!($) = 1
•
–
!– (x = %, y = () x = % y = ( ! (%, ()
����fl�� � �����fl����
• �����������������������������������
����– �fl��
fl����• !��������
!– ������x���������������������
– ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1��������������
– ∫ / $ 0$ = 1
• fl����!($)���������fl�����b����
eu– �2$��������fl�!($)δ$�n����
•
–
• x, y $(x, y) $ x
(sum rule)
•
•
–
– !(# = x) > 0
•
–
•
��� ���������
• �������x�y�����7�x���a����y���a������
����c�������������������� �������������
����
– x ⊥ y���
����• z7���������������x�y���������7�z
����d���������������������x�y�
�������������������������������
– x ⊥ y|z���
�������������� � ���
����• !(x)������%(&)8 �����������������������������
!– ��& %
•
•
•
– ! !
•
–
�������������� 2 ���
• ������������
– �������������������������������������
• �������������������
�����– ��������
• �������������
���– ��������
��• ������������������������c�
��� ���9���� 2 �������
• ������������������������
– ����������������
– ��������! ∈ [0,1]������
�����• �����
��� �������� � ��������
• ������������ ��� ������������
!– ���������������������������!�����
����• " ∈ [0,1])*+������n �,-�.��������
��• �!���������1 − 0⊺
"�r����
��• ����������
– ������������������������� �����
• {0, … , 4])������������
������• ������������o����������������l��
��������
�����• ���������������������n
��� �������� 2 �����
• �������������������������� ���������������������
– ��������! ∈ ℝ�$ ∈ (0, ∞)�����
��� �������� � �����
��• 3 �����������! = #$%�������
������– �������������������
��� ���L��c� � ���c�
r�c�• �������ltM���c����M��������L��
����������r��
– �����������������������
• �����L���t������Mr�c�ML�
��– L������������������m����������icM
c���������r�c�M�������������m���
– e�c����n����c�����r�c��ltM�����l�����L�
����m��
�������• ���������
��� �������� � �����
• ����������������������������������
����– �ℝ"
�����
�����– #������ 9$��������� �����
– ����������������� % = $'(
������
•
–
•
��� �������� � �����������
• �������������������������
– ���������! = 0������������������������
• ���������������������
– ����$
��� �������� 9 ������������
• �(�����������������
– �(������������������� !(#)�������������
• ���������������������������������
– ����������������������� ����������p����
���• ���������������%���������������
&
'
����• �����������������������i��������
��• �������scn�������������
��� �������� � �����
• ����������������������
��– �o������bE������������
!• (#)���������������
����• �����������
����– ������������������������
• �����������������
dm– ��nu��������
����• �������������#
��� �������� 9 �����
• ����������������� ���
����– ! " # = % ������
���– �����������s�����&(()
����*(()
���
�����• �vt��������
��– ����������������%�m�� ������������������ ����
�
�o���• +, = -(# = %)
��o�• �"������o�� #
��– � ���������������������� -(#|/)� "������n������
��– �y������������������������������y����
������������ ����������������������� ���
•
– !
• !
�����������������
• ��������� ��
��– �����
����• �!, #������������������
– ����������������������� $% = max{0, $}�����������
���������
• �������������
!– (y|x)�B������!(x)�������! x y ������
• ���!(y) = ∑) ! * + ! + �����������
��������������� � ���
• ����������������
��– ������������������������
– ��������������
• ����������������
– �������������������
����• ���������������������t����������
��• �w��������������������������������
��������������� 2 ���������
• ���������
– ����������������������
• �����������!, #������������������$����% = $(!)�
�������
– ����������������� �������������������������
• �����
�����sp�� � ��sp������������
sp• ������
��• x = #� �����������������
– I(x)�ay� ����� ��������
• �������
'
(
�����������r���sp�
• ����������������
������– �����������
��– �����������������sp�
��– �a���������������������t�������������
– x��������� �������������������� �����
��������� � ()��������
• �(��������)�������()�������������
– ������x�a����������P(x)�Q(x)�����������������
���������u�
()– �����������
��•
����• ����������������������������������
�������������n������
�a�•
��������� 1 ��������
• ���������������
��– ���������������������
• Q�K����������������������������������
�������������
• ����������������������������
– ��������������������������
• ��� ���������(�)���������(���������(�)�������
����(����������)���
– �������������������
• �����)���������(�(������)������������
�������)������������
– ����������������������������������
�������������
• �������������
– U4�����������
���– 4�������������
• ���������������
– U4�����������
��– ������������
��– �i���������������
• Φ�������������������������Z������������
���� �
����• ��)���� �
�����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� �
� ��� ���� � ���
��������• ��� �� ������
��– ��
���� �
�������9�D�D�•
69D�– �����������������9 ��D������9��D����������
����–
������������9�9��D����������������������������������������
����69D�������������������������

More Related Content

What's hot

[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎Deep Learning JP
 
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデルDeep Learning JP
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2matsuolab
 
PRML輪読#1
PRML輪読#1PRML輪読#1
PRML輪読#1matsuolab
 
[DL輪読会]Deep Learning 第14章 自己符号化器
[DL輪読会]Deep Learning 第14章 自己符号化器[DL輪読会]Deep Learning 第14章 自己符号化器
[DL輪読会]Deep Learning 第14章 自己符号化器Deep Learning JP
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3matsuolab
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4matsuolab
 
[DL輪読会]Deep Learning 第13章 線形因子モデル
[DL輪読会]Deep Learning 第13章 線形因子モデル[DL輪読会]Deep Learning 第13章 線形因子モデル
[DL輪読会]Deep Learning 第13章 線形因子モデルDeep Learning JP
 
[DL輪読会]Deep Learning 第18章 分配関数との対峙
[DL輪読会]Deep Learning 第18章 分配関数との対峙[DL輪読会]Deep Learning 第18章 分配関数との対峙
[DL輪読会]Deep Learning 第18章 分配関数との対峙Deep Learning JP
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14matsuolab
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半Ohsawa Goodfellow
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12matsuolab
 
PRML輪読#8
PRML輪読#8PRML輪読#8
PRML輪読#8matsuolab
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6matsuolab
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章Takushi Miki
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介Naoki Hayashi
 
PRML輪読#7
PRML輪読#7PRML輪読#7
PRML輪読#7matsuolab
 

What's hot (20)

[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
 
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
 
DeepLearning 5章
DeepLearning 5章DeepLearning 5章
DeepLearning 5章
 
PRML輪読#1
PRML輪読#1PRML輪読#1
PRML輪読#1
 
[DL輪読会]Deep Learning 第14章 自己符号化器
[DL輪読会]Deep Learning 第14章 自己符号化器[DL輪読会]Deep Learning 第14章 自己符号化器
[DL輪読会]Deep Learning 第14章 自己符号化器
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
 
[DL輪読会]Deep Learning 第13章 線形因子モデル
[DL輪読会]Deep Learning 第13章 線形因子モデル[DL輪読会]Deep Learning 第13章 線形因子モデル
[DL輪読会]Deep Learning 第13章 線形因子モデル
 
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
 
[DL輪読会]Deep Learning 第18章 分配関数との対峙
[DL輪読会]Deep Learning 第18章 分配関数との対峙[DL輪読会]Deep Learning 第18章 分配関数との対峙
[DL輪読会]Deep Learning 第18章 分配関数との対峙
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12
 
PRML輪読#8
PRML輪読#8PRML輪読#8
PRML輪読#8
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
 
PRML輪読#7
PRML輪読#7PRML輪読#7
PRML輪読#7
 
深層学習 第6章
深層学習 第6章深層学習 第6章
深層学習 第6章
 

Similar to [DL輪読会]Deep Learning 第3章 確率と情報理論

[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワークDeep Learning JP
 
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docxmercysuttle
 
Gérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec ZoteroGérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec ZoteroLesticetlart Invisu
 
Basic arabic-grammar-part03
Basic arabic-grammar-part03Basic arabic-grammar-part03
Basic arabic-grammar-part03Sonali Jannat
 
Оформляем результаты проектирования
Оформляем результаты проектированияОформляем результаты проектирования
Оформляем результаты проектированияTurum-burum
 
Преступность несовершеннолетних
Преступность несовершеннолетнихПреступность несовершеннолетних
Преступность несовершеннолетнихОлег Макаров
 
Ranciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdfRanciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdfBehelitExperimental
 
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...Экспресс-Обзор
 

Similar to [DL輪読会]Deep Learning 第3章 確率と情報理論 (16)

[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
 
Atelier Zotero intermédiaire
Atelier Zotero intermédiaireAtelier Zotero intermédiaire
Atelier Zotero intermédiaire
 
كيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاحكيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاح
 
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Gérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec ZoteroGérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec Zotero
 
Basic arabic-grammar-part03
Basic arabic-grammar-part03Basic arabic-grammar-part03
Basic arabic-grammar-part03
 
Оформляем результаты проектирования
Оформляем результаты проектированияОформляем результаты проектирования
Оформляем результаты проектирования
 
Преступность несовершеннолетних
Преступность несовершеннолетнихПреступность несовершеннолетних
Преступность несовершеннолетних
 
Ranciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdfRanciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdf
 
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
 

More from Deep Learning JP

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについてDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLMDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP
 
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究についてDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP
 

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
 
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
 

[DL輪読会]Deep Learning 第3章 確率と情報理論

  • 2. �� 4.52• ����• 1���13� ����• ���� ����• ���� ����• ���� ����• ������ ����• ������3��� ����• ��0������ ����• ������0��� ����• ���1���� �����• ���1��3��1�� �����• 967� �����• ����3����� �����• ���� �����• ��������
  • 4. � � ������� ����• ������������������ ��– ������������ ����• ������������� ���– ��������������� ����• ������ ���– ����� ����• ���x������������������� ���– ���������� ���– ������ ��• ���������������������)� ����– ���
  • 5. ��� ������� • ���������������������� ��– �y��������������� • ������������������������� • ���������������������� – �������������������nq���� ���• ������������f������������������ �������������� ����������������������������– ���������������� ���• �����������������������
  • 6. �������� • ���������������� ���– ���������������� ���������• ���������������������������� ����������� �3 �– !1��!2������3������ �3 �– $������ �������������� ���• ���������
  • 8. �������� � ����������� • �������������������������������� ����– ����� ��– ������������������������������ ������• !�������� !– ������x�f������������������� ��– ������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 ���– • ∑$ ∈ x!($) = 1
  • 9. • – !– (x = %, y = () x = % y = ( ! (%, ()
  • 10. ����fl�� � �����fl���� • ����������������������������������� ����– �fl�� fl����• !�������� !– ������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� eu– �2$��������fl�!($)δ$�n����
  • 11. • – • x, y $(x, y) $ x (sum rule) •
  • 14. ��� ��������� • �������x�y�����7�x���a����y���a������ ����c�������������������� ������������� ���� – x ⊥ y��� ����• z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
  • 15. �������������� � ��� ����• !(x)������%(&)8 ����������������������������� !– ��& % • •
  • 17. �������������� 2 ��� • ������������ – ������������������������������������� • ������������������� �����– �������� • ������������� ���– �������� ��• ������������������������c�
  • 18. ��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ �����• �����
  • 19. ��� �������� � �������� • ������������ ��� ������������ !– ���������������������������!����� ����• " ∈ [0,1])*+������n �,-�.�������� ��• �!���������1 − 0⊺ "�r���� ��• ���������� – ������������������������� ����� • {0, … , 4])������������ ������• ������������o����������������l�� �������� �����• ���������������������n
  • 20. ��� �������� 2 ����� • �������������������������� ��������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
  • 21. ��� �������� � ����� ��• 3 �����������! = #$%������� ������– �������������������
  • 22. ��� ���L��c� � ���c� r�c�• �������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� ��– L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� �������• ���������
  • 23. ��� �������� � ����� • ���������������������������������� ����– �ℝ" ����� �����– #������ 9$��������� ����� – ����������������� % = $'( ������
  • 25. ��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
  • 26. ��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� ���• ���������������%��������������� & ' ����• �����������������������i�������� ��• �������scn�������������
  • 27. ��� �������� � ����� • ���������������������� ��– �o������bE������������ !• (#)��������������� ����• ����������� ����– ������������������������ • ����������������� dm– ��nu�������� ����• �������������#
  • 28. ��� �������� 9 ����� • ����������������� ��� ����– ! " # = % ������ ���– �����������s�����&(() ����*(() ��� �����• �vt�������� ��– ����������������%�m�� ������������������ ���� � �o���• +, = -(# = %) ��o�• �"������o�� # ��– � ���������������������� -(#|/)� "������n������ ��– �y������������������������������y���� ������������ ����������������������� ���
  • 30. ����������������� • ��������� �� ��– ����� ����• �!, #������������������ – ����������������������� $% = max{0, $}�����������
  • 31. ��������� • ������������� !– (y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
  • 32. ��������������� � ��� • ���������������� ��– ������������������������ – �������������� • ���������������� – ������������������� ����• ���������������������t���������� ��• �w��������������������������������
  • 33. ��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ����������������� ������������������������� • �����
  • 34. �����sp�� � ��sp������������ sp• ������ ��• x = #� ����������������� – I(x)�ay� ����� �������� • ������� ' ( �����������r���sp� • ���������������� ������– ����������� ��– �����������������sp� ��– �a���������������������t������������� – x��������� �������������������� �����
  • 35. ��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� ()– ����������� ��• ����• ���������������������������������� �������������n������ �a�•
  • 36. ��������� 1 �������� • ��������������� ��– ��������������������� • Q�K����������������������������������
  • 37. ������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
  • 38. ������������� • ������������� – U4����������� ���– 4������������� • ��������������� – U4����������� ��– ������������ ��– �i��������������� • Φ�������������������������Z������������
  • 39. ���� � ����• ��)���� � �����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� ��������• ��� �� ������ ��– ��
  • 40. ���� � �������9�D�D�• 69D�– �����������������9 ��D������9��D���������� ����– ������������9�9��D���������������������������������������� ����69D�������������������������