1. DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Convolutional Conditional Neural Processes と
Neural Processes Family の紹介
Makoto Kawano(@mkt_kwn), Matsuo Lab.
2. 書誌情報&謝辞
著者情報:
Jonathan Gordon, Wessel P. Bruinsma, Andrew Y. K. Foong, James Requeima,
Yann Dubois, Richard E. Turner
University of Cambridge, Invenia Labs, Microsoft Research
ICLR2020(8, 8, 6)
選定理由:
とりあえず強い
とにかく強い
ただただ強い
謝辞
本論文の理解及び発表資料作成するにあたって,貴重な時間を割いて議論していた
だいた理研 AIP の熊谷亘氏と松井孝太氏に感謝いたします.
1/49
3. 補足
今回の論文 ConvCNP を発表するにあたって,Neural Process から説明しますが,よ
り詳細を知りたい方は,過去の資料を参照していただけると幸いです
(リンク埋め込み済,クリックしてもらえれば)
Conditional Neural Processes
Attentive Neural Processes
NP Family の実装について
2/49
15. Permutation Invariant を持つ関数 Deep Sets
DeepSets [Zaheer et al., 2017]
任意の S-invariant な連続関数 f : Zn → R は,和分解可能
i.e. 適当な ρ と φ があるとき,f(Z) = ρ z∈Z φ(z) と表現できる
(観測されたデータ点) 集合を潜在表現に埋め込む encoder として多くの NPs で採用
GQN では,和を使っている
GQN は,NP の特殊なケースと見なすことが可能
Neural process では,和ではなく平均を使っている
16/49
16. Translation Equivalence (平行移動等価性)
もしデータの入力位置が τ だけ平行移動したら,出力も同様に平行移動してほしい
CNN の性能が良いのは,この性質を持つため
[Kondor and Trivedi, 2018, Cohen and Welling, 2016]
性質 2:集合における平行移動に対し等価な写像
H を X 上の関数空間とし,T と T を次のように定義する:
T : X × Z → Z, Tτ Z = ((x1 + τ, y1), . . . , (xm + τ, ym)),
T : X × H → H, Tτ h(x) = h(x − τ).
写像 Φ: Z → H が,
Φ(Tτ Z) = Tτ Φ(Z) for all τ ∈ X and Z ∈ Z.
であるとき,translation equivariance を持つ. 17/49
17. Neural Process のエンコーダにおける Translation Equivariance
既存 NP による集合 Z のベクトル空間 Rd への写像では,X の入力平行移動に関する
等価性は well-defined ではない
X 上の関数 f は τ ∈ X : f(· − τ) で平行移動可能
一方,ベクトル x ∈ Rd を関数 [d] → R,x(i) = xi とみなすと,平行移動
x(· − τ) は well-defined ではない
エンコーダ E : Z → H を X 上の関数を含む (関数) 空間 H に写像するように拡張
H 上の関数は X から写像されるため,E(Z) における translation equivariance
を定義可能
18/49
18. Multiplicity (重複度)
定義 2:Multiplicity
系 Z ⊆ Z について,各集合 Z ∈ Z に含まれる各 x が高々 K 回出現するとき:
mult Z := sup { sup { | { i ∈ [m] : xi = ˆx } | : ˆx = x1, . . . , xm
number of times every x occurs
} : (xi, yi)m
i=1 ∈ Z }
= K
Z は multiplicityK を持つという.ただし,[m] = { 1, . . . , m }
例えば:時系列や画像などの実世界データ
一ヶ所の入力位置につき,一つの (多次元である) 観測であることが多い
= multiplicity 1 に一致 (ほとんど 1 であることが多い)
19/49
42. References i
[Boone, 2019] Boone, K. (2019).
Avocado: Photometric classification of astronomical transients with gaussian process
augmentation.
arXiv preprint arXiv:1907.04690.
[Cohen and Welling, 2016] Cohen, T. and Welling, M. (2016).
Group equivariant convolutional networks.
In Balcan, M. F. and Weinberger, K. Q., editors, Proceedings of The 33rd International Conference
on Machine Learning, volume 48 of Proceedings of Machine Learning Research, pages
2990–2999, New York, New York, USA. PMLR.
45/49
43. References ii
[Galashov et al., 2019] Galashov, A., Schwarz, J., Kim, H., Garnelo, M., Saxton, D., Kohli, P., Eslami, S.,
and Teh, Y. W. (2019).
Meta-learning surrogate models for sequential decision making.
arXiv preprint arXiv:1903.11907.
[Garnelo et al., 2018a] Garnelo, M., Rosenbaum, D., Maddison, C., Ramalho, T., Saxton, D., Shanahan,
M., Teh, Y. W., Rezende, D., and Eslami, S. M. A. (2018a).
Conditional neural processes.
In Dy, J. and Krause, A., editors, Proceedings of the 35th International Conference on Machine
Learning, volume 80 of Proceedings of Machine Learning Research, pages 1704–1713,
Stockholmsmässan, Stockholm Sweden. PMLR.
46/49
44. References iii
[Garnelo et al., 2018b] Garnelo, M., Schwarz, J., Rosenbaum, D., Viola, F., Rezende, D. J., Eslami, S., and
Teh, Y. W. (2018b).
Neural processes.
arXiv preprint arXiv:1807.01622.
[Kim et al., 2019] Kim, H., Mnih, A., Schwarz, J., Garnelo, M., Eslami, A., Rosenbaum, D., Vinyals, O., and
Teh, Y. W. (2019).
Attentive neural processes.
In International Conference on Learning Representations.
47/49
45. References iv
[Kondor and Trivedi, 2018] Kondor, R. and Trivedi, S. (2018).
On the generalization of equivariance and convolution in neural networks to the action of
compact groups.
In Dy, J. and Krause, A., editors, Proceedings of the 35th International Conference on Machine
Learning, volume 80 of Proceedings of Machine Learning Research, pages 2747–2755,
Stockholmsmässan, Stockholm Sweden. PMLR.
[Louizos et al., 2019] Louizos, C., Shi, X., Schutte, K., and Welling, M. (2019).
The functional neural process.
arXiv preprint arXiv:1906.08324.
[Papamakarios and Murray, 2016] Papamakarios, G. and Murray, I. (2016).
Fast -free inference of simulation models with bayesian conditional density estimation.
In Lee, D. D., Sugiyama, M., Luxburg, U. V., Guyon, I., and Garnett, R., editors, Advances in Neural
Information Processing Systems 29, pages 1028–1036.
48/49
46. References v
[Williams and Rasmussen, 2006] Williams, C. K. and Rasmussen, C. E. (2006).
Gaussian processes for machine learning, volume 2.
MIT press Cambridge, MA.
[Zaheer et al., 2017] Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R. R., and
Smola, A. J. (2017).
Deep sets.
In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R.,
editors, Advances in Neural Information Processing Systems 30, pages 3391–3401.
49/49