O slideshow foi denunciado.
Seu SlideShare está sendo baixado. ×

Graph Attention Network

Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Carregando em…3
×

Confira estes a seguir

1 de 17 Anúncio

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a Graph Attention Network (20)

Anúncio

Mais de Takahiro Kubo (20)

Mais recentes (20)

Anúncio

Graph Attention Network

  1. 1. Copyright © 2018 TIS Inc. All rights reserved. Graph Attention Network 戦略技術センター 久保隆宏 NodeもEdegeもSpeedも
  2. 2. Copyright © 2018 TIS Inc. All rights reserved. 2  Summary  関連研究における位置づけ  Architecture  実験結果  まとめ・所感  参考文献 目次
  3. 3. Copyright © 2018 TIS Inc. All rights reserved. 3 Graph Attention Networkは、Graph Convolutionにおける「情報量と計 算速度のトレードオフ」のバランスをうまくとった研究。  Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge の潜在表現を作っていると計算速度が遅くなる(Modeling Relational Data with Graph Convolutional Networks)。  そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき た。 Summary 論文の引用ネットワークに適 用した図。Node(論文)の情報 だけでなく、Nodeを結ぶエッ ジ情報(=太さ)を取れている (Figure 2より)
  4. 4. Copyright © 2018 TIS Inc. All rights reserved. 4 関連研究における位置づけ (1/7) (著者はセルビアの方)
  5. 5. Copyright © 2018 TIS Inc. All rights reserved. 5 関連研究における位置づけ (2/7) The graph neural network model 下記特徴をNN(f)に入力しノードの状態 を計算する。状態・特徴から出力を得る。  𝑙 𝑛: ノードの特徴  𝑙 𝑐𝑜[𝑛]: エッジの特徴  𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態  𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴 入力=>状態の更新を繰り返すが、これ はちょうどRNNと似た形であり(左図) 、 BPTTで更新できる。 ノード検索において、ノード特徴だけ使 うより精度が高いことを確認。 ※特徴とは、化学物質ならノード=炭素/ 酸素、エッジ=結合/二重結合など
  6. 6. Copyright © 2018 TIS Inc. All rights reserved. 6 関連研究における位置づけ (3/7) Spectral Networks and Locally Connected Networks on Graphs GraphにCNNを適用する研究。具体的には、CNNの「マルチス ケール」な情報抽出をグラフ上でどう行うか議論している。  ノード=>クラスタリング=>クラスタ特徴=>クラスタ特 徴のクラスタリング=>・・・と繰り返していけばマルチス ケールっぽくなる(左下図参照)  クラスタリングとしてSpectral clusteringを用いる。これ はグラフの隣接行列を固有値分解する手法。  フーリエ級数と固有値ベクトル分解は等価であるため(参考 文献参照)、Graphを信号に見立てたときのFourie展開で計 算が可能。  固有値で役立つのは上位数個(d)のため、常に上位dを取る とすると定型サイズのフィルタを段々と適用するCNNのよ うな形になる。 固有ベクトルの計算が必要で、きっつい
  7. 7. Copyright © 2018 TIS Inc. All rights reserved. 7 関連研究における位置づけ (4/7) Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering SpectralなGraph Convolutionをチェビシェフ展開 (Chebyshev expansion)で近似することで、固有値計算 の必要をなくした。
  8. 8. Copyright © 2018 TIS Inc. All rights reserved. 8 関連研究における位置づけ (5/7) Semi-Supervised Classification with Graph Convolutional Networks さらに、フィルタの対象を最近傍(1-step)の周辺ノードに 限定。 ここまで来たら普通に周辺ノードに重みをかけるで良くないか
  9. 9. Copyright © 2018 TIS Inc. All rights reserved. 9 関連研究における位置づけ (6/7) 最近よく見る形(すごく普通)
  10. 10. Copyright © 2018 TIS Inc. All rights reserved. 10 関連研究における位置づけ (7/7) Graph Attention Network 周辺ノードからの伝搬時にAttentionを加味(シンプ ル!)。
  11. 11. Copyright © 2018 TIS Inc. All rights reserved. 11  Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ クトルを基に算出される。  フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと Forwardの計算を行い平均をとる。 Architecture Structured deep models: Deep learning on graphs and beyondより
  12. 12. Copyright © 2018 TIS Inc. All rights reserved. 12 はじめに: TransductiveとInductiveについて Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予 測するタスク。「既知」というのは、学習データ中にノードがあるという こと。 Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、 ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ る。 TransductiveよりもInductiveの方が、汎化性能が求められる (Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ るため)。 実験結果 (1/2)
  13. 13. Copyright © 2018 TIS Inc. All rights reserved. 13 実験結果 (2/2) 特にInductiveで大きな効果!
  14. 14. Copyright © 2018 TIS Inc. All rights reserved. 14 とてもストレートな手法で良好な結果を出している。 Edgeの情報もある程度取れているので、Edgeに関するタスク (LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ では厳しいかもしれないが)。 Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法 はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ するという形にも使えそう。 まとめ・所感
  15. 15. Copyright © 2018 TIS Inc. All rights reserved. 15  Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.  Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele Monfardini. The graph neural network model. Neural Networks, IEEE Transactions on, 20(1):61–80, 2009.  Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral Networks and Locally Connected Networks on Graphs. In ICLR, 2014.  Spectral由来の手法の起源となる論文。  Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.  Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.  Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. In ICLR, 2017. 参考文献: Papers
  16. 16. Copyright © 2018 TIS Inc. All rights reserved. 16  Thomas Kipf. Structured deep models: Deep learning on graphs and beyond. 2018.  Graph Convolutionを行う時にまず参照すべき解説スライド  horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.  固有値分解とフーリエ展開がどう関係するの?というところがなんとなくわかる。  7931. フーリエ級数の3つの解釈/『数学セミナー 2018年3月号』読書メモ その3. 7931のあたまんなか, 2018.  フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。 参考文献: Articles
  17. 17. THANK YOU

×