Enviar pesquisa
Carregar
Deep Collective Classification in Heterogeneous Information Networks
•
0 gostou
•
168 visualizações
K
Kota Kakiuchi
Seguir
輪読会資料 論文URL:https://dl.acm.org/citation.cfm?id=3186106 www2018
Leia menos
Leia mais
Tecnologia
Vista de apresentação de diapositivos
Denunciar
Compartilhar
Vista de apresentação de diapositivos
Denunciar
Compartilhar
1 de 26
Baixar agora
Baixar para ler offline
Recomendados
Prml5 6
Prml5 6
K5_sem
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
Recomendados
Prml5 6
Prml5 6
K5_sem
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
PRML5
PRML5
Hidekazu Oiwa
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
PRML輪読#5
PRML輪読#5
matsuolab
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Naoya Chiba
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Atsushi KOMIYA
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Takuya Akiba
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
NLPforml5
NLPforml5
Hidekazu Oiwa
20140925 multilayernetworks
20140925 multilayernetworks
tm1966
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
広樹 本間
Web本文抽出 using crf
Web本文抽出 using crf
Shuyo Nakatani
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
Deep Learning JP
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Junya Arai
Mais conteúdo relacionado
Mais procurados
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
PRML5
PRML5
Hidekazu Oiwa
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
PRML輪読#5
PRML輪読#5
matsuolab
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Naoya Chiba
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Atsushi KOMIYA
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Takuya Akiba
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
NLPforml5
NLPforml5
Hidekazu Oiwa
20140925 multilayernetworks
20140925 multilayernetworks
tm1966
Mais procurados
(16)
点群深層学習 Meta-study
点群深層学習 Meta-study
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
PRML5
PRML5
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
PRML輪読#5
PRML輪読#5
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Semantic segmentation
Semantic segmentation
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
NLPforml5
NLPforml5
20140925 multilayernetworks
20140925 multilayernetworks
Semelhante a Deep Collective Classification in Heterogeneous Information Networks
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
広樹 本間
Web本文抽出 using crf
Web本文抽出 using crf
Shuyo Nakatani
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
Deep Learning JP
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Junya Arai
Semelhante a Deep Collective Classification in Heterogeneous Information Networks
(6)
Chainer, Cupy入門
Chainer, Cupy入門
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
Web本文抽出 using crf
Web本文抽出 using crf
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Último
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Último
(12)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Deep Collective Classification in Heterogeneous Information Networks
1.
Deep Collective Classification
in Heterogeneous Information Networks 垣内弘太
2.
書誌情報&選定理由 • タイトル:Deep Collective
Classification in Heterogeneous Information Networks • カンファレンス:www2018 • 選定理由 – Heterogeneous Networkの扱い方への興味 • Homogeneous Networkは、他の種類の情報を捨てている • 個別に解いている問題も、背後にネットワークを仮定出来得る – Graph Convolution勉強してみたかった
3.
概要 • 目的:Heterogeneous Information
Networkにおけるcollective classification – ネットワークの背後にある階層的なrelational featureをうまく捉えたい • GraphInceptionアルゴリズムを提案 – meta pathを用いたMulti-channel Networkの構築 – graph convolutionの適用 – graph inception moduleの提案
4.
collective classification • 相互に繋がったインスタンスの集合(要はネットワーク)において –
オブジェクトのラベルと属性の相関 – オブジェクトのラベルと隣接オブジェクトの属性(ラベル含む)の相関 – オブジェクトのラベルと隣接オブジェクトの未知ラベルの相関 の3タイプの情報を組み合わせて行う分類 • 例)Webページのトピック分類 – 従来の機械学習界隈のやり方 • Webページの情報(テキストなど)を特徴量として、各ページ独立に分類 – Webページ同士はリンクで繋がっており、それらのトピックには相関 – collective classificationは、この相関もうまく考慮することを目指す • 論文データ、email network、social networkなど多くの応用先
5.
背景 • collective classificationにおける先行研究 –
近隣ノードの集計による、特徴量の作りこみ • 一方、deep learningにより、多くの分野でend-to-endで自動的に特徴量を学習 – 画像・NLP・音声など – 近年のdeep learningは、主にcontent featureに焦点を当てている • 画像内の視覚的特徴など – collective classificationにおけるrelational featureの抽出にはまだ用いられていない • Heterogeneous Information Networks (HINs) におけるdeep learningを用いた collective classificationに焦点を当てる
6.
HINsにおけるcollective classificationの難しさ 1. Deep
Relational Feature – HINsは、簡単なものから複雑なものまで、階層的な異なるタイプの相関を持つ – DBLPネットワーク(書誌情報ネットワーク)を考える • リンクは、authoredBy・publishedInの関係から成る – HINsのインスタンス間の複雑で不明瞭な関係 ⇒ deep relational learning modelでインスタンス間の階層的な深い依存関係を抽出 共著関係(simple relationship) - 明示的に抽出可能 師弟関係(hidden relationship) - 共著関係から推測 同僚関係(complex relationship) - 師弟関係から推測
7.
HINsにおけるcollective classificationの難しさ 2. Mixed
Complexity in Relational Features – relational featureの複雑さは多様 • シンプルなモデルはシンプルな関係しかとらえられない • deepなモデルは複雑な関係はとらえられるが、シンプルな関係について過学習 – 自動で色々な複雑さ度合に対応できるモデルが理想 3. Heterogeneous Dependencies – HINsは様々な種類のノード、リンクを含む ⇒ 直接的にdeep learning modelを適用するのが難しい – ex) graph convolution network(GCN) • 各ノードが同じconvolution kernelを共有する前提なので、 HINsではうまくいかない
8.
モデル概要 • graph convolutionベースのモデルを提案 –
multi-channel network translation – graph convolution based relational feature learning
9.
Multi-channel Network Translation •
HINsには多様なノードがあり、そのまま畳み込むのは難しい ⇒ meta pathを利用して、multi-channel networkに変換する • meta path – 異なるタイプのオブジェクトを繋げてできる系列 – 各meta pathが、ノード間の独自の関係を表す • 各種類のmeta pathごとに、meta pathの始点と 終点を繋ぎhomogeneous networkを構築し、 multi-channel networkとする 共著関係 同じ会議に投稿 各channelは、meta pathの違いに より違う意味・関係性を表す
10.
Graph Convolution • Graphにも、画像の様にconvolutionを適用したい –
問題点 • 注目ノードと周辺ノードの関係が、画像と違って注目ノードごとに不定形 – graph convolutionはこの問題点を解決し、graphの特徴をうまく抽出する • 主に2タイプに分類される – graph fourier変換を利用した構成 • ループや多重エッジをもたない重み付き無向グラフを対象 • 理論由来 • 今回の論文はこっち – より直接的な構成 • 有向グラフや多重エッジ、ループなどのより複雑な構造も導入できる • 理論由来でない
11.
Convolution Theorem • Convolution
Theorem – 畳み込み演算はフーリエ係数では要素積となる • 畳み込みの手順 – グラフ上の信号(各ノードの特徴ベクトル)に対してGraph Fourier変換 – 変換先で、フィルターと要素積 – 要素石に結果に対して逆Graph Fourier変換
12.
Graph Fourier変換 • グラフ上の信号に対して定義される –
Fourier変換:波形信号を周波数成分ごとに成分分解 – Graph Fourir変換:グラフ上の信号を”ゆるやかな信号”や”急峻な信号”へ成分分解 • グラフ上の信号のsmoothness – これを最小化する信号は定数信号( とする) • 帰納的に から、正規直交基底 を求める 各ノード上の信号(特徴量)が1 次元の場合
13.
Graph Fourier変換 • Graph
Laplacian L = 次数行列D - 隣接行列A と定義 • Graph Laplacianを用いれば、smoothnessは以下で表される – この時、 はLの固有ベクトル
14.
Graph Fourier変換 • 定義 –
における係数への対応 • 行列表現に変換して、 – Graph Fourier変換 – 逆Graph Fourier変換
15.
Graph Convolutionの手順 1. グラフ上の信号(特徴量)に対してGraph
Fourier変換 2. 変換された信号に対して、 と要素積をとる 3. 要素積の結果に対して逆Graph Fourier変換 • すなわち、
16.
Graph Convolution-based Relational
Feature Learning • 本論文では、Graph Laplacian Lの代わりに遷移確率行列Pを用いる – ノード間の関係性を学習したいから • 畳み込み演算 において、 と置くことで、 たかだかK step先の ノードまで考慮
17.
Graph Convolution-based Relational
Feature Learning • 各channelそれぞれに適用するので、フィルターを複数枚にして • Hのi行目がノードiのrelatiional featureを表す
18.
Inception module • 2014年のILSVRCの優勝モデルGoogLeNetで用いられたモジュール –
サイズの異なる畳み込みを行った後、出力をつなぎ合わせる • naive versionは、本来はスパースは5×5 convolutionで表現可能(max pool除く) • 明示的に異なるscaleの特徴量を抽出させる ⇒ パラメータ削減しつつ、精度保つ
19.
Graph Inception Module •
前スライドの式でも、畳み込み演算は定義できていたが、 – complex relationshipを捉える – 色々な複雑さ度合に対応 するために、Inception moduleを応用する • サイズ1, 2の2つのカーネルを各層に配置
20.
GraphInception Algorithm • Multi-channel
Network Construction – meta pathから複数のhomogeneous networkを構築 • 訓練時 – a • 推論時 – Iterative Inference – あるノードについて推論し、その結果を次のノードの推論に用いることを繰り返す GCNの出力 relational feature local feature
21.
Experiment:データ
22.
Experiment:多クラス分類結果 DBLP(書誌情報ネットワーク) SLAP(バイオインフォマティックスネットワーク) 4 inception
layerがベスト 1 inception layerがベスト
23.
Experiment:多クラス分類結果 ACM(書誌情報ネットワーク) IMDB(映画情報ネットワーク) 4 inception
layerがベスト 1 inception layerがベスト
24.
Experiment:Relational Feature Visualization •
学習したrelational featuresを t-SNEで可視化 • データはDBLPを使用 • GraphInceptionは同種のノードをう まくまとめられている
25.
まとめ • Heterogeneous Information
Networkからdeep relational featuresを学習する graph convolutionベースのモデルの提案 – collective classificationに焦点 • graph inception moduleを提案 – 複雑な依存関係も単純な依存関係も捉えたい • 実験により、GraphInceptionアルゴリズムの、HINsにおける deep relational featuresの学習への効果を示した
26.
参考資料 • https://www.slideshare.net/DeepLearningJP2016/graph-convolutional-network-lt • https://tech-blog.abeja.asia/entry/2017/04/27/105613 •
https://arxiv.org/pdf/1211.0053.pdf
Baixar agora