Enviar pesquisa
Carregar
「深層学習による自然言語処理」読書会 4.2記憶ネットワーク@レトリバ
•
2 gostaram
•
559 visualizações
S
scapegoat06
Seguir
「深層学習による自然言語処理」読書会 記憶ネットワークの話
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 13
Baixar agora
Baixar para ler offline
Recomendados
ならば(その弐)
ならば(その弐)
Tomoaki Hiramoto
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
tzm_freedom
TEXT2LOD
TEXT2LOD
Takahiro Kawamura
TensorFlowをざっくりLTしてみた
TensorFlowをざっくりLTしてみた
Mitsuki Ogasahara
特許出願した資料
特許出願した資料
建 成田
ならば
ならば
Tomoaki Hiramoto
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
Deep forest
Deep forest
naoto moriyama
Recomendados
ならば(その弐)
ならば(その弐)
Tomoaki Hiramoto
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
tzm_freedom
TEXT2LOD
TEXT2LOD
Takahiro Kawamura
TensorFlowをざっくりLTしてみた
TensorFlowをざっくりLTしてみた
Mitsuki Ogasahara
特許出願した資料
特許出願した資料
建 成田
ならば
ならば
Tomoaki Hiramoto
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
Deep forest
Deep forest
naoto moriyama
Enriching Word Vectors with Subword Information
Enriching Word Vectors with Subword Information
Sho Takase
Tensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみた
Kyota Yasuda
20170304 fmcn playbulb
20170304 fmcn playbulb
Nariaki Iwatani
パケットで遊ぼう! #ssmjp 2015/04
パケットで遊ぼう! #ssmjp 2015/04
Takaaki Hoyo
Recurrent Neural Network
Recurrent Neural Network
KozoChikai
Multi reference training with pseudo-references for neural translation and te...
Multi reference training with pseudo-references for neural translation and te...
ryoma yoshimura
NWstudyforBeginner
NWstudyforBeginner
KennosukeUeda
最近の自然言語処理
最近の自然言語処理
naoto moriyama
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Koji Matsuda
大規模な単語活用辞書を用いた英単語の見出し語化
大規模な単語活用辞書を用いた英単語の見出し語化
奈良先端大 情報科学研究科
内省するTensorFlow
内省するTensorFlow
Yoshiyuki Kakihara
Unityでlinqを使おう
Unityでlinqを使おう
Yuuki Takada
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
Webpla LLC.
EMNLP2016読み会@黒橋研
EMNLP2016読み会@黒橋研
Motoki Sato
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
Eric Sartre
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
antibayesian 俺がS式だ
論文読み 20170525
論文読み 20170525
Taichi Iki
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
Takeshi Ishita
日本語の語彙平易化システムおよび評価セットの構築
日本語の語彙平易化システムおよび評価セットの構築
Tomoyuki Kajiwara
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
Takahiro Kubo
言語資源と付き合う
言語資源と付き合う
Yuya Unno
Mais conteúdo relacionado
Mais procurados
Enriching Word Vectors with Subword Information
Enriching Word Vectors with Subword Information
Sho Takase
Tensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみた
Kyota Yasuda
20170304 fmcn playbulb
20170304 fmcn playbulb
Nariaki Iwatani
パケットで遊ぼう! #ssmjp 2015/04
パケットで遊ぼう! #ssmjp 2015/04
Takaaki Hoyo
Recurrent Neural Network
Recurrent Neural Network
KozoChikai
Multi reference training with pseudo-references for neural translation and te...
Multi reference training with pseudo-references for neural translation and te...
ryoma yoshimura
NWstudyforBeginner
NWstudyforBeginner
KennosukeUeda
最近の自然言語処理
最近の自然言語処理
naoto moriyama
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Koji Matsuda
大規模な単語活用辞書を用いた英単語の見出し語化
大規模な単語活用辞書を用いた英単語の見出し語化
奈良先端大 情報科学研究科
内省するTensorFlow
内省するTensorFlow
Yoshiyuki Kakihara
Unityでlinqを使おう
Unityでlinqを使おう
Yuuki Takada
Mais procurados
(12)
Enriching Word Vectors with Subword Information
Enriching Word Vectors with Subword Information
Tensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみた
20170304 fmcn playbulb
20170304 fmcn playbulb
パケットで遊ぼう! #ssmjp 2015/04
パケットで遊ぼう! #ssmjp 2015/04
Recurrent Neural Network
Recurrent Neural Network
Multi reference training with pseudo-references for neural translation and te...
Multi reference training with pseudo-references for neural translation and te...
NWstudyforBeginner
NWstudyforBeginner
最近の自然言語処理
最近の自然言語処理
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
大規模な単語活用辞書を用いた英単語の見出し語化
大規模な単語活用辞書を用いた英単語の見出し語化
内省するTensorFlow
内省するTensorFlow
Unityでlinqを使おう
Unityでlinqを使おう
Semelhante a 「深層学習による自然言語処理」読書会 4.2記憶ネットワーク@レトリバ
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
Webpla LLC.
EMNLP2016読み会@黒橋研
EMNLP2016読み会@黒橋研
Motoki Sato
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
Eric Sartre
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
antibayesian 俺がS式だ
論文読み 20170525
論文読み 20170525
Taichi Iki
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
Takeshi Ishita
日本語の語彙平易化システムおよび評価セットの構築
日本語の語彙平易化システムおよび評価セットの構築
Tomoyuki Kajiwara
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
Takahiro Kubo
言語資源と付き合う
言語資源と付き合う
Yuya Unno
Semelhante a 「深層学習による自然言語処理」読書会 4.2記憶ネットワーク@レトリバ
(9)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
EMNLP2016読み会@黒橋研
EMNLP2016読み会@黒橋研
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
論文読み 20170525
論文読み 20170525
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
日本語の語彙平易化システムおよび評価セットの構築
日本語の語彙平易化システムおよび評価セットの構築
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
言語資源と付き合う
言語資源と付き合う
「深層学習による自然言語処理」読書会 4.2記憶ネットワーク@レトリバ
1.
「深層学習による自然言語処理」 読書会 vol4 @
レトリバ 2017/08/23 (Wed)
2.
記憶ネットワークとは?? FaceBookの研究グループにより提唱されたモデル (2015年 ざっくりと言うと以下の 3つを実現するモデリングを行う ・記憶を行うこと ・記憶を呼び出すこと ・記憶を使って外からの問い合わせに答えること RNN(LSTMなど) 内部状態を使うことで文の状態を記憶 →固定長のベクトル(隠れベクトルとか?)に限定されている →もっと直接的に記憶の仕組みをモデル化したいっ!! 記憶ネットワーク
3.
記憶ネットワーク (Memory Network)[Weston+,15] ・I
(入力情報変換):入力された情報を内部表現に変換する ・G (一般化):新しい知識源を利用して内部記憶情報を更新 ・O (出力情報変換):内部記憶情報を利用して外部質問に対する返 答のための内部表現を生成 ・R (応答):出力情報を適切な返答へと変換 入力情報 変換 一般化 出力情報 変換 応答 入力 返答 入力情報 変換 知識情報 符号化復号化モデル:入力と出力 記憶ネットワーク:入力と出力と 知識情報 注意)記憶ネットワークは一般的なモデル化。 各モジュールはルールベースとかを組み合わせても実装が可能(らしい) N個の記憶情報
4.
教師あり記憶ネットワーク(概要) 根拠情報(supporting fact):返答を生成するためにどの記憶情報を用いる必要があるかという情報 I: D次元ベクトルへ変換 G:
記憶情報を追加 O: スコア関数、上位を探す R:スコア関数最大となる単語を探す
5.
question x ="Where
is the milk now?" mo1 = "Joe left the milk" mo2 = "Joe travelled to the office" r = "office
6.
教師あり記憶ネットワーク(学習) スコア関数 U:N×D行列, Φ:入力情報をD次元特徴ベクトルに変換する関数 (RNNとか、埋め込みベクトルの和とか) N:埋め込み次元数、D:特徴量の次元数(=3|W|) 目的関数最小化(各*付きが訓練データ、とりわけ o*は根拠情報)
7.
(余談 bAbIというタスクの提案 20種類に分けられた簡単なタスク(人間なら 外部知識なしに解けるタスク) このタスクは古典的な手法を基にしたモデル ではほぼ100%で解けるらしい NNの苦手分野→エンティティの関係が複数に なると弱い(ex:上下左右)
8.
end-to-end 記憶ネットワーク[Sukhbaatar+, 15] 中間的な課題の解(根拠情報がない時)
→ソフト注意機構の活用 質問嘔吐のやつを例に 入力情報変換 入力文:xi 埋め込み行列: A(D×V行列) 質問文:qj 埋め込み行列: B(D×V行列) uを用いて記憶情報を参照 {m1,...,mN} {p1,...,pN} N個の記憶情報 uにとっての重要度
9.
end-to-end 記憶ネットワーク 出力情報変換 入力文:xi 埋め込み行列: C(D×V行列) 出力情報:o
重み付き平均 →Soft Attetintion 返答 入力情報x、質問文q、正しい返答aが与えられた時aとa^ の交差エントロピーを損失関数として最適化
10.
11.
end-to-end 記憶ネットワーク(もっと詳しく) 詳細:出た本著者の一人の海野さんの原論文についてのスライドがわかりやすい https://www.slideshare.net/unnonouno/nip2015endtoend-memory-networks
12.
動的記憶ネットワーク[Kumar+, 16] 入力:外部からの情報を内部表現に変換(by GRU) 意味記憶:一般的な知識や常識の格納(by
分散表現) 質問:質問を内部表現に変換(by GRU) エピソード記憶:入力された知識を記憶、質問に応じ情報を引き出 す →推論が必要な質問にも 答えられる 回答:エピソード記憶が導き出した回答の内部表現から返答のた めの表現を生成 質問 回答 エピソード 記憶 入力 意味記憶 ちょっとよくわからなかったです・・・
13.
参考文献 Memory Networks [15,
Weston+] https://arxiv.org/pdf/1410.3916.pdf 著者による上の解説スライド http://www.thespermwhale.com/jaseweston/icml2016/icml2016-memnn-tutorial.pdf end-to-end memory network[15, Sukhbaatar+]https://papers.nips.cc/paper/5846-end-to-end-memory-networks.pdf dynamic-memory-network[16, Kumar+]]http://proceedings.mlr.press/v48/kumar16.pdf 自然言語処理による DeepLearning(slide) http://www.ieice.org/~prmu/jpn/ieice/ieice2017-1.pdf 深層ニューラルネットワークによる知識の自動獲得・推論 https://www.slideshare.net/naoakiokazaki/ss-63594106 NIP2015読み会「End-To-End Memory Networks」https://www.slideshare.net/unnonouno/nip2015endtoend-memory-networks
Baixar agora