Enviar pesquisa
Carregar
NIP2015読み会「End-To-End Memory Networks」
•
30 gostaram
•
11,490 visualizações
Yuya Unno
Seguir
NIPS2015読み会で話した、「End-To-End Memory Networks」の資料です
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 30
Baixar agora
Baixar para ler offline
Recomendados
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
第4回 統計・機械学習若手シンポジウム(11/15)発表資料
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
Universal Dependencies シンポジウム発表資料 @ 国立国語研究所 松田寛 - Megagon Labs
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
Megagon Labs
2017/8/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
第28回言語処理学会年次大会での発表スライド
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Googleの株価(終値)予測タスクを題材として、CNNの時系列問題に対する有用性を検証する。 RNNをベンチマークとして、LSTM, CNN+LSTMの予測性能(MSE、学習時間)を比較する。
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
自分の知識整理のために、Attentionの起源から、Transformerの入門レベルまでの内容をスライドにまとめました
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
強化学習若手の会チュートリアル、部分観測マルコフ決定過程 (POMDP) 下での強化学習の基礎と応用の資料です。
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
Recomendados
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
第4回 統計・機械学習若手シンポジウム(11/15)発表資料
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
Universal Dependencies シンポジウム発表資料 @ 国立国語研究所 松田寛 - Megagon Labs
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
Megagon Labs
2017/8/24 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
第28回言語処理学会年次大会での発表スライド
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Googleの株価(終値)予測タスクを題材として、CNNの時系列問題に対する有用性を検証する。 RNNをベンチマークとして、LSTM, CNN+LSTMの予測性能(MSE、学習時間)を比較する。
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
自分の知識整理のために、Attentionの起源から、Transformerの入門レベルまでの内容をスライドにまとめました
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
強化学習若手の会チュートリアル、部分観測マルコフ決定過程 (POMDP) 下での強化学習の基礎と応用の資料です。
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質(異なるドメイン)のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
cvpaper.challenge の Meta Study Group 発表スライド cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2019の目標「トップ会議30+本投稿」「2回以上のトップ会議網羅的サーベイ」 http://xpaperchallenge.org/cv/
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
2019/03/08 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
SSII2019 オーガナイズドセッション3「深層学習の高速化 ~高速チップ、分散学習、軽量モデル~」 6月14日(金) 10:35〜12:05 (メインホール)
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
2021/05/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
2021/03/12 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Introduction of Deep Reinforcement Learning, which was presented at domestic NLP conference. 言語処理学会第24回年次大会(NLP2018) での講演資料です。 http://www.anlp.jp/nlp2018/#tutorial
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
cvpaper. challenge
研究室での論文紹介スライド. Laurens van der Maaten, Geoffrey Hinton, ”Visualizing Data using t-SNE”, Journal of Machine Learning Research (2008) pp.1-48
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
2022/02/04 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
この前開催された、NN論文を肴に飲む会での発表資料。 畳み込みLSTMを用いたレーダーエコーの未来フレーム予測
畳み込みLstm
畳み込みLstm
tak9029
大阪大学夏季集中講義「データ科学特論I」 深層学習の数理を「表現能力」「汎化能力」「最適化能力」について解説
深層学習の数理
深層学習の数理
Taiji Suzuki
ISCIE/SICEチュートリアル講座2017のスライド
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
2022/11/25 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
2018/10/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
2019/01/11 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
2020/06/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
Deep Learning JP
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
2019/06/28 東京大学駒場キャンパスで開催された、先端技術セミナー工学最前線での講演資料です
深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
Yuya Unno
2018/04/20 DLLAB 言語・音声ナイトでの発表資料です
深層学習時代の自然言語処理ビジネス
深層学習時代の自然言語処理ビジネス
Yuya Unno
Mais conteúdo relacionado
Mais procurados
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質(異なるドメイン)のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
cvpaper.challenge の Meta Study Group 発表スライド cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2019の目標「トップ会議30+本投稿」「2回以上のトップ会議網羅的サーベイ」 http://xpaperchallenge.org/cv/
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
2019/03/08 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
SSII2019 オーガナイズドセッション3「深層学習の高速化 ~高速チップ、分散学習、軽量モデル~」 6月14日(金) 10:35〜12:05 (メインホール)
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
2021/05/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
2021/03/12 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Introduction of Deep Reinforcement Learning, which was presented at domestic NLP conference. 言語処理学会第24回年次大会(NLP2018) での講演資料です。 http://www.anlp.jp/nlp2018/#tutorial
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
cvpaper. challenge
研究室での論文紹介スライド. Laurens van der Maaten, Geoffrey Hinton, ”Visualizing Data using t-SNE”, Journal of Machine Learning Research (2008) pp.1-48
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
2022/02/04 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
この前開催された、NN論文を肴に飲む会での発表資料。 畳み込みLSTMを用いたレーダーエコーの未来フレーム予測
畳み込みLstm
畳み込みLstm
tak9029
大阪大学夏季集中講義「データ科学特論I」 深層学習の数理を「表現能力」「汎化能力」「最適化能力」について解説
深層学習の数理
深層学習の数理
Taiji Suzuki
ISCIE/SICEチュートリアル講座2017のスライド
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
2022/11/25 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
2018/10/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
2019/01/11 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
2020/06/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
Deep Learning JP
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
Mais procurados
(20)
ドメイン適応の原理と応用
ドメイン適応の原理と応用
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
畳み込みLstm
畳み込みLstm
深層学習の数理
深層学習の数理
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
変分ベイズ法の説明
変分ベイズ法の説明
Mais de Yuya Unno
2019/06/28 東京大学駒場キャンパスで開催された、先端技術セミナー工学最前線での講演資料です
深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
Yuya Unno
2018/04/20 DLLAB 言語・音声ナイトでの発表資料です
深層学習時代の自然言語処理ビジネス
深層学習時代の自然言語処理ビジネス
Yuya Unno
2018/04/09 東大院情報理工学系研究科の電子情報学特論Iでの講義資料です
ベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をする
Yuya Unno
2018/03/16 言語処理学会年次大会での、言語処理研究者・技術者の育成と未来への連携WSで発表した資料です
PFNにおけるセミナー活動
PFNにおけるセミナー活動
Yuya Unno
2017/04/06 Intel AI Dayの講演資料
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
2017/05/24にMicrosoftとPFNとのイベントでお話したChainerに関する発表の資料です
進化するChainer
進化するChainer
Yuya Unno
BigData Conference 2017 Springにて行ったセミナーの資料です
予測型戦略を知るための機械学習チュートリアル
予測型戦略を知るための機械学習チュートリアル
Yuya Unno
DeNA TechCon 2017での講演資料です
深層学習による機械とのコミュニケーション
深層学習による機械とのコミュニケーション
Yuya Unno
最先端NLP勉強会で紹介した論文の紹介スライドです
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Yuya Unno
Chainer meetup #3ではなした、ChainerとCuPyの入門資料です
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
2016/03/19にChainer meetup #2で、Chainerのテスト環境をDockerで整備した話を話しました
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
Yuya Unno
2016/03/17 産総研人工知能セミナーでお話した、ChainerとCuPyの紹介です。設計思想やメリットデメリットなどがまとまっています
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
Yuya Unno
2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Yuya Unno
Chainer meetup #1で話した内容です
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
WebDB forum 2015の招待講演のスライドです。@beam2dさんのスライドがオリジナルです http://www.slideshare.net/beam2d/chainer-52369222
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
GPU向けにNLPの深層学習を実行する場合の工夫について
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
認知科学会のサマースクールでの講演資料です
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
Yuya Unno
2015/06/20 統計数理研究所オープンハウスでの招待講演のスライドです
企業における自然言語処理技術利用の最先端
企業における自然言語処理技術利用の最先端
Yuya Unno
2015/06/04にPFIセミナーで発表した、知識表現に対する表現学習に関するスライドです
「知識」のDeep Learning
「知識」のDeep Learning
Yuya Unno
2015/03/16 情報処理学会全国大会併設のイベント「春の情報処理祭」で、話したスライドです
自然言語処理@春の情報処理祭
自然言語処理@春の情報処理祭
Yuya Unno
Mais de Yuya Unno
(20)
深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
深層学習時代の自然言語処理ビジネス
深層学習時代の自然言語処理ビジネス
ベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をする
PFNにおけるセミナー活動
PFNにおけるセミナー活動
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
進化するChainer
進化するChainer
予測型戦略を知るための機械学習チュートリアル
予測型戦略を知るための機械学習チュートリアル
深層学習による機械とのコミュニケーション
深層学習による機械とのコミュニケーション
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Chainer, Cupy入門
Chainer, Cupy入門
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Chainer入門と最近の機能
Chainer入門と最近の機能
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
企業における自然言語処理技術利用の最先端
企業における自然言語処理技術利用の最先端
「知識」のDeep Learning
「知識」のDeep Learning
自然言語処理@春の情報処理祭
自然言語処理@春の情報処理祭
Último
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Último
(10)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
NIP2015読み会「End-To-End Memory Networks」
1.
NIPS2015読み会 End-To-End Memory Networks S.
Sukhbaatar, A. Szlam, J. Weston, R. Fergus Preferred Infrastructure 海野 裕也(@unnonouno) 図はすべて元論文から引用 2016/01/20 NIPS2015読み会@ドワンゴ
2.
Memory networks l 2013年年辺りからFacebookが取り組んでいる テーマ l
⾃自然⽂文で与えられた事実を記憶し、質問に対し て⾃自然に答えるフレームワークを考えている l 今回の話は、全体の仕組みをend-to-endで学習 する 2
3.
これ、1年年前の 論論⽂文だよね 3
4.
4
5.
今⽇日話すわけ l 春にChainerで再実装した時、ちゃんと動かな かった l 年年末に作りなおしたら、ちゃんと動いた(デー タ読むところのバグだった) l
トータルで300⾏行行くらい l Chainer上での対応を交えながら解説 5
6.
対象のタスク:bAbI task l ⼈人が部屋の中を⾏行行動した事実が書かれていて、途中途中 で簡単な質問をされる l
極めて⼈人⼯工的なタスクで、語彙も⾮非常に限られている (177語彙) 6
7.
定式化 l ⼊入⼒力力 l 知識識源:
{x1, x2, … , xn} l 質問: q l それぞれ⾃自然⽂文(任意⻑⾧長の単語列列=整数列列) l 出⼒力力 l 質問への回答: a (単⼀一の単語=整数) l パラメータ l 埋め込みベクトル⾏行行列列: A, B, C (d x V次元) l 回答⽤用⾏行行列列: W (V x d次元) l d: 埋め込みベクトルの次元数、V: 語彙数 7
8.
⼿手法概要 8
9.
⽂文のエンコード l 埋め込みベクトルの和にするだけ l F.sum(model.A(x),
axis=1) 9 語彙数 V 次 元 数 n 1 3 2 5 1x= 単語ID ∑ =
10.
検索索⽤用の「記憶」を作る l ⼊入⼒力力⽂文xiを埋め込みベクトルAで、先の要領領でベクトル miに直す 10 1 3
2 5 1x1= 4 3 1 7x2= 1 3 4 8 9x3= m1 m2 m3 m4 ・・・ A
11.
クエリのエンコード l クエリは別の埋め込みBで、同様にエンコードしてuに する 11 B 3
4 1 7 9q = u =
12.
記憶の重要度度を計算する l 各miとuの内積を取って、Softmaxにかけて、⽂文の重要 度度をはかり、piとする(Attention) l p
= F.softmax(F.batch_matmul(m, u)) 12 m1 m2 m3 m4 u p1 p2 p3 p4 pi = softmax(mi Tu)
13.
回答⽤用の「記憶」を作る 各⽂文xiは埋め込みCを使って別のベクトルciを作る 13 1 3 2
5 1x1= 4 3 1 7x2= 1 3 4 8 9x3= c1 c2 c3 c4 ・・・ C
14.
回答⽤用の知識識をまとめる l ciをpiで重みづけして線形和を取ってoとする l o
= F.batch_matmul(F.swapaxes(c ,2, 1), p) 14 p1 p2 p3 p4 c1 c2 c3 c4 x ∑ = o
15.
回答を⽣生成する l もとの質問uとoを⾜足して、できたベクトルをWにかけて 答えを得る l loss
= F.softmax_cross_entropy(model.W(u + o), a) 15 o u + W
16.
おさらい l 知識識源xiはAを使ってmiに、Cを使ってciに l 質問qはBを使ってuに l
miとuの内積とsoftmaxを取って、各知識識に対す る重みpiに l ciをpiで重み付き和を取ってoに l o + uをWにかけて、期待する答えaとの softmax cross entropyをlossとする 16
17.
これって何しているんだろう? 17 類似ベクトルで 検索索している雰囲気 BoWでベク トル化 答え情報が 埋め込まれる? 答えを選択?
18.
多層化 l 先の処理理の出⼒力力を、次の 層の⼊入⼒力力に使う l 何回も使う l
複数の⽂文からしか帰結で きないことを回答でき る? 18
19.
ここから細かい⼯工夫が沢⼭山 19
20.
重みに対する制約 l Adjacent l 上位階層との重みベクトルを共通にする l
Ak+t = Ck l B = A1 l これは重みpiの計算のときに、qもxも同じエン コードをすることを⾔言っている l Layer-wise l A1 = A2 = … l C1 = C2 = … 20 基本、こちらを使う
21.
時間に対する調整(temporal encoding) l 新しい知識識を選んで欲しいので、時刻に対して重みをつ ける l
さらっと書いてあるが、これがないと新しい情報が重要 ということがわからないので、根本的に⼤大事な(そして 雑な)⼯工夫 21 時刻に応じたベクトルを⾜足す x1 = Sam walks into the kitchen x2 = Sam walks into the bedroom q = Where is Sam?
22.
20種類の異異なる種類の質問への正解率率率 22 ※多層化は3段、Adjacent制約 ※数字は小さいほうがよい ヒントを使った学習なので スコアが良良い
23.
単語の位置に対する調整(position encoding) l 流流⽯石に単なる埋め込みベクトルの総和は気が引ける l
⽂文中の位置に応じて重みをかえる 23 単語ごとの重み 位置に基づいて計算
24.
PEの効果 24
25.
さらに⾊色々・・・ l Linear start (LS) l
学習初期の段階ではsoftmax層を抜いて、学 習を早める l Random noise (RN) l 学習時に10%の空の記憶をいれる l 正則化の効果がある? 25
26.
最終結果 26 だいぶ良良くなった!
27.
⾔言語モデルによる実験(おまけ?) l ⽂文の代わりに全部⽂文字だと思う(単⼀一の埋め込 みベクトル) l 質問は定数ベクトル l
回答は次の単語 l 感覚的には何⽂文字前の単語の、どういう情報を 使って次を予測するか学習する 27
28.
結果だけ 28
29.
所感 l 事実を覚えて回答する、という記憶・質問・回 答の⼀一連のプロセスをend-to-endにやるという、 ⽅方向性を⽰示したのがポイント l タスク⾃自体は依然としてトイタスクだが、徐々 に現実のタスクに近づけていくと思われる l
ヒューリスティックは極めて多く、⼯工夫のしど ころは多い 29
30.
まとめ l 複数の⽂文からなる事実から、質問に答えるタス クを、end-to-endで学習する⼿手法を提案した l 単語の埋め込み、⽂文のエンコード、各事実に対 するattention、回答の⽣生成までを単⼀一のネット ワークにする l
トイタスクだが、平均エラー率率率6%程度度まで達成 した l ヒューリスティックは極めて多い 30
Baixar agora