Enviar pesquisa
Carregar
[DL輪読会] Residual Attention Network for Image Classification
•
17 gostaram
•
8,340 visualizações
Deep Learning JP
Seguir
2017/9/4 Deep Learning JP: http://deeplearning.jp/seminar-2/
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 21
Baixar agora
Baixar para ler offline
Recomendados
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
Jun Okumura
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
【DL輪読会】GPT-4Technical Report
【DL輪読会】GPT-4Technical Report
Deep Learning JP
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
Recomendados
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
Jun Okumura
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
【DL輪読会】GPT-4Technical Report
【DL輪読会】GPT-4Technical Report
Deep Learning JP
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
Deep Learning JP
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
BERT入門
BERT入門
Ken'ichi Matsui
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験
克海 納谷
モデル高速化百選
モデル高速化百選
Yusuke Uchida
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
Yusuke Uchida
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
Mais conteúdo relacionado
Mais procurados
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
Deep Learning JP
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
BERT入門
BERT入門
Ken'ichi Matsui
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験
克海 納谷
モデル高速化百選
モデル高速化百選
Yusuke Uchida
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
Yusuke Uchida
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
Mais procurados
(20)
backbone としての timm 入門
backbone としての timm 入門
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
BERT入門
BERT入門
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験
モデル高速化百選
モデル高速化百選
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Triplet Loss 徹底解説
Triplet Loss 徹底解説
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
Transformer メタサーベイ
Transformer メタサーベイ
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
Destaque
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
Siddhartha Banerjee
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
Kenji Urai
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
Yuta Kikuchi
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
Destaque
(7)
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Semelhante a [DL輪読会] Residual Attention Network for Image Classification
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
Kaoru Nasuno
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Learning JP
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
Hirokatsu Kataoka
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
cvpaper. challenge
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
Deep Learning JP
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
Yasushi Hara
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
Rei Takami
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
Deep Learning JP
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
Deep Learning JP
AIがAIを生み出す?
AIがAIを生み出す?
Daiki Tsuchiya
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Eric Sartre
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
Shion Honda
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
Kazuki Adachi
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
Takeba Misa
Semelhante a [DL輪読会] Residual Attention Network for Image Classification
(16)
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
AIがAIを生み出す?
AIがAIを生み出す?
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
Mais de Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
Mais de Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Último
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
sugiuralab
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
sugiuralab
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
Último
(8)
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
[DL輪読会] Residual Attention Network for Image Classification
1.
Residual Attention Network for Image Classification Fei Wang, Mengqing Jiang, Chen Qian,
Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang 2017-09-04 輪読@松尾研究室 M1 ⽥村浩⼀郎
2.
Agenda 0. Information 1. Introduction 2. Related work & knowledges 3.
Proposed Model 4. Experiment & Result 5. Conclusion 6. *Squeeze-and-Excitation Networks
3.
0. Information • Author - Fei Wang,
Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang • Submission date - Submitted on 23 Apr 2017 • Society - accepted to CVPR2017 - https://arxiv.org/abs/1704.06904 • About - Computer vision において,ResNet だけでなくAttentionも取り⼊れたも の - まだpaperは出ていないが,ILSVRC2017で優勝したSqueeze-and- Excitation networksの前⾝?のモデル
4.
1. Introduction - 背景 • Attentionモデルは時系列のモデルに対してはよく使われているが,画像 認識などのfeedforward networkに対しては使われてこなかった •
近年の画像認識の技術向上は,ResNetにより,層を深くすることが可能 になったことが⼤きい ResNetを利⽤した `深い` CNNに対して,attention機構を適⽤し,精度向上を図る
5.
1. Introduction - モデル構造と成果 1. Stacked network structure •
複数のAttention Moduleを積み⽴てたモデル構造.異なるAttention Moduleで異なる種類 のAttentionを導⼊できる 2. Attention Residual Learning • 単純にAttention Moduleを導⼊するだけでは精度が下がる.ResNetを⽤いて深 い(hundreds of layers)のネットワークを⽤いる 3. Bottom-up top-down feedforward attention • Bottom-up(背景の違いなどから)attention(注⽬)するアプローチ • Top-down(事前知識などから)attention(注⽬)するアプローチ 1. 安定して層を増やし精度向上(state-of-the-art@2017-04-23) 2. End-to-Endの深いネットワークに簡単に適⽤でき, 効率的な計算を⾏うことができる
6.
2. Related work & knowledge - Attention model • Attention機構が適⽤されるのは,多くの場合RNN Effective Approaches to Attention-based Neural Machine Translationの例 1.
RNNにより隠れ層ベクトルを計算 ℎ" = 𝑅𝑁𝑁(ℎ"'(, 𝑥) 2. ⼊⼒系列のどこに注⽬するかの重み𝑎"(𝑠)をscore関数により計算 𝑎" 𝑠 = exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") ∑ exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") 3. 重み𝑎" 𝑠 を⽤いて重み付き平均ベクトル𝑐"を計算 𝑐" = : 𝑎"(𝑠) ℎ67 4. 3.の平均ベクトルと1.の隠れ層ベクトルから新しい出⼒ベクトルを計算 ℎ;" = tanh ( 𝑊Aℎ" + 𝑊C 𝑐" + 𝑏) 5. 各単語の出⼒確率を計算 𝑦" = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥((𝑊IJ"ℎ;" + 𝑏IJ") • Computer visionにおいては,以下のような研究でsoft attention(みたいなも の)が使われている • Spatial Transformer Network[17] ->(⾯⽩いdemo: https://drive.google.com/file/d/0B1nQa_sA3W2iN3RQLXVFRkNXN0k/view) • Attention to scale: Scale-aware semantic image segmentation[3] [引⽤:Effective Approaches to Attention-based Neural Machine Translation]
7.
2. Related work & knowledge - ResNet • CNNにおいて層を深さは精度おいて⼤きく寄与する •
層が深すぎると勾配消失などの問題があった=>ResNet • ResNet • 出⼒を𝐻 𝑥 とすると,残差𝐹 𝑥 = 𝐻 𝑥 − 𝑥 を学習(最⼩化)する • 層が深くなると⼊⼒𝑥と出⼒𝐻 𝑥 はほとんど同じ値になる. 直接𝐻 𝑥 の値を𝑥に近づけることよりも,残差𝐹 𝑥 を0に近づける⽅が簡単である
8.
3. Proposal model - Residual Attention Network 1. Attention
residual learning 2. Soft mask branch 3. Special attention and channel attention
9.
3. Proposal model 3.1. Attention Residual Learning • 単純にAttention機構をCNNの出⼒に掛け合わせるだけでは,以下の問題か ら精度が下がる 1. 層が深くなるにつれて勾配が消失する 2.
CNNにおける重要な特徴量を弱めてしまう可能性がある • Attention Residual Learning • Soft mask branchの𝑀 𝑥 ∈ [0, 1]が以下の役割を果たしている 1. 特徴量選択 2. ノイズの抑制 Attention moduleの出⼒ Soft Attention Mask Convolutionの出⼒ ** i: spatial position, c: channel Residual
10.
3. Proposal model 3.1. Attention Residual Learning • Attention Residual Learningは良い特徴量を保持する⼀⽅で,mask branchが 特徴量を抽出する能⼒を弱めてしまう • Stacked Attention Modulesがそのトレードオフを補い,特徴量mapを洗練して いく •
Attention Moduleが異なる役割のattention 機構を持ち,層が深くすることを可 能にしている 複数のAttention Module
11.
3. Proposal model 3.1. Attention Residual Learning 異なるAttention Moduleで異なるattention maskを持つ. 層が浅いattention moduleでは背景の空の⻘⾊を消し,層が深いattention moduleでは気球を強調している
12.
3. Proposal model 3.2. Soft Mask Branch • Soft Mask Branch • 以下の2つの機能を畳み込み構造に 1.
Fast feed-forward sweep -> 画像全体の情報を捉える 2. Top-down feedback step -> 元の特徴量mapと画像全体の情報を組み合わせる
13.
3. Proposal model 3.3. Spatial Attention and Channel Attention • 活性化関数を変えることによって,attentionの制約を加えることができ る 1. Mixed attention => シグモイド 2.
Channel attention => 場所ごとに正規化 3. Spatial attention => channelごとに正規化
14.
4. Experiment & Result 4.1. CIFAR and Analysis 1. Attention Residual Learningの有効性を検証 • Attention Residual Learningを⾏わないナイーブなattention機構を⽤いたモデル(NAL: naive attention learning)をベースラインにする •
Attention Moduleのstageごとに出⼒の平均を取ったもの.NALではstage2で勾配が消えて いることがわかる
15.
4. Experiment & Result 4.1. CIFAR and Analysis 2. 他のmask branch構造との⽐較 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する
16.
4. Experiment & Result 4.1. CIFAR and Analysis 3. ラベルのノイズに対する耐性の検証 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する •
Training convolutional networks with noisy labels[31]に従って,以下のように確率を定義 r = 正しいlabelである確率,𝑞UV = 本当のlabelがjで実際のノイズつきlabelがiである確率
17.
4. Experiment & Result 4.1. CIFAR and Analysis 4. 他のstate-of-the-artのモデルとの精度⽐較
18.
4. Experiment & Result 4.2. ImageNet Classification 1. 精度が良くなっているだけでなく,モデルの効率性が優れる 1. より少ないパラメタで学習可能 2.
FLOPs(Floating-point Operations Per Second)が優れている 2. ResNetユニットについて⽐較すると, 1. 同程度の精度ならAttentionNeXt-56の⽅が効率的 2. 同程度の効率性ならAttentionNeXt-56の⽅が⾼精度 3. State-of-the-artのアルゴリズムと⽐べても⾼性能
19.
5. Conclusion • ResNetにattention機構を追加 • 異なるAttention Moduleで異なるattention機構を持つ •
Attention機構にbottom-up top-down feedforward convolutional structure を⽤いる • より安定して層を深くし,精度を向上 • より洗練された特徴量の選択とノイズへの耐性 • 既存のモデルに対して,要求されるモデルの複雑さ(パラメタ数や計算 量)が少なくて済む
20.
6. Squeeze-and-Excitation Networks • ILSVRC2017で優勝したモデル(まだpaperでてない) • Residual Attention Network for Image Classificationと⾮常に似ている •
違いはchannelごとにattentionを⾏なっていること [引⽤:https://github.com/hujie-frank/SENet]
21.
~資料参考⽂献~ **論⽂内引⽤⽂献を除く • Squeeze-and-Excitation networks (ILSVRC 2017 winner) at CVPR2017 https://photos.google.com/share/AF1QipNRXiNDP9tw- B_kyKk4hnXL_N283IaWNxSYH7jtAN1N0m62Uydh3MnpWFPh2GQYUw?key=STNBSU5XRkpKLXBSbm E2Um9GbGRUSm9aME1naFF3 • Convolutional Neural Networks のトレンド https://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2 •
Res netと派⽣研究の紹介 https://www.slideshare.net/masatakanishimori/res-net • Residual Network(ResNet)の理解とチューニングのベストプラクティス https://deepage.net/deep_learning/2016/11/30/resnet.html • Effective Approaches to Attention-based Neural Machine Translation, Minh- Thang Luong, Hieu Pham, Christopher D. Manning https://arxiv.org/abs/1508.04025
Baixar agora