【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting.pptx
•Transferir como PPTX, PDF•
0 gostou•676 visualizações
社内で行った「International Conference on Learning Represantation （ICLR）2022読み会」でまとめた資料です。
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting.pptx
Semelhante a 【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting.pptx (20)
Mais de ARISE analytics
Mais de ARISE analytics (20)
Último
Último (11)
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting.pptx
- 1. ICLR論文読み会 株式会社ARISE analytics Akimoto Yusuke ©2022 ARISE analytics Reserved. 2022.07.08
- 2. Contents ©2022 ARISE analytics Reserved. 1 1 自己紹介 2 論文概要紹介 3 Transformerのおさらい 4 Pyraformer
- 3. 1. 自己紹介 ©2022 ARISE analytics Reserved. 1 自己紹介 2 論文概要紹介 3 Transformerのおさらい 4 Pyraformer
- 4. はじめまして ©2022 ARISE analytics Reserved. 3 秋元 裕介 Yu s u ke A k i m o t o 担当領域 スキル プロジェクト・取組 A R I S E a n a l y t i c s 画像解析 自然言語処理 トラフィック・時系列・グラフ異常検知 非構造データ解析（画像解析，自然言語処理 etc.） 非構造データ分析アーキテクチャ（AWS, Edge Device） 複数台カメラによる同一人物判定 画像処理による工場内での危険物検知 車両通信の異常検知モデル構築 生成系機械読解
- 5. 2. 論文概要紹介 ©2022 ARISE analytics Reserved. 1 自己紹介 2 論文概要紹介 3 Transformerのおさらい 4 Pyraformer
- 6. PYRAFORMER ©2022 ARISE analytics Reserved. 5 画像出典：https://www.salesanalytics.co.jp/column/no00214/より Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling And Forcasting Shizhan Liu, Hang Yu, Cong Liao, Jianguo Li, Weiyao Lin, Alex X. Liu, Schahram Dustdar Implementation: https://github.com/alipay/Pyraformer
- 7. PYRAFORMER ©2022 ARISE analytics Reserved. 6 Transformer（Attention機構）を一般化 時系列予測に対して，複数の時間解像度でピラミッド型 のグラフを構築することにより予測精度を向上させた 学習時間・モデルサイズ・メモリ使用量を圧倒的に削減
- 8. 3. Transformer ©2022 ARISE analytics Reserved. 1 自己紹介 2 論文概要紹介 3 Transformerのおさらい 4 Pyraformer
- 9. Transformer ©2022 ARISE analytics Reserved. 8 画像出典：https://hips.hearstapps.com/digitalspyuk.cdnds.net/17/25/1498134404-transformers-dark-of-the-moon-bumblebee-poster.jpg Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
- 10. Transformer（Attention） ©2022 ARISE analytics Reserved. 9 Self−Attention 𝑄, 𝐾, 𝑉 = Softmax 𝑄𝐾𝑇 𝑑𝑘 𝑉 𝑤ℎ𝑒𝑟𝑒 𝑄 = 𝑞1, … , 𝑞𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑘 𝐾 = 𝑘1, … , 𝑘𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑘 𝑉 = 𝑣1, … , 𝑣𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑘
- 11. 3. Pyraformer ©2022 ARISE analytics Reserved. 1 自己紹介 2 論文概要紹介 3 Transformerのおさらい 4 Pyraformer
- 12. PYRAFORMER ©2022 ARISE analytics Reserved. 11
- 13. PYRAFORMER ©2022 ARISE analytics Reserved. 12 PAM (Pyramidal Attention Module) Pyraformerのコアモジュールで複数解像度の時系列のデータを含む𝐶分木を入力として受け取ってAttentionを計算 ピラミッド内のあるノードの 上下左右のノードを凝集し てAttentionするイメージ Denotes: 𝑛𝑙 𝑠 : 𝑙−th node at scale 𝑠 𝐶: number of children 𝑠 = 1 … 𝑆: scale from bottom to top
- 14. PYRAFORMER ©2022 ARISE analytics Reserved. 13 CSCM (Coarser-scale construction module) 入力の時系列データからConvolutionを組み合わせて 𝐶 分木構造を生成するモジュール 𝐵 : 𝑏𝑎𝑡𝑐ℎ 𝑠𝑖𝑧𝑒 𝐷 : 𝑑𝑖𝑚𝑒𝑛𝑡𝑖𝑜𝑛 𝑜𝑓 𝑎 𝑛𝑜𝑑𝑒 ⇩ 長さ𝐿/𝐶𝑠 の時系列データ 下から上に向 かって解像度を 下げていきます
- 15. PYRAFORMER ©2022 ARISE analytics Reserved. 14 実験設定と実験結果 Wind，App Flow，Electricity，ETTの4つのデータセットを使って評価を実施 評価指標はNRMSE（Normalized RMSE）とND（Normalized Deviation） 比較対象のモデルとしてFull-Attention，LogTrans，Reformer，ETC，Longformerを実験
- 16. PYRAFORMER ©2022 ARISE analytics Reserved. 15 実験設定と実験結果 Pytransformerが軒並み既存手法 の精度を上回っている 既存手法に比べて，𝐶分木のグラフ 構造が時系列の情報をうまくとらえて いることが示唆される PytransformerはQ-Kのペア数が最 も少ない ⇨ 計算速度とメモリ効率が良い CSCMの影響でパラメータ数に関して はPytransformerが少し多くなってい るが，一方でモデルはとても軽量
- 17. PYRAFORMER ©2022 ARISE analytics Reserved. 16 実験設定と実験結果
- 18. Best Partner for innovation, Best Creator for the future.