Deep and confident prediction for time series at uber
•
0 gostou•5,718 visualizações
不確実性を考慮した時系列予測について記述されている下記の内容の解説です。 https://arxiv.org/abs/1709.01907
Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Deep and confident prediction for time series at uber
- 1. Deep and Confident Prediction for Time Series at Uber
- 2. Table of Contents 1. 現状の手法の問題 2. 手法 3. 実験条件 4. 結果 5. 考察 2
- 3. 現状の手法の問題点 3
- 4. 深層学習における時系列推定の問題 ▸ LSTMなどの深層学習モデルは時系列の予 測において性能が高いが不確実性が考慮 されていない ▹ 点推定のため不確実性が考慮できておらず、どの 程度、結果をどの程度信頼して良いか分からな い。 ▹ 点推定について ▹ https://ja.wikipedia.org/wiki/%E7%82%B 9%E6%8E%A8%E5%AE%9A 4
- 5. 手法 5
- 6. 提案手法 6 ▸ 3つの観点で不確実性を考慮 ▹ モデルの不確実性 ▹ Model misspecification ▹ 未学習や過学習のこと ▹ https://www.youtube.com/watch?v=dFoZ8Oy5c2s ▹ 固有ノイズ
- 7. 予測における不確実性の考慮 7 ▸ 予測を正規分布と仮定 ▹ 分散が不確実性を表すのに使用 ▹ Xはデータ ▹ Yは目的となるデータやラベル ▹ Wは最適化のパラメータ
- 9. モデルの不確実性 9 ▸ MC dropout ▹ Dropoutがベイズと近似可能な性質を利用 ▹ https://arxiv.org/pdf/1506.02142.pd f ▹ Bの回数だけランダムドロップアウトを適用
- 10. Model misspecification 10 ▸ Encoder Decoderのモデ ルを採用 ▹ 事前学習でデータの特徴を 学習したEncoderを作成 ▹ 外部の情報も含めて予測で きるようなモデルをEncoder に繋げる
- 11. MC dropoutアルゴリズム 11 Variational dropout RNN Y. Gal and Z. Ghahramani, “A theoretically grounded application of dropout in recurrent neural networks,” in Advances in Neural Information Processing Systems, 2016, pp. 1019–1027 Dropout LSTM 学習済みエンコーダー 外部情報も加えて学習したLSTM
- 13. 実験 13
- 14. 実験条件 14 ▸ データ ▹ カナダとアメリカの4年間における主要都市におけ る1日の利用回数のデータ ▹ アトランタ、シカゴ、ニューヨーク、サンフランシ スコ、トロント、ワシントン ▹ 3年間を学習データ ▹ 4ヶ月を検証データ ▹ 最終8ヶ月をテストデータ
- 15. 実験条件 15 ▸ モデル ▹ Encoder-Decoder ▹ Encoder: 隠れ層128 ▹ Decoder: 隠れ層32 ▹ 予測の3層の全結合 ▹ 隠れ層128, 64, 16 ▹ Window size ▹ 28 day ▹ スライドサイズ：1
- 16. 実験条件 16 ▸ データへの特殊処理 ▹ 対数変換 ▹ 各ウインドウ内で最初の1日の値を引いて増減の み扱う ▹ トレンドを削除し増減のみ学習するため
- 17. 実験1の評価指標 17 ▸ 実際の値と予測値を比較 ▸ Symmetric Mean Absolute Percentage Error ▹ 差をスケーリングしているためモデルの性能の比 較がMean Square Errorなどに比べて容易 ▹ https://en.wikipedia.org/wiki/Symmetric_mean_absolu te_percentage_error
- 18. 実験1の比較モデル 18 ▸ Last day ▹ 最終日を次の日の予測に使用 ▸ Quantile Random Forest ▹ 量子化を行いランダムフォレストを適用 ▸ LSTM ▹ 2 layer stack ▹ 隠れ層128, 32 ▹ windowサイズ：28日
- 19. 実験1の結果 19
- 20. 実験2 20 ▸ 評価指標 ▹ 実際の値が今回適用した不確実性を示すノイズに よってどれだけカバーできているか ▸ 比較手法 ▹ PredNet: MC drop outをprediction net workのみ ▹ Enc + Pred: MC drop outをencoderとprediction net work ▹ Enc + Pred + Noise: Enc + Predに加えデータの固 有ノイズを追加
- 24. 実験5 24 ▸ 異常検知性能評価 ▹ 12時間のデータ4つ ▹ 30分ごとに異常検知 ▸ Recall ▹ 100% ▸ Precision ▹ 80.95% 適用例
- 25. 考察 25
- 26. 考察 26 ▸ 独自データなので再現性が薄い ▸ 手法自体シンプルなので応用が効きやすい ▹ Encoderとの組み合わせ先を変えやすい ▸ Dropout以外にもBatch Normalizeを利用 したベイズ適用の手法があるので応用でき る ▹ Teye, Mattias, Hossein Azizpour, and Kevin Smith. "Bayesian Uncertainty Estimation for Batch Normalized Deep Networks." arXiv preprint arXiv:1802.06455 (2018).
- 27. 参考 27
- 28. References 28 ▸ Gal, Yarin, and Zoubin Ghahramani. "Dropout as a Bayesian approximation: Representing model uncertainty in deep learning." international conference on machine learning. 2016. ▸ Zhu, Lingxue, and Nikolay Laptev. "Deep and confident prediction for time series at uber." Data Mining Workshops (ICDMW), 2017 IEEE International Conference on. IEEE, 2017.