O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

ChainerMNをDocker containerで動かす

Docker Meetup Tokyo #24にてChainerMNをDocker containerで動かす例を紹介しました。

  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

ChainerMNをDocker containerで動かす

  1. 1. 2018/07/19 Docker Meetup Tokyo #24 LT 谷脇 大輔 @dtaniwaki ChainerMNをDocker containerで 動かす 1
  2. 2. 自己紹介 2 dtaniwaki 谷脇 大輔 / Daisuke Taniwaki 業務 社内で運用している機械学習向けクラスターやツールの開発・運用 経歴 2008~2012 台湾トレンドマイクロでWebクローラの開発 2012~2014 ニューヨークで食べログのアメリカ版の立ち上げ 2014~2017 Kaizen PlatformにてWeb Page Optimization Platformの開発 2017~現在 Preferred Networks 言語 日本語、英語、中国語 Ruby, JavaScript, C++ → Python, Scala
  3. 3. • PFNが開発しているPython 製の深層学習向けフレームワーク • 深層学習に必要な計算 (微分および誤差逆伝播) を自動で行う • numpy互換のCUDA行列計算ライブラリ CuPy を利用可能 • Define-By-Run という概念の Pioneer Define-and-Run Define-by-Run 3    Chainerについて
  4. 4.   ChainerMNについて - 分散深層学習に必要な機能を実装したChainerの追加パッケージ - 特徴 - 高速 NVIDIA NCCL, CUDA-Aware MPI等の最新技術の活用により高い性能を実現 - 柔軟 Chainerの柔軟性を損なわず、動的なネットワークでも分散学習可能 - 簡単 既存のコードを少し変更すれば利用可能 4 高速通信のできるInfiniBandで最大の効果
  5. 5. ChainerMNの性能 - ノード数に比例してほぼ線形に高速化 - ChainerMN による分散深層学習の性能について - Training ResNet-50 on ImageNet in 15 min (2017/11) - 深層学習の学習速度において世界最速を実現 5
  6. 6. ChainerMNをDocker Containerで動かす 6 Sample: https://github.com/everpeace/docker-chainer Master Container Slave Container 1 Slave Container 2 SSH SSH KubernetesならConfigMapやSecret で配布すると便利 MPI通信に必要なもの - 通信するコンテナの IPまたはホス ト一覧ファイル - SSH鍵 NCCL, MPIなどが必要です。 Docker Imageあります → https://hub.docker.com/r/everpeace/docker-chainer/ mpiexec
  7. 7. 7 ChainerMN使ってみたいけど、自社サーバには InfiniBandもないし、AWSだと10Gbpsイーサネッ トだし・・・
  8. 8. ChainerMNをイーサネットで使う - Double Buffering: 1ステップ古い勾配を利用してモデル計算を同時に行い通信 遅延を隠蔽 - FP16 All-Reduce: 半精度浮動小数点数を利用し通信量を半減 8
  9. 9. ChainerMNのイーサネットでの性能評価 9 ChainerMNのクラウド環境向け新機能とAWSにおける性能評価
  10. 10. まとめ - ChainerMNはDocker containerで簡単に動かすことができ る PFNではDockerやKubernetesで高速で効率化された 研究基盤の研究開発を行なっています 一緒に開発してくれるエンジニア募集中です! 10

×