Presentation at Chainer Meetup #5 (2016/06/10)

1. 産総研AIクラウドで
ChainerMN
佐藤 仁（htsst)
Chainer Meetup #5 (2017.06.10)
2017/6/16 1

2. Exclusive Summary
• ChainerMN
• AIクラウド（≒GPUスパコン）で使ってみた
• ⽐較的運⽤が保守的な共⽤環境
• インストールは簡単だった
• 超速い
• いろんなところで使いやすそう
• パブリッククラウドに加えて，
どんなスパコンでも．
2017/6/16 2

3. 産総研AIクラウド（通称AAIC）とは？
• 400x NVIDIA Tesla P100s and Infiniband EDR accelerate various AI workloads
including ML (Machine Learning) and DL (Deep Learning).
• Advanced data analytics leveraged by 4PiB shared Big Data Storage and Apache
Spark w/ its ecosystem.
AI Computation System Large Capacity Storage System
Computation Nodes (w/GPU) x50
• Intel Xeon E5 v4 x2
• NVIDIA Tesla P100 (NVLink) x8
• 256GiB Memory, 480GB SSD
Computation Nodes (w/o GPU) x68
• Intel Xeon E5 v4 x2
• 256GiB Memory, 480GB SSD
Mgmt & Service
Nodes x16
Interactive Nodes
x2
400 Pascal GPUs
30TB Memory
56TB SSD
DDN SFA14K
• File server (w/10GbEx2,
IB EDRx4) x4
• 8TB 7.2Krpm NL-SAS
HDD x730
• GRIDScaler (GPFS)
Computation Network
Mellanox CS7520 Director Switch
• EDR (100Gbps) x216
Bi-direction 200Gbps
Full bi-section bandwidth
Service and Management Network
IB EDR (100Gbps) IB EDR (100Gbps)
GbE or 10GbE GbE or 10GbE
Firewall
• FortiGate 3815D x2
• FortiAnalyzer 1000E x2
UTM Firewall
40-100Gbps class
10GbE
SINET5
Internet
Connection
10-100GbE
>4PiB effective
RW100GB/s
2017/6/16 3

4. 使うためのお作法
• ジョブスケジューラの存在
• スクリプトファイルの作成
• ジョブ投⼊
• 簡単にrootになれない
• yum，aptとかでパッケージを
サクサクいれられない
• ユーザ権限でできることはできる
• 決められたソフトウェアを利⽤
• 共有ストレージにインストールされる
（≒ 標準的なパスにインストールされない）
• GPUランタイム・ライブラリCUDA, CuDNN, NCCL
• 並列分散処理ソフトウェア（MPI）
/home (GPFS)
Job Job Job Job
NQS
Submit
Scheduling
script
file
$ qsub <option> script_filename
inter-connect
SSH
( )
2017/6/16 4

5. ChainerMNを利⽤するために…
1. pyenvの利⽤
üユーザ毎にpythonをインストールしてpipを使う
2. CUDA（＋NCCL），MPIのインストール場所の確認
üpipでインストールする際にちゃんとパスを認識させる
3. pipで諸々インストール
ü $ CUDA_PATH=/path/to/cuda pip install chainer
ü $ env MPICC=/path/to/mpicc pip install mpi4py
ü $ pip install chainermn
ただし，setup.pyでINCLUDEとLIBRARYのパス書き換えて対処
4. 後はスクリプトファイルを書いて
スケジューラにジョブを投⼊して待つ
詳細はhttp://qiita.com/htsst/items/a38d4e09d05c2ef80242を参照
2017/6/16 5

6. ChainerMNは使いやすそう…
• ひとまず今回のやり⽅で
⽐較的運⽤が保守的なスパコン環境でもいけるはず．．
• いろいろある⽇本国内のGPU計算資源
→ 適切な⼿続きを経れば利⽤可能
• 東京⼤学 Reedbush H
(Nvidia Tesla P100 x 2 per node x 128ノード)
• 東京⼯業⼤学 TSUBAME3
(Nvidia Tesla P100 x 4 per node x 540ノード)
• 九州⼤学 新システム
(Nvidia Tesla P100 x 4 per node x 128ノード)
• ⽚っ端から使っていけば良いのではないか？
• パブリッククラウドと合わせて活⽤
2017/6/16 6