HPC って難しそうなイメージを持っていませんか？ HPC とはなにか？ クラウドで HPC を行う理由や、GCP を選択する理由について解説します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
GCP で誰でも始められる HPC
2019 年 5 月 9 日放送

2. Agenda
Cloud OnAir
1
3
2
4
HPC とは
HPC のワークロードをクラウドで実施する理由
GCP を選択する理由
まとめ

3. Cloud OnAir
Cloud OnAir
HPC とは

4. Cloud OnAir
オイル & ガス製造 気象 金融 ライフサイエンス メディア
HPC は多くの産業で活用されている

5. Cloud OnAir
Top500.org Compute Growth
#500
#1
リスト全体の合計
計算ニーズは高くなっている

6. Cloud OnAir
2018
モバイル
128GB
PC
14TB
HPC
250PB, 2.5TB/s
2008
モバイル
256MB
PC
1.5TB
HPC
3PB, 55GB/s
500x
9x
83x
データはよりビッグに

7. Cloud OnAir
Cloud OnAir
HPC のワークロードを
クラウドで実施する理由

8. Cloud OnAir
HPC のワークロード
High Throughput Computing (HTC)
● ゲノム
● 金融
● メディア
○ トランスコーディング
○ レンダリング
High Performance Computing (HPC)
● 流体
● オイル & ガス
● 気象
● 物理
● エレクトロニクス

9. Cloud OnAir
HPC のワークロード
ゴール

10. Cloud OnAir
なぜクラウドを利用するのか？
スケール ワークロード
にフィット
最新のハード
ウェア
経済的

11. Cloud OnAir
Task
Task
Task
Task
Task
Task
Task
Task
...
Static
Cluster
:-(
:-|
ワークロードにフィット
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
General
Cluster
1
GPU
Cluster
2
:-)

12. Cloud OnAir
Cloud OnAir
GCP を選択する理由

13. “ハイパフォーマンス コンピューティングを
誰でも、どこからでもアクセス可能で
利用できるようにする”

14. Cloud OnAir
事例) 円周率の計算で世界記録を更新
クラウドを利用して 31 兆桁超の円周率の計算に成功

15. Cloud OnAir
GCP for HPC
シンプルな運用
低コスト 最新のハードウェア
HPC パートナーシップ
セキュリティ
様々なケースにあう
ストレージ
グローバルリソース

16. Cloud OnAir
Cloud OnAir
低コスト

17. Cloud OnAir
Google Compute Engine
コンピュート
● 最大 416 vCPUs
● 最大 12TB RAM
● 最大 3TB Local SSD
● 最大 8 GPUs
● 最大 7TB Intel Optane
Compute Optimized VM
● クロック - 3.8 GHz
● 最大 60 vCPU, 240GB RAM
● vNUMA exposure
● オーバーヘッドの軽減
プリエンプティブル VM
● 最大 80% ディスカウント
ネットワーク
● 2Gbps per vCPU, 最大 32 Gbps
(32 Gbps は現在beta)
● 15,000 VMs per Virtual Private
Cloud (VPC)
カスタム マシン タイプ
● ワークロードにあったサイズ
● 適切なサイズのリコメンド
アクセラレータ
● 最大 8 NVIDIA GPUs
● NVIDIA K80, P100, P4, V100, T4
● GPU NVLink , PCIe x16 で接続
● ML 用途; Google Cloud TPU

18. Cloud OnAir
低コストを実現する機能
継続利用割引
カスタムマシンタイプ
サイジングリコメンデーション
プリエンプティブル VM
確約利用割引

19. Cloud OnAir
継続利用割引

20. Cloud OnAir
カスタムマシンタイプ

21. Cloud OnAir
サイジング リコメンデーション
2 つのインスタンスのサイズを
変更すると推定の月額コストは
$ 33 になります

22. Cloud OnAir
プリエンプティブル VM
プリエンプティブル VM とは
● 通常のインスタンスより最大 80% コスト削減可能
● GPUs (~70%), Cloud TPUs (~70%), Local SSDs (~40%) も
Preemptibleの対象になる
● アップタイムは最大 24 時間、通知後 30 秒以内に停止される
● SLA は保証していない
プリエンプティブル VMに適したワークロード
● ゲノム
● 物理、数学、計算機科学
● データ処理（例えば Hadoop や Cloud Dataproc を使用したもの)
● レンダリングやメディアトランスコーディング
● モンテカルロシミュレーション
● ファイナンシャルサービス

23. Cloud OnAir
確約利用割引
コアとメモリをまとめ
て購入
マシンサイズはいつ
でも変更
１年もしくは
３年のコミット
最大 割引

24. Cloud OnAir
Cloud OnAir
最新のハードウェア

25. Cloud OnAir
最新のハードウェア
Intel Cascade Lake
● Intel の第 2 世代 Xeon Scable プロセッサ
● Intel OPTANE DC に対応した最初のプロセッサ
Intel OPTANE DC Persistent Memory
● SSD より速く、レイテンシが低い ハイパフォーマンスストレージ

26. Cloud OnAir
新しいマシンタイプ ( EAP )
● インテルの第 2 世代 Xeon Scalable
プロセッサ (Cascade Lake) 3.8Ghz
● １スレッド当たりのパフォーマンスが
高いため、コンピュートインテンシブの
ワークロードに向いている
● 最大 60 vCPU 、240GB メモリ
● Cascade Lake と
Intel Optane DC Persistent Memory
● 大容量メモリ構成のため、
メモリインテンシブのワークロード
に向いている
● 6TB と 12TB のメモリ構成
Compute Optimized VMs (C2) Memory Optimized VMs (M2)

27. Cloud OnAir
GCP では様々なワークロードに対応可能
CPU
TPU
GPU
機械学習
トレーニング
機械学習
推論
High Performance
Computing
可視化

28. Cloud OnAir
GCP で GPU を使う利点
1VM あたり 8GPU まで付けることが可能
ベアメタルのパフォーマンスに達するために PCIe
x16 で直接アタッチ
秒単位の課金
プリエンプティブル のサポート ( ~50% off)

29. Cloud OnAir
GCP で利用可能なGPU
Google Cloud GPU タイプ VM 構成オプション
GPU オススメのワークロード GPU メモリ GPUs vCPU システムメモリ
V100 ML, Compute 16GB per GPU, 128GB Max 1,2,4,8 1-96 1-624 GB
P100 Compute 16GB per GPU, 64GB Max 1,2,4 1-96 1-624 GB
K80 Compute 12GB per GPU, 96GB Max 1,2,4,8 1-64 1-416 GB
T4 (GA) ML 推論, ML トレーニング可視化 16GB per GPU, 64GB Max 1,2,4 1-96 1-624 GB
P4 ML 推論, 可視化 8GB per GPU, 32GB Max 1,2,4 1-96 1-624 GB

30. Cloud OnAir
機械学習のためのアクセラレータ TPU
TPU v1 (2015)
92 Teraflops
第 1 世代
TPU v2 (2017)
180 Teraflops
Google Cloud で利用可能
TPU v3 (2018)
420 Teraflops
Google Cloud で利用可能

31. Cloud OnAir
Cloud OnAir
様々なケースに合うストレージ

32. Cloud OnAir
どこにデータを格納すべきか？
Cloud
Memorystore
In Memory
Cloud
SQL
Cloud Spanner
Relational
Cloud
Bigtable
Cloud
Datastore
NoSQL
Cloud Storage
Object
Big
Query
Warehouse
Block
Persistent Disk
Local SSD
File
Cloud
Filestore
File System
Partners

33. Cloud OnAir
HPC Storage on GCP
Google Cloud Storage
エクサバイトスケールの機能豊富なオブジェクトストレージ
Persistent Disk
SSD / HDD Persistent Disk
ハイパフォーマンス, 複製ブロックストレージ
Local Storage
一時的、高速アクセス用のLocal SSD (NVMe)
物理的にPCI でノードに接続
Cloud Filestore
数万ノードからアクセスできる高可用性、耐久性、
POSIX 準拠の共有ストレージ
パートナー, ハイブリッド, オープンソース
NetApp, Elastifile, DDN, Lustre などのストレージソリューション

34. Cloud OnAir
Google Cloud Storage の特徴
地理的な
冗長性
強整合性の
リスト表示
統一された
API
エクサバイト
までスケール

35. Cloud OnAir
Persistent Disk の特徴
中断せずスケール可能 自動暗号化複数VMからの
読み込みサポート
地理的に複製された
スナップショット

36. Cloud OnAir
ディスクパフォーマンス
● Persistent Disk (HDD)
○ Disk 容量が大きいほどパフォーマンスが高くなる
● Persistent Disk (SSD)
○ インスタンスの vCPU 数が多いほどパフォーマンスが高くなる

37. Cloud OnAir
RAID と ストライピング
RAID や ストライピングを使う必要は
ありません
● ディスク I/O はディスクサイズによって変わ
る
● 性能はディスク数に依存しない
● ディスク数を増やしても信頼性や可用性は
向上しない
● RAID なし => 簡単なスナップショット

38. Cloud OnAir
サーバに物理的に接続された高速な SSD
● 特徴
○ 容量 375 GB
○ 最大 8 つまで利用することが可能 ( 最大 3 TB )
○ iSCSI もしくは NVMe を選択
○ IOPS: 680k read / 360k write (NVMe)
● 用途
○ スクラッチスペース
○ 頻繁にアクセスするデータ
Local SSD

39. Cloud OnAir
フルマネージドのファイルストレージサービス
Google Cloud Filestore (Beta)
標準 プレミアム
最大読み取りスループット 100 MB/秒（1 TB）、180 MB/秒（10 TB 以上） 700 MB/秒
最大書き込みスループット 100 MB/秒（1 TB）、120 MB/秒（10 TB 以上） 350 MB/秒
最大 IOPS 5,000 30,000
共有あたりの最大容量 63.9 TB 63.9 TB
可用性 99.9% 99.9%
プロトコル NFSv3 NFSv3

40. Cloud OnAir
DDN Lustre

41. Cloud OnAir
DDN Lustre in Google Cloud
構成
● 120 Lustre clients
● 120 Lustre storage servers
● 180 TB
性能
● 107 GB/s
● ストレージノード数を増やすと
リニアに性能と容量がスケー
ル
…
…
スケールするパフォーマンスと容量
Lustre
FileSystem
Lustre
Clients
IO500 - 上位 HPC ストレージシステムのリストで唯一のクラウド

42. Cloud OnAir
Cloud OnAir
はじめてみよう

43. Cloud OnAir
ジョブスケジューラ Condor
HTC アプリケーション向けのワークロードマ
ネージャ
Deployment Manager を使用することで、
簡単にデプロイ可能

44. Cloud OnAir
HPC Cluster
金融におけるモンテカルロシミューレション
HTC on GCP
ビジネス
分析
HPC
ユーザ

45. Cloud OnAir
HPC システム構成例
Login
Node
Job Scheduler
Compute
Node
Compute
Node
Compute
Node
Compute
Node
Parallel File SystemNFS Server

46. Cloud OnAir
Google は SchedMD と提携して、Google Compute Engine の弾力性を利用
するために Slurm Workload Manager を統合
ジョブスケジューラ Slurm
３つのユースケース
● Cloud Auto-Scaling
● Burst to Cloud
● Federate to Cloud

47. Cloud OnAir
Login
Node
Job Scheduler
Compute
Node
Compute
Node
Compute
Node
Compute
Node
Parallel File SystemNFS Server
HPC システム構成例 on GCP
$ gcloud deployment-manager deployments
create slurm --config slurm-cluster.yaml

48. Cloud OnAir
Cloud OnAir
まとめ

49. Cloud OnAir
● HPC は様々な業界で使用されており、
計算とストレージの要求は留まることなく増えている。
● HPC では大規模な計算が必要になるため、
クラウドに適したワークロードがある。
● GCP では、HPC に適したサービスや機能、
そしてパートナーソリューションを提供しているため、
誰でも簡単に始めることができる。
まとめ