NTTコミュニケーションズでは、Azure Stack Hub with GPUを先行で導入し検証を行っています。本資料では、実際に利用している立場からデモを交えつつAzure Stack Hub with GPUのユースケースをお話すると共に、GPUのベンチマークを含む他社クラウドとの性能比較結果について情報共有をいたします。

1. Copyright © NTT Communications Corporation. All rights reserved.
【たぶん日本初導入！】
Azure Stack Hub with GPUの性能と機能紹介

2. Copyright © NTT Communications Corporation. All rights reserved.
自己紹介
2
NTT Communications Innovation Center
鈴ヶ嶺 聡哲
Suzugamine Sotetsu
所属：
・イノベーションセンター
テクノロジー部門 AIインフラチーム
業務内容：
・クラウドの技術検証
・MLOps
対外活動：
・NTT Tech Conference #5
macOSの仮想化技術について
・NTT Com Advent Calendar 2020
Rustで実装するNetflow Collector
・APN Partner向け AWS GameDay Online
~ APN杯 ~ 3位
suzusuzu @suzu_3_14159265

3. Copyright © NTT Communications Corporation. All rights reserved.
1. クラウドアーキテクチャの課題
2. エッジコンピューティング
3. Azure Stack Hubとは？
4. Azure Stack Hub with GPU
5. 性能検証と機能検証
6. まとめ
Agenda
3

4. Copyright © NTT Communications Corporation. All rights reserved.
■ クラウドアーキテクチャ
• 青線：生産側が生データをクラウドに送信
• 赤線：消費側が結果をリクエスト
• 緑線：クラウドは生データを処理して結果を返す
クラウドアーキテクチャ
4
引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

5. Copyright © NTT Communications Corporation. All rights reserved.
● クラウドアーキテクチャの課題
○ IoTにおいて不十分な点が複数存在
■ 応答時間が遅い
● 中央処理・データ集約による遅延
■ プライバシー保護の要件が満たせない
● 外部クラウドに秘匿情報
■ エネルギー効率が著しく低い
● 全デバイスが生データでクラウドに通信
クラウドアーキテクチャの課題
5
引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

6. Copyright © NTT Communications Corporation. All rights reserved.
■ データ漏洩
• クラウド上の自社のアプリケーションに内在した脆弱性の結果、顧客の名前
とパスワードを窃取された
■ データ喪失
• 社内手続きを忘れることにより更新処理が反映されず
■ 不十分な認証情報 ・アクセス管理
• GitHubに上げられた認証情報の盗み出し攻撃
• 仮想通貨マイニングのためのアカウントハイジャック
クラウドアーキテクチャの落とし穴
6

7. Copyright © NTT Communications Corporation. All rights reserved.
■ エッジコンピューティング
• ネットワークのエッジで計算を可能とする技術
• ダウン・アップストリームデータの計算をする
• エッジはデータソースとデータセンタの間に存在するあらゆるCompute・
Networkリソースを指す
■ 得られる効果
• 応答時間が遅い
👉 近距離のエッジによる高速化
• プライバシー保護の要件が満たせない
👉 秘匿情報をエッジで管理
• エネルギー効率が著しく低い
👉 途中計算によるデータ・通信削減
エッジコンピューティング
7
引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

8. Copyright © NTT Communications Corporation. All rights reserved.
■ 近年、Edge Computingに関する論文数が急増
エッジコンピューティングに関する論文数の急増
8
引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019):
1474-1481.

9. Copyright © NTT Communications Corporation. All rights reserved.
■ 事例
• Multi-access Edge Computing
■ 課題：動画トラヒックは年々増加
• インターネットの帯域リソースを占有
■ 解決：エッジによるキャッシュ
• 低遅延化・処理の分散化させる技術
👉 ユーザ体験やNetwork効率が向上
エッジコンピューティングの事例1
9
引用: K. Cao, Y. Liu, G. Meng and Q. Sun, "An Overview on Edge Computing Research," in IEEE Access, vol. 8, pp.
85714-85728, 2020, doi: 10.1109/ACCESS.2020.2991734.
インターネットトラヒックの月平均の統計と予測

10. Copyright © NTT Communications Corporation. All rights reserved.
エッジコンピューティングの事例2
10
東京ドームで顔認証入場・顔認証決済の実証実験を開始 | プレスリリース |
Panasonic Newsroom Japan
日立がドローンの空撮映像で災害状況解析！高精度ＡＩ開発｜ニ
ュースイッチ by 日刊工業新聞社
■ エッジコンピューティングによるAI利用事例
■ エッジコンピューティングでAIを扱う課題
• リアルタイムに遅延なく推論する計算性能
• データの秘匿性を満たすため、エッジ内で推論・学習を完結する必要がある

11. Copyright © NTT Communications Corporation. All rights reserved.
■ 代表的なエッジコンピューティングの3層モデル
エッジコンピューティングの3層モデル
11
引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8
(2019): 1474-1481.

12. Copyright © NTT Communications Corporation. All rights reserved.
■ 課題：AIにおける「Edge」に適しているソリューションとは？🤔
AIにおける最適な「Edge」とは？
12
推論・学習可能な
計算リソース
素早い開発効率・基盤
DevOps
クラウド連携
サポート体制
引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8
(2019): 1474-1481.

13. Copyright © NTT Communications Corporation. All rights reserved.
「Edge」としてAzure Stack Hubを検証
Azure Stack Hub
13
引用: Microsoft Azure Stack

14. Copyright © NTT Communications Corporation. All rights reserved.
■ オンプレミス環境でMicrosoft Azureサービスを提供
• 例：データセンター
■ 3つのメリット
• エッジおよび非接続ソリューション
✔ 応答時間や接続性の要件に対応可能
✔ 例：工場、クルーズ船
• さまざまな規制に対応
✔ 規制やポリシーの要件に対応する柔軟性
✔ 例：グローバルな監査、財務報告書の作成
• オンプレミスのクラウドアプリモデル
✔ Azure のコンテナ、サーバーレス
✔ AzureとAzure Stack Hub連携によるDevOps
Azure Stack Hubとは？
14
引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?WT.mc_id=AZ-MVP-
5003408&view=azs-2008#why-use-azure-stack-hub

15. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Hubのサービス一覧
• Azure VM (Windows および Linux 用)
• Azure Web Apps および Azure Functions
• Azure Key Vault
• Azure Blob Storage
• DNS
• ロードバランサー
• Azure IoT Hub
• Azure Event Hubs
• Azure Container Registry(Preview)
• Azure Kubernetes Service(Preview)
Azure Stack Hubのサービス一覧
15

16. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Hub のアーキテクチャ
• 4 - 16台のサーバー
• リーフスイッチ
• BMCスイッチ
■ 接続モデル
• Connectedモデル
✔ インターネット・Azureに接続
• Disconnectedモデル
✔ インターネットへ接続不可
Azure Stack Hubのアーキテクチャ
16
引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?WT.mc_id=AZ-MVP-
5003408&view=azs-2008#azure-stack-hub-architecture

17. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Hub の管理方法
• Azure と同じ操作モデルが適用可能
Azure Stack Hubとは？
17
引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?view=azs-2008#how-is-azure-stack-hub-managed

18. Copyright © NTT Communications Corporation. All rights reserved.
Azure Stack Hub
🎉🎉GPU版が登場🎉🎉
18

19. Copyright © NTT Communications Corporation. All rights reserved.
• 2020年9月22日にGPU版 Azure Stack HubがGA
■ ベンダー
• HPE
• Dell
• Lenovo
■ 提供されるVM Type
• NCv3(NVIDIA V100 Tensor Core GPU)
✔ 今回、こちらの性能検証と機能を紹介
• NCT4_v3(NVIDIA T4 Tensor Core GPU)
• NVv4(AMD Mi25)
Azure Stack Hub with GPU
19
引用: Azure Stack Hub with GPU's now generally available | Azure の更新情報

20. Copyright © NTT Communications Corporation. All rights reserved.
■ 今回導入したシステム構成(Dell)
• Compute: PowerEdge R840 4台
✔ 1台あたりの構成
✔ CPU 2台
✔ 24 Core Platinum 8260
2.4GHz
✔ GPU 2台
✔ NVIDIA Tesla V100S
✔ Memory
✔ 1532GB
✔ SSD 24台
✔ 合計 92.16TB
• TOR: PowerSwitch S5048-ON(10G) 2台
• Mgt: PowerSwitch S3048-ON(1G)
• Mgt Sever: PowerEdge R640
Azure Stack Hub with GPU
20
Azure Stack Hub with GPU

21. Copyright © NTT Communications Corporation. All rights reserved.
DEMO
Azure Stack HubのPortal画面
ユーザー編
21

22. Copyright © NTT Communications Corporation. All rights reserved.
https://youtu.be/XAaWXwpd1W4
22

23. Copyright © NTT Communications Corporation. All rights reserved.
DEMO
Azure Stack HubのPortal画面
管理者編
23

24. Copyright © NTT Communications Corporation. All rights reserved.
https://youtu.be/LRkyd5Cu6j0
24

25. Copyright © NTT Communications Corporation. All rights reserved.
性能検証と機能検証
25

26. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
2. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
b. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
26

27. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
2. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
b. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
27

28. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Hub with GPUの性能検証
• 比較対象
✔ Azure Stack Hub with GPU
✔ Azure
✔ AWS
✔ GCP
• 4つの機械学習ベンチマーク
✔ Tensorflow
✔ tf_cnn_benchmark
✔ MLPerf
✔ training object detection
✔ inference ssd-mobilenet
✔ inference ssd-resnet34
機械学習ベンチマークによる性能検証
28

29. Copyright © NTT Communications Corporation. All rights reserved.
各クラウドの環境設定
29
■ 各クラウドの環境設定
• GPU V100を1枚のインスタンスを作成
Azure Stack Hub
with GPU
Azure AWS GCP
VM Type Standard_NC6s_v3 Standard_NC6s_v3 p3.2xlarge n1-standard-8
vCPU 6 6 8 8
Memory 112 112 61 30
GPU V100S PCIe V100 PCIe V100 SXM V100 SXM
Best

30. Copyright © NTT Communications Corporation. All rights reserved.
NVIDIA Tesla V100の比較表
30
V100 PCIe V100 SXM2 V100S PCIe
CUDAコア 5,120 5,120 5,120
Tensorコア 640 640 640
倍精度浮動小数点
性能
7 TFlops 7.8 TFlops 8.2 TFLOPS
単精度浮動小数点
性能
14 TFLOPS 15.7 TFLOPS 16.4 TFLOPS
Tensor演算性能 112 TFLOPS 125 TFLOPS 130 TFLOPS
メモリ 32GB/16GB HBM2 32GB/16GB HBM2 32GB HBM2
メモリ帯域幅 900 GB/sec 900 GB/sec 1134 GB/sec
インターコネクト
帯域幅
32 GB/sec 300 GB/sec 32 GB/sec
最大消費電力 250 W 300 W 250 W
引用: NVIDIA V100S Datasheet
Best
Azure Stack Hub with
GPUに搭載されている
V100S PCIeは高性能

31. Copyright © NTT Communications Corporation. All rights reserved.
■ tf_cnn_benchmark
• Tensorflowが公開している画像認識モデル(CNN)のベンチマーク
■ MLPerf
• 機械学習用の業界標準ベンチマーク
各種ベンチマークの設定
31
tf_cnn_benchmark
MLPerf training
Object detection
MLPerf inference
ssd-mobilenet
MLPerf inference
ssd-resnet34
framework tensorflow tensorflow tensorflow tensorflow
model resnet50
Mask R-CNN with a
ResNet50
ssd-mobilenet
300x300
ssd-resnet34
1200x1200
dataset synthetic data COCO 2017 COCO 2017 COCO 2017

32. Copyright © NTT Communications Corporation. All rights reserved.
結果
■ Azure Stack Hub with GPUが今回検証した全てのベンチマークにお
いて優れた結果を示した
■ V100S PCIeの高いGPU性能が要因と思われる
機械学習ベンチマークによる性能検証の結果
32
Good
Azure Stack Hub with GPUは高性能
tf_cnn_benchmark MLPerf training Object detection MLPerf inference ssd-mobilenet 300x300 MLPerf inference ssd-resnet34 1200x1200

33. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
b. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
33

34. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
b. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
34

35. Copyright © NTT Communications Corporation. All rights reserved.
■ ユーザー
• 遊戯施設の運営者
■ 目的
• コロナ禍における密を避けるために、密集度のリアルタイム把握
■ 方法
• 機械学習による物体認識を用いた人物カウント
■ 要件
• 生データ（来場者の画像）は機密上外部には送らない
• リアルタイムに把握するために高速処理が必要
• 推論結果を中央管理で可視化
• システムの構築・運用の自動化
問題設定
35

36. Copyright © NTT Communications Corporation. All rights reserved.
■ 「Edge」をAzure Stack Hub with GPU
• 3層モデルを基にアーキテクチャを構成
エッジコンピューティングの3層モデル（再掲）
36
引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8
(2019): 1474-1481.

37. Copyright © NTT Communications Corporation. All rights reserved.
全体アーキテクチャ
37
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s

38. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
b. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
38

39. Copyright © NTT Communications Corporation. All rights reserved.
リアルタイム推論アーキテクチャ
39
1. IoTデバイスから秘匿性のあるカメラ画像をAzure Stack HubのBlob Storageにアップロード
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s

40. Copyright © NTT Communications Corporation. All rights reserved.
リアルタイム推論アーキテクチャ
40
2. アップロード完了をAzure Stack HubのEvent Hubsに通知して推論開始
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s

41. Copyright © NTT Communications Corporation. All rights reserved.
リアルタイム推論アーキテクチャ
41
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s
3. GPU VMがEvent Hubsからメッセージを受け取り、Blob Storageにある画像を推論

42. Copyright © NTT Communications Corporation. All rights reserved.
リアルタイム推論アーキテクチャ
42
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s
4. GPU VMがAzureのEvent Hubsに推論結果を送る

43. Copyright © NTT Communications Corporation. All rights reserved.
リアルタイム推論アーキテクチャ
43
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s
5. Streaming analyticsがEventHubsとPower BIを接続

44. Copyright © NTT Communications Corporation. All rights reserved.
https://youtu.be/3arYyqnikZo
44

45. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
👉 プライバシー要件を満たしたリアルタイム推論が可能
a. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
45

46. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
👉 プライバシー要件を満たしたリアルタイム推論が可能
a. Kubernetesを利用した機械学習モデルの学習
性能検証と機能検証
46

47. Copyright © NTT Communications Corporation. All rights reserved.
学習アーキテクチャ
47
1. Blob Storageに格納されている秘匿性のある画像を入力とする
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s

48. Copyright © NTT Communications Corporation. All rights reserved.
学習アーキテクチャ
48
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s
2. Kubernetesのリソース管理を利用して学習し、モデルをBlob Storageにアップロード

49. Copyright © NTT Communications Corporation. All rights reserved.
学習アーキテクチャ
49
IoT
IoT Devices
Sensors
Blob Storage
Azure Stack Hub
with GPU
IoT Devices
Sensors
Edge Cloud
Blob Storage
VM Power BI
Private
Terraform
provisioning
streaming
analytics
Event Hubs
Inference
Inference
Inference
Inference
Event Hubs
K8s
3. 保存したモデルは推論VMのモデルと比較して更新する

50. Copyright © NTT Communications Corporation. All rights reserved.
https://youtu.be/wfssKb5-mRY
50

51. Copyright © NTT Communications Corporation. All rights reserved.
1. 機械学習ベンチマークによる性能検証
👉 高性能な計算リソース
1. 3層モデルにおけるAzure Stack Hubの機能検証
a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化
👉 プライバシー要件を満たしたリアルタイム推論が可能
a. Kubernetesを利用した機械学習モデルの学習
👉 GPUリソースを適切に管理してエッジ内のみで学習可能
性能検証と機能検証
51

52. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Hub with GPUの性能・機能検証の結果
• 高性能な計算リソース
• プライバシー要件を満たしたリアルタイム推論が可能
• GPUリソースを適切に管理してエッジ内のみで学習可能
まとめ
52
Azure Stack Hubは優れたエッジソリューション
IoT Edge Cloud
Private
I
n
f
e
r
e
n
c
e
Azure Stack Hub
with GPU
Azure Stack Hub with GPUは
AIにおける「Edge」に適したソリューション

53. Copyright © NTT Communications Corporation. All rights reserved.
■ Azure Stack Edge連携
■ 自社内製AIモデル開発ツール連携
■ エッジコンピューティングにおけるMLOps
■ Terraform未対応リソースへのコントリビュート
Future work
53