ShowNet 2021　スタジオ講演 オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス ShowNet NOCチームメンバー 織 学 / 明石 邦夫

1. 1
オンプレ/クラウド連携と
柔軟なストレージで実現する
高信頼サービス
Interop Tokyo 2021 ShowNet データセンタ 担当
織 学 (Red Hat)
奥澤 智子 (トヨタ自動車)
橋本 賢一郎 (ヴイエムウェア)
明石 邦夫 (東京大学)

2. 2
今年の ShowNet データセンタ

4. AzureStack HCI、Azureによる
ハイブリッドクラウド
Red Hat Advanced Management
Cluster for Kubernetes による
Kubernetes マルチクラスタ
NVMe over Fabrics、NVMe over
TCP と CSI ドライバによる
高速コンテナストレージ
Red Hat Advanced Management
Cluster for Kubernetes による
Kubernetes マルチクラスタ

5. High
Availability
Rapid
Deployment
大容量 / 高速
ストレージ
セキュリティ
高速ネットワーク
ShowNet のサービスを支える仮想化基盤
10/25/100G のL2/L3スイッチ
Stack/MC-LAG
RoCE 対応なフロー制御
20TB 以上の iSCSI ストレージ
NVMe over Fabrics
CSI ドライバでのコンテナストレージ
Hyper-Converged Infrastructure
オールインワンな仮想化基盤
Kubernetes マルチクラスタ
vSphere HA/DRS、
フェイルオーバークラスタ
による高可用性
ハイブリッドクラウド
VMware NSX-T での
仮想マシン単位の Firewall

6. ShowNet を支える
ハイブリッドクラウド構成の仮想化基盤
• 2 つの仮想化基盤で
サービスを展開
• 仮想マシン: 97 台
• CPU数: 376
• メモリ: 1792 GB
• ストレージ: 18TB
flexfabric5710
ce8850
nimble
DL380
UCS C220M5
dorado
ce8850

7. ShowNet を支える
ハイブリッドクラウド構成の仮想化基盤
仮想マシン毎のデータを
クラウドに Sync
ストレージの定期的な
バックアップ
nimble
UCS C220M5
DL380
Kubernetes
マルチクラスタ
ShowNet

8. オンプレ/マルチクラウドにまたがった
Kubernetesマルチクラスタによる柔軟なサービス管理
Kubernetes
マルチクラスタ

9. Kubernetesマルチクラスタ管理
• 各クラスタのノードやPodの状態を一元管理

10. .dc/.svc で複数のコンテナストレージ
CSI による制御、クラウドバックアップなど
NVMe over Fabrics を活用した
高速コンテナストレージの実現
SDS による
NVMe-oF コンテナストレージ
大容量ストレージによる
仮想化、コンテナストレージ
RoCE 対応
高速ストレージアプライアンス
PFC、ECN によるフロー制御
PFC、ECN によるフロー制御

11. NVMe over Fabrics と NVMe over TCP
• NVMe over Fabrics
• RDMA NIC (RNIC) の利用を前提
• UDP の上に Infiniband のプロトコル
• RNIC がホストメモリにアクセス
• CPU を使用しない
• NVMe over TCP
• RDMA NIC (RNIC) を必要としない
• 標準の TCP/IP スタックで利用可能
• NVMe の Queue 毎に TCP connection
• TCP connection は CPU にマッピング

12. NVMe over Fabrics を活用した高速ストレージ
• RoCEv2、PFC + ECN
• 高IOPS
• 低 I/O レイテンシ
N93180yc-1 N93180yc-2
Dl325-
kumoscale
nvme-of-
initiator
k8s

13. Contro Plane
Kubernetes Storage & iSCSI / NVMe over Fabrirics
CSIを活用した
高速コンテナストレージとの接続
Kube API Server
Container
PVC manifest
Worker Node Worker Node
CSI Node Plugin
Container
CSI Node Plugin
Container
CSI Controller
Plugin Container
ボリューム作成
NVMe-oF
or
NVMe-oTCP
iSCSI
NVMe-oF
Initiator
iSCSI
Initiator

14. CSIとは
• CSI: Container Storage Interface
• コンテナ用ストレージを制御するためのAPI
• ボリュームの作成、ノードへのアタッチ、スナップショット
取得、等の操作を抽象化
Persistent
Volume Claim
Worker Node
Contro Plane
ボリューム
切り出し
ノードへの接続
Podのnamespace
にbind mount

15. CSIによるボリューム作成 - KumoScale
• PVCの名前がついたボリュームが作成される

16. CSIによるボリューム作成 - Nimble
• PVCの名前がついたボリュームが作成される

17. Special Thanks