Edge Computing と k8s でなんか話すよ

Edge Computing と k8s
でなんか話すよ
日本仮想化技術株式会社
VitrualTech.jp
たまおきのぶゆき
2017/12/05
1

Who is
• 日本仮想化秘術ではなく日本仮想化技術
• OpenStack/NFVでご飯を食べる人
• Googleで”OpenStack”を検索すると高い確率で
「OpenStack最新情報セミナー」の資料にHit
2

今日のゴール
「Edge Computing と k8s
一緒に遊びたい人、
手を挙げてー！！」
3

今日のお題
① たまおき的関心事項
② MEC + GPUコンピューティング
4

• OpenStack -> NFV -> その次
• Edge Computing + GPU になるといいな
• HPE Moonshot System 2台をゲット
• BBT西野さんDMM高嶋さんと推進している「OpenStack共
同検証ラボ」でサーバを増強してもらいました
• 大規模Containerクラスタ&GPUの提案が増えてます
• GKE 最高ー！！
• コンテナおよびコンテナインフラの運用ノウハウ蓄積
• みんなが困ることはコミュニティの中で集約したいですね
5
• Edge Computing の定義が人によって違う、
Mobile Edge Computing だとなおさら
• ネットワーク網なのか
• コンピュートなのか
• 場所を指しているのか
• AI や Deep Learning の具体的な利活用が求められている

参考）GPUインフラの選択
• 機密情報などのデータを扱いたい。最新の GPU を使いたい。
• インフラを集中管理し、簡単に使えて、GPU リソースを有効活用
GPU on OpenStack が GPU インフラの候補に
6
パブリッククラウドプライベートクラウド
規模
② 専用のHPCクラスタ
④ GPU搭載のワークステー
ション
① パブリッククラウドの
GPUインスタンス
③ GPU on OpenStack
自由度

7
• わらしべ長者的に検証サーバが増えてます
• HPE Moonshot System 2台（45台×2）のコンピュート
で何をしようかニヤニヤしています

8

参考）OpenStack on GKE
GKE上でOpenStackのコントローラノードを稼働
9
ホストOS
+ KVM
Cloud SQL
オーケストレーション
コンピュートコンピュートコンピュートサーバサーバ
ホストOS
+ KVM
ホストOS ＋コンテナエンジン
RabbitMQ RabbitMQ RabbitMQ
Keystone Keystone Keystone
Nova Nova Nova
LB LB
Static IP (OpenStackだとFloating IP)
GCP/GKEで稼働
自社DCで稼働
GCP: Google 社のインフラで
KVM および関連サービスを提供する
GKE: Google 社のインフラで
Docker と Kubernetes および関連
サービスを提供する

10

参考）自宅 k8s-er の悩み
• コンテナインフラのセットアップ方法
• 外部からのインターネットアクセス
• コンテナインフラの監視
• コンテナおよびコンテナインフラのセキュリティ
• コンテナインフラの仮想ネットワーク
• コンテナインフラのストレージ
• コンテナインフラのバージョンアップやパッチ適用
• コンテナインフラのバックアップ
11

12

今日のお題
② MEC + GPUコンピューティング
13

MEC (Mobile Edge Computing)
+ GPUコンピューティング
について
日本仮想化技術株式会社
VitrualTech.jp
2017/12/05
14

MEC を取り巻く状況
外的要因
• 5G ネットワークの立ち上がり
• Edge Throughput が 100Mbps
• Latency が 1ms
• Peak Data Rate が 20Gbps
• Connected Carやスマートスピーカーな
どの新領域のアプリケーションの登場
内的要因
• 運用コスト削減への圧力
• Software Defined Infrastructure の本格検討
• NFVやSD-WANを商用インフラで検討
• 機械学習や深層学習の業務への活用検討

MECを理解する①
MEC のユースケースによって
必要な要素（テクノロジー、品質、
ビジネス要件）が異なる
MBB: Mobile Broadband
mMTC: massive Machine
Type Communications
Dense Inf Society
Connected vehicles
VR office/factory/tactileThroughput
Latency
Reliability
Availability
Energy
Efficiency
User/Device
density
Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ]
https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing

Disaggregated CoreDisaggregated RAN
MECを理解する②
AT&T の MEC Architecture
5G Application
Ecosystem
IoT
Connected
Car
MBB
RU DU UPF UPF
Macro Radio
& Small cell
Antennas
5G
Base
Stations
Edge
Cloud
Centralized
Cloud
CCF
Internet
CU-CP
CU-UP
NFV MANO (Management & Orchestration)
CU: Centralized Unit
CP: Control Plane
UP: User Plane
UPF: User Plane Function
CCF: Core Control Function
RU: Radio Unit
DU: Digital Unit
Implications of 5G RAN and IoT on OpenStack based edge computing. より引用

MECを理解する③
• Docker / Kubernetes でコントローラを構成する
• ゼロタッチ・プロビジョニングが鍵
• 数千ロケーションに展開することを想定
• エッジノードにて新しい技術を即座にサポート
（GPU, SmartNIC, FPGA, など）
• NFVやSDNなど他のプロジェクトとの連携を想定
AT&TのMECプロジェクトを推進する上での気づき

MEC＋GPUコンピューティング
20

MEC+GPUコンピューティング
• Docker / Kubernetes を使用したMEC環境の構築
• ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成
変更
• サーバOSのインストールからコンテナアプリの設定まで
• 仮想ネットワークと仮想ストレージも視野に
• エッジノードでGPUの活用
POC(Proof of Concept)で実証したいこと

Container nodes
MEC+GPUアーキテクチャ
NFV MANO
Edge Controllers
Physical
Provisioning
Application
Provisioning
SDN / SDS
Monitoring /
Alerting
Orchestrator
GPU
Hi speed
networking
General
purpose
Low
energy
Hi speed
storage
GPU Server
GPU Server
Storage
Server
Storage
Server
Object
Storage
Servers
w/t SmartNIC Servers
Edge Cloud のスコープ
ServerServer Server

Edge Computing で必要な構成要素
前ページのMEC+GPUアーキテクチャの図示した構成要素以外
で必須・任意の構成要素を列記
必須要素
• Edge Cloud のオーケストレータ
• Kubernetes を想定
• Edge Cloud 内のリソースを操作するための End Point
• Kubernetes API を想定
任意要素
• Edge Cloud 内の構成情報・資産情報の管理
23

Container nodes
POC#1のスコープ想定
NFV MANO
Edge Controllers
Physical
Provisioning
Application
Provisioning
SDN / SDS
Monitoring /
Alerting
Orchestrator
GPU
Hi speed
networking
General
purpose
Low
energy
Hi speed
storage
GPU Server
GPU Server
Storage
Server
Storage
Server
Object
Storage
Servers
w/t SmartNIC Servers
Edge Cloud のスコープ
ServerServer Server

コンテナ/ハイパーバイザー
についての整理
25

GPUノードにおける整理
Hypervisor/Container でGPUを動かすために
• HypervisorではPCI パススルーで、Containerでは nvidia
docker で利用可能
• PCI パススルーはOpenStackコンピュートノードに設定が必要
• KVM ベースの GPU インスタンスに GPU を割り当てる
• nvidia dockerは特別なハードウェア設定なしに使用できる
• OpenStackから Kubernetes や Docker コンテナを操作するた
めの仕組みを導入する必要がある
26

GPUノードにおける整理
どちらを選択するのがよいのか？
PCI パススルー nvidia docker
強み
多目的（VDI/HPC/DL）
で利用可能
環境構築が簡単
弱み特別な環境設定が必要
• HPCやDLの用途に限定
• リソース競合の懸念
• OpenStackとの連携に課題
27
用途に合わせて選択するのがよいと考えます。
OpenStack + nvidia docker については NTT コミュニケーションズ様
が調査を行い発表しているので参考するとよいです。
https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177

General purposeノードにおける整理
コンテナ技術が注目される理由
トレンドについての説明
• アプリケーション開発者の熱狂的な支持
• 「作って、壊せる」環境の手軽さ
• クラウド・ネイティブ・アプリケーションの増加
• DevOps や Immutable Infrastructure の推進
• 通信事業者でのコンテナ技術の採用の流れ
• NFV領域やサービスプラットフォームなどでの適用検討
現時点においてHypervisorとContainerのどちらを選択してもよ
いが、今後Containerを採用するユースケースが増加すると想定
Hypervisor上にContainerを乗せることはできるが、ベアメタル
サーバ上にContainerを乗せる方式が一般的になると予想 28

参考情報）OpenStack Summit Boston 2017 での発表
AT&T’s Container Strategy and OpenStack‘s Role in it
29
Today:
• OpenStack on コンテナ
（OpenStackのコントローラノードを
コンテナ上で稼働）
2018-19:
• コンテナアプリケーションの増加と
ハイパーバイザー型アプリケーションの
減少
• NFVでのVNFアプリケーションのコンテ
ナ化（POCレベル）
2019+:
• VNFアプリケーションのコンテナ化が
一般的に

コンテナ/ハイパーバイザーについての整理
• GPUノードにおける整理
• 用途に合わせて選択する
• HypervisorでGPUを使用するために特別なH/W設定が必要なので、1
台のGPUサーバでHypervisor/Containerを混在することはできない
• General purposeノードにおける整理
• 現時点においてHypervisorとContainerのどちらを選択してもよいが、
今後Containerを採用するユースケースが増加すると想定
• Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ
上にContainerを乗せる方式が一般的になると予想
30

Container nodes
POC#1の構成案（ハードウェア）
Edge Controllers
• Physical Provisioning
• Monitoring /Alerting
• Application Provisioning
• Orchestrator
• SDN
POC#1のControllersの多重化は行わない想定
• GPU
• General
purpose

Container nodes
POC#1の構成案（ソフトウェア）
Edge Controllers
• Physical Provisioning
• Monitoring /Alerting
• Application Provisioning
• Orchestrator
• SDN
POC#1のControllersの多重化は行わない想定
• GPU
• General
purpose
MAAS/Juju
Prometheus
/ Grafana
Kubernetes vMX
nvidia
docker
docker
Contrail
Contrail
vRouter

Vehicle(s) Vehicle ServicesCarrier(s)
Connected Car solution overview
35
Sensor & Vison & GPS
Steering
ECU
TCU
ECU: Electric Control Unit
TCU: Telematic Control Unit
Brake
ECU
Suspension
ECU
Driveline
ECU
Controller
Smart Highway Infra
Other VehiclesNF Comm-
unication
/ Radio
Internet Services
Connected Vehicles
Services
4G / 5G
Connected Vehicles
Services
• Mobility Management
• Vehicle Management
• Safety
• Entertainment
• Driver Assistance
Autonomous Vehicles
Services
4G / 5G
Autonomous Vehicles
Services
• Safety Record

Edge Computing と k8s でなんか話すよ

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Edge Computing と k8s でなんか話すよ

Similar to Edge Computing と k8s でなんか話すよ (20)

More from VirtualTech Japan Inc.

More from VirtualTech Japan Inc. (20)

Recently uploaded

Recently uploaded (10)

Edge Computing と k8s でなんか話すよ