GKE On-Prem により、オンプレミス環境にも Google Cloud と同様の Kubernates 環境を構築する事が可能となりました。この放送では GKE On-Prem を利用したオンプレミスと GCP のハイブリッドクラウド構成を構築する方法について解説します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
Anthos で実現する
ハイブリッドクラウド
〜 GKE On-Prem 編〜
2019 年 8 月 29 日 放送

2. Agenda
Cloud OnAir
1
3
2
4
GKE On-Prem の概要
GKE On-Prem Deep-dive
GKE On-Prem のデモ
まとめ

3. Cloud OnAir
Cloud OnAir
GKE On-Prem の概要

4. Cloud OnAir
エンタープライズ IT の現況
1
IDG Cloud Insights survey, 2018 (N=550)
2,3
Cloudability, State of Cloud 2018 report based on actual spend data
73%
の組織が
クラウドを利用
クラウドは
既に普及
10%
のワークロード
しかクラウドに
移行出来ていない
多くのアプリが
オンプレミスに
84%
の組織が
マルチクラウドを
計画
ただし 1 つの
クラウドに限らない

5. Cloud OnAir
Lift ＆ Shift によるハイブリッドクラウド化
クラウドネイティブ アプリ ＆ オペレーション従来型アプリ ＆ オペレーション
パブリック
クラウド
オンプレミス
リフト ＆
シフト モダナイズ
既存
アプリケーション
連
携
クラウドに適した
アプリケーション

6. Cloud OnAir
ハイブリッドクラウドのメリット
● 既存の IT 資産の活用
● カスタマイズ性の高さ
● 自社のコンプライアンスへ
のきめ細やかな対応
● 応答性
● アジリティの向上
● 高い可用性と
スケーラビリティ
● SaaS や API の利用による
開発効率の向上
● オペレーションコストの削減
既存の IT 資産を活用しつつ、クラウドとオンプレミス環境の
両方のメリットを享受できる

7. 画像を配置後
左側の図形とフッターロゴを
被せて下さい
https://goo.gl/uHwh8Y
Cloud OnAir
Let's いいとこ取り
Cloud OnAir
パブリッククラウドのメリット
オンプレミス環境のメリット

8. Cloud OnAir
2019 年 4 月 に
Google Cloud Next '19 で発表
ハイブリッド マルチクラウド
プラットフォーム
アプリケーション管理
プラットフォーム

9. Cloud OnAir
解決策 ① オンプレミス環境へ
クラウド品質のアプリケーション実行環境を提供
クラウドネイティブ アプリ ＆ オペレーション従来型アプリ ＆ オペレーション
パブリック
クラウド
オンプレミス
モダナイズ
モダナイズ
既存
アプリケーション
オンプレ環境で
直接モダナイズ

10. Cloud OnAir
解決策② Kubernetes による環境差異の吸収、環境をまたいだ
アプリケーション管理プラットフォームの構築
オンプレミス 他社クラウド
Public Cloud Public Cloud
Private
설정设置
設定

11. Cloud OnAir
Anthos の概要
オンプレミス 他社クラウド
ポリシー管理 サービス管理 クラスター管理

12. Cloud OnAir
Anthos を構成するサービス
オンプレミス 他社クラウド
ポリシー管理 サービス管理 クラスター管理
Anthos Config Management Cloud Service Mesh GKE Hub （GCP Console）
GKE On-PremGKEMigrate for Anthos

13. Cloud OnAir
GKE On-Prem
DC の VMware 環境上で直ちに稼働する
プロダクショングレードの Kubernetes
Google によって検証された最新の Kubernetes への
容易なアップグレード
GCP のコンテナエコシステムとの連携 :
Cloud Build, Security Scanning, Container Registry,
Audit Logging, Stackdriver etc.

14. Cloud OnAir
統一されたインターフェース
クラウドやオンプレミスのクラスを
一元的に管理する統一された UI
オンプレミスのコンテナもクラウド上のもの
と同様に管理

15. Cloud OnAir
Cloud OnAir
GKE On-Prem Deep-dive

16. Cloud OnAir
GKE On-Prem 全体構成 vSphere
ユーザークラスタユーザークラスタ
管理クラスタ
F5 BIG-IP LTM
管理
ワークステーション
kubectl
gkectl
ワーカーノード
ワークロード
ワーカーノード
ワークロード
ユーザコントロールプ
レーン#2
ユーザー制御
プレーン
ユーザコントロールプ
レーン#2
kubelet
ワーカーノード
kubelet
vCenter APIs
ユーザー制御
プレーン
kubelet
ワークロード
kubelet
kubelet
管理コントロール
プレーン#1
管理制御プレーン
kubelet
vSphere#3
に仮想アプライアンス形式で
自動化されたデプロイ
F5 Big IP LTM#3
または
既存の LB を利用した構成が可能
管理クラスタ、ユーザクラスタの管理
（ビルド、アップグレード）のために、
管理ワークステーションで gkectl を実行
現時点（8 月 22 日）で対応している
Kubernetes のバージョンは 1.12.7-gke.19
一つの管理クラスタにつき、 5つのユーザクラスタと、
クラスタ毎に25ノードの構成が可能
また、ユーザクラスタは最低 3つのワーカーノードが
必要となる
#1 :
HA 構成未対応（ VMware vSphere High Availability による保護を推奨）
#2 :
3 つまでのユーザ制御プレーンのレプリカによる HA 構成に対応
#3 :
VMware vSphere 6.5、F5 Big IP LTM v12.x and v13.x に対応

17. Cloud OnAir
セキュアに GCP と接続
オンプレミス環境にある Kubernetes クラスタと GCP
間を暗号化して接続
アウトバウンド通信のみの為、
パブリック IP アドレスは必要ない
GCP との接続性が失われた場合でも
GKE On−Prem での独立可動は可能
On-premises Data Center
GKE On-Prem
GKE Connect
Proxy
Outbound TLS
connection
GKE Workloads
Web UI
GCP
Console
GKE Connect
Agent
Kubernetes
API Server

18. Cloud OnAir
ネットワーク機能の比較
F5
# Or bring your own LB
Node networking
(VMware)
GCLB (L4)
Cluster and node
networking
GCP SDN
Cluster networking
(Calico CNI)
Istio (Envoy) GCLB (L7)
GKE on GCP
(Cloud Deployment)
GKE On-Prem
(On-Prem Deployment)
On-Prem Infrastructure Google Cloud Infrastructure

19. Cloud OnAir
GKE On-Prem のネットワーク構成
● DHCP / 固定ノード IP をサポート
● "Island モード" - クラスタ IP（Pod、サービス
IP）が独立している。
企業内の IP アドレスを消費しない。
● 最大 25 ノード（1 クラスタあたり）
● F5 BIG-IP で L4 LB IP を提供
● Envoy で L7 Ingress を提供
● Calico で Network Policy と、BGP を利用
したノード間コミュニケーションを提供
仮想マシン
NodePort
Pod
F5 BIG-IP LTM
全ての外部向けトラフィックはノード
IP アドレスに NAT される
サービスデプロイ時にコントロール
プレーンが自動的にロードバランサを設定
仮想マシン
NodePort
Pod
Envoy
仮想マシン
Pod
NodePort
L4
L7
BGP を利用したノード間コ
ミュニケーション

20. Cloud OnAir
GKE On-Prem のストレージ機能
Google Cloud Platform（GKE）
Google 永続ディスク（RWO, ROX）
リージョン永続ディスク
標準永続ディスク
SSD 永続ディスク
Google FileStore (RWX)
OnPrem (GKE On-Prem)
VMware vSphere ストレージ（RWO）
組み込みプラグイン
コンテナストレージインターフェース（CSI）

21. Cloud OnAir
GKE On-Prem と Stackdriver
On-premises Data Center
GKE On-Prem
GCP
Console
ログ#1
と CPU 、メモリ等のメトリックをデフォルトで Stackdriver
へ送信
Prometheus と Grafana もデプロイされており、
必要に応じて使い分け可能
#1
: アプリケーションログ、メトリックの収集は現在対象外の為、
Prometheus等の利用を検討頂く必要があります
https://cloud.google.com/gke-on-prem/docs/concepts/logging-and-monitoring?hl=ja#stackdriver_gkeop
Outbound TLS
connection
Stackdriver
Metrics Collector
Stackdriver
Log Aggregator
Prometheus & Grafana

22. Cloud OnAir
GKE On-Prem における CI/CD の実装例
① Cloud Build で GKE On-Prem へデプロイ
● Cloud Build から GKE On-Prem のユーザクラスタの
Kubernates API に直接 Deploy hook する
※The Internet へのポート公開など、Cloud Build から
Kubernates API への到達性を確保する必要がある
● GKE On-Prem 向けの Cloud Build のカスタムビルド
ステップの作成、認証情報の保管にCloud KMS の
構成などが必要となる
On-premises Data Center
GKE On-Prem
Cloud Source
Repositories
Cloud Build
Container
Registry
On-premises Data Center
GKE On-Prem Spinnaker
Cloud Source
Repositories
Cloud Build
Container
Registry
Image pull
Deploy hook New image
detect
Deploy
hook
Image pull
② Spinnaker によるデプロイ
● Spinnaker を On-premises Data Center に構成し、
Container Registry に新しい Image が登録されたことを
検知し、Deploy hook する
● Spinnaker を利用する事で、
ブルー / グリーンデプロイメントやカナリーリリース
などのデプロイ方法を選択可能

23. Cloud OnAir
Anthos Config Management
オンプレミスとクラウド両方に対して設定とポリシーを集中管理
On-premises Data Center
GKE On-Prem
Config Management
Operator
マルチクラスタ管理
中央の Git リポジトリにより
RBAC、リソース割当、
名前空間などの
アクセス制御ポリシーを管理
宣言型モデルと継続モニタリング
クラスタの在るべき姿を
宣言すれば、クラスタの状態を
継続的にモニタリングし、
ポリシーに反する変更を監視
ハイブリッドのサポート
中央の定義ファイルを変更する
だけで、オンプレミス /
クラウド双方のフリート内の
Kubernetes クラスタを管理
シンプルなマイグレーション
YAML や JSON などの
ネイティブの Kubernetes 構成
フォーマットで既存の定義を
書き換えずに移行可能
Cloud Source
Repositories
Cluster A
Kubernetes Engine
Cluster B
Kubernetes Engine
Kubernetes
API Server
Manifest
Monitor / Import
Monitor / Import

24. Cloud OnAir
マーケットプレイス
Anthos 対応
アプリケーションのマーケット
セキュリティ、データベース、CRM など
エコシステムパートナーが用意した、
安全で検証済みなソリューションの豊富なカタログ
共同販売およびエンタープライズ向けの
調達サポートを備えた
堅牢な販売プラットフォーム
https://cloud.google.com/marketplace

25. Cloud OnAir
GKE On-Prem の機能オーバービュー
機能 GKE On-Prem 備考
Resource Workload
※ Pod, Replication Controller, ReplicaSet, Deployment,
DaemonSet, Stateful Set, Job, Cron Job
◯
Discovery & LB
※ Cluster IP, ExternalIP, NodePort, LoadBalancer, Headless,
External Name, None-Selector, Ingress
◯
・LoadBalancer は F5、Ingress は Envoy による
実装
Config & Storage
※ Secret, Config Map, Volume,
PersistentVolume,PersistentVolumeClaim
◯
・Persistent Volume に関してはデフォルトでvSphere
VMDK の利用が可能
Autoscaler HorizontalPodAutoscaler ◯
VerticalPodAutoscaler × ※現時点未対応
Security RBAC ◯
OpenID Connectとの連携 ◯ ・ADFS を含んだ OIDC の設定が可能
Kubernetes Audit Logging ◯
Network Policy ◯

26. Cloud OnAir
GKE On-Prem の機能オーバービュー
機能 GKE On-Prem 備考
Cluster
Management
Resize Cluster 〇
Node Auto Repair × ※現時点未対応
Cluster Autoscaler × ※現時点未対応
Master / Node auto upgrade × ※現時点未対応、Manual Upgrade のみ
GCPとの連携 Stackdriver
△
・現時点 Stackdriver Logging,
Stackdriver Monitoringのみ対応
Google Container Registry 〇
Cloud Build
△
・クラスタへのデプロイに関しては
カスタムビルドステップの設定が必要
Google Identity Platform, Cloud Identity
〇
・OIDC の設定により、Google Account による
認証認可の設定が可能
Cloud Marketplace 〇

27. Cloud OnAir
Cloud OnAir
GKE On-Prem のデモ

28. Cloud OnAir
デモ構成 vSphere
ユーザークラスタ
管理クラスタ
F5 BIG-IP LTM
ワーカーノード
ワークロード
ユーザコントロールプ
レーン
kubelet
ワーカーノード
kubelet
vCenter APIs
ユーザー制御
プレーン
kubelet
ワークロード
管理コントロール
プレーン
管理制御プレーン
kubelet
GKE Connect
Proxy
Cloud Source
Repositories
Cloud Build
Container
Registry
GKE Workloads
Web UI
Spinnaker

29. Cloud OnAir
Cloud OnAir
まとめ

30. Cloud OnAir
GKE On-Prem 全体構成 vSphere
ユーザークラスタユーザークラスタ
管理クラスタ
F5 BIG-IP LTM
管理
ワークステーション
kubectl
gkectl
ワーカーノード
ワークロード
ワーカーノード
ワークロード
ユーザコントロールプ
レーン#2
ユーザー制御
プレーン
ユーザコントロールプ
レーン#2
kubelet
ワーカーノード
kubelet
vCenter APIs
ユーザー制御
プレーン
kubelet
ワークロード
kubelet
kubelet
管理コントロール
プレーン#1
管理制御プレーン
kubelet
vSphere#3
に仮想アプライアンス形式で
自動化されたデプロイ
F5 Big IP LTM#3
または
既存の LB を利用した構成が可能
管理クラスタ、ユーザクラスタの管理
（ビルド、アップグレード）のために、
管理ワークステーションで gkectl を実行
現時点（8 月 22 日）で対応している
Kubernetes のバージョンは 1.12.7-gke.19
一つの管理クラスタにつき、 5つのユーザクラスタと、
クラスタ毎に25ノードの構成が可能
また、ユーザクラスタは最低 3つのワーカーノードが
必要となる
#1 : HA 構成未対応（VMware vSphere High Availability による保護を推奨）
#2 : 3 つまでのユーザ制御プレーンのレプリカによるHA 構成に対応
#3 : VMware vSphere 6.5、F5 Big IP LTM v12.x and v13.x に対応

31. Cloud OnAir
デモ構成 vSphere
ユーザークラスタ
管理クラスタ
F5 BIG-IP LTM
ワーカーノード
ワークロード
ユーザコントロールプ
レーン
kubelet
ワーカーノード
kubelet
vCenter APIs
ユーザー制御
プレーン
kubelet
ワークロード
管理コントロール
プレーン
管理制御プレーン
kubelet
GKE Connect
Proxy
Cloud Source
Repositories
Cloud Build
Container
Registry
GKE Workloads
Web UI
Spinnaker

32. Cloud OnAir
Anthos の概要
オンプレミス 他社クラウド
ポリシー管理 サービス管理 クラスター管理
Anthos Config Management Cloud Service Mesh GKE Hub （GCP Console）
GKE On-PremGKEMigrate for Anthos
9 月 5 日の Cloud OnAir で Deep-dive