Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
NeutronOVSvApp
-OpenStackでもESXiを使いたい方へ-
2015年10月24日
日本ヒューレット・パッカード株式会社
テクノロジーコンサルティング事業統括
サービス統括本部オープンソース部

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
Introduction
略歴
- 楽天株式会社
国際ECインフラ設計・運用
プライベートクラウド設計
- 日本ヒューレット・パッカード株式会社
金融系ソリューションデリバリー
オープンソース系ソリューションデリバリー
専門分野
- オープンソースプロダクト
私のこだわり
ユーザー企業もベンダー企業も経験しているからこそ、利用者と同じ立場で課題
に向き合えるような、”Market-In”を大切にしていきたい。
北山晋吾 - Shingo.Kitayama -
テクノロジーコンサルティング事業統括
サービス統括本部オープンソース部

Agenda
1. HPEのOpen Sourceクラウド戦略
2. OpenStack + ESXiの連携
OpenStack + VMware ESXiの現状と課題
3. OVSvAppの概要
OVSvAppとは
4. OVSvAppのアーキテクチャ
OVSvAppコンポーネント詳細
5. デモ
OVSvAppのインスタンス作成
6. Appendix
Neutron OVSvApp - OpenStackでもESXiを使いたい方へ -

1. HPEのOpen Sourceクラウド戦略

ハイブリッド技術への懸念
従来のシステムの移行や、クラウドとの連携が困難
マルチクラウドに伴う非標準化
クラウド間の連携や相互接続性がないため、円滑にサービス運用することが困難
性能課題
クラウドのセキュリティやパフォーマンス保証がされないため、サービス展開が困難
1-1. HPEのクラウド戦略
- クラウドの課題 -
クラウドを利用すると、逆にベンダー固有のクラウドに振り回されがち。

-クラウドに求められるソリューション -
クラウドの課題を意識させないように、抽象化された標準的なインターフェースで包括で
きるソリューションが求められる。
Standard Interface
Hardware Software Professional
Service
Managed
Cloud
Public
Cloud
自社でクラウドを作るお客様外部のクラウドを使うお客様
ハイブリッド技術への懸念性能課題マルチクラウドに伴う非標準化

- HPEのクラウド戦略 -
クラウドを作るお客様にも、使うお客様にも、オープンなソリューションでクラウドの課題を
解決し、ベンダー固有のクラウドから開放する。(複雑なビジネス変化への対応が可能)
HPEのクラウド戦略は『Open Source』
Hardware Software Professional
Service
Managed
Cloud
Public
Cloud
Standard Interface = 『Open Source』の活用
自社でクラウドを作るお客様外部のクラウドを使うお客様

1-2. HPEとOpenStack
- HPEがOpenStackを選んだ理由 -
Anti-Vendor Lock-In
特定ベンダの意向に振り回されない。機能の仕様決定プロセスが公開されている。
ハイブリッドクラウドの実現
異種クラウドを同じAPIから操作出来る。
ソリューションの統合
各技術分野のリーダーがアイデアを持ち寄り、先進技術も、コモディティ技術も標準インター
フェースで包括している。
最先端技術もコモディティも、プライベートクラウドもパブリックも、標準APIで容易に使
える『OpenStack』の設計思想を選択。

- HPEのOpenStackへの貢献 -
http://stackalytics.com/
others
OpenStackへのコントリビュート
HPE自身が商用製品化とサービス運用を通じ、
必要/充実させたいと考えた機能を提案
※2015/10/18時点

- OpenSourceの利用状況 -
http://superuser.openstack.org/articles/openstack-users-share-how-their-deployments-stack-up
Open Source
機能とコストのトレードオフ
・オープンソースの利用率が高くなっている
が、まだ機能が限られる。
→ コストを抑えられるが機能に制限
・商用製品は機能豊富だが、多くの企業
が投資できるわけではない。
→ 資金があり、専有という戦略であれ
ば機能豊富な製品を利用
流れは、『Proprietary』から『Open』へ
Vendor Products
(※OpenDaylightを除く)

2. OpenStack + VMware ESXiの連携

vSphere
2-1. OpenStack + VMware ESXiの現状
- OpenStack + VMware ESXiの連携 -
OpenStackのCompute NodeにESXiを利用するためには、Novaだけでなく、Neutron連
携が必要である。
Horizon
(Dash Board)
Nova
(Compute)
Cinder
(Block Storage)
Neutron
(Network)
VMware
vCenter
Network
Controller
VMware
VCDriver
ESXi
NovaCompute-Scheduler
Shared
Storage
VMware
VMDK
Driver
ESXi
http://docs.openstack.org/kilo/config-reference/content/vmware.html

① Flat 構成
テナントの概念がなく、全ての仮想マシンが
同一のネットワークに配置される。
② VLAN 構成
テナント毎にVLANが払い出され、テナント
用のネットワーク(ポートグループ)に仮想マシ
ンが所属される。
③ Flat 構成
Nova-network同様、テナントの概念がなく、
全ての仮想マシンが同一のネットワークに配
置される。
④ SDN 構成 (ベンダー製)
VLANやVXLANを利用して、ネットワークの
分割が可能であり、L3の機能やFloating IP
/ Metadata Proxyなど、ほぼ全ての機能が
実装されている。
- Network構成の選択肢 -
nova-networkの利用 neutronの利用

ESXi
ESXi
vSwitch / vDS
OpenStack
Controller Node
- ① Nova-network Flat構成 -
nova-network
(Network)
VMware vCenter
eth1
vmnic1
vSwitch / vDS
vmnic1
Port Group
br100
Port Group
br100
VM
VM
nova-compute
(Compute)
VM
VM
eth0
Flat Network
vmnic0
vmnic0
Management
Network
特徴
デフォルトで、br100に紐付けられた
PortGroupが利用でき、全てのテナント
VMは、同じネットワーク上に配置される。

ESXi
ESXi
vSwitch / vDS
OpenStack
Controller Node
- ② Nova-network VLAN構成 -
nova-network
(Network)
VMware vCenter
eth1
vmnic1
vSwitch / vDS
vmnic1
Port Group (vlan40)
VM
VM
nova-compute
(Compute)
VM
VM
eth0
Flat Network
vmnic0
vmnic0
Management
Network
Port Group (vlan30)
Port Group (vlan40)
Port Group (vlan30)
VM
VM
eth1.30
eth1.40
特徴
テナント毎のVLANに対して、ポートグ
ループが配置される。事前にどの
vmnicを割り当てるかを指定しておく。

ESXi
ESXi
vSwitch / vDS
OpenStack
Controller Node
- ③ Neutron Flat構成 -
neutron-server
(Network)
VMware vCenter
eth1
vmnic1
vSwitch / vDS
vmnic1
Port Group
br-int
Port Group
br-int
VM
VM
nova-compute
(Compute)
VM
VM
eth0
vmnic0
vmnic0
Management
Network
OpenStack
Network Node
eth1
eth0
Data Network
neutron-agents
(Network components)
特徴
br-intに紐付けられたPortGroupが
利用でき、全てのテナントVMは、同
じネットワーク上に配置される。

ESXi
ESXi
vSwitch / vDS
OpenStack
Controller Node
- ④ Neutron SDN 構成 -
neutron-server
(Network)
VMware vCenter
vmnic1
vSwitch / vDS
vmnic1
nova-compute
(Compute)
eth0
vmnic0
vmnic0
Management
Network
OpenStack
Network Node
eth1
eth0
Data Network
neutron-agents
(Network components)
SDN
製品
Port Group (vlan40)
VM
VM
VM
VM
Port Group (vlan30)
Port Group (vlan40)
Port Group (vlan30)
VM
VM
特徴
多くの機能を利用できるが、機能や
サポートがSDN製品に依存する。

2-2. OpenStack + VMware ESXiの課題
- ネットワーク連携の限界 -
ベンダー製品(SDN製品)を利用しなければ、機能豊富なネットワーク連携は出来ないの
が現状
Network 構成特徴今後の課題
nova-network Flat すべての仮想マシンがFlatに同一のネットワー
クに配置。
廃止予定
VLAN テナントごとのVLANの払い出しが可能で、
SDNを使わないなかでは機能が豊富
廃止予定
neutron Flat すべての仮想マシンがFlatに同一のネットワー
クに配置。
テナント分離というOpenStackの
利点が活かせない
SDN 機能豊富な製品が多く、VMware１択でも
よければNSXを利用。
利用機能やサポートの点でベン
ダーロックインを避けられない
nova-networkは
廃止予定

- SDN製品利用の注意点 -
SDN製品を使う場合は、利用したい機能と、サポート状況を詳細に把握しなければいけ
ない。 = 『ベンダーロックイン』
OpenStackのAPIに合わせて
機能提供を行っているため、
全ての機能を網羅できている
わけではない。
よって、利用する環境や要件
に合わせて、SDN製品を選ぶ
必要がある。
OpenStackのリリースに合わせ
て開発を行っているわけではな
い。
SDN製品の提供背景やサ
ポート状況を随時把握する必
要がある。
HorizonやOpenStackのCLIか
ら操作できないため、SDN 製
品専用の管理ツールを使用
する必要がある。
提供機能の確認サポートの確認管理ツールの非一元化

- OpenStack Communityの対応 -
OpenStack Community内でもVMware ESXiとNeutron連携の実装が進んでいる。
+

3-1. OVSvAppの概要
- Neutron OVSvAppとは -
OVSvAppはOpenStack環境において、ESXi上に構築されたテナントVMの、L2ネッ
トワーク通信を制御するプロセス。
テナントネットワーク
ESXiのPortGroupを利用し、OpenStack
上で構築された各テナントのネットワークを
管理。
セキュリティグループ
Open vSwitchベースのFirewallドライバを
利用し、テナントVM間のアクセスコントロー
ルを行う。
Security: VLAN
- ネットワーク隔離
- トラフィック制御

3-1. OVSvAppの概要
- Neutron OVSvApp導入のメリット -
既存ESXi環境からの移植性の高さ
既存のESXiリソースに依存せず、OpenStack管理下に移行が可能。
コスト削減
オープンソースライセンスで、ESXiとのネットワーク連携が可能。
長期利用の安定性
正式にCommunity Neutron Project(Neutron/Networking-vSphere)に組み込まれ、ソース
コードが公開されているため、メンテナンスを継続する事が可能。

4. OVSvAppのアーキテクチャ

4-1. コンポーネント概要
- コンポーネント全体像 -
「OVSvApp VM」, 「Nova-compute」, 「Neutron-Server」が連携して実装されている。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
vCenter
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
③ OVSvApp
VM形式のコンポーネントで、2つの
vDSと、ESXiごとに1VMが必要
① Nova-compute
OVSvApp用にカスタマイズされた
VCDriverを利用
② Neutron-server
OVSvApp用のメカニズムドライバを
利用

vSphere
DataCenter
Cluster
- コンポーネント詳細 -
① Nova-Compute
nova-computeは、VMware vCenter
Serverと通信を行うことで、Openstack管
理下のESXi(Compute Node)全体のコント
ロールを行う。
※OVSvAppソリューション用にカスタマイズされたnova-compute
サービス(Nova VCDriver)を利用。
② Neutorn-Server
OVSvAppエージェントに対して、テナントVM
のネットワークとポート情報を提供。
OVSvAppは、ML2メカニズムドライバに含
まれる。
Nova
Compute
Neutron
Server
VMware
VCDriver
ESXi
ESXi
OVSvApp
OVSvApp
REST
VMware
vCenter
AMQP

Network
Node
ESXi (Compute Node) ESXi (Compute Node)
vDS 2
- コンポーネント詳細 -
③ OVSvApp
VM
各ESXiに１台必要で、同一ESXi上に構築
されたテナントVMの通信トラフィックを制御
している。
vDS(vSphere Distribution Switch)
通信トラフィック制御には、2つのvDSを利
用する。
vDS 1: 外部ネットワーク通信用のdvUplinkを利用せず、
テナントVMとOVSvApp間の通信を提供。
vDS 2: 1つ以上のdvUplinkを必要とし、外部ネットワーク
とのデータ通信を提供。
OVSvApp
Tenant
VM
Tenant
VM
br-sec
br-int
br-ethX
OVSvAppbr-sec
br-int
br-ethX
Data Port Group
vDS 1
Trunk Port Group
VM Port Group 1 VM Port Group 2
Tenant
VM
Tenant
VM
Mgmt Port Group
Management
Network
Data Network
Controller
Node

4-2. OVSvAppの内部構造
- Open vSwitch Bridgeの概要 -
Network
Node
ESXi (Compute Node) ESXi (Compute Node)
vDS 2
OVSvApp
Tenant
VM
Tenant
VM
br-sec
br-int
br-ethX
OVSvAppbr-sec
br-int
br-ethX
Data Port Group
vDS 1
Trunk Port Group
Tenant
VM
Tenant
VM
Mgmt Port Group
Management
Network
Data Network
Controller
Node
3種類のOpen vSwitch Bridgeを利用する。
Security Bridge
Integration Bridge
※VLAN構成の場合は、「br-ethX」を利用し、VXLAN構成の場合は、「br-tun」を利用。
Physical Bridge

4-2. OVSvAppの内部構造
- Open vSwitch Bridgeの詳細 -
Security Bridge (br-sec)
セキュリティグループのルールに基づいて、テナントVM
のトラフィックを扱うブリッジ。
Integration Bridge (br-int)
Security Bridgeと物理インターフェイス用ブリッジを接
続するためのブリッジ。
Physical Connectivity Bridge (br-ethX)
VLAN構成の際に使用し、物理ネットワークインター
フェイスとの接続を提供するためのブリッジ。
Tunnel Bridge (br-tun)
VXLAN構成の際に利用し、テナントVMのトラフィック
転送時に、VXLANトンネルを確立するためのブリッジ。
※VLAN構成の場合は、「br-ethX」を利用し、VXLAN構成の場合は、「br-tun」を利用。

- VM作成処理の流れ -
4-3. テナントVM作成処理フロー
テナントVM
作成要求
テナントVM
作成
ネットワーク
情報要求
ポートグルー
プの作成
vNICの接続
br-secの更
新
Nova-Compute vCenter vCenterOVSvApp OVSvAppNova-Compute
Security: VLAN
- ネットワーク隔離
- トラフィック制御
テナントVM作成時は、予めvNICの無いVMを作成してから、ネットワークの設定を行った
上で、vNICの接続を行う。

HorizonやCLIからVM作成を行うと、Nova compute-schedulerに従い、nova-compute
にVM作成要求が通知される。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
vCenter
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ① テナントVM作成要求 -
新規テナント
VMの作成
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成
vNICの接続 br-secの更新

Nova-computeからvCenterにVM作成要求が通知され、管理下の空きESXi上に、テナ
ントVMが作成される。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
vCenter
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ② テナントVM作成 -
管理しているESXiの空きリ
ソースを計算してVMを作成。
vNICの無いVMが作成さ
れる。
VM
DBに割当ポート情報を追加。
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成

VMが作成されると、OVSvAppに完了が通知され、Neutron Serverに割り当てられるネッ
トワークやセキュリティグループ情報を要求する。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
vCenter
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ③ テナントVMのネットワーク情報要求 -
VMが作成されたことを通
知。
割り当てられるネット
ワーク情報や、セキュリ
ティグループ情報を要求。
VM
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成

OVSvAppは、NeutornServerからVMのネットワーク情報を得たあと、vCenterにポートグ
ループの作成を要求する。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
vCenter
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ④ ポートグループの作成 -
Neutron Serverから得た
情報を元に、ポートグルー
プ(VLAN)の作成を要求
全てのOVSvAppにセキュリ
ティグループや割当ネット
ワークの情報を送信
VM
ポートグループ作成完了
をNova Computeに通知
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成

Nova-computeは、vCenterに対してvNIC追加を要求し、再構成後にVMをパワーONに
する。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ⑤ vNICの接続 -
テナントVMにvNICを追加
するように要求
VMを再構成し、パワー
ONにする。
VM
VMware
vCenter
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成

OVSvAppはSecurity Group情報を、Security Bridgeに反映し、Neutron Serverに状態
を更新して完了する。
vSphere
Horizon
(Dash Board)
Nova
Compute
Cinder
(Block Storage)
Neutron
Server
VMware
VCDriver
ESXi
Shared
Storage
VMware
VMDK
Driver
ESXi
OVSvApp
OVSvApp
- ⑥ Security Bridgeの更新 -
Portの管理状態(admin-
state)を更新
VM
VMware
vCenter
Security Bridgeに
セキュリティグルー
プを追加
Security Bridgeに
セキュリティグルー
プを追加
テナントVM作
成要求
テナントVM作
成
ネットワーク
情報要求
ポートグルー
プの作成

6-1. OpenStackとOVSvApp
- 物理構成例 -
Network Node ESXi (Compute Node)Controller Node ESXi (Compute Node)vCenter Server
OVSvApp
DB
Data Network
External Network
Management Network
Tenant
VM
Tenant
VM
vDS
br-sec
br-int
br-ethX
OVSvAppbr-sec
br-int
br-ethX
vDS
Trunk Port Group
Tenant
VM
Tenant
VM
Keystone
Neutron Server
Nova Scheduler
Glance
Message Queue
Networking
L3 Agent
Networking
DHCP Agent
Networking
Metadata Agent
Networking
Open vSwitch Agent
vSphere
API
Data Port Group Mgmt Port Group
Nova-Compute

6-2. OVSvAppのテナントVM作成フロー
- VLANベース -

6-2. OVSvAppのテナントVM作成フロー
- VXLANベース -

参考サイト URL
Neutron/Networking-vSphere
公式サイト
https://wiki.openstack.org/wiki/Neutron/Networking-vSphere
ソースコード https://github.com/openstack/networking-vsphere
OVSvApp Solution White Paper https://github.com/hp-networking/ovsvapp/blob/master/OVSvApp_ Solution.pdf
HP Helion OpenStack® 1.1 and 1.1.1:
Deploying and Configuring OVSvApp
on ESX hosts
http://docs.hpcloud.com/commercial/GA1/1.1commercial.install-GA-ovsvapp.html
Bringing ESX Deployments into
native OpenStack OVSvApp
http://www.slideshare.net/romilgupta19/bringing-esx-deployments-into-native-openstack-ovsvapp
6-3. References

HP Helion OpenStack は、HP自身が開発をリードしてきたOpenStackを機能強化して展開するソフトウェアディストリビューション製品で
す。クラウド環境を作りたいお客様の希望を、手軽にマルチベンダのプライベートクラウド環境として実現できます。
楽＆安心
• HPパブリッククラウド、OpenStackの運用経験とノウハウを製品に活かす
• OpenStackの可用性、拡張性、運用容易性を高める付加機能を搭載
(HA、負荷分散、インフラモニタリング、ログ管理、アップデート)
• インストーラーにより、環境全体を自動セットアップ
先進機能
• OpenStack Junoをベースに独自ノウハウ・機能を取り込み
(“Neutron DVR” 分散仮想ルーターなど)
リーズナブル
• CPUやメモリ量によらない、物理サーバー単位のサブスクリプション
• 魅力的なバンドル機能 (HP hLinux+KVM、DVR、StoreVirtual VSA、運用系機能)
概要
HP Helion OpenStack Distributionの特長と価値 HP Helionプロフェッショナルサービス
HP Helion OpenStack
クラウド基盤の企画/検証/導入からサービス立ち上げ/運用までの全てのフェーズ
において、OpenStackのエキスパートチームがお客様を強力に支援します。
OpenStack
設計
OpenStack
構築
OpenStack環境へ
の移行
ハイブリッドク
ラウドバック
アップ
ファイル共有
(HP Data Drive)
OpenStack
対応
ストレージ
クラウド利用
基準策定
検証支援アセスメント
HPのノウハウをOpenStack
ディストリビューションで
クラウド環境を構築
作る
• オープンスタンダードによる可搬性と互換性
• 進化し続けるオープンソースを活用
• パブリッククラウドとの共通アーキテクチャ
Open
• End to Endでセキュリティを確保
• 標準化と可視化で統制を容易にSecure
• 短期間でのITリソース提供を実現
• APIで制御可能なITリソースの提供
• 経済規模にあった投資
Agile
個別構築クラウド
使う
HP Helion Public Cloud
「あのクラウド」と価格面
でも真っ向勝負！世界最大の
OpenStackパブリッククラウド
HP Helion
OpenStack Distribution
パブリッククラウド
HP Helion OpenStack 共通アーキテクチャー

Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

More from Shingo Kitayama

More from Shingo Kitayama (6)

Recently uploaded

Recently uploaded (10)

Neutron OVSvApp -OpenStackでもESXiを使いたい方へ- (2015/10/25/ OSC Tokyo/Fall)