More Related Content
Similar to AHVでみるCVM Autopathの仕組み (20)
AHVでみるCVM Autopathの仕組み
- 1. © 2016 IIJ Global Solutions Inc. 1
株式会社IIJグローバルソリューションズ
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
AHVでみるCVM Autopathの仕組み
Nutanix Community Meetup #11
- 2. © 2016 IIJ Global Solutions Inc. 2
本日の内容
1.自己紹介 / 会社紹介
2.はじめに
3.検証環境の構成について (Nutanix CE Nested on ESXi)
4.Autopathの仕組み
5.まとめ
※時間がなかったので軽めです、スミマセン… 営業が…
- 4. © 2016 IIJ Global Solutions Inc. 4
おおかわ かずひと 0x21歳
• Twitter@SatchanP (意識低い系)
• IIJグローバルソリューションズ アカウントSE
• プリ & ポストセールス 設計 構築 運用 障害対応(なんでも屋)
• 元ウェブ系インフラエンジニア
• 得意言語 : C Perl Python
• 苦手言語 : Java Ruby
• 二次属性 : アイマス (やよい 真美)
: 東方 (フランちゃん 咲夜さん)
: 艦これ (Верный 響)
• 趣味 : 自動車ラリー(Driver/Co-Driver)
: 自転車
: ダム巡り ダムカード集め
• 実はNPP受験してません!
自己紹介
- 6. © 2016 IIJ Global Solutions Inc. 6
Nutanix CEにも使える自作サーバTipsについてはコチラ
• 自作サーバー同窓会 #6 kauli自作サーバの歴史と稼働率向上施策
@SatchanP
https://www.youtube.com/watch?v=291qvUwKNsg
- 8. © 2016 IIJ Global Solutions Inc. 8
• 株式会社 IIJグローバルソリューションズ
• インターネットイニシアティブ 100%持ち株子会社
• もともとIBMのNW部門
• 法人向けネットワークインテグレーションが強み
• 新たな事業の柱として基盤まるごとやることに
• 手を動かせるサーバ得意なエンジニアがまだ数名
• 最近会社のイベントがあるときは高確率で出張なことが多い
(タダ酒飲みたい…)
軽く会社紹介
- 10. © 2016 IIJ Global Solutions Inc. 10
まず最初にCVM Autopathとは
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
CVM障害時にハイパーバイザまで巻き込まれない冗長化機能
NDFS
Storage
NFS
- 11. © 2016 IIJ Global Solutions Inc. 11
• セミナーで講師をしていたちょっと綺麗なお姉さん(たぶん年
下)から、CVMはAutopathがあるから落ちても「大・丈・
夫☆」とだけ説明してもらう
• その場では質問までいたらず
• 「誰かに聞かれたときにやっぱ説明できないとまずいよね」
と思い調査
• 冗長化の仕組みとか説明できないとSEtositeださい!
• 動作確認自体は以前に自宅Nutanix CEクラスタで確認ずみ
• 要望もあり社内用の検証環境を作るついでに、改めて動作確
認と説明用の資料集め
CVM Autopathに疑問を持ったわけ
- 12. © 2016 IIJ Global Solutions Inc. 12
3. 検証環境の構成について
Nutanix CE Nested on ESXi
- 13. © 2016 IIJ Global Solutions Inc. 13
• ネストした構造の動かし方(HV on HV…)
• ハードウェアエミュレーションのため
スペックが厳しいCVMを割と楽に並べてクラスタが組める
※具多的なスペックは後述
• ただしパフォーマンスはお察し
• clusterコマンドがないって焦ったらAHVだった
という笑い話も
Nutanix CE on Nested ESXiとは
ESXi
KVM
Nested
- 14. © 2016 IIJ Global Solutions Inc. 14
コア数は論理拡張前提、そこそこのスペックがあれば動作可能
参考 : 平均 約1.6GHz / 1CVM
3台クラスタなら 2GHz 4Core もあれば十分
Nutanix CE Nested on ESXi ハードウェアスペック目安 (CPU)
- 15. © 2016 IIJ Global Solutions Inc. 15
気になるメモリ使用量
参考 : 平均 約13G Byte / 1CVM
メモリのオーバーコミット(シェアード, 圧縮)を考慮すると
ざっくり最低 32GByte ※RF2
Nutanix CE Nested on ESXi ハードウェアスペック目安 (メモリ)
- 16. © 2016 IIJ Global Solutions Inc. 16
• CPU : Core i5 / i7
• メモリ : 32GByte
• HDD : 500Gくらい(シンプロピジョニング)
• SSD : なくても動く
• NIC : 1口(ESXiに対応してるもの)
• ESXiが評価版でいいならパソコンを使えば10万かからない
※当然これで動かなくても保証できません、挑戦者もとむ!
Nutanix CE Nested on ESXi クラスタ最低(?)ハードウェア構成
- 17. © 2016 IIJ Global Solutions Inc. 17
• 基本はネットに落ちている通り
• バーチャルポートグループの無差別(promiscuous)モード
を有効にしないと、CVMが外と通信することができない
Nutanix CE Nested on ESXi 構築時注意すること
ESXi
vDS, vSS
KVM
CVM
00:00:00:00:00:aa
AHV
00:00:00:00:00:bb
VPort1
00:00:00:00:00:bb
しか通過できない
Bridge
- 18. © 2016 IIJ Global Solutions Inc. 18
• IIJ GIO/VW上に構築 (従量なNutanix On Demandが嫌という時は是非w)
• VMware ESXi 5.5
• Nutanix CE 3VM
• HDD : iSCSI 500GB
• SSD : なし
• NIC : GIOサービスに準じる(NWサービス2口)
検証環境のHW構成について
- 19. © 2016 IIJ Global Solutions Inc. 19
検証環境構成図
ESXi
(GIO VW)
AHV
NFS
iSCSI
vDS
KVM
CVM
A
AHV
KVM
CVM
B
AHV
KVM
CVM
C
vPort-Group-LAN1
- 20. © 2016 IIJ Global Solutions Inc. 20
4. Autopathの仕組み
- 21. © 2016 IIJ Global Solutions Inc. 21
• 知れば納得、超シンプル
1) Zookeeperがノード障害を検知
2) 障害検知後、CVM障害を起こしたHVの設定を変更する
(Zeus?)
3) CVM宛の通信経路をNW的に生きてるノードに曲げる
4) Autopath フェイルオーバー成功
Autopath の仕組みについて
- 22. © 2016 IIJ Global Solutions Inc. 22
CVM Autopath を図にすると
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
NDFS
Storage
NFS
192.168.5.2
192.168.5.2
192.168.5.1
- 23. © 2016 IIJ Global Solutions Inc. 23
192.168.5.0/24のダイレクトコネクトで経路をあてている
Autopath の仕組みについて (Before)
- 24. © 2016 IIJ Global Solutions Inc. 24
/32のロンゲストマッチで192.168.5.0/24より優先してファ
イルオーバーホストの192.168.5.102に向けている?
Autopath の仕組みについて (After)
- 25. © 2016 IIJ Global Solutions Inc. 25
ZookeeperがCVM障害を検知
10:50:58,604 - 10.5.1.101(CVM A) Timeout
Autopath の仕組みについて (Zookeeperのログ)
- 26. © 2016 IIJ Global Solutions Inc. 26
Autopath の仕組みについて (Zookeeperのログ)
ZookeeperがCVM Aを無慈悲に切り離し
10:51:00,700 - 10.5.1.101(CVM A) グッバイフォーエバー
- 28. © 2016 IIJ Global Solutions Inc. 28
• 期待していたほど難しいことはなにもしてなかった
(思ってたほど大物のネタにならなかった…)
• ソフトウェアで冗長性を確保するNutanixらしいいい例
• HWばっかにお金かけるI○Mとか少しは見習ってほしい
• 手抜きでゴメンナサイ…
CVM Autopath まとめ
- 29. © 2016 IIJ Global Solutions Inc. 29
ご清聴ありがとうございました
お問い合わせ先 株式会社IIJグローバルソリューションズ
TEL: 03-6777-5700
info@iijglobal.co.jp
http://www.iijglobal.co.jp/