KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)

Your Way to Data Protection
Linux-HA による仮想マシンクラスタ (KVM)
ioDrive2 + Infiniband による高性能化
株式会社サードウェア
久保　元治

Copyright 2011, ThirdWare Inc.
2
目次
● ローコストで高性能な KVM クラスタ
● ioDrive2 + Infiniband のパフォーマンス

3
「使える」仮想基盤の条件
● 物理サーバの障害に耐える可用性
● 複数物理サーバ間のライブマイグレーション
● 高信頼・高性能ストレージ
● 十分な実績とノウハウ

4
これまでの仮想基盤
SAN/NAS
ストレージ
仮想化
ホストサーバ
高性能・高信頼ストレージは高価
仮想化
ホストサーバ
仮想化
ホストサーバ

5
今日お話しする仮想化クラスタは
仮想化
ホストサーバ
＆
ストレージ
仮想化
ホストサーバ
＆
ストレージ
必要なのは 2 台の IA サーバのみ

6
Linux-HA によるストレージサーバ
● DRBD による完全同期リアルタイムレプリケーション
● 2 台以上のストレージに同一データを記録
● どちらかがクラッシュしても他のサーバで処理を継続
● Pacemaker/Heartbeat による高可用クラスタ
● サーバ故障時にフェールオーバして可用性を維持
● iSCSI ターゲット
● 各種アプライアンスにも採用されている LIO ターゲット
● NFS サーバ

7
サーバ 1
DRBD
LVM2
サーバ 1
DRBD ( プライマリ )
LVM2
iSCSI ターゲット
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
DRBD ( セカンダリ )
リアルタイム・レプリケーション
NFSNFS

8
サーバ 1
DRBD
LVM2
サーバ 1
LVM2
1 2 3 4
サーバ 1サーバ 2
NFS
サーバダウン！
物理サーバ障害時にフェールオーバ

9
KVM
● RHEL6 の標準機能
● ストレージサーバに仮想マシンを同居させることも可能

10
ストレージサーバ＋ KVM 仮想化
サーバ 1
DRBD
LVM2
サーバ 1
LVM2
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
NFSNFS
iSCSI イニシエータ iSCSI イニシエータ
KVM KVM
ゲスト
OS
1
ゲスト
OS
2
ゲスト
OS
3
ゲスト
OS
4

11
ストレージサーバ＋ KVM 仮想化
サーバ 1
DRBD
LVM2
サーバ 1
LVM2
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
NFSNFS
iSCSI イニシエータ iSCSI イニシエータ
KVM KVM
ゲスト
OS
1
ゲスト
OS
2
ゲスト
OS
3
ゲスト
OS
4
ライブマイグレーションも実現

12
機器構成例
SASSAS SASSAS
ioDrive2
eth0
ib0
eth3
SASSAS SASSAS
RAID (BBWC)
eth0
ib0
ib1
LAN
ioDrive2
Infiniband
RAID (BBWC)
iSCSIアクセス
DRBDレプリケーション

13
仮想マシンクラスタのメリット
● 外付け NAS/SAN ストレージ不要
● コストを抑えられる
● 省スペース、省電力
● ライブマイグレーション可能
● ストレージ一体化によるメリット
● スナップショットを使った仮想ディスクの集中バックアップ
● 災害対策
● DRBD Proxy を組み合わせた遠隔レプリケーション

14
パフォーマンス
● DRBD
● DRBD 8.4.3
● al-extents 6433
● sndbuf-size 、 rcvbuf-size は自動調整
● ファイルシステム
● xfs
● マウントオプション logbufs=8,logbsize=256k

15
● カーネルチューニング
● TCP パフォーマンスチューニング
/sbin/sysctl -q -w net.ipv4.tcp_timestamps=0
/sbin/sysctl -q -w net.ipv4.tcp_sack=0
/sbin/sysctl -q -w net.core.netdev_max_backlog=250000
/sbin/sysctl -q -w net.core.rmem_max=16777216
/sbin/sysctl -q -w net.core.wmem_max=16777216
/sbin/sysctl -q -w net.core.rmem_default=16777216
/sbin/sysctl -q -w net.core.wmem_default=16777216
/sbin/sysctl -q -w net.core.optmem_max=16777216
/sbin/sysctl -q -w net.ipv4.tcp_rmem="4096 87380 16777216"
/sbin/sysctl -q -w net.ipv4.tcp_wmem="4096 65536 16777216"

16
● pgbench
● PostgreSQL 9.2.4
● pgbench -i -s 1000 <database> ( 約 15GB)
● pgbench -c 100 -j 50 -T 600 <database>

17
ストレージサーバとしての性能
● 比較項目
● HDD (RAID1+0)
● HDD (RAID1+0) + 10GB NIC + DRBD
● HDD (RAID1+0) + Infiniband + DRBD
● ioDrive2 (785GB)
● ioDrive2 (785GB) + 10GB NIC + DRBD
● ioDrive2 (785GB) + Infiniband + DRBD

18
ioDrive2
PostgreSQL DRBD
PostgreSQL
DRBD
ioDrive2 ioDrive2
10G NIC
DRBD
PostgreSQL
DRBD
ioDrive2 ioDrive2
Infiniband
HDD
PostgreSQL
HDD
PostgreSQL DRBD
PostgreSQL
DRBD
HDD HDD
10G NIC
DRBD
PostgreSQL
DRBD
HDD HDD
10G NIC
DRBD
PostgreSQL
DRBD
HDD HDD
Infiniband
DRBD
PostgreSQL
DRBD
HDD HDD
Infiniband

19
なし C A C A なし C A C A
N/A Infiniband Infiniband 10G NIC 10G NIC N/A Infiniband Infiniband 10G NIC 10G NIC
HDD HDD HDD HDD HDD ioDrive2 ioDrive2 ioDrive2 ioDrive2 ioDrive2
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
pgbench ベンチマーク結果
tps
約20パーセントのオーバヘッド

20
ゲスト OS のディスクアクセス性能
● ゲスト OS 上で pgbench を実行
● 1 ゲストのみの実行
● 2 ゲストで同時実行
● …...
● 5 ゲストで同時実行

21
KVM クラスタ
HDD InfinibandInfiniband
ゲスト
1
ゲスト
2
ゲスト
3
ゲスト
4
ゲスト
5
pgbench pgbench pgbench pgbench pgbench
KVM クラスタ
ioDrive InfinibandInfiniband
ゲスト
1
ゲスト
2
ゲスト
3
ゲスト
4
ゲスト
5
pgbench pgbench pgbench pgbench pgbench

22
ストレージ
(HDD または ioDrive2)
DRBD
iSCSI イニシエータ
Infiniband
KVM (virtio)
ゲスト OS
多数のレイヤが介在
パフォーマンス的には不利

23
0
500
1000
1500
2000
2500
3000
pgbench ベンチマーク結果
複数ゲストで同時にベンチマークを実行
ゲスト5
ゲスト4
ゲスト3
ゲスト2
ゲスト1
tps
<===========ioDrive2===========><============HDD============>
ゲストを増やしても
ゲストあたりの処理能力は
あまり低下しない

24
パフォーマンス試験結果
● レプリケーションによるオーバヘッドは存在する
● DRBD 8.4.3 は約 20 ％と推定
● DRBD 8.3 は半分以下に低下
● Infiniband と 10G NIC の差はほとんどない

25
パフォーマンスについて
● ioDrive はやはり速い！
● 単体性能は HDD (RAID 1+0) の 10 倍以上
● DRBD オーバヘッドの影響は受けるが、それでも HDD より
10 倍程度速い
● ゲスト OS で DB を同時実行しても、ほぼリニアに性能が伸び
る (HDD ベースの物理サーバよりも高速！ )

26
仮想マシンクラスタの用途
● 物理サーバベースの DB のマイグレーション
● 複数 DB を同時に稼働させても、数年前の物理サーバよりも
数倍以上高速なトランザクションが期待できる
● 部門単位または中小企業のサーバ統合・仮想化
● 仮想マシンの災害対策
● DRBD Proxy との併用

KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)

Semelhante a KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都) (20)

Último

Último (11)

KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)