従来との互換性を保ちつつSoftware-Defined Storage (SDS) としての機能を強化したDRBD9と最新の運用管理ツールであるDRBD Manager (drbdmanage)の概要を紹介します。 DRBD9は多ノードリアルタイム同期レプリケーションを業界で初めて実現したソフトウェアで、InfiniBand RDMAサポートなどの先進的な機能を通じて優れたI/Oパフォーマンスを発揮します。

1. 15/08/05
Copyright 2015, ThirdWare Inc.
1
Data Protection by OSS!
Software-Defined Storage として大きく進化した
DRBD9 & drbdmanage
株式会社サードウェア
久保 元治
mkubo@3ware.co.jp

2. 15/08/05
Copyright 2015, ThirdWare Inc.
2
Data Protection by OSS!
DRBD8 のおさらい
アプリケーション
ファイルシステム
ページキャッシュ
DRBD
( プライマリ )
ディスクドライバ
Raw デバイス
NIC ドライバ
ディスク
スケジューラ
ディスク
TCP/IP
ネットワークカード
ディスク
NIC ドライバ
TCP/IP
ネットワークカード
DRBD
( セカンダリ )
ディスクドライバ
ディスク
スケジューラ

3. 15/08/05
Copyright 2015, ThirdWare Inc.
3
Data Protection by OSS!
DRBD8 のおさらい
● 2 ノードのリアルタイム・レプリケーション
● 通信回復時の完全自動再同期
● カーネルレベルの実装による高速性
● 160,000 IOPS 超
● ディスク読み込みの負荷分散
● 複数ボリュームの同時レプリケーション
● LAN 向けの同期、 WAN 向けの非同期
● Linux カーネルの一部 (2.6.33 、 2010 年 )
● Pacemaker との連携でシェアードナッシングを実現
DRBD
8
DRBD
8

4. 15/08/05
Copyright 2015, ThirdWare Inc.
4
Data Protection by OSS!
DRBD9 の新機能
● 最大 31 コネクションのレプリケーション
● ノード数は最大 32
● 自動プロモーション
● 多彩なトランスポート対応 (TCP 、 SCTP 、 RDMA)
● DRBD クライアント
● ストレージ自動再配置 SCTP: Stream Control Transmission Protocol
RDMA: Remote Direct Memory Access
DRBD
9
DRBD
9
DRBD
9 DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9 DRBD
9
DRBD
9
DRBD
9DRBD
9
DRBD
9
DRBD
9
DRBD
9

5. 15/08/05
Copyright 2015, ThirdWare Inc.
5
Data Protection by OSS!
自動プロモーション
● DRBD 8.x ● DRBD9
drbdadm primary <res>
mount /dev/drbdn /mnt mount /dev/drbdn /mnt
umount /dev/drbdn
drbdadm secondary <res>
umount /dev/drbdn

6. 15/08/05
Copyright 2015, ThirdWare Inc.
6
Data Protection by OSS!
DRBD9: トランスポート
TCP SCTP RDMA
Ethernet InfinibandSCI
various suppliers Mellanox etc.Dolphin Chelsio etc
IP
IPoIB
RoCESSOCKS TCP SCTP iWARP
Transport
Protocol
Hardware
Medium
DRBD9 の RDMA トランスポートは 430,000IOPS 超の高速レプリケーションを実現

7. 15/08/05
Copyright 2015, ThirdWare Inc.
7
Data Protection by OSS!
DRBD8 の管理ツール
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
● 事前に DRBD 領域用ブロックデバイスを作成しておく必要がある
● DRBD 設定ファイルは管理者が作成して配布しなければならない

8. 15/08/05
Copyright 2015, ThirdWare Inc.
8
Data Protection by OSS!
drbdmanage の必要性
● 管理者による drbd.conf の管理は限界
● 多数のリソース ( 名前、サイズ、レプリケーション数 )
● 多数のノード ( コネクション )
● 前後処理をまとめて自動化したい
● LVM ツール (lvcreate 、 lvresize)
● drbd.conf の自動生成と自動配布
● drbdadm ( リソース有効化と初期同期 )

9. 15/08/05
Copyright 2015, ThirdWare Inc.
9
Data Protection by OSS!
drbdmanage の機能と特徴
● DRBD リソースのプロビジョニングツール
● Python
● LV を管理
● 必要なノードに LV を作成
● 空き容量管理
● スナップショット管理
● DRBD9 自体を使ってデータベースを管理
● 数千ノードで動作するスケーラビリティ ( 開発中 )

10. 15/08/05
Copyright 2015, ThirdWare Inc.
10
Data Protection by OSS!
DRBD9 の管理ツール drbdmanage
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
drbdmanage daemon
drbdmanage
device mapper
dmsetup
LVM tools
● DRBD8 と同じ管理も可能だが、 drbdmanage が役立つ
drbdmanage
customized driver
D-bus

11. 15/08/05
Copyright 2015, ThirdWare Inc.
11
Data Protection by OSS!
drbdmanage
● drbdmanage init <IPaddr>
● drbdmanage の初期化
● drbdmanage add-node <host> <IP>
● DRBD9 実行ノードの追加
● drbdmanage new-volume <name> <size> --deploy <n>
● name: リソース名
● size: リソースサイズ
● n: 多重度 ( レプリケートするサーバ数 )

12. 15/08/05
Copyright 2015, ThirdWare Inc.
12
Data Protection by OSS!
スケールアウト
41 2 3
管理用ボリューム
drbdmanage が
管理するレプリケ
ーション領域
A A
BB
DD
drbdctrl
C
B
drbdctrl drbdctrl drbdctrl
C
サーバを追加する。
drbdmanage new-node
1 2 3 4 5
A A
BB
DD
drbdctrl
C
B
drbdctrl drbdctrl drbdctrl
C
drbdctrl

13. 15/08/05
Copyright 2015, ThirdWare Inc.
13
Data Protection by OSS!
スケールアウト
新しいボリュームの追加
負荷や空き容量を均一化するた
めに、既存ボリュームを再配置す
る ( オプション )
1 2 3 4 5
1 2 3 4 5
A A
BB
DD
drbdctrl
C
drbdctrl drbdctrl drbdctrl
C
drbdctrl
C
A A
B
DD
drbdctrl
B
drbdctrl drbdctrl drbdctrl
C
drbdctrl
C
B
E E E
A A
BB
DD
drbdctrl
C
B
drbdctrl drbdctrl drbdctrl
C
drbdctrl
B

14. 15/08/05
Copyright 2015, ThirdWare Inc.
14
Data Protection by OSS!
DRBD and OpenStack (Cinder)
DRBD + drbdmanage

15. 15/08/05
Copyright 2015, ThirdWare Inc.
15
Data Protection by OSS!
Cinder ドライバ
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
drbdmanage daemon
drbdmanage
device mapper
dmsetup
LVM tools
Cinder Driver
(drbdmanagedrv.py)
D-bus

16. 15/08/05
Copyright 2015, ThirdWare Inc.
16
Data Protection by OSS!
OpenStack: SAN ベースの構成
SAN ストレージ
SAN
Ethernet Neutron
Nova
Cinder
fibre channel switches
SAN ストレージ
ネットワーク
ストレージ
計算

17. 15/08/05
Copyright 2015, ThirdWare Inc.
17
Data Protection by OSS!
OpenStack: drbdmanagedrv.py
Ethernet
Ethernet Neutron
Nova
Cinder
network switches
ネットワーク
ストレージ
計算
レプリケーション用 HDD を内蔵する IA サーバ

18. 15/08/05
Copyright 2015, ThirdWare Inc.
18
Data Protection by OSS!
DRBD クライアント
A B C
A
B
CC C
A A
B B
DRBD クライアント
アプリ アプリ アプリ
DRBD9
ストレージクラスタ
アプリケーション
実行サーバ群

19. 15/08/05
Copyright 2015, ThirdWare Inc.
19
Data Protection by OSS!
DRBD クライアント
DRBD
クライアント
DRBD DRBD DRBD
アプリ
ファイル
システム
DRBD
クライアント
DRBD DRBD DRBD
アプリ
ファイル
システム
● ローカルストレージを持たない
DRBD
● アプリからの書き込みは全部の
「 DRBD サーバ」に冗長書き込み
● 読み込みは「 DRBD サーバ」から
分散読み込みできる

20. 15/08/05
Copyright 2015, ThirdWare Inc.
20
Data Protection by OSS!
DRBD
クライアント
DRBD DRBD DRBD
アプリ
ファイルシステム
DRBD クライアントによる iSCSI の置き換え
iSCSI
イニシエータ
DRBD DRBD DRBD
アプリ
ファイルシステム
iSCSI
ターゲット
iSCSI の代わりに
DRBD プロトコルを使用。
iSCSI のオーバヘッドを
削減。
ディスク I/O 関連の
レイヤを削減できる。ファイルシステム
LVM 他

21. 15/08/05
Copyright 2015, ThirdWare Inc.
21
Data Protection by OSS!
OpenStack: SAN レス構成
Ethernet Neutron
Nova
Cinder
ネットワーク
ストレージ
計算
レプリケーション用 HDD を内蔵する IA サーバ
高速半導体ストレージ、 RDMA による高速レプリケーション (10 万 IOPS 以上 )
Nova と Cinder の役割を融合
- コストダウン
- 性能向上

22. 15/08/05
Copyright 2015, ThirdWare Inc.
22
Data Protection by OSS!
フラットな遠隔レプリケーション
DRBD8
DRBD8
DRBD8
DRBD8
DRBD9 DRBD9 DRBD9
バックアップ
( ローカル )
DRBD9
HA クラスタ
バックアップ
( リモート )

23. 15/08/05
Copyright 2015, ThirdWare Inc.
23
Data Protection by OSS!
フラットな遠隔レプリケーション
DRBD 8
DRBD 8
DRBD 8
DRBD 8
DRBD
Proxy
DRBD
Proxy
DRBD
Proxy
バックアップ
( ローカル )
DRBD
Proxy
HA クラスタ
バックアップ
( リモート )
DRBD 9 DRBD 9 DRBD 9 DRBD 9

24. 15/08/05
Copyright 2015, ThirdWare Inc.
24
Data Protection by OSS!
パフォーマンス

25. 15/08/05
Copyright 2015, ThirdWare Inc.
25
Data Protection by OSS!
まとめ
● DRBD
● 10年以上の実績があるストレージ管理プロトコル
● 優れたI/Oパフォーマンス
● 多ノードリアルタイム同期レプリケーション(業界初)
● 同期・非同期(LAN・遠隔)混在も可能
● drbdmanageがデプロイメントを自動化
● コマンドラインツール(drbdmanage)
● D-bus
● スケールアウト型ストレージ・クラスタ
● OpenStack Cinder ドライバ(drbdmanagedrv.py)
● コモデティ製品によるコストダウン
● SSD/PCIeストレージによる高速化
● DRBDクライアントがSANレスを実現

26. 15/08/05
Copyright 2015, ThirdWare Inc.
26
Data Protection by OSS!
DRBD9 の入手
● プログラム
● http://oss.linbit.com/drbd/
● git://git.linbit.com/drbd-9.0.git
● 情報
● https://blog.3ware.co.jp/
● http://drbd.linbit.com/
● http://oss.linbit.com/
● お問い合わせ
● info@3ware.co.jp