インフラエンジニアなら知っておきたいストレージのはなし ＠OSC 2012 Nagoya

2. プロフィール
島崎 聡史（twitter: @smzksts）
- 自宅SAN友の会 主宰
- Citrix Systems Japan K.KでSEをしています
- デスクトップ仮想化 ：XenDesktop
- サーバ仮想化 ：XenServer
- クラウド構築・管理 ：CloudStack
- 元メーカー系研修ベンダー講師：仮想化＆ストレージ講師
- VMware Certified Instructor, Xen, KVM,
Solaris Containers, Eucalyptus, Fujitsu ETERNUS, etc...
#jitakusan #oscnagoya Page 2

3. コミュニティ紹介
2010年4月23日 発足
- ML参加者 100名以上
自宅にSAN（Storage Area Network）の検証環境を
作りたい人のためのコミュニティ
コンセプト
- ストレージ技術を中心に、
自宅に無さそうなものを
自宅でやっちゃいましょう。
#jitakusan #oscnagoya Page 3

4. 本日のテーマ
ストレージの基礎
自宅SANの始めかた
#jitakusan #oscnagoya Page 4

5. ストレージの基礎
（を仮想化と絡めて）
#jitakusan #oscnagoya Page 5

6. ストレージとストレージシステム
「ストレージ」
- 補助記憶装置あるいは媒体そのもの
（HDD、SSD、ディスクアレイなど）
「ストレージシステム」
- コンピュータに大容量・高性能・高信頼性・高運
用性な補助記憶装置を提供する仕組み
- ディスクアレイ＋接続装置＋管理ツールなど
#jitakusan #oscnagoya Page 6

7. サーバ仮想化とストレージシステム
VM VM VM VM VM VM VM VM VM
ハイパーバイザ ハイパーバイザ ハイパーバイザ
Network
VMの VMの VMの
ISOイメージ
構成情報 仮想HDD テンプレート
共有ストレージ
#jitakusan #oscnagoya Page 7

8. 共有ストレージのメリット その1
ライブマイグレーション - VMを稼働させたまま
別ホストへ移動
VM VM VM VM - メモリデータの移動
ハイパーバイザ ハイパーバイザ - ハイパーバイザ間で
LAN LANを使用した通信
- 自動化により負荷分散にも応用
Network
- 移動先のホストからも
仮想HDD
同一の仮想HDDを
参照する必要がある
共有ストレージ
#jitakusan #oscnagoya Page 8

9. 共有ストレージのメリット その2
高可用性機能 - ホストの障害に巻き込まれて
ダウンしたVMを別ホストで
VM VM VM VM 自動的に再起動
ハイパーバイザ 死活監視 ハイパーバイザ - ライブマイグレーションではない
LAN
- 移動先のホストからも
Network 同一のVMの構成情報と
仮想HDDを
VMの
仮想HDD 参照する必要がある
構成情報
共有ストレージ
#jitakusan #oscnagoya Page 9

10. 共有ストレージのメリット その3
サーバ仮想化管理ツールとの連携・統合
- 管理インターフェースの統合や、I/O負荷のオフロードなど
- 例：ホストに負荷をかけずにVMをクローン
ディスクアレイ ディスクアレイ
（連携なし） （連携に対応）
#jitakusan #oscnagoya Page 10

11. サーバ仮想化にはストレージ
システムが欠かせない存在
↓
ストレージシステムの
基本を押さえよう！
#jitakusan #oscnagoya Page 11

12. ストレージシステムの構成要素
ディスクアレイ
（共有ストレージ）
さまざまな接続方式
管理ツール
#jitakusan #oscnagoya Page 12

13. ディスクアレイ（Disk Array）
ハードディスクなどの
記憶媒体を複数搭載して
RAIDを構成することで、
容量・性能・信頼性を高めた
外部記憶装置
#jitakusan #oscnagoya Page 13

14. ディスクアレイの例
ディスクがたくさん
※画像はウィキメディアから
#jitakusan #oscnagoya Page 14

15. RAIDグループとLUN
RAID RAID RAID
グループ グループ グループ
HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD
LUN
サーバからアクセス
LUN LUN
#jitakusan #oscnagoya Page 15

16. ディスクアレイのポイント①
ディスクの集約度と拡張性
- 2Uあたり 3.5インチ×12本、2.5インチ×24本 など
※弾数は負荷を分散するためにはとても重要
- ディスクシェルフ（エンクロージャ）の増設
- Q：多数の仮想マシンを格納する場合、どちらが良い？
- 12本(RAID 1+0)で構成したRAIDグループ1つ
- 4本(RAID 1+0)で構成したRAIDグループ3つ
#jitakusan #oscnagoya Page 16

17. 解答例：性能を重視した場合
A:4本(RAID 1+0)で構成したRAIDグループ3つ
考え方のポイント
多数のVMによる負荷＝多重負荷
＝各VMが時分割でI/Oを行う
＆HDD上での格納位置はバラバラ
＝ランダムアクセス
RAIDのストライプ本数が増えてもサイズの小さい
I/Oは高速化しない
#jitakusan #oscnagoya Page 17

18. 解答例：容量効率を重視した場合
12本(RAID 1+0)で構成したRAIDグループ1つ
1つのベースイメージから多数のVMを展開
（VMの差分コピー機能）
RAIDグループ（LUN）が別だと、
それぞれにベースイメージが必要
※ディスク容量単価の低下に比べて
性能に対する価格は下がりづらいため、
個人的には性能を重視した設計を勧めます。
#jitakusan #oscnagoya Page 18

19. ディスクアレイのポイント②
冗長化と耐障害性
- マザーボード、CPU、RAIDコントローラなどは、一般的
なサーバでは冗長化されない部分も冗長化
- 突然の電源断の際にもメモリ＋バッテリや
フラッシュメモリ＋コンデンサによりデータを保護
- 障害予兆検知により、RAIDグループを故障前にリビルド
- ハードウェアレベルでの破損ブロック検知と自動修復
#jitakusan #oscnagoya Page 19

20. ディスクアレイのポイント③
管理ツールの充実
- リッチなGUI
- 日本語対応か否か
運用の柔軟性
- RAIDグループの構成変更（RAIDレベル、アレイ本数）
※負荷がかかるため安易な利用は勧めない
- LUNのサイズ変更
#jitakusan #oscnagoya Page 20

21. ディスクアレイの接続方式
DAS(Direct Attached Storage)
- サーバと直付け
NAS(Network Attached Storage)
- ファイルサーバ
SAN(Storage Area Network)
- ストレージ用のネットワークによる接続
#jitakusan #oscnagoya Page 21

22. 接続方式による分類：SANとNAS
SAN NAS
→ディスクにアクセス →ファイルにアクセス
ストレージ用
ネットワークで接続
論理ディスク（LUN）
ファイルシステム
RAID制御 RAID制御
物理ディスク 物理ディスク
#jitakusan #oscnagoya Page 22

23. 要するに…
SAN接続タイプのストレージ
⇒外付けハードディスク
NASタイプのストレージ
⇒ファイルサーバ
#jitakusan #oscnagoya Page 23

24. ストレージのさまざまな接続方式
分類 タイプ アクセス 接続経路 主な速度 用途など
SAN Fibre ブロック Fibre Channel 8Gbps, 高速なSAN
Channel レベル 4Gbps
（FC）
iSCSI Ethernet 1Gbps, 安価なSAN
10Gbps
FCoE 拡張された 10Gbps SAN/LANの統合
Ethernet
NAS NFS ファイル Ethernet 1Gbps, UNIX系
レベル 10Gbps ファイル共有
CIFS Windows
ファイル共有
#jitakusan #oscnagoya Page 24

25. 仮想化ソフトごとに使える接続方式は異なる
Fibre Channel iSCSI FCoE NFS CIFS
VMware • VMFS • VMDK ×
vSphere • VMDK • ISO
• ISOイメージ
• Raw Device Mapping
Hyper-V • NTFS × • ISO
• VHD on NTFS
• パススルーディスク
Citrix • LVM • VHD • ISO
XenServer • 論理ボリュームを • ISO
VMに割り当て
• StorageLink
• LUNをVMに割り当て
#jitakusan #oscnagoya Page 25

26. 共有ストレージの注意点
コスト
性能 - 多数のVMの負荷が集中
- ディスクアレイの性能
- 接続経路の性能
耐障害性 - ストレージの障害は多数のVMに影響
- ディスクアレイの障害
- 接続経路の障害
設計・構築・管理の容易性
#jitakusan #oscnagoya Page 26

27. ここまでのまとめ
サーバ仮想化環境において
ストレージは非常に重要な位置づけ
サーバ仮想化ソフトと
ストレージタイプの組み合わせに注意
触ってみないとイメージしづらい…
家でやろう！
#jitakusan #oscnagoya Page 27

28. 家でやろう ～Fibre Channel 編～
ディスクアレイは買うと高いので自分
で作りましょう。
1. 使うソフトウェアを決める
2. ハードウェアをそろえる
3. 構築する
#jitakusan #oscnagoya Page 28

29. 1.使うソフトウェアを決める
今のところ2択（ほかにもあるらしい？）
- Linux + SCST(Generic SCSI Target Subsystem for Linux)
- モジュール組み込んでLinuxカーネルをビルドする気合い
- 対応ハードウェアはこちらのほうが手に入りやすい
- Solaris/COMSTAR
- SoalrisなのでZFSが使える
- 高機能
#jitakusan #oscnagoya Page 29

30. ２.ハードウェアをそろえる
 必要なもの
- FC-HBA
- ストレージ用（ターゲット）
- サーバ用
- FCケーブル
- FCスイッチ（接続台数が多い場合）
 ポイント
- 国内外のオークションサイトが安い
- SCST,COMSTARそれぞれ、ターゲットとして使えるFC-HBAに制限
あり。→購入前にそれぞれのWeb等で確認
#jitakusan #oscnagoya Page 30

31. 3.構築する
自宅SAN友の会 Webサイトを参照
http://sites.google.com/site/jitakusan/
#jitakusan #oscnagoya Page 31

32. 費用の目安（FC機材はすべて中古）
品目 価格
ストレージ用マシン ¥0～30K
サーバ用マシン お好みで
FC-HBA 2Gbps（PCI-X） ¥2～3K/port
4Gbps（PCI-Ex）¥12～18K/port
8Gbps（PCI-Ex）¥40K/port
FCケーブル ¥2～3K
FCスイッチ（8ports） ¥8～15K
#jitakusan #oscnagoya Page 32

33. 費用例（最少構成）
品目 品名 単価 数量 小計
ストレージ用 HP ML110G6 13K 1 13K
マシン
サーバ用 同上 同上 同上 13K
マシン
HBA Qlogic 2K 2 4K
QLA2340
FCケーブル LC-LC 2K 1 2K
マルチモード
合計 ¥32,000
#jitakusan #oscnagoya Page 33

34. 費用例（自宅）
品目 品名 単価 数量 小計
ストレージ用 HP ML115G5 40K 1 40K
マシン +ディスク増設
ディスク 富士通ETERNUS 105K 1 105K
アレイ DX60
FCスイッチ 富士通 14K 1 13K
ETERNUS SN200
Model430
サーバ Dell T105 40K 2 80K
HBA いろいろ 30K 6 30K
FCケーブル LC-LC 2K 8 16K
マルチモード
その他 ?
合計 軽自動車未満
#jitakusan #oscnagoya Page 34

35. 具体例（自宅）
19インチラックは簡易タイプのものが便利。 商用の2Uサイズのストレージ。下手に普通の棚
家族には「パソコンラック」と説明しましょう。 に置くより、19インチラックのほうがスッキリ
上の写真はサンワサプライのRAC-SV18U 収納でき、家族のクレームが出にくいかも。
#jitakusan #oscnagoya Page 35

36. まとめ
サーバ仮想化するならストレージはいいモノを。
勉強用と割り切れば、
型落ちの機材は安く手に入る
メタルラックは捨てて
19インチラックでスッキリ片付けよう！
（自宅なら簡易タイプで十分）
#jitakusan #oscnagoya Page 36

37. ご清聴ありがとうございました！
自宅SAN友の会 島崎 聡史(Twitter:@smzksts)
#jitakusan #oscnagoya Page 37