Osc2012 tokyo fall_home_san_nayamaguti

Solaris 11 11/11で
FCターゲットを作ってみる
オープンソースカンファレンス
2012 Tokyo/Fall
自宅ＳＡＮ友の会(#jitakusan)
Noriyuki Yamaguchi(@n_yamaguti)

自己紹介
富士通関西中部ネットテックという会社に勤務して
ます
基本ネットワークＳＥです。
CCIE R&S持ってます
ＩＳＰのネットワークが得意なんですが。。仮想化
方面も少々。。
基本愛知県在住ですが。。最近関東に召喚されぎみ
です。。。
セキュリティ方面も少々。。
このへんに出没してます
ISACA名古屋支部 (www.isaca-nagoya.org)
産学連携IPv6実験地域ネットワーク研究会(v6tokai)

ＦCターゲットとは
ファイバーチャネル（FC）で繋がるDISKアレイ装置
のこと
有名どころですと富士通とか、ＥＭＣとかＮｅｔＡ
ｐｐとかから専用装置がでてますが、高価です。

今回は、廉価にFCストレージを
PCサーバで作ってしまうお話で
す。

ORACLE Solaris 11 11/11
2011年11月11日にリリース？
ORACLEになっちゃいました
最新ストレージシステムZFSv33搭載(ファイルシステ
ムバージョン5、ストレージプールバージョン33)。
ZFS暗号化、重複排除機能、仮想化対応、フラッシュ
ストレージ対応。
ＣＯＭＳＴＥＲでiSCSI,FCなどのターゲットになれ
る
けっこう昔のSolarisと使い勝手が違います。。。
ＯＴＮっていうライセンスで配布されてます。。残
念ながら商用ライセンスです。個人で遊びで使う分
には無償でいいはず。。です（自己の判断でお願い
します）

ZFS （Zetta byte File System）
世界初の１２８ｂｉｔファイルシステム
 ファイルシステムの上限 25京6000兆ZB !!

ストレージプールにより物理的なデバイス構成から
完全に独立
 物理ディスク、ディスクパーティション、実ファイルなどをまとめて、
１つの仮想的なストレージデバイスである「ストレージプール」を構成

CPUパワー必要
メモリーいっぱいあったほうが幸せ

Hybrid Storage Pool
SSD（Solid State Drive）をファイルシステムの
キャッシュとして扱う「Hybrid Storage Pool」を構
成することが可能

• ARC（Adaptive Replacement Cache）は、サーバのDRAM上にあるZFSのメモリ
キャッシュで、1次キャッシュとして動作
• L2ARC（Level 2 Adaptive Replacement Cache）は、ARCのRead用拡張2次キャッ
シュであり、SSDを適用することでRead速度の向上を促します。
• ZIL（ZFS Intent Log）は、ZFSのWriteログ領域であり、SSDを適用することでWrite
速度の向上を促します。
• Disk Storage Poolは、HDD群で構成

ZFSでサポートされるディスクの冗長構成
ストレージプールにディスクを登録するときに冗長
構成を指定
非冗長
• ストライピング(RAID-0)

ミラー
ストレージプール • 複数麺ミラーも可能(RAID-1)

RAID-Z
物理物理物理 • シングルパリティ(RAID-5に類似)
DISK DISK DISK
RAID-Z2

• ダブルパリティ(RAID-6に類似)

RAID-Z3

• トリプルパリティ

COMSTER（Common Multiprotocol SCSI TARget)

Oracle Solaris 11 ホストを SCSI ターゲットデバイス
に変換可能なソフトウェアフレームワーク
サポートされるストレージプロトコルは、iSCSI、
FC、iSER、および SRP
カーネルで処理するので早い

これで、FCターゲットが作れま
す!!

QLogic 4G HBAを用意する
Qlogicの4G HBA が必要です(8GもＯＫでした)
2Gはだめです
Emulexでも行けるらしいですがうまくいったという
実績がないです（うまくいったら教えてください）
FC SWがなければ直結も可能

QLogic QLE2462 4G PCI-e Dual Port HBA Adapter

OSのインストール
ＯＲＡＣＬＥのホームページからダウンロード可能
（試用版？）
OSのインストールから説明すると大変なので省略し
ます
1本目のHDDの最初のパーティション42GBくらいを
作ってOSをインストールします

DISKの計画
 SATA 2TB HDD×4本
 ZFS ZIL用に20G SSD×1本
 ZILとL2ARCどちらかを選ぶとすればZILを優先させたほうが
いい
 OS用のDISKとかもったいないので、頭にちょっとだけ切り分
けてみる。。
 OS吹っ飛ぶと大変なのでミラーする
 実はマニュアルにp* 識別子は使用しないでくださいと書いて
あったことは見なかったことにする
41.9GB c3t0d0s0 c3t1d0s0

1958GB c3t0d0p2 c3t1d0p2 c3t2d0 c3t3d0

c3t5d0
Seagate 2T Seagate 2T Seagate 2T Seagate 2T INTEL 20G SSD
HDD HDD HDD HDD Intel SSD 311
ST2000DL003 ST2000DL003 ST2000DL003 ST2000DL003

DISKの計画
 1本目と2本目の頭のパーティションをmirrorで構築
 1本目と2本目の残りと3本目、4本目で今回はraid-z1を構成
 SSDはZILに使用

41.9GB c3t0d0s0
OS用rpool mirror
c3t1d0s0

tank raid-z1

1958GB c3t0d0p2 c3t1d0p2 c3t2d0 c3t3d0 ZIL

c3t5d0
Seagate 2T Seagate 2T Seagate 2T Seagate 2T INTEL 20G SSD
HDD HDD HDD HDD Intel SSD 311
ST2000DL003 ST2000DL003 ST2000DL003 ST2000DL003

DISKの計画
 ストレージプール（tank）の中にzvol（fc_esx01）を作成
 作成したzvolにLUを作成
 Host Groupにtagetへ接続できるイニシエータのwwnを登録

ストレージプール wwn.10000000C96976D7

tank 6TB
LU:
zvol 600144F0AEAE0F0000004ECD1BA10001

fc_esx01 Host Group: fc-esx HBA
1TB Member: wwn.5001438000C2DE0E FC SW
Member: wwn.10000000C96976D7
Member: wwn.10000000C95FBC3E

wwn.5001438000C2DE0E

wwn.10000000C95FBC3E

作業の流れ
rpoolのmirror化
zpoolの作成
ZILの追加
COMSTERのインストール
FCドライバーの入れ替え
zvolの作成
LUの作成
Host Groupの作成
Viewの作成

rpoolのmirror化
rpoolとはOSのインストールされたストレージプール
OSをインストールした（c3t0d0）側のパーティショ
ン情報を確認する（シリンダー表示）
# parted /dev/dsk/c3t0d0p0 u s p
Model: Generic Ide (ide)
Disk /dev/dsk/c3t0d0p0: 3907029168s
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number Start End Size Type File system
Flags
1 64260s 81867239s 81802980s primary solaris
boot
2 81867240s 3907024064s 3825156825s primary

・c3t0d0p0は正常に動作中。
・mirrorにするHDDはパーティションが切れていない
ため、OSをインストールしたHDDから情報をメモる

rpoolのmirror化
さきほどメモしたシリンダー情報をもとにpartedで新
しいHDDにパーティションを作成（c3t1d0s0）
# parted /dev/dsk/c3t1d0p0
GNU Parted 2.3.0
Using /dev/dsk/c3t1d0p0
Welcome to GNU Parted! Type 'help' to view a list of
commands.
(parted) u s
us
(parted) mkpart
mkpart
Partition type? primary/extended? primary
primary
File system type? [ext2]? solaris
solaris
Start? 64260s
64260s
End? 81867239s
81867239s
Warning: The resulting partition is not properly aligned for best
performance.
Ignore/Cancel? I

・シリンダーで合わせておかないと、正常にmirrorが構成でき
ない？

rpoolのmirror化
さきほどメモしたシリンダー情報をもとに新しい
HDDにパーティションを作成（c3t1d0p2）

(parted) mkpart
mkpart
primary
File system type? [ext2]?

Start? 81867240s
81867240s
End? 3907024064s
3907024064s
performance.
Ignore/Cancel? i
I

rpoolのmirror化
boot flagを設定する

(parted) set
set
Partition number? 1
1
Flag to Invert? boot
boot
New state? [on]/off?

rpoolのmirror化
作成したパーテション情報を確認する

(parted) p
p

Number Start End Size Type File system
Flags
1 64260s 81867239s 81802980s primary
boot
2 81867240s 3907024064s 3825156825s primary

(parted) quit

・c3t0d0と同じになっていればOK

rpoolのmirror化
rpoolにc3t0d0s0とc3t1d0s0をmirrorで追加
# zpool attach -f rpool c3t0d0s0 c3t1d0s0
Make sure to wait until resilver is done before rebooting.
# zpool status
pool: rpool
state: ONLINE
status: One or more devices is currently being resilvered.
The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Thu Nov 24 01:16:34 2011
513M scanned out of 9.50G at 8.56M/s, 0h17m to go
513M resilvered, 5.28% done
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c3t0d0s0 ONLINE 0 0 0
c3t1d0s0 ONLINE 0 0 0 (resilvering)

errors: No known data errors

Solaris 11は標準でzfsでファイルシステムが作成される

zpoolの作成
raid-z1でストレージプール（tank）を作成

# zpool create -f tank raidz c3t0d0p2 c3t1d0p2 c3t2d0
c3t3d0
# zpool status tank
pool: tank
state: ONLINE
scan: none requested
config:

tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c3t0d0p2 ONLINE 0 0 0
c3t2d0 ONLINE 0 0 0
c3t3d0 ONLINE 0 0 0


ZILの追加
tankにZILを追加する

# zpool add tank log c3t5d0
# zpool status tank
pool: tank
state: ONLINE
scan: resilvered 864G in 31h39m with 0 errors on Fri Feb
24 10:21:44 2012
config:

tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c3t2d0 ONLINE 0 0 0
c3t3d0 ONLINE 0 0 0
logs
c3t5d0 ONLINE 0 0 0

パッケージの追加
COMSTERのインストール

# pkg install storage-server
インストールするパッケージ: 22
ブート環境の作成: いいえ
バックアップブート環境の作成: はい
変更するサービス: 1

ダウンロードパッケージファイル転送 (MB)
Completed 22/22 1037/1037 60.6/60.6

フェーズアクション
インストールフェーズ 1903/1903

フェーズ項目
パッケージ状態の更新フェーズ 22/22
イメージ状態の更新フェーズ 2/2

FCドライバーの入れ替え
QLOGICドライバの確認

# mdb -k
Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc
pcplusmp scsi_vhci zfs sata sd ip hook neti arp usba uhci kssl qlc fctl
sockfs lofs random idm nfs sppp fcp crypto cpc fcip nsmb logindmux
ptm ufs ipc md stmf nsctl sdbc rdc sv stmf_sbd smbsrv ii ]
> ::devbindings -q qlc
ffffff02bdcc7968 pciex1077,2432, instance #0 (driver name: qlc)
ffffff02bdcc7698 pciex1077,2432, instance #1 (driver name: qlc)
> $q

デフォルトはqlc（イニシエータモード）ドライバーを使用

qlcドラバからqltドライバに変更

# update_drv -d -i 'pciex1077,2432' qlc
Cannot unload module: qlc
Will be unloaded upon reboot.
# update_drv -a -i 'pciex1077,2432' qlt
devfsadm: driver failed to attach: qlt
Warning: Driver (qlt) successfully added to system but failed to attach

qlｔ（ターゲットモード）ドライバーを使用するとFC ｔａｒ
ｇｅｔで使用可能

リブートする

# init 6
updating //platform/i86pc/boot_archive
updating //platform/i86pc/amd64/boot_archive

リブート後qlｔ（ターゲットモード）ドライバーが使用可能

QLOGICドライバの確認

# mdb -k
Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc
pcplusmp scsi_vhci zfs sata sd ip hook neti arp usba uhci kssl fctl stmf
stmf_sbd sockfs md random idm crypto cpc fcip nfs lofs logindmux ptm
ufs sppp ipc ]
> ::devbindings -q qlc
> ::devbindings -q qlt
ffffff02bdcc7968 pciex1077,2432, instance #0 (driver name: qlt)
ffffff02bdcc7698 pciex1077,2432, instance #1 (driver name: qlt)
>

qlｔ（ターゲットモード）ドライバーに変更されていることを
確認する

ターゲットモードフレームワークが HBA ポートにア
クセスできることを確認します

# stmfadm list-target -v
Target: wwn.2101001B3237C668
Operational Status: Online
Provider Name : qlt
Alias : qlt1,0
Protocol : Fibre Channel
Sessions :1
Initiator: wwn.10000000C95FBC3E
Alias: -
Logged in since: Mon Feb 20 03:10:04 2012
Target: wwn.2100001B3217C668
Provider Name : qlt
Alias : qlt0,0
Protocol : Fibre Channel
Sessions :1
Initiator: wwn.10000000C96976D7
Alias: -
Logged in since: Mon Feb 20 03:09:56 2012

zvolの作成
ストレージプール（tank）に1Tの容量でfc_esx01と
いう名前でzvolを作成

# zfs create -V 1T tank/fc_esx01

LUの作成
作成したzvolを指定してLUを作成

# stmfadm create-lu /dev/zvol/rdsk/tank/fc_esx01
Logical unit created:
600144F0AEAE0F0000004ECD1BA10001
# stmfadm list-lu -v
LU Name: 600144F0AEAE0F0000004ECD1BA10001
Provider Name : sbd
Alias : /dev/zvol/rdsk/tank/fc_esx01
View Entry Count : 0
Data File : /dev/zvol/rdsk/tank/fc_esx01
Meta File : not set
Size : 1099511627776
Block Size : 512
Management URL : not set
Vendor ID : SUN
Product ID : COMSTAR
Serial Num : not set
Write Protect : Disabled
Writeback Cache : Enabled
Access State : Active

ESXiのWWNの調査
構成→ストレージアダプタ→FCカード選択

右側の値で:をす
べて削除して頭
にwwn.をつける

Host Groupの作成
Host Group fc-esxを作成しESXiのwwnを登録

# stmfadm create-hg fc-esx
#stmfadm add-hg-member -g fc-esx wwn.5001438000C2DE0E
#stmfadm add-hg-member -g fc-esx wwn.10000000C96976D7
#stmfadm add-hg-member -g fc-esx wwn.10000000C95FBC3E
# stmfadm list-hg –v
Host Group: fc-esx
Member: wwn.5001438000C2DE0E
Member: wwn.10000000C96976D7
Member: wwn.10000000C95FBC3E

ＥＳＸiの画面で調べたwwnを変換して指定する
10:00:00:00:c9:69:76:d7 → wwn.10000000C96976D7

Viewの作成
これまでに作成した Host Group, LUを紐づけるView
を作成します。

# stmfadm add-view -h fc-esx 600144F0AEAE0F0000004ECD1BA10001
# stmfadm list-view --lu-name 600144F0AEAE0F0000004ECD1BA10001
View Entry: 0
Host group : fc-esx
Target group : All
LUN :0

Host Groupで指定したwwnのESXiからだけ接続できる指定

ESXiから接続
再スキャンしてデバイス表示されればＯＫ

HDD故障時の対応
zpoolの確認 (rpool)
# zpool status rpool
pool: rpool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
repaired.
scan: resilvered 10.7G in 0h11m with 0 errors on Thu Feb 2 00:37:41 2012
config:

NAME STATE READ WRITE CKSUM statusが
rpool DEGRADED 0 0 0 DEGRADEDとなり、
mirror-0 DEGRADED 0 0 0
c3t0d0s0 FAULTED 4 63 0 too many errors c3t0d0s0が故障!!


Ｓｅａｇａｔｅ根性なさすぎなのか壊れまし

zpoolの確認 (tank)
# zpool status tank
pool: tank
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
repaired.
scan: resilvered 851G in 25h40m with 0 errors on Fri Feb 3 02:29:42 2012
config:
statusが
NAME STATE READ WRITE CKSUM DEGRADEDとなり、
tank DEGRADED 0 0 0 c3t0d0p0が故障!!
raidz1-0 DEGRADED 0 0 0
c3t0d0p2 FAULTED 6 10 0 too many errors
c3t2d0 ONLINE 0 0 0
c3t3d0 ONLINE 0 0 0
logs
c3t5d0 ONLINE 0 0 0


どうぜん、こっちも故障しますよ

SATAの状態確認

# cfgadm
Ap_Id Type Receptacle Occupant Condition
Slot128 unknown empty unconfigured unknown
Slot129 unknown connected configured ok
sata6/0 sata-port disconnected unconfigured failed
sata6/1::dsk/c3t1d0 disk connected configured ok
sata6/4 sata-port empty unconfigured ok

sata6/0がdisconnectedとなりHDDが見えなくなっ
ている

故障HDDをホットスワップで交換し、認識させる

# cfgadm -f -c configure sata6/0
# cfgadm
Ap_Id Type Receptacle Occupant Condition
Slot128 unknown empty unconfigured unknown
Slot129 unknown connected configured ok
sata6/4 sata-port empty unconfigured ok

sata6/0がconnectedとなり新しいHDDが
認識

MirrorしているHDDの正常なHDD（c3t1d0）側の
パーティション情報を確認する（シリンダー表示）

# parted /dev/dsk/c3t1d0p0 u s p

Number Start End Size Type File system Flags
1 64260s 81867239s 81802980s primary solaris boot
2 81867240s 3907024064s 3825156825s primary

・c3t1d0p0は正常に動作中。
・交換したHDDはパーティションが切れていないた
め、正常に動作してるHDDから情報をメモる

さきほどメモしたシリンダー情報をもとにpartedで新
しいHDDにパーティションを作成（c3t0d0s0）
# parted /dev/dsk/c3t0d0p0
GNU Parted 2.3.0
Using /dev/dsk/c3t0d0p0
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) u s
us
(parted) mkpart
mkpart
primary
File system type? [ext2]? solaris
solaris
Start? 64260s
64260s
End? 81867239s
81867239s
Warning: The resulting partition is not properly aligned for best performance.
Ignore/Cancel? I

・シリンダーで合わせておかないと、正常に
mirrorが構成できない？

さきほどメモしたシリンダー情報をもとに新しい
HDDにパーティションを作成（c3t0d0p2）

(parted) mkpart
mkpart
primary
File system type? [ext2]?

Start? 81867240s
81867240s
End? 3907024064s
3907024064s
performance.
Ignore/Cancel? i
I

boot flagを設定する

(parted) set
set
Partition number? 1
1
Flag to Invert? boot
boot
New state? [on]/off?

作成したパーテション情報を確認する

(parted) p
p

Number Start End Size Type File system Flags
1 64260s 81867239s 81802980s primary boot
2 81867240s 3907024064s 3825156825s primary

(parted) quit

・c3t1d0と同じになっていればOK

zpool（tank）の修復を行います
# zpool replace tank c3t0d0p2
# zpool status tank
pool: tank
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
scan: resilver in progress since Thu Feb 23 02:42:40 2012
773G scanned out of 3.38T at 10.2M/s, 74h52m to go
193G resilvered, 22.37% done 100%になれば修復完
config:
了
tank DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
replacing-0 DEGRADED 0 0 0
c3t0d0p2/old FAULTED 6 10 0 too many errors
c3t0d0p2 ONLINE 0 0 0 (resilvering)
c3t2d0 ONLINE 0 0 0
c3t3d0 ONLINE 0 0 0
logs
c3t5d0 ONLINE 0 0 0


zpool（rpool）の修復を行います
# zpool replace -f rpool c3t0d0s0
# zpool status rpool
pool: rpool
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
scan: resilver in progress since Fri Feb 24 23:51:16 2012
189M scanned out of 12.9G at 8.20M/s, 0h26m to go
188M resilvered, 1.43% done 100%になれば修復完
config: 了
rpool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
replacing-0 DEGRADED 0 0 0
c3t0d0s0/old FAULTED 4 63 0 too many errors
c3t0d0s0 ONLINE 0 0 0 (resilvering)


・mirrorの場合-fで強制的に実行しないと修復できない場合があ
る


grubの修復を行います
# installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c3t0d 0s0
Solaris fdisk partition is inactive.
stage2 written to partition 0, 282 sectors starting at 50 (abs 64310)
stage1 written to partition 0 sector 0 (abs 64260)

まとめ
Solaris11は商用ＯＳですが、とりあえず使う分には
無料です
ZFSを作ったのはＳunだということを忘れないで
ね。。
根性無しのHDDを使っててもZFSなら安心です
ＣＯＭＳＴＥＲは安定してますよ～
ＱＬＯＧＩＣの4Gはヤフオク相場もそこそこ安いで
すよ

意外と簡単で商用スペックのストレージが作れ
ますので皆さん試してみてください

うちの環境
実はこれMiniITXのマザーで作ってあります

 マザー ZOTAC H55ITX-A-E SATAが6port INTEL NICなのがgood
 CPU INTEL corei3 540 安売りしてた
 メモリ 4G * 2 = 8G 本当はもっとほしいとこだが。。。これ以上のらん？
 HDD 海門 2T 5900RPM ST2000DL003 * 4 安いうちに買ったんだが。。1本壊
れて追加で1本購入高かった
 SSD INTEL SSD 311 20G SLCタイプ ZIL用容量少なくてもSLCがいいはず
 FCカード QLogic QLE2462 4G 2port 2portあるんで直結で2台のESXiから使え
るよ

Osc2012 tokyo fall_home_san_nayamaguti

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (18)

Semelhante a Osc2012 tokyo fall_home_san_nayamaguti

Semelhante a Osc2012 tokyo fall_home_san_nayamaguti (20)

Osc2012 tokyo fall_home_san_nayamaguti