GlusterFS 技術と動向 2of2

第4回クラウドストレージ研究会

GlusterFS 技術と動向
2of2

 
2011/12/8
(株)NTTPCコミュニケーションズ

Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 1

発表者の紹介

高橋　敬祐 (TAKAHASHI Keisuke)
(個人用)Twitter ID : @keithseahus
•  NTTPCコミュニケーションズ在籍 (2006年〜)
– Webマイニング系開発
– 分散FS特にGlusterFSの調査，研究，それを利用した開発及びOSS活動
– 宇宙航空関連実証実験及び開発
– その他先端技術調査 •  出入りしている勉強会
–  VIOPS
•  この界隈で特に関係の深い人 –  クラウドネットワーク研究会
–  伊藤氏 ( @thatsdone ) –  クラウドストレージ研究会
–  STEC 伊藤氏 ( @HarrisonIto ) –  Tokyo Erlang Workshop
–  NTTPC 中冨 ( @nakacya ) –  その他
–  NTTPC 高田 ( @mikiT_T )

Google Groups: http://groups.google.com/group/gluster-ja

GlusterFS 技術と動向 2of2

1.  GlusterFSの概要と動向
2.  GlusterFSの技術
1.  ストレージの階層構造
2.  分散アルゴリズム
2.  Elasticなレイアウト変更
3.  特殊なケース
3.  メタデータ構造
4.  レプリケーション
2.  レプリケーションのデータフロー
3.  レプリカ障害とその対応
5.  運用面での注意点
3.  FAQ
4.  まとめ


レプリケーション



A

VFS

FUSE

glusterfs

glusterfsd glusterfsd

VFS VFS

file system file system

block device block device



VFS
glusterfsが...
FUSE
A glusterfs


VFS VFS





VFS

FUSE
レプリケーションを行う
glusterfs


VFS VFS

A A



レプリカのペアはbrick単位で固定
レプリカ1/2 レプリカ2/2

B B
brick4-1 brick4-2

A A
brick3-1 brick1-1 brick3-2 brick1-2

C C
brick2-1 brick2-2

上記ボリューム作成例：
# gluster volume create <volume> replica 2 brick1-1 brick1-2
brick2-1 brick2-2 brick3-1 brick3-2 brick4-1 brick4-2

レプリケーションのデータフロー



VFS

FUSE

glusterfs




A

VFS

FUSE

glusterfs




FUSEでマウントしたクライアントによるデータの入力

VFS

FUSE
A
glusterfs




glusterfsプロセスがデータをレプリケーション

VFS

FUSE

glusterfs
A A




すべてのレプリカを同時に転送

VFS

FUSE

glusterfs

A A




ネットワークの速度や遅延の影響を受ける

VFS

FUSE

glusterfs

A
A



すべてのレプリカの転送が完了したら処理を終了

VFS

FUSE

glusterfs

A A



読み込み時は、最も早く応答したbrickから転送される。

VFS

FUSE

glusterfs

A A



読み込み時は、最も早く応答したbrickから転送される。

VFS

FUSE

glusterfs

A
A A



VFS

FUSE
A
glusterfs

A A



NFSでマウントした場合

VFS (NFSv3 クライアント)

glusterfs (NFSv3 サーバ)




NFSでマウントした場合
A





クライアントから転送されるデータ量は
レプリカ数の影響を受けない

A




glusterfsより先の処理についてはFUSEと同様


A A



レプリカ障害とその対応



想定される主な障害

(a)経路断によるbrick切断 (b)glusterfsdプロセスダウン
によるbrick切断
glusterfs glusterfs

……。

glusterfsd glusterfsd glusterfsd glusterfsd

(c)サーバダウンによるbrick切断 (d)brick切断中のレプリカ不整合

glusterfs glusterfs

glusterfsd glusterfsd glusterfsd glusterfsd


•  brick切断への対応
–  42秒でのタイムアウト
•  プロセスダウンのみwait無しでの切り離し

–  切断状態の記憶
•  以後同一glusterfsの別セッションは待たされない

–  継続的なkeepaliveと再接続要求

•  レプリカ不整合への対応
–  self-heal
•  open(), stat(), write(), truncate(), readdir(), lookup()などがトリガ


運用面での注意点



OSやハードウェアの監視を怠らないで下さい。

VFS

FUSE glusterfsからは
glusterfsdの状態しか見えない。
glusterfs

glusterfsd
ファイルシステム以下で異常が起きて
も、glusterfsdはケアしない。
VFS
例えばread-only file systemや
file system
input-output errorは
block device ユーザに返ってしまう。



……。
volumeがfullになる前にadd-brickとrebalanceを。
A
/path/to/fileA
③800〜1199
A

768

①0〜399

A ②400〜799 A
ファイル生成がエラーになります。


クラスタをまたがってノードを転用する場合は
転用対象ノードの
/etc/glusterd/{peers,vols} 配下を削除して下さい。

クラスタA クラスタB

fs A1 fs A2 fs B1 fs B2

volγ

fsd B1 fsd B2
volα

volβ fsd A1 fsd A2 volβ fsd A1 fsd A2

ある一定の条件下で特定の操作をすると、
転用先のクラスタの構成情報が汚染されます。
（転用元の構成情報が追加されてしまう）

FAQ


FAQ

Q. レプリカの数を
変更できますか？

A. できません。
どうしても、という場合は、
レプリカ数を変更したボリュームを別途作成し、
データ移行を行うことになります。
他にももっと良い方法があるかもしれません。


FAQ

Q. NFSマウントした場合に
fcntl()やflock()が
効かないのですが。
A. 効きません。
RFC 1813 のAnnexで規定するNLM (Network Lock Manager)を、
GlusterFSのNFSサーバが実装していないためです。
FUSEではこれらのロックが有効です。


FAQ

Q. レプリカ障害中に、
レプリカ数は保たれますか？

A. 保たれません。
レプリケーションを構成するノードがアクセス不能となった場合に
そのノードの代替を他のノードが務めることはありません。
replace-brickを用いれば、ノードの入れ替えは可能です。


FAQ

Q. マルチテナンシーを
実現するには？

A. 他の手段との組み合わせが
必要です。
サーバ仮想化やVLAN等を組み合わせれば、
異なるユーザ同士を隔離できます。


FAQ

Q. rebalanceって
コスト高いですよね？

A.  はい。
現在上手くやる方法を考えています。
現状だと、rebalanceのstart/stopを利用して、
例えば深夜帯などトラフィックの少ない時間帯のみ実行する等
運用による解決を考えています。


FAQ

Q. 最大の導入実績（台数）は？

A. Gluster社の公式発表には、
某商用サービスPのケースで
「3データセンタに6台ずつ」
とあります。
…古くからある情報です。

FAQ

Q. 向き不向きを教えて下さい。

A. 汎用的な用途に
向いていると思います。
シンプルでイージー、それでいてPOSIX準拠の
I/Fを持っているためです。
反面、ある特定用途専用の分散FSには敵いません。


FAQ

Q. 「スケールアウトNAS」と
どっちがいいの？

A. ノーコメントです。
私自身はプログラマなので、ハードウェアプロダクトには
詳しくありません。ただ「スケールアウトNAS」の機能性は
魅力的だと思っています。
分散FSならハードウェアを選べるので、
ベンダロックインのリスクがありません。
これをどう評価するか次第だと思います。

FAQ

Q. 某分散FSと
どっちがいいの？

A. ノーコメントです。
用途次第だと思います。
また、SwiftやZFSのように、組み合わせて使える
相性の良い分散FSもあります。


まとめ

GlusterFSの技術について、
一歩踏み込んでご紹介しました。

SPoFを抱えないために、レプリケーションへの対応は
当然のこと、アルゴリズムによる分散や
xattrによるメタデータ管理を行っています。

皆様には既にGlusterFSを導入するための十分な知識
があります。ぜひ試してみて下さい。


GlusterFS 技術と動向

1.  GlusterFSの概要と動向
2.  GlusterFSの技術
1.  ストレージの階層構造

ありがとうございました
2.  Elasticなレイアウト変更
3.  特殊なケース
3.  メタデータ構造
2.  レプリケーションのデータフロー
3.  レプリカ障害とその対応
5.  運用面での注意点
3.  FAQ
4.  まとめ


参考

•  Gluster Support
–  Red Hat Networkによるサポートへ移行。

•  NTTPC Gluster Support
–  Glusterの正式な代理店。
–  ライセンスの販売取り次ぎ。
–  日本語でのサポート。
–  日本語での構築支援。
–  ご用命は storage-contact @ nttpc.co.jp まで。


参考

•  過去の活動
–  第一回GlusterFS座談会
•  2011/09/14 於株式会社プリファードインフラストラクチャー様
•  スライド公開中（プログラマ／ソフトウェア技術者向け）。
•  Ustream（録画）公開中。 -> http://www.ustream.tv/channel/glusterfs
•  Togetterあり。 -> http://togetter.com/li/188183
–  第？回社内Lightning Talk Nite
•  2011/11/2 於 (株)NTTPCコミュニケーションズ（クローズド＋招待者only）
•  スライド公開中（Web系プログラマ向け）。
–  Internet Week 2011 仮想化DAY 「最新動向GlusterFS」
•  2011/12/1 於秋葉原
•  スライド公開中（インターネット／仮想化／クラウド関係者向け）。
–  サービス開発者・運用者のためのGlusterFSガイド
•  2011/12/5 於 (株)NTTPCコミュニケーションズ（クローズド）
•  スライド公開検討中。

•  今後の活動（検討・調整中）
–  第二回GlusterFS座談会
•  日程未定


GlusterFS 技術と動向 2of2

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (12)

Semelhante a GlusterFS 技術と動向 2of2

Semelhante a GlusterFS 技術と動向 2of2 (20)

Mais de Keisuke Takahashi

Mais de Keisuke Takahashi (10)

Último

Último (11)

GlusterFS 技術と動向 2of2