Enviar pesquisa
Carregar
qpstudy08 lsyncdによる共有ファイルシステムっぽい何かの検証
•
6 gostaram
•
2,809 visualizações
Takashi Takizawa
Seguir
#qpstudy 08 懇親会LT lsyncdによる共有ファイルシステムっぽい何かの検証
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 24
Baixar agora
Baixar para ler offline
Recomendados
JRuby on Rails on JBoss
JRuby on Rails on JBoss
bose999
BungeeCordeについて
BungeeCordeについて
Masafumi Terazono
20160810-lt-cygwin
20160810-lt-cygwin
Future Architect.Inc
Awsで構築したのだよ 01 ユーザのコンソール操作をログに残す
Awsで構築したのだよ 01 ユーザのコンソール操作をログに残す
聡 大久保
Rubyでバルクインサート
Rubyでバルクインサート
Fujimura Munehiko
Unbound/NSD最新情報(OSC 2014 Tokyo/Spring)
Unbound/NSD最新情報(OSC 2014 Tokyo/Spring)
Takashi Takizawa
DNS RFCの歩き方(短縮版)
DNS RFCの歩き方(短縮版)
Takashi Takizawa
サバフェス! 2015 Spring LT資料
サバフェス! 2015 Spring LT資料
Takashi Takizawa
Recomendados
JRuby on Rails on JBoss
JRuby on Rails on JBoss
bose999
BungeeCordeについて
BungeeCordeについて
Masafumi Terazono
20160810-lt-cygwin
20160810-lt-cygwin
Future Architect.Inc
Awsで構築したのだよ 01 ユーザのコンソール操作をログに残す
Awsで構築したのだよ 01 ユーザのコンソール操作をログに残す
聡 大久保
Rubyでバルクインサート
Rubyでバルクインサート
Fujimura Munehiko
Unbound/NSD最新情報(OSC 2014 Tokyo/Spring)
Unbound/NSD最新情報(OSC 2014 Tokyo/Spring)
Takashi Takizawa
DNS RFCの歩き方(短縮版)
DNS RFCの歩き方(短縮版)
Takashi Takizawa
サバフェス! 2015 Spring LT資料
サバフェス! 2015 Spring LT資料
Takashi Takizawa
BIND of Summer (2017-04-13)
BIND of Summer (2017-04-13)
Takashi Takizawa
nginx入門
nginx入門
Takashi Takizawa
nginxの紹介
nginxの紹介
Takashi Takizawa
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
Takashi Takizawa
RFCについての復習
RFCについての復習
Takashi Takizawa
DNS RFC系統図
DNS RFC系統図
Takashi Takizawa
DNSのRFCの歩き方
DNSのRFCの歩き方
Takashi Takizawa
initとプロセス再起動
initとプロセス再起動
Takashi Takizawa
#mailerstudy 02 メールと暗号 - SSL/TLS -
#mailerstudy 02 メールと暗号 - SSL/TLS -
Takashi Takizawa
#mailerstudy 02 暗号入門 (2012-02-22更新)
#mailerstudy 02 暗号入門 (2012-02-22更新)
Takashi Takizawa
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
Takashi Takizawa
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
Takashi Takizawa
Unboundの最適化(OSC2011 Tokyo/Spring)
Unboundの最適化(OSC2011 Tokyo/Spring)
Takashi Takizawa
#mailerstudy 01 LT POP/IMAP入門
#mailerstudy 01 LT POP/IMAP入門
Takashi Takizawa
#dnstudy 01 ドメイン名の歴史
#dnstudy 01 ドメイン名の歴史
Takashi Takizawa
DNS再入門
DNS再入門
Takashi Takizawa
#dnstudy 01 Unboundの紹介
#dnstudy 01 Unboundの紹介
Takashi Takizawa
hbstudy20100821 SpamAssassin
hbstudy20100821 SpamAssassin
Takashi Takizawa
Mais conteúdo relacionado
Mais de Takashi Takizawa
BIND of Summer (2017-04-13)
BIND of Summer (2017-04-13)
Takashi Takizawa
nginx入門
nginx入門
Takashi Takizawa
nginxの紹介
nginxの紹介
Takashi Takizawa
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
Takashi Takizawa
RFCについての復習
RFCについての復習
Takashi Takizawa
DNS RFC系統図
DNS RFC系統図
Takashi Takizawa
DNSのRFCの歩き方
DNSのRFCの歩き方
Takashi Takizawa
initとプロセス再起動
initとプロセス再起動
Takashi Takizawa
#mailerstudy 02 メールと暗号 - SSL/TLS -
#mailerstudy 02 メールと暗号 - SSL/TLS -
Takashi Takizawa
#mailerstudy 02 暗号入門 (2012-02-22更新)
#mailerstudy 02 暗号入門 (2012-02-22更新)
Takashi Takizawa
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
Takashi Takizawa
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
Takashi Takizawa
Unboundの最適化(OSC2011 Tokyo/Spring)
Unboundの最適化(OSC2011 Tokyo/Spring)
Takashi Takizawa
#mailerstudy 01 LT POP/IMAP入門
#mailerstudy 01 LT POP/IMAP入門
Takashi Takizawa
#dnstudy 01 ドメイン名の歴史
#dnstudy 01 ドメイン名の歴史
Takashi Takizawa
DNS再入門
DNS再入門
Takashi Takizawa
#dnstudy 01 Unboundの紹介
#dnstudy 01 Unboundの紹介
Takashi Takizawa
hbstudy20100821 SpamAssassin
hbstudy20100821 SpamAssassin
Takashi Takizawa
Mais de Takashi Takizawa
(18)
BIND of Summer (2017-04-13)
BIND of Summer (2017-04-13)
nginx入門
nginx入門
nginxの紹介
nginxの紹介
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
Unbound/NSD最新情報(OSC 2013 Tokyo/Spring)
RFCについての復習
RFCについての復習
DNS RFC系統図
DNS RFC系統図
DNSのRFCの歩き方
DNSのRFCの歩き方
initとプロセス再起動
initとプロセス再起動
#mailerstudy 02 メールと暗号 - SSL/TLS -
#mailerstudy 02 メールと暗号 - SSL/TLS -
#mailerstudy 02 暗号入門 (2012-02-22更新)
#mailerstudy 02 暗号入門 (2012-02-22更新)
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
UnboundとDNSSEC(OSC2011 Tokyo/Spring)
Unboundの最適化(OSC2011 Tokyo/Spring)
Unboundの最適化(OSC2011 Tokyo/Spring)
#mailerstudy 01 LT POP/IMAP入門
#mailerstudy 01 LT POP/IMAP入門
#dnstudy 01 ドメイン名の歴史
#dnstudy 01 ドメイン名の歴史
DNS再入門
DNS再入門
#dnstudy 01 Unboundの紹介
#dnstudy 01 Unboundの紹介
hbstudy20100821 SpamAssassin
hbstudy20100821 SpamAssassin
qpstudy08 lsyncdによる共有ファイルシステムっぽい何かの検証
1.
#qpstudy 08懇親会 LT lsyncdによる 共有フゔルシステムっぽい何かの検証 @ttkzw
滝澤 隆史
2.
2 私は誰 • 氏名: 滝澤
隆史 @ttkzw • 何やっている人 ▫ メーラMuttの国際化や日本語対応パッチ作者 ▫ SpamAssassinの日本語対応パッチ作者 ▫ DNSサーバUnbound/NSD関連文書の翻訳
3.
lsyncd 2.0以降について説明
4.
lsyncd (Live Syncing
Daemon) フゔルシステムのベント 主用途はフゔルやデゖレクトリのミラー に対して非同期にゕクション 他の用途にも使える(Luaで拡張可能) を実施するデーモン ゕクション/ミラー(rsync) lsyncd フゔル フゔル ベント フゔル操作 フゔル inotify システム フゔルシステムのベ ントを監視して通知する Linuxカーネルの機能
5.
標準構成 • 3つの標準(組み込み)構成が用意されている ▫ rsync
ミラーにrsyncを使う ▫ rsyncssh ミラーにrsync + sshを使う リモートホストに転送可能 ▫ direct cp|rm|mvを使う
6.
設定フゔル • lsyncd.conf ▫
設定をLuaの構文で記述 ▫ sync{ default.rsyncssh, source="/srv/data/", host="root@backup.example.jp", targetdir="/srv/data/", rsyncOpts="-ltus" init=false }
7.
8.
リーダーのついーと
9.
私の返信
10.
「何らかの工夫」を検討してみた
11.
正常な同期
ゕクテゖブ スタンバ フゔル作成 フゔル lsyncd ゕクテゖブ スタンバ 同期完了 フゔル フゔル lsyncd
12.
障害発生でフェルオーバ • 障害が発生してフゔルの同期前に
フェルオーバした場合はどうなるか?
13.
コピー前にフェルオーバ
ゕクテゖブ スタンバ フゔル作成 フゔル lsyncd フェル スタンバ ゕクテゖブ オーバ フゔル lsyncd フゔル スタンバ ゕクテゖブ 初期同期完了 消失 フゔル lsyncd
14.
対策 • フェルオーバ後のlsyncdの初期同期が問題を
起こしている • →lsyncdの初期同期をやめてみる
15.
コピー前にフェルオーバ (lsyncd起動時の初期同期無し)
ゕクテゖブ スタンバ フゔル作成 フゔル lsyncd フェル スタンバ ゕクテゖブ オーバ フゔル lsyncd フゔル が利用で スタンバ ゕクテゖブ 初期同期なし きない フゔル lsyncd
16.
対策 • フェルオーバ前に未同期のフゔルは
フェルオーバ後には利用できない。 • そもそもlsyncdを両ノードで動かしっぱなしに すればいいんじゃない?
17.
両ノードで動かす (lsyncd起動時の初期同期無し)
ゕクテゖブ スタンバ lsyncd フゔル作成 フゔル lsyncd フェル スタンバ ゕクテゖブ lsyncd オーバ フゔル lsyncd 成功 スタンバ ゕクテゖブ lsyncd 同期完了 フゔル フゔル lsyncd
18.
検討 • 両ノードで動かすと双方向同期ができる • 「共有フゔルシステム」っぽい •
「なんちゃって共有フゔルシステム」ができ る!
19.
なんちゃって共有フゔルシステム
lsyncd フゔル作成 フゔル lsyncd lsyncd 同期 フゔル フゔル lsyncd lsyncd フゔル フゔル作成 フゔル フゔル lsyncd 成功 フゔル lsyncd フゔル 同期完了 フゔル フゔル lsyncd
20.
lsyncdの特徴による問題点・制限 • 非同期であるため、同期遅れが発生する • 細かい変更が絶えず発生するフゔルには向か
ない ▫ 数秒毎にフゔル全体のコピーが繰り返される ▫ データベースとかログフゔルとか • inotifyの制限値(要変更) ▫ /proc/sys/fs/inotify/max_queued_events ▫ /proc/sys/fs/inotify/max_user_instances ▫ /proc/sys/fs/inotify/max_user_watches
21.
なんちゃって共有フゔルシステムの 問題点は? • lsyncdが停止中に書き込まれたフゔルは同期
されないまま残る ▫ 常にlsyncdを起動するような工夫が必要 (死んだら蘇生させる) • 同期前にlsyncdあるいはノードが落ちたら同期 されないままになる ▫ 仕方ないね\(^o^)/
22.
なんちゃって共有フゔルシステムの 問題点は? • フゔルのロックをかけられない ▫ ロックフゔルの場合は数秒遅れで同期する •
両ノードで同じフゔルを操作すると危険 ▫ 同期処理前に最後に操作したフゔルが勝ち • 一般的な共有フゔルシステムと同じ問題を抱 える
23.
適応できる用途 • HAクラスタの共有ストレージ • デゖザスタリカバリ ▫
2拠点間の各ノードに常に複製ができる • フゔルサーバ ▫ 拠点(事務所)を変えても常にローカルのフゔ ルサーバを利用できる 東京本社のフゔルサーバに保存したフゔルが 大阪支店のフゔルサーバで読み書きできる
24.
結論 • ゕクテゖブ/スタンバ構成のHAクラスタの共
有フゔルシステム代わりには何となく使えそ う ▫ 用途の制限はあるけど • 拠点間で配置すると夢が広がるかも ▫ 問題はあるけど
Baixar agora