第一回監視デーモン勉強会発表資料

1. はてなのサーバ監視
id:maoe

2. 自己紹介
青江光敏
id:maoe
@ma0e
はてなインフラチーム
プライベートはHaskellプログラマ
Keepalivedの設定ファイル構文チェッカ
http://github.com/maoe/kc

3. 目次
はてなのサーバと管理手法
Nagiosを使った監視
Nagiosの分散監視
オブジェクト定義の自動生成
課題

4. はてなのサーバと管理手法
サーバ管理ツール: mackerel
全サーバを一元管理
IPアドレス・H/W情報・ラック番号 etc...
サーバの役割: bookmarkのentry DBのslave etc.
サーバの状態: 稼働中・メンテナンス中 etc...
各種状態をグラフ化
Nagiosの監視ステータス

6. Nagios監視
1台のNagiosで監視
Nagios 3.0.X
監視対象
サービス監視: 4,300
ホスト監視: 1,700

7. Nagios監視の問題点
Nagiosサーバの負荷が高い
Service Check Latencyが増える
障害検知が分単位で遅れる
再チェックを指定しても全然再チェックされない

8. Nagios分散監視
ほぼマニュアル通りの
設定
分散サーバから中央
サーバへの通信は
OCP_daemonが必須
http://wiki.nagios.org
/index.php/OCP_Dae
mon

9. 分散監視すると ...
構成
中央サーバ1台
分散サーバ6台
Service Check Latencyが最大でも5秒程度に
ただし設定は煩雑

10. オブジェクト定義の自動生成
各Nagiosで自動生成スクリプトを定期実行
大まかな処理の流れ
mackerelから各Nagiosが担当するhost一覧を取ってくる
担当例: 192.168.0.0/20以下のサブネットすべて
host定義生成
役割ごとにhostgroupも生成
例: name bookmark-db-entry-slave
オブジェクト定義のテンプレートからマッチする定義を利用
例: objects/service-templates/bookmark/db-entry-slave.cfg
nagios -v new-nagios.cfg
OKならnagios.cfgに適用

11. 自動生成すると ...
新しいサーバを投入する際、mackerelに役割を登
録すると、適切な監視が自動で入る
新しいMySQLを入れた
bookmark/db-entry-slave-defaultという役割
ホスト監視、HDD容量監視、RAID監視
MySQLの疎通監視、クエリ実行のプロセス数監視
mackerelでメンテナンスモードにすると監視が外
れる

12. 今後の課題
中央サーバで見える監視項目が、実際にどの分
散サーバで監視されているのかがわかりにくい
分散サーバが落ちると、担当するサービス
チェックのフレッシュネスチェックが全部NG
一度に数百とか千件のメールが届く
サービス依存定義を書く