Enviar pesquisa
Carregar
SensuとPagerDutyを連携したお話
•
0 gostou
•
1,505 visualizações
晋也 古渡
Seguir
2015/10/02 nifty様セミナールームにて開催された sensu Deep Talks #2でお話した内容です。
Leia menos
Leia mais
Internet
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 48
Baixar agora
Baixar para ler offline
Recomendados
AWSだけでSI/MSPする会社に入って
AWSだけでSI/MSPする会社に入って
真吾 吉田
Data analysis platform ver1.1
Data analysis platform ver1.1
TomohiroDoi
Cloud native strategy ver1.1
Cloud native strategy ver1.1
TomohiroDoi
AWS re:Invent Security re:Cap 2018 ( Deep Security x Security Hub )
AWS re:Invent Security re:Cap 2018 ( Deep Security x Security Hub )
Kwiil Kang
Cloud Security Alliance Japan Chapter Big Data Working Group (November 2013)
Cloud Security Alliance Japan Chapter Big Data Working Group (November 2013)
Eiji Sasahara, Ph.D., MBA 笹原英司
SysTrack のご紹介 - 最適な vGPU リソース利用で効率の高い GPU VDI 環境を -
SysTrack のご紹介 - 最適な vGPU リソース利用で効率の高い GPU VDI 環境を -
Hirotaka Nagashima
cloud days awsブースセッション_aegiswall
cloud days awsブースセッション_aegiswall
NHN テコラス株式会社
クラウドファースト時代の最適なシステム配置について
クラウドファースト時代の最適なシステム配置について
Kentaro Kamata
Recomendados
AWSだけでSI/MSPする会社に入って
AWSだけでSI/MSPする会社に入って
真吾 吉田
Data analysis platform ver1.1
Data analysis platform ver1.1
TomohiroDoi
Cloud native strategy ver1.1
Cloud native strategy ver1.1
TomohiroDoi
AWS re:Invent Security re:Cap 2018 ( Deep Security x Security Hub )
AWS re:Invent Security re:Cap 2018 ( Deep Security x Security Hub )
Kwiil Kang
Cloud Security Alliance Japan Chapter Big Data Working Group (November 2013)
Cloud Security Alliance Japan Chapter Big Data Working Group (November 2013)
Eiji Sasahara, Ph.D., MBA 笹原英司
SysTrack のご紹介 - 最適な vGPU リソース利用で効率の高い GPU VDI 環境を -
SysTrack のご紹介 - 最適な vGPU リソース利用で効率の高い GPU VDI 環境を -
Hirotaka Nagashima
cloud days awsブースセッション_aegiswall
cloud days awsブースセッション_aegiswall
NHN テコラス株式会社
クラウドファースト時代の最適なシステム配置について
クラウドファースト時代の最適なシステム配置について
Kentaro Kamata
cloud daysawsブースセッション eco_pack
cloud daysawsブースセッション eco_pack
NHN テコラス株式会社
20200813 fin-jaws #14 オープニング渥美
20200813 fin-jaws #14 オープニング渥美
Toshihide Atsumi
cloud days awsブースセッション_mmds
cloud days awsブースセッション_mmds
NHN テコラス株式会社
Azure/Office 365環境の医療クラウドセキュリティ
Azure/Office 365環境の医療クラウドセキュリティ
moss-jp
基調講演: 「パーペイシブ分析を目指して」#cwt2015
基調講演: 「パーペイシブ分析を目指して」#cwt2015
Cloudera Japan
Cedexis
Cedexis
J-Stream Inc.
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
Masanori KAMAYAMA
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Tech Summit 2016
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Tech Summit 2016
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
クラウドでPCI DSS環境を構築・運用するポイント
クラウドでPCI DSS環境を構築・運用するポイント
真吾 吉田
Viops10 100GbEがもたらすクラウドインフラ
Viops10 100GbEがもたらすクラウドインフラ
Yuki Kitajima
AWSの最新動向と事例から知る クラウド利用の進化と真価
AWSの最新動向と事例から知る クラウド利用の進化と真価
Trainocate Japan, Ltd.
PHP開発とクラウド
PHP開発とクラウド
晋也 古渡
DBCJ Drupal + Japan 2017
DBCJ Drupal + Japan 2017
Hidekazu Ikeda
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
kusami
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
KVH Co. Ltd.
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
Serverworks Co.,Ltd.
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
晋也 古渡
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
クラウドがもたらすパラダイムシフト
クラウドがもたらすパラダイムシフト
kurikiyo
Mais conteúdo relacionado
Mais procurados
cloud daysawsブースセッション eco_pack
cloud daysawsブースセッション eco_pack
NHN テコラス株式会社
20200813 fin-jaws #14 オープニング渥美
20200813 fin-jaws #14 オープニング渥美
Toshihide Atsumi
cloud days awsブースセッション_mmds
cloud days awsブースセッション_mmds
NHN テコラス株式会社
Azure/Office 365環境の医療クラウドセキュリティ
Azure/Office 365環境の医療クラウドセキュリティ
moss-jp
基調講演: 「パーペイシブ分析を目指して」#cwt2015
基調講演: 「パーペイシブ分析を目指して」#cwt2015
Cloudera Japan
Cedexis
Cedexis
J-Stream Inc.
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
Masanori KAMAYAMA
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Tech Summit 2016
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Tech Summit 2016
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
クラウドでPCI DSS環境を構築・運用するポイント
クラウドでPCI DSS環境を構築・運用するポイント
真吾 吉田
Viops10 100GbEがもたらすクラウドインフラ
Viops10 100GbEがもたらすクラウドインフラ
Yuki Kitajima
AWSの最新動向と事例から知る クラウド利用の進化と真価
AWSの最新動向と事例から知る クラウド利用の進化と真価
Trainocate Japan, Ltd.
Mais procurados
(14)
cloud daysawsブースセッション eco_pack
cloud daysawsブースセッション eco_pack
20200813 fin-jaws #14 オープニング渥美
20200813 fin-jaws #14 オープニング渥美
cloud days awsブースセッション_mmds
cloud days awsブースセッション_mmds
Azure/Office 365環境の医療クラウドセキュリティ
Azure/Office 365環境の医療クラウドセキュリティ
基調講演: 「パーペイシブ分析を目指して」#cwt2015
基調講演: 「パーペイシブ分析を目指して」#cwt2015
Cedexis
Cedexis
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
超基本! AWS 認定 SA アソシエイト 受験準備 (2020年3月10日)
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Cld022 『シン・ブロック
Cld022 『シン・ブロック
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドでPCI DSS環境を構築・運用するポイント
クラウドでPCI DSS環境を構築・運用するポイント
Viops10 100GbEがもたらすクラウドインフラ
Viops10 100GbEがもたらすクラウドインフラ
AWSの最新動向と事例から知る クラウド利用の進化と真価
AWSの最新動向と事例から知る クラウド利用の進化と真価
Semelhante a SensuとPagerDutyを連携したお話
PHP開発とクラウド
PHP開発とクラウド
晋也 古渡
DBCJ Drupal + Japan 2017
DBCJ Drupal + Japan 2017
Hidekazu Ikeda
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
kusami
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
KVH Co. Ltd.
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
Serverworks Co.,Ltd.
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
晋也 古渡
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
クラウドがもたらすパラダイムシフト
クラウドがもたらすパラダイムシフト
kurikiyo
2014/6/18-19 Cloud Days 九州 2014
2014/6/18-19 Cloud Days 九州 2014
Tomoya Ishida
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
CLOUDIAN KK
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
Amazon Web Services Japan
170311 JAWS days 2017 fintech
170311 JAWS days 2017 fintech
Toshihide Atsumi
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
Cybozucommunity
【金融機関アクセラレータ参加ベンチャーと学ぶAI】クラウド×AIで機械学習の民主化を目指すナレコムAI
【金融機関アクセラレータ参加ベンチャーと学ぶAI】クラウド×AIで機械学習の民主化を目指すナレコムAI
ナレッジコミュニケーション
AWS & Google Cloud 両方を駆使するチームでの技術選定
AWS & Google Cloud 両方を駆使するチームでの技術選定
修一 高橋
2014/6/25-26 Cloud Days 名古屋 2014
2014/6/25-26 Cloud Days 名古屋 2014
Tomoya Ishida
Get trust and confidence to manage your data in hybrid it environments japanese
Get trust and confidence to manage your data in hybrid it environments japanese
Veritas Technologies LLC
20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社イ...
20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社イ...
Insight Technology, Inc.
20181108 kashiwa chamberofcommerce
20181108 kashiwa chamberofcommerce
桂一 中山
日米クラウド最前線!経営戦略としてのクラウドを考える
日米クラウド最前線!経営戦略としてのクラウドを考える
Nissho-Blocks
Semelhante a SensuとPagerDutyを連携したお話
(20)
PHP開発とクラウド
PHP開発とクラウド
DBCJ Drupal + Japan 2017
DBCJ Drupal + Japan 2017
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
プライベートクラウドへの準備はできていますか?[ホワイトペーパー]
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
2011年12月 アタックス共同セミナー「先行投資を最小化するクラウドの最新事情」
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
2016/08/25 JAWS-UG 千葉支部 Vol.6 LT
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
クラウドがもたらすパラダイムシフト
クラウドがもたらすパラダイムシフト
2014/6/18-19 Cloud Days 九州 2014
2014/6/18-19 Cloud Days 九州 2014
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
170311 JAWS days 2017 fintech
170311 JAWS days 2017 fintech
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
【金融機関アクセラレータ参加ベンチャーと学ぶAI】クラウド×AIで機械学習の民主化を目指すナレコムAI
【金融機関アクセラレータ参加ベンチャーと学ぶAI】クラウド×AIで機械学習の民主化を目指すナレコムAI
AWS & Google Cloud 両方を駆使するチームでの技術選定
AWS & Google Cloud 両方を駆使するチームでの技術選定
2014/6/25-26 Cloud Days 名古屋 2014
2014/6/25-26 Cloud Days 名古屋 2014
Get trust and confidence to manage your data in hybrid it environments japanese
Get trust and confidence to manage your data in hybrid it environments japanese
20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社イ...
20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社イ...
20181108 kashiwa chamberofcommerce
20181108 kashiwa chamberofcommerce
日米クラウド最前線!経営戦略としてのクラウドを考える
日米クラウド最前線!経営戦略としてのクラウドを考える
Mais de 晋也 古渡
ECSをやろうとしました
ECSをやろうとしました
晋也 古渡
ROSマスターになろう
ROSマスターになろう
晋也 古渡
Amazon GameOnについてまとめてみた
Amazon GameOnについてまとめてみた
晋也 古渡
2018年からコンテナはじめませんか?
2018年からコンテナはじめませんか?
晋也 古渡
cacooアイコンの話
cacooアイコンの話
晋也 古渡
re:Inventに行くと得られるもの
re:Inventに行くと得られるもの
晋也 古渡
AWS SUMMIT TOKYO 2017 NEXT ACTION
AWS SUMMIT TOKYO 2017 NEXT ACTION
晋也 古渡
AWS re:Invent 2016 にコミュニティの人達と行ってきた宇宙一仲の良いレポート 〜 旅を支えてくれたJAWS-UG 〜
AWS re:Invent 2016 にコミュニティの人達と行ってきた宇宙一仲の良いレポート 〜 旅を支えてくれたJAWS-UG 〜
晋也 古渡
CREについて
CREについて
晋也 古渡
Amazon Cognitoはとってもよか!
Amazon Cognitoはとってもよか!
晋也 古渡
JAWS DAYS 2016 The Next Cloud
JAWS DAYS 2016 The Next Cloud
晋也 古渡
AWS認定資格について
AWS認定資格について
晋也 古渡
Hexoで作るAWS-S3静的サイト
Hexoで作るAWS-S3静的サイト
晋也 古渡
東北IT物産展2015 @ 青森 スポンサーセッション
東北IT物産展2015 @ 青森 スポンサーセッション
晋也 古渡
JAWS DAYS 2015 OpsWorks Aceに聞け
JAWS DAYS 2015 OpsWorks Aceに聞け
晋也 古渡
JAWS-UG saitama-vol3-20140222
JAWS-UG saitama-vol3-20140222
晋也 古渡
Aws ec2 lesson1
Aws ec2 lesson1
晋也 古渡
新宿鮫もくもく勉強会第10回目
新宿鮫もくもく勉強会第10回目
晋也 古渡
Mais de 晋也 古渡
(18)
ECSをやろうとしました
ECSをやろうとしました
ROSマスターになろう
ROSマスターになろう
Amazon GameOnについてまとめてみた
Amazon GameOnについてまとめてみた
2018年からコンテナはじめませんか?
2018年からコンテナはじめませんか?
cacooアイコンの話
cacooアイコンの話
re:Inventに行くと得られるもの
re:Inventに行くと得られるもの
AWS SUMMIT TOKYO 2017 NEXT ACTION
AWS SUMMIT TOKYO 2017 NEXT ACTION
AWS re:Invent 2016 にコミュニティの人達と行ってきた宇宙一仲の良いレポート 〜 旅を支えてくれたJAWS-UG 〜
AWS re:Invent 2016 にコミュニティの人達と行ってきた宇宙一仲の良いレポート 〜 旅を支えてくれたJAWS-UG 〜
CREについて
CREについて
Amazon Cognitoはとってもよか!
Amazon Cognitoはとってもよか!
JAWS DAYS 2016 The Next Cloud
JAWS DAYS 2016 The Next Cloud
AWS認定資格について
AWS認定資格について
Hexoで作るAWS-S3静的サイト
Hexoで作るAWS-S3静的サイト
東北IT物産展2015 @ 青森 スポンサーセッション
東北IT物産展2015 @ 青森 スポンサーセッション
JAWS DAYS 2015 OpsWorks Aceに聞け
JAWS DAYS 2015 OpsWorks Aceに聞け
JAWS-UG saitama-vol3-20140222
JAWS-UG saitama-vol3-20140222
Aws ec2 lesson1
Aws ec2 lesson1
新宿鮫もくもく勉強会第10回目
新宿鮫もくもく勉強会第10回目
SensuとPagerDutyを連携したお話
1.
sensu Deep Talks
#2 sensuとPagerDutyを連携した話 古渡 晋也(@f_prg) 2015.10.02
2.
AWSを活用しながらビジネスに集中できる コンシェルジュサービス
3.
24時間365日 定額課金/ 請求書払い PCI DSS、ISMS、Pマーク取得済みの運用体制 監視運用保守 企業 AWS
4.
(1,500日間) ※ 2010年5月cloudpackサービススタート 36,000時間 連続稼働(※)
5.
4社 社超 プロジェクト超 500 600 5年間 5年間AWSのみで運用保守
6.
アジア地域4社 世界28社最上位パートナー プレミアコンサルティングパートナー
7.
企業規模別 cloudpack利用比率 36% 27
37% % 中小企業 中堅企業 大企業
8.
Web系 91% うち33%が ソーシャルゲームや メディアサイト cloudpackの主な利用状況
9.
10.
今日のお話 ☁ sensuの経緯 ☁ cloudpackでのsensu ☁
PagerDuty運用のはじまり ☁ PagerDutyトラブル ☁ PagerDutyへの対策(改造) ☁ まとめ
11.
自己紹介 ☁ 名前:古渡 晋也(フルワタ
シンヤ) ☁ お仕事:cloudpackエンジニア ☁ Twitter: @f_prg ☁ そのほか:JAWSUG さいたま支部コアメ ンバー
12.
sensuの経緯
13.
☁ http://www.ryuzee.com/contents/blog/ 6843 で知りました。なんか、かっくいい。 ☁ 前職ではZabbixが嫌いだった。ていうか Zabbixじゃなくその運用がダメすぎたから。 •
google spread sheetで行をコピペして記入してた ら反映したと連絡をする。◯◯すぎる。
14.
☁ アイレット株式会社cloudpackに入る。 2014.06(ほんとは05からお手伝い^ ^) ☁
なんか、sensuで監視してた。 面白そう ^ ^ /
15.
cloudpackでのsensu運用
16.
☁ Chef ☁ git(github.comのプライベートリポジトリを活 用) ☁
Berksfile たまたま、個人でChef触ってたからあまり勉 強するようなことはなかった。
17.
通常運用監視業務 ☁ Chefでレシピを作成して 弊社のMSPにメールを飛ばして アラートを拾い運用監視をしております。
18.
とあるお客様専用Handlerを 提供しております。 ☁ 弊社のMSPにアラートメールが届くだけで なく、お客様のメアドも追加したハンド ラーを開発しており、お客様にもアラート が飛ぶようになっております。
19.
つまり、sensuサーバが死ぬと ☁ お客様にも影響がでるようになってしまった。 • confの記述をミスると止まる。 •
handlerのjson記述ミスで止まる。 現在、sensuサーバ2台構成なので まあなんとかしのいでます。
20.
PagerDuty運用のはじまり
21.
☁ メールアラート運用がキツくなってきたの で、会社でPagerDutyを導入しはじめてい た。 ☁ ちょっと案件が忙しくて、PagerDutyに出 遅れる。
22.
PagerDutyトラブル
23.
なんかSlackでメッセがきた。 ☁ なんか届いてない。 (心の声)◯◯◯◯◯◯◯◯◯ ☁ PagerDuty画面をみると確かにおかしい。 届いてはいるが、別のサービスに届いた。 プロジェクトAのアラートが プロジェクトZに届いている。 ☁
新しい設定すると、プロジェクトQに届く。
24.
PagerDutyへの対策(改造)
25.
運用を見直してみる。 ☁ サービスごとにAPIキーを発行していた。 案件単位==プロジェクト単位で PagerDutyのサービスを発行していた。 ☁ APIキーはサーバのハンドラを作ってい た。(お客様に渡せないため)
26.
ドキュメントを見直してみる ☁ ドキュメントをググる。 https://www.pagerduty.com/docs/ guides/sensu-integration-guide/
27.
運用を見直してみる。 ☁ 監視運用設定手順と 公式ドキュメント設定はだいたい同じだっ た。 ☁ でも、よーくみてみたら。。。
28.
どうもmultiple設定でなかった。 ☁ つまり、シングル構成の設定では混ざってしまう。 sensuサーバでは、/etc/sensu/handlers/*.json をメモリ上に展開し、 プロジェクトA のシングル構成の設定を "pagerduty":
{ "api_key": "AAAAAAAAAAAAAAAAA" } のデータ定義を、さらにプロジェクトBの設定で "pagerduty": { "api_key": "BBBBBBBBBBBBBBBBBBBB" } にさらに上書きしていた。
29.
じゃ、multiple設定ってどうするの? ☁ pager_teamという値を使って 階層を深堀りしてねというもので実装する 模様。
30.
sensu_check "check_resource_ram" do command
"check-ram.rb -w 20 -c 10" standalone true handlers node.sensu.default_handlers + [“slack"] + [“pagerduty-project-a”] interval node.sensu.default_check_interval additional (occurrences: 3, pager_team: “pd_www”) end sensu_checkに設定いれるのだが、 これだと全ての設定が、手入力ミスしてしま いそうだった。つまり忘れたら、飛ばない。 飛ばない理由を探すのに時間がかかりそう。
31.
改造ポイント ☁ すべてのsensu_checkアラートは、PagerDutyに飛ば す。 ☁ PagerDutyハンドラは、defaultハンドラーで設定す る。 ☁
pager_teamパラメータは、sensu_checkで指定しな い。 →自動的にsensuサーバに送るようにする ☁ sensuサーバの設定は、今の形を変えないようにする。
32.
改造① default.sensu.default_handlers = node.sensu.default_handlers
+ ["slack"] + [“pagerduty-project-a"] default.sensu.default_check_interval = 300 default.sensu.pager_team = "pagerduty-project-a" ☁ chefのattribute/default.rbで下記のよう にしてます。共通設定で指定をしてます。
33.
改造①つづき ☁ github.comのcloudpackのprivateリポジトリに あるcookbooks(Berksfileで参照してロード)で 使用しているレシピでは アラートの区別のために、 顧客情報(BacklogのURLなど)を含めており、そ こにpager_teamを追加するようにしました。 ☁ チラ見せ。。。
34.
sensu_client node.sensu.client_name do : 省略 : customer_name:
node.customer_name, customer_description: node.customer_description, project_name: node.project_name, project_description: node.project_description, pager_team: node.sensu.pager_team, ) end
35.
改造①の結果(chefを実行すると) ☁ 監視対象のサーバで下記となります。 /etc/sensu/conf.d/clinent.json { "client": { : 省略 : "project_name":
"", "project_description": "プロジェクト情報n<<割愛>>", "pager_team":“pagerduty-project-a“ } }
36.
改造② ☁ sensuサーバのハンドラー設定を次のよう にする。 /etc/sensu/conf.d/handlers/pagerduty- project-a.json
37.
{ "pagerduty": { "pagerduty-project-a": { "api_key":
"AAAAAAAAAAAAAAA" } }, "handlers": { "pagerduty-project-a": { "type": "pipe", "command": "pagerduty.rb", "severities": [ "critical", "unknown" ] } } }
38.
改造②の結果 ☁ APIキーの混在がなくなる。 ^ o
^/
39.
改造③ ☁ https://raw.github.com/sensu/sensu- community-plugins/master/handlers/ notification/pagerduty.rb を改造。 マニュアル通り導入しますと、このファイ ルを、/etc/sensu/handlers/pagerduty.rbに 設置するようになってます。
40.
if @event['check']['pager_team'] api_key =
settings[config[:json_config]][@event['check']['pager_team']]['api_key'] elsif @event['client']['pager_team'] api_key = settings[config[:json_config]][@event['client']['pager_team']]['api_key'] else api_key = settings[config[:json_config]]['api_key'] end
41.
改造③の結果 ☁ check単位ではなく、clientのパラメータ で振り分けするようにしました。 ☁ ようやくPagerDutyのサービスごと(プロ ジェクトごと)にインシデントが飛ぶよう になりました。
42.
改造④、というかおまけ ☁ 失敗から得る教訓ってありますよね。 ☁ なんで、エラーしてたかというとほかのサー ビス(プロジェクト)に飛んでいたわけで す。 ☁
つまり原因は、
43.
if @event['check']['pager_team'] api_key =
settings[config[:json_config]][@event['check']['pager_team']]['api_key'] elsif @event['client']['pager_team'] api_key = settings[config[:json_config]][@event['client']['pager_team']]['api_key'] else api_key = settings[config[:json_config]]['api_key'] end
44.
改造④つづき ☁ じゃ、これも使おう!
45.
☁ シングル構成をあえて残して、sensuの設 定エラーを拾うように応用しています。
46.
{ "pagerduty": { "api_key": "EEEEEEEEEEEEEEEEEE" }, "handlers":
{ "sensu-server-config-error": { "type": "pipe", "command": "pagerduty.rb", "severities": [ "critical", "unknown" ] } } }
47.
まとめ ☁ PagerDutyを始めての ちょっと苦労したお話でした。 ☁ 失敗も応用して活用したら、 シングル+マルチの効果は大きいです。
Baixar agora