MongoDB on AWS

MongoDB
on
AWS
～インフラを操る楽しさ体験～
Sky株式会社
玉川竜司

まずは自己紹介
•開発やってます（最近ちょっとビミョー）
•翻訳やってます
•憲さんとは親戚じゃないっす
@tamagawa_ryuji

題材：MongoDB
•NoSQL系データベース
•ドキュメントデータベース
•レプリカセットによるフェイルオーバー
•シャーディングによるスケーラビリティ
•Web系で求められる機能多数
•ログの扱いに特化した機能あり
•豊富なクライアントライブラリ
•日本のコミュニティ
（「mongodb-jp」で検索を！）

作ってみたシステム：
MongoDBをバックエンドとする高可用性Webアプリ
http://webapp.techlabo.me:5000

Japan Ireland USA
Python WebApp WebApp
（書込）（読取）（読取）

レプリカセット

MongoDB MongoDB MongoDB

カスタムAMI カスタムAMI カスタムAMI

MongoDBのレプリカセット
rsconf ={_id: "santo",members:
[{_id: 0,
•複数ノードで高可用性を実現
host: "japan-mongo.techlabo.me"}]}
rs.initiate(rsconf)
•設定簡単 rs.add(‘us-mongo.techlabo.me’)
rs.add(‘ireland-mongo.techlabo.me’)
•書き込みはプライマリのみ

• 書き込みの負荷分散はシャードで行う
•セカンダリで読み取り負荷を分散できる

•設定が柔軟

• バックアップ目的のセカンダリは、インデックスなしで負荷低減
• セカンダリへのレプリケーションにタイムラグを持たせてオペミス対策
•過半数のノードが生きていて相互通信可能なら、書き込み可能

レプリカセットの動作（正常時）
レプリケーション
ハートビート

Japan Ireland USA

プライマリセカンダリセカンダリ


レプリカセットの動作
（セカンダリの障害と回復）
ハートビート

Japan Ireland USA



（セカンダリの障害と回復）
ハートビート

Japan Ireland USA 追い付くまで
フルコピー



（マスターの障害と回復）
ハートビート

Japan Ireland USA



ハートビート

Japan Ireland USA

プライマリセカンダリ


ハートビート

Japan Ireland USA

セカンダリプライマリセカンダリ


ハートビート

追い付くまで USA
Japan Ireland
フルコピー

セカンダリプライマリセカンダリ


名前解決と通信コスト
CNAME j2-mongo.techlabo.me ec2-x-x-x-x.ap-northeast-1.compute.amazonaws.com
CNAME ius-mongo.techlabo.me ec2-x-x-x-x.eu-west-1.compute.amazonaws.com

•同一リージョン内へ、内部IPアドレス
で通信すればコストは発生しない。
•他リージョンへは、パブリックIPで通
Japan
信せざるを得ない。コストも発生する。
ap-northeast-1a •パブリックDNS名を使えば、自動的
にうまくresolveしてくれる。
USA
ap-northeast-1b

j1.techlabo.me j2.techlabo.me
ip-x-x-x-x ec2-x-x-x-x….
us.techlabo.me


障害回復（インスタンスの交換）時の課題
• インスタンスを入れ替えると、IPアドレスやパブリックDNS名が変わってしまう

• レプリカセットの設定（DNS名もしくはIPアドレスでホスト指定）を変更したくない

• Elastic IPだと、同一リージョン内の通信でも費用が掛かる

そこでRoute 53ですよ！
• レプリカセットの設定にはFQDNを使う
• FQDNからインスタンスのPublic DNS NameへのCNAMEエン
トリを、インスタンスの起動時に自動的にRoute 53へ登録する
• インスタンスのFQDNは、インスタンスのLaunchの時点でイン
スタンスに書き込む

CNAME j2-mongo.techlabo.me ec2-x-x-x-x.ap-northeast-1.compute.amazonaws.com
CNAME ius-mongo.techlabo.me ec2-x-x-x-x.eu-west-1.compute.amazonaws.com

Route 53への
CNAMEの自動登録
赤字の部分は
ec2-mongo-init（抜粋） - 起動時にサービスとして実行 user dataの
スクリプトで
置き換える
FQDN="FDQN_HERE"
export AWS_ACCESS_ID="AWS_ACCESS_ID_HERE"
export AWS_SECRET_KEY="AWS_SECRET_KEY_HERE"

ec2_hostname=`curl -s http://169.254.169.254/latest/meta-data/public-hostname`.
update_host.py $FQDN -c $ec2_hostname -t 60

botoベースのRoute 53用ライブラリ
https://github.com/tkuhlman/cirrus
から借用

USER DATAによる
設定の埋め込み

ここにシェルスクリプトを書いて、
起動時に実行させることができます

#!/bin/sh
これをやっておかないと
Route 53のエントリ
yum -y update python-boto 更新がエラーになる

sed -i "s/FQDN_HERE/<your instance's FQDN here>/" /etc/rc.d/init.d/ec2-mongo-init
sed -i "s/AWS_ACCESS_ID_HERE/<your AWS access id here>/" /etc/rc.d/init.d/ec2-mongo-init
sed -i "s/AWS_SECRET_KEY_HERE/<your AWS secret key here>/" /etc/rc.d/init.d/ec2-mongo-init
sed -i "s/#replSet=replicaSetName/<your replica set name>/" /etc/mongod.conf

このインスタンスが参加する
レプリカセット名

Security Groupも自動設定
•リージョン間のMongoDBインスタンス同士の通信を許可する
•IPアドレス直指定で、インスタンスの起動時に設定を更新
•nameタグにmongoという文字列が入っているインスタンスが対象
•各リージョンのMongoInstancesというセキュリティグループのポート27017のルールを設定

for aRegion in regions:
conn = boto.ec2.connect_to_region(aRegion,
aws_access_key_id = access_id,
aws_secret_access_key = secret_key)
connections.append(conn)
rs = conn.get_all_instances()

mongoInstances = [r.instances[0] for r in rs if u'mongo' in r.instances[0].tags[u'Name']]
for mi in mongoInstances:
ip_addresses.append(mi.ip_address)

for conn in connections:
mongoInstanceSGs = [sg for sg in conn.get_all_security_groups() if sg.name == securityGroupName]
if mongoInstanceSGs != []:
mongoInstanceSG = mongoInstanceSGs[0]

for aRule in mongoInstanceSG.rules:
if aRule.from_port == u'27017':
for aGrant in aRule.grants:
if aGrant.cidr_ip != None:
mongoInstanceSG.revoke('tcp', 27017, 27017, cidr_ip = aGrant.cidr_ip)
for anIp in ip_addresses:
if anIp != None:
mongoInstanceSG.authorize('tcp', 27017, 27017, anIp + u'/32')

クライアントの動作（接続設定）
Conn＝MongoClient([ “japan-mongo.techlabo.me”,
“us-mongo.techlabo.me”,
“ireland-mongo.techlabo.me”])

• 普通に接続すれば、論理的にはレプリカセット全体
Japan に接続したことになる
クライアント • ただし、物理的なセッションは特定のノードに対して
張られている。

Ireland USA


クライアントの動作（接続設定）
• 特定条件を満たす（例えば同一リージョン内）セカンダリに読
み取りを持っていき、通信コストを抑えつつ負荷分散するよ
Japan
う設定可能。
ap-northeast-1a • バックアップとしてus-east-1にレプリカセットのノードを用
クライアント意しながら、平常時のクライアントのアクセスはap-
northeast-1のアベイラビリティゾーンのノード群に限定して
負荷分散できる
ap-northeast-1b USA


クライアントの動作（障害発生時）

• 障害発生時、一旦は例外が生じる（必要ならリカバリ
Japan
処理を行う）。
ap-northeast-1a
• もう一度リクエストを実行すれば、フェイルーバーした
クライアント
プライマリへ自動的に接続し直して処理を続行できる。

ap-northeast-1b USA
AutoConnect
Exception


DNSフェイルオーバー：正常時

A mongo-webapp.techlabo.me y.y.y.y 死活監視
A mongo-webapp.techlabo.me ALIAS x.x.x.x

Elastic IP Elastic IP
x.x.x.x y.y.y.y
Japan Ireland USA

WebApp WebApp


DNSフェイルオーバー：障害発生時

A mongo-webapp.techlabo.me y.y.y.y 死活監視

A mongo-webapp.techlabo.me ALIAS x.x.x.x

Elastic IP Elastic IP
x.x.x.x y.y.y.y
Japan Ireland USA

WebApp WebApp


参考資料
MongoDB公式サイト
http://www.mongodb.org/

MongoDB公式サイトのAWS関連ドキュメント
http://docs.mongodb.org/ecosystem/platforms/amazon-ec2/

MongoDB on AWSホワイトペーパー
http://aws.amazon.com/jp/whitepapers/mongodb-on-aws/

AWS Market Place : MongoDB from 10gen

ご清聴
ありがとうございました！

MongoDB on AWS

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a MongoDB on AWS

Semelhante a MongoDB on AWS (20)

Mais de Ryuji Tamagawa

Mais de Ryuji Tamagawa (20)

MongoDB on AWS