CDP道場 中上級者向け
回答編
~∼JAWS Festa Tohoku 2014~∼
#jawsug #festa2014
2014/09/06
⼤大栗栗 宗 (@maroon1st)

ポイント
• ⾃自前主義は程々に
• 使える物は何でも使う
• 運⽤用フリーを⽬目指す
• スモールスタート、スケールアウト

ポイント
• ⾃自前主義は程々に
→素のEC2は最⼩小限にしてサービス利利⽤用
• 使える物は何でも使う
→適材適所でAWS以外のサービスを活⽤用
• 運⽤用フリーを⽬目指す
→もちろんフルマネージド優先
• スモールスタート、スケールアウト
→最初から当らないのでコスト適正化

当⽅方フォマフォ関連の経験が無いため
現実的な解では無いかもしれません

構成はシンプルに
複雑だと作るのが⼤大変
運⽤用も⼤大変

課題１：スマフォのログ出⼒力力
• (インフラ)多数の端末がログ情報を出⼒力力するた
め、受⼝口側がスケールする必要が有る
• (アプリ)通信が不不安定のため、通信環境が良良い
場合に送信するバッファリングが必要

課題１：スマフォのログ出⼒力力
解決例例
• AWS SDK for iOS / AndroidでKinesis開発
スマフォ側のバファリング必要
• Treasure Data iOS / Android / Unity SDKで
Treasure Dataへ送る

課題２：⼤大量量ログの保存
• ⼤大量量に保存できる事(スケール/安価)
• 必要な時に活⽤用できる事

課題２：⼤大量量ログの保存
解決例例
• S3で保存する。
• Redshiftで保存する。処理理も可能。
• EMR(HDFS)で保存する。処理理も可能。
• 外部サービスに保存する。

課題３：⼤大量量ログの処理理
• １億件/⽇日のログを⼀一定時間内に処理理可能
• ログの量量が増えても対応できる
• バッチ処理理とアドホッククエリ

課題３：⼤大量量ログの処理理
解決例例
• Redshiftのクエリで処理理する。
• EMRで処理理する。
(MapReduce/Hive/Impala)
• 外部サービスを利利⽤用する。
• BIツール(Server/Client)で表⽰示

構成例例
Treasure Data
Mobile SDKsExport
mobile client
SSDで⾼高速
BIHDDに⻑⾧長期間データ
DW1
DW2
Direct
Connect
分析者
閲覧者
corporate data center

Appendix:良良いアーキテクティングのために
• 最初から100%を求めない
• 作っては考える
• ディスカッションしながら考える
• 構成図を書いては書き替える

nu board
図を書きながらディスカッションに丁度度良良い
http://www.obun.jp/original/nuboard/

WE ARE HIRING !