2015-02-07（土）JAWS-UG KANSAI特別編 「AWSを使い倒せ。AWSのフルマネージドサービス活用によるネイティブクラウドシステムへの誘い」でハンズラボ発表した資料の山﨑分抜粋版です。

1. Copyright © 2015. All rights reserved.
ハンズラボ株式会社
ハンズのDynamoDBクラウドパターン
山﨑 直行
2015年2月7日 JAWS-UG KANSAI特別編

2. 自己紹介
山﨑 直行
元SI的な普通のエンジニア
主に担当した案件
ハンズEC関連
ハンズ基幹システム関連 ←いまここ

3. 長谷川からの指令
 画面見たらパッと表示しろ
 データ更新はなる早ね
(確定データが来たら夜間に一括更新とかやめろ)
 ブイーンといじったらスケールするようにしろ
 サービス落とすな

4. そう、DynamoDBならね
Dynamo先生ならなんとかしてくれる

5. DynamoDBにデータをどんどん入れたい
入れなければいけないデータ
POSデータ 20万/day (10/secくらい)
在庫データ 20万～/day
商品マスタ 6500万SKU (更新は100万/dayくらい)
Etc…
4

6. SQSをつかった処理の定番のパターン
5
処理
データがどんどんくる
データをキューとして貯める
SQSからキューを順番に取り出して
その分をDynamoDBに登録する
並列で並べればスケーラブル
(AutoScale)
重複チェック
同じデータをつっこまないよ
う登録済みhash値をチェック
(並列実行しても安心)

7. まずはPOSデータを頑張って捌こう
POSデータの現状
テックPOSから1取引1CSVでガンガンアップされてる
自前でPOS作るからそこからも来るデータも考慮する
6
やらないといけないこと
CSVデータをDynamo更新用に変換(JSONとか)
何回やっても同じ結果(再現性確保)
エラーが起こっても原因が追えるようにする

8. 処理フローをモデル化したい
在庫処理
リクエスト受け口
伝票処理
売上処理
商品マスタ

9. DynamoDB更新のAWSデザイン
8
高信頼性があるSQSでまず
リクエストを受ける
エラーを追うためすべての
リクエストをS3に保存
SNSで拡張性アップ

10. 実装 ～SNSトピックを振り分ける～
9
リクエストデータ受け口
{
"function": “uriage",
"TableName": "uriage_day",
"Key": {
"id": {"S": "0000010323601"}
},
"AttributeUpdates": {
"item_code": {
"Action": "PUT",
"Value": {
"S": "0000010323601"
}
}, "ure_count": {
"Action": "ADD",
"Value": {
"N": "1.0"
}
}
}
}
SNS振り分け先を定義
(経路を決める)
Dynamo更新用
データを作る
「uriage」というSNSト
ピックに投げる

11. DynamoDB更新のAWSデザイン(再掲)
10
functionによりSNSのどのト
ピックに振り分けるか決定

12. これで主張したいところ
良いところ
起点がSQSなので、リクエストを受けるところは割
と安心
分散しやすいので並列実行でなる早を実現
DynamoDBスループットの調節も分かりやすい
新規データがあっても拡張しやすい
11

13. 作ってみてダメだと思ったところ
12
ログデータが多すぎて、デバッグ大変(追いたくない)
大量データを更新する場合、結構時間がかかる
SQSの1回で登録できる件数上限が10なのが影響
リクエスト受け口がボトルネックになる可能性

14. DynamoDB更新のAWSデザイン(改)
13
大量データ更新のときは
S3 Notification使ってみた

15. S3 Notificationの活用
14
S3://hoge-trigger/uriage/data_20150207.csv
という情報をSQSに貯めてくれる
ファイル情報取得してダウンロードして
データ変換・バラバラに分割してSNSへ
SNS振り分け先・フォーマットは
ディレクトリ名で判断

16. S3 Notification使って解消したこと
15
解消したこと
 ログデータは最初に置いたS3が元ネタなので不要
- データ探しやすくなりデータ検証もしやすくなった
 急にデータ増えてもコントロールできる
イケてる！！
 実装が簡単になった。疎結合バンザイ
- 開発者はS3にデータを置くだけで終わり
- AWSのことよくわからない人にも説明が簡単

17. さらなる高みへ ～LamdaでGO!～
16

18. ありがとうございました
17
ハードウェア保守やらない時代はすぐそこみたいです
思ったより楽しいAWS

19. Let's work together!
・ＡＷＳエンジニア
・iOSエンジニア
・Webエンジニア
ハンズラボは積極的に技術者採用中です。