AWS serverless services for DMM meetup

1. Lambdaだけじゃない
AWSのサーバーレスサービス
2017.8.1
Amazon Web Services, Yuki Chiba

2. ✤ Name : 千葉 悠貴（ちば ゆうき）
✤ Role : Solutions Architect
✤ Segment : Media & Entertainment
✤ Favorite Service : CloudFormation

3. Serverlessといえば

4. AWS Lambda

5. AWS Lambda
特徴 (http://aws.amazon.com/jp/lambda/)
• OS、キャパシティ等インフラの管理不要
• S3、Kinesis、SNS等でのイベント発生を元に
ユーザが用意したコード（Node.js）を実行
• ユーザアプリからの同期/非同期呼び出し
価格体系 (http://aws.amazon.com/jp/lambda/pricing/)
• コード実行時間（100ms単位）
• Lambdaファンクションへのリクエスト回数
• 1月あたり100万リクエスト、400,000GB/秒
が無料で利用可能
イベントをトリガーにコードを実行するコンピュートサービス
AWS LambdaAmazon S3 Bucket イベント
元画像 サムネイル画像
1
2
3
AWS LambdaAmazon DynamoDB
Table and Stream
プッシュ通知
別テーブルを更
新
■イメージのリサイズやサムネイルの作成
■値チェックや別テーブルへのコピー

6. よくあるサーバーレスアプリケーション構成
Amazon API Gateway
(API GW)
AWS Lambda
(Lambda)
Amazon DynamoDB
(DynamoDB)
Amazon Cognito
(Cognito)
クライアントアプリは必要に応じて
Cognitoから一時的なCredentialsを
得た後、JSONでWeb APIと通信
サーバサイドは
API GW/Lambda/DynamoDB
といったマネージドサービスを用
い、
EC2やELBを利用しない

7. Lambdaについての詳細はこちらの資料を！
サーバーレスによるアーキテクチャパターンのご紹介
https:// www.slideshare.net/AmazonWebServicesJapan/20170418-aws-
blackbeltarchitecturepatternofserverless
 Serverless Anti-Patterns
https :// www.slideshare.net/keisuke69/serverless-antipatterns
Tune Up AWS Lambda
https :// www.slideshare.net/keisuke69/tune-up-aws-lambda

8. 多様なサーバーレスサービス

9. Webサービス／コンテンツ配信

10. Webサービス／コンテンツ配信
静的コンテンツ
バケット
API Gateway Lambda DynamoDB
Elastic
Transcoder
変換先バケット 変換元バケット
静的Webサイト
Videoオンデマンド配信
動的Webサイト
CloudFront
/Lambda@Edge
WAFShieldRoute53

11. Lambda@Edge (2017年7月GA)
グローバル
Lambda@Edge を使用すれば、エンドユーザーに近い
AWS エッジロケーションからコードを実行できます。こ
れにより、各エンドユーザーにパーソナライズされた豊
富なコンテンツを、低いレイテンシーで簡単に配信でき
ます。
継続的スケーリング
Lambda@Edge では、各トリガーに応答してコードを実
行することにより、アプリケーションが自動的にスケール
されます。コードが並列で実行されることにより、各トリ
ガーは個別に処理されます。これにより、アプリケーショ
ンがワークロードのサイズに合わせて正確にスケール
されます。
オリジンの負荷を軽減
Lambda@Edge ではコードが自動的に実行され、さま
ざまな場所でのサーバーのプロビジョニングや管理の
必要がありません。Node.js コードを記述して AWS
Lambda にアップロードするだけで、エンドユーザーに
近い AWS エッジロケーションから自動的にコードが実
行されます。
ミリ秒単位の課金
Lambda@Edge では、コードの実行時間 50 ミリ秒ごと
に、トリガーされた回数に応じて課金されます。コードが
実行されていなければ、料金は発生しません。
LambdaファンクションをCloudFrontのエッジロケーションで実行

12. Lambda@Edge のユースケース
高度にパーソナライズされたウェブサイト
Lambda@Edge では、ニュース、天気、スポーツなどのウェブサイト
に、独自のコンテンツ配信機能を追加できます。エンドユーザーの住ん
でいる場所や、ウェブサイトへのアクセスに使用しているデバイスのタ
イプに応じて、独自のコンテンツを配信できます。カスタムデバイスの
検出機能やグループ化機能を使用すると、ユーザーエージェントに基
づいて、ウェブサイトにアクセスするエンドユーザーにさまざまなオブジ
ェクトを返すことができます。
ビューワーリクエストに応じたレスポンス生成
世界中の AWS エッジロケーションで受信されるエンドユーザーのリク
エストに対して、HTTP レスポンスを生成できます。例えば、認証されて
いないユーザーをリダイレクトして、オンデマンドで作成されたログイン
ページに誘導することができます。エンドユーザーに近い AWS エッジ
ロケーションから、カスタマイズされたエラーページや静的ウェブページ
を生成することもできます。
URL の書き換え
エンドユーザーに表示される URL を転送前に書き換えて、オリジンの
ディレクトリ構造に一致させることができます。これにより、エンドビュー
ワーに向けたシームレスなエクスペリエンスを構築でき、チーム構造や
コンテンツの内部管理を公開してしまうこともありません。
エッジロケーションでのアクセスコントロール
ユーザーが初めて認証されたら、HTTP Cookie を使用する Lambda
関数を記述して、コンテンツへのアクセスをコントロールできます。これ
により、その後のリクエストの認証をエッジロケーションで行うことがで
きます。
リモートネットワークの呼び出し
インターネットで追加のサービスを呼び出して追加のリソースにアクセ
スし、コンテンツの調整やオリジン向けイベントで意思決定を行うことが
できます。
A/B テスト
さまざまなバージョンのホームページ (e コマースサイトなど) を実際の
エンドユーザーとテストできます。このとき、ウェブサイトの URL のリダ
イレクトや変更は必要ありません。

13. 対象となる CloudFront イベント

14. Lambda@Edge 用 Lambda Function
AWS Region US-East-1
Author at
Lambda
console
Master
Lambda function
CloudFront
distribution trigger
AWS Region
Lambda function
replica
AWS Region
Lambda function
replica
CREATE
ASSOCIATE
REPLICATE
REPLICATE
CloudWatch
CloudWatch
CloudWatch
・
・
・

15. Lambda@Edge 実行環境と制限
http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/lambda-requirements-limits.html
Origin facing Viewer facing
ランタイム Node.js 6.10 ←
メモリ 128 MB ←
最大実行時間 3 seconds 1 second
デプロイパッケージサイズ (zip/jar圧縮前) 1 MB ←
ネットワーク呼び出し Yes No
レスポンスサイズ (request events) 256 KB 40 KB
同時実行数 (Region毎) 1,000 ←
環境変数, DLQ, VPC, X-Ray 使用不可 ←
※2017/08/01 時点

16. データ分析

17. Orchestration/Transform
BigData関連サービス
Ingest/ Collect Store Analyze/ Process
Visualization/
Consume
Batch
ETL/ELT
Realtime
ETL/ELT
Transactional
/ CDC
B.I. Tools
Data Science
Notebooks
Bulk Transport
File/Object Upload
Streaming Ingest
Commits Transactional
NoSQL
Data Lake
Streaming Storage
Dashboards
Batch Analytics
Interactive
Querying
Machine Learning/
Deep Learning
Realtime Analytics
…

18. Orchestration/Transform
Ingest/ Collect Store Analyze/ Process
Visualization/
Consume
= Serverless
Serverless
Managed
Virtualized
Batch
ETL/ELT
Realtime
ETL/ELT
Transactional
/ CDC
B.I. Tools
Data Science
Notebooks
Bulk Transport
File/Object Upload
Streaming Ingest
Commits Transactional
NoSQL
Data Lake
Streaming Storage
Dashboards
Batch Analytics
Interactive
Querying
Machine Learning/
Deep Learning
Realtime Analytics
BigData関連サービス

19. Orchestration/Transform
BigData関連サービス
EMR EC2
S3
Amazon
RedshiftDynamoDB
AWS DMS (CDC)
AWS Lambda
Kinesis Analytics Amazon Athena
Amazon
QuickSight
Aurora
AWS Glue AWS Step
Functions
Kinesis
Streams
Ingest/ Collect Store Analyze/ Process
Visualization/
Consume
AWS
Snowball
ISV
Connectors
Kinesis
Firehose
S3 Transfer
Acceleration
= Serverless
Amazon
Elasticsearch

20. GlueはETLにおける「上手く分類出来ない、AWSに持って
くるのが大変な処理」を自動化します
 データ・ソースのカタログ
 データ・フォーマットやデータ型を特定
 ETL（Extract, Transform, Load）コードを生成
 依存関係を管理し、ETLジョブを実行
 エラーをハンドリング
 処理リソースを管理し、スケール
AWS Glue （Preview）

21. Data Catalog
 Hiveメタストア互換のデータソース用メタデータリポジトリ
 テーブル、データ型、パーティションフォーマットを推測するために ソ
ースをクロール
Job Execution
 Sparkコンテナでジョブを実行 - SLAベースでオートスケール
 Glueはサーバレス - 利用したリソース分を利用料金として払うだけ
Job Authoring
 データをソースからデスティネーション（移動先）に移動させるための
Pythonコードを生成
 任意のIDEでコードを生成し、Gitで共有.
AWS Glueコンポーネント

22. 表のメタデータをHiveメタストアAPIもしく
はHive SQLで管理。Hive、Presto、Spark
等から利用可能
拡張を追加:
 検索 - データディスカバリのためのメタデータ
 接続情報 - JDBC URL、クリデンシャル
 分類 - ファイルの識別やパース用
 バージョニング -スキーマ更新や他メタデータ
のアップデート
Hive DDL、バルクインポートの実行等で格
納、もしくはクローラーによる自動登録
データカタログ

23.  人が読める形のコードがスケーラブルなプラットフォーム上で稼動 - PySpark
 例外にも対応 – 間違ったデータやクラッシュをハンドリング
 柔軟 － 複雑な準構造化データをハンドリングし、ソースのスキーマ変更に追従
ETLスクリプト

24. CI/CD

25. CI/CDパイプライン
AWS
CodePipeline
AWS
CodeCommit
AWS
CodeBuild
Developer
AWS
CloudFormation
AWS
CodeDeploy
AWS
CodeStar

26. AWS Code Services
AWS CodeCommit
✤ セキュア、スケーラブルなGit互換のリポジトリサービス
✤ スタンダードなGit Toolからアクセス可能
✤ PushなどのイベントをトリガーにSNS/Lambdaを呼び出し可能
AWS CodeBuild
✤ スケーラビリティに優れたビルドサービス
✤ ソースのコンパイル、テスト、パッケージ生成をサポート
✤ Dockerイメージの作成も可能
AWS CodeDeploy
✤ S3またはGitHub上のコードをあらゆるインスタンスにデプロイ
✤ デプロイを安全に実行するための様々な機能を提供
✤ In-place(ローリング) およびBlue/Greenのデプロイをサポート
AWS CodePipeline
✤ リリースプロセスのモデル化と見える化を実現
✤ カスタムアクションによる柔軟なパイプライン作成が可能
✤ 様々なAWSサービスや3rdパーティ製品との統合をサポート

27. AWS CodeStar (2017年4月GA, 東京リージョン未ローンチ)
AWS上にアプリケーションをすばやく開発・ビルド・デプロイ
AWS上での開発をわずか数分間で開始
チームをまたがった開発をセキュアに
ソフトウェアデリバリの管理を容易に
様々なプロジェクトテンプレートから選択

28. Step1 : プロジェクトテンプレート選択

29. Step1 : プロジェクトテンプレート選択

30. Step2 : 開発ツールセットアップ

31. Complete!

32. セットアップ内容
✤サンプルアプリケーション
✤ EC2 or Beanstalk or Lambda
✤CodeCommitリポジトリ
✤CodeBuildビルドプロジェクト
✤デプロイツール
✤ CodeDeploy or Beanstalk or CloudFormation
✤CodePipeline 継続的デプロイメントパイプライン
✤CloudWatchメトリクス
✤プロジェクトダッシュボード

33. モニタリング & オペレーション

34. モニタリング & オペレーション
InspectorTrusted Advisor
CloudWatch/
CloudWatch Logs CloudTrail Config
X-Ray
メトリクス監視
/ログ監視
AWS API
ログ収集
AWS構成変更
ログ収集
サービス
性能監視
OS/アプリ
セキュリティ評価
推奨構成
チェック

35. AWS X-Ray (2017年4月GA)
リクエスト動作の確認
アプリケーションを構成する
個々のサービスやリソースによって
生成されるデータが集計され、
アプリケーションの実行状況を
エンドツーエンドで確認可能
アプリケーションの問題の検出
アプリケーションの実行状況に
ついてのインサイトを収集して、
問題の根本原因を調査可能
アプリケーションのパフォーマンス向上
サービスやリソースの関係をリアルタイムで
表示し、レイテンシ増加やパフォーマンス低下
などのボトルネックを特定可能
AWSとの連携
Amazon EC2, Amazon ECS,
AWS Lambda, AWS ElasticBeanstalk
と連携
さまざまなアプリケーション向けの設計
非同期のシンプルなイベント呼び出し、
３層のウェブアプリケーション、数千の
サービスから構成される複雑なマイクロ
サービスも分析可能

36. サービスグラフ
AWS Elastic Beanstalk
Application

37. サービスグラフ

38. トレースの詳細

39. エラーの検出

40. エラーの検出

41. レイテンシ分散グラフ
• レイテンシをヒストグラム
で表示

42. 動作の全体像
分析対象のアプリケーションの
インスタンス（orコンテナ）

43. 動作の全体像
AWS X-ray によって収集された
データが整理・可視化される

44. 動作の全体像
マネジメントコンソール上で
分析、デバッグ

45. AWS Lambda Active Tracing
• Lambdaファンクションの
アクティブトレースが可能に
• 各処理の所要時間
などが見れる
• 多少のメモリ
消費量の増加

46. AWS Lambda Active Tracing
• コードの修正は不要。
必要なのは Lambda ファンクションの設定変更だけ
• マネジメントコンソール：
• AWS CLI：

47. AWS Answersのご紹介

48. AWS Answers
AWSアーキテクトが開発した様々なソリューションパターンを公開
多くのソリューションでサーバーレス構成を採用

49. AWS Limit Monitor
サービス制限値に対する使用率を監視／通知するソリューション

50. AWS WAF セキュリティオートメーション
Webリクエストを検査し、悪意のあるリクエストを動的にブロック

51. Video on Demand on AWS
様々なフォーマットに動画コンテンツを変換し、CloudFront
から配信するまでのVoDワークフローソリューション

52. Any Questions???

53. Thank You !