Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
김준형, Solutions Architect, AWS
Rick Houlihan, Senior Practice Manager, AWS
Amazon DynamoDB 기반
글로벌 서비스 개발 방법 및 사례

Agenda
• Amazon DynamoDB Overview
• Amazon DynamoDB 글로벌 테이블
• Amazon DynamoDB 백업/복구
• Amazon DynamoDB 사례
• 본 강연이 끝난 후…

Amazon DynamoDB Overview

인터넷 기반 어플리케이션의 특징
사용자 1 million+
데이터 볼륨 TB, PB, EB
지역 Global
성능 Milliseconds, microseconds
요청 빈도 Millions
액세스 Mobile, IoT, devices
확장 Up, out, in
결제 Pay as you go

인터넷 기반 어플리케이션을 위한 NoSQL 데이터베이스
강한 일관성과 트랜잭션,
스키마의 관계 통합
GraphKey-value Document
;
관계형
키-벨류 기반 쿼리로
낮은 지연시간 & 높은
데이터 처리량
어떤 속성에도 쿼리할 수
있도록 인덱싱과 도큐먼트
저장
데이터 간의 관계를
생성/탐색을 쉽고 빠르게
복잡하고 애드혹 쿼리는
SQL을 통해 지원
필터로 단순한 쿼리실행 필터를 이용한 단순한 쿼리,
프로젝션(복사)과 합계
관계에 대해서 빠르고 쉬운
쿼리
비관계형
뛰어난 확장성, 낮은 지연시간, 스키마의 유연성이 필요

특별히 만들어진 비관계형 DB
전 세계에서 가장 큰 E-커머스
비즈니스를 전개하고 있는
Amazon.com이 확장성, 성능, 관리의
용이를 이유로 비관계형 클라우드 DB를
사용하고있습니다.
— Werner Vogels
CTO, Amazon

Amazon DynamoDB가 사랑받는 이유
빠르고 일정한 성능
10ms 미만의 지연시간 보장
DAX로 micro초로 감소
높은 확장성
초당 수 백만개 요청 처리
수 백TB 용량 자동 확장
완전 관리형 서비스
자동 프로비저닝 및
인프라 관리
규모와 상관없이 빠르고 유연한 NoSQL 데이터베이스 서비스
높은 신뢰성
리전 내 여러 AZ로
데이터 복제,
세분화된 접근제어

주요 추가 기능
VPC
엔드포인트
Auto
Scaling
DynamoDB
Accelerator(DAX)
Time to
Live (TTL)
글로벌 테이블 온디맨드
백업/복구
저장시 암호화

Amazon DynamoDB 글로벌 테이블

DynamoDB는 리전 서비스
• 기본적으로 데이터는 해당 리전에 저장
• 타 리전으로 데이터 복제 가능
- 수동 : 테이블 복제
- 자동 : 실시간 테이블 복제
• VPC Endpoint는 해당 리전의 테이블에만 가능
• 타 리전의 DynamoDB 접근은 Public 구간으로 가능

글로벌 테이블 출시 전의 리전 간 복제
• DynamoDB Stream 활용 리전 간 테이블 실시간 복제
어플리케이션
A리전의 테이블 DynamoDB 스트림 B리전의 테이블
Lambda
EC2 인스턴스

글로벌 테이블 출시 이전의 리전 간 복제
• 테이블의 성능 (RCU/WCU) 소모
• DynamoDB Streams로부터의 데이터를 복제 처리할 추가 리소스 필요
- EC2 with KCL 또는 Lambda
- CheckPoint용 테이블
- KCL 성능 모니터링
• 추가적인 비용 및 관리가 필요

글로벌 테이블 출시
전세계 사용자들
Global Table
 고성능, 글로벌로 배포된 어플리케이션
 로컬에서 낮은 읽기/쓰기 지연 속도 보장
 멀티 리전 복제로 재해 복구
 손쉬운 설정 및 어플리케이션 수정 불필요
 현재 US East(2)/West(1) 및 EU(2) 사용가능

글로벌 테이블 활용
• 기본적으로 DynamoDB Streams를 활성화
• DynamoDB Auto Scaling 사용
- 복제본 테이블의 성능 관리에 용이
- 하나의 복제본 테이블에 설정 시 타 복제본도 적용(권장)
• 글로벌 보조 인덱스(GSI)를 생성하는 경우,
모든 복제본에 동일한 인덱스 생성

글로벌 테이블 활용 아키텍처
Amazon
Route 53
Region B
Region A
Amazon API
Gateway
Amazon API
Gateway
Amazon
DynamoDB
Amazon
DynamoDB
AWS
Lambda
AWS
Lambda
Global Tables
Latency Based
Routing
A리전의 사용자
B리전의 사용자

Amazon DynamoDB 백업/복구

이제까지의 DynamoDB 백업은…
이제까지는…
 DataPipeline 및 오픈 소스 도구 활용
 Amazon EMR 을 이용한 복제
 리전간 복제 기능을 활용한 데이터 이동
추가 리소스 및 구성 필요

온디맨드 & 지속적 백업 제공 최초의 NoSQL DB
장기간 데이터 저장
컴플라이언스 준수
온디맨드 백업
단기간 데이터
Point In Time Recovery
데이터 손상 방지
수 백TB를 성능에
영향 없이 즉시 백업

온디맨드 백업/복구 사례
• 삼성전자 Samsung Cloud Service의 DynamoDB 데이터 백업
 백업 요구사항 : RPO 1일, RTO 7일 (내부 SLA)
 일부 리전에서는 Data Pipeline 서비스 미지원으로 Export / Import 불가
 40TB 이상의 대용량 테이블 백업에 어려움
 EMR/Hive를 이용하여 커스텀 백업 스크립트로 매일 Full 백업
온디맨드 백업/복구 기능을 이용하여 문제 해결

원하는 시점으로 복구하는 PITR (Point In Time Recovery)
• 실수 등 우발적 이유의 데이터 쓰기나 삭제를 되돌리는데 유용
• 최대 35일 이내의 시점으로 성능에 영향을 주지 않고 복구 가능
• 자동으로 테이블의 데이터를 백업
• PITR 기능 활성화 후 EarliestRestorableDateTime과
LatestRestorableDateTime 사이의 시점으로 초단위로 복구 가능
EarliestRestorableDateTime
EarliestRestorableDateTime 현재시각5분35일전 (dd:hh:mm:ss)로 복구

Amazon DynamoDB 사례
(Alexa Response Service)
Rick Houlihan, Senior Practice Manager, AWS

Amazon DynamoDB
Document or Key-Value Scales to Any WorkloadFully Managed NoSQL
Access Control Event Driven ProgrammingFast and Consistent

Amazon DynamoDB 200,000+ customers

Backup and restore on mobile app
for 300 million users
Migrated from Cassandra to
DynamoDB
• Almost 1 PB in DynamoDB, 130 million
daily API requests
• Consistent performance and 70% cost
savings (TCO)“DynamoDB provided consistent high
performance at a drastically lower cost
than Cassandra.”
—Seongkyu Kim
Samsung

One of the 10 largest banks in the
U.S. serving 45 million customers
Migrated from mainframe to
DynamoDB:
• Serving millions of transactions with the
new serverless architecture
• Reduced latency: end-to-end requests
<55ms
• Unbound scale for app developers“New solution is so much faster...with an
average response time of 55ms.”
—Srini Uppalapati
CapitalOne

“Our internal customers saw processing delays
decrease from 1 second to 100 milliseconds. It
shows how DynamoDB can serve as the
foundation of a highly efficient, mission-critical
system.”
—Mike Thomas
Amazon
Every time you buy something on
Amazon.com, the internal Herd
system supports 100s of millions
of active workflows that need to
start within a couple of seconds
Migrated from Oracle
to DynamoDB:
• Workflow processing delays dropped
from 1s to 100ms
• Scaling and maintenance effort dropped
10x
• Retired more than 300 Oracle hosts

Amazon Alexa Response Service
Service Description
• Store user requests and Alexa
responses across all devices
• Retrieve user requests by time
range
• Retrieve Alexa responses by time
range for a given device
Operational Requirements
• Support millions of users
• Consistent low latency at any scale
• Minimal cost footprint
• Globally distributed processing
• Automated data life cycle
Get orders for
user X from 4/7-
14/2018.

Access Patterns Query Conditions
1 Details by AccountID (or DeviceID) for a timerange Use GSI-1, PK=ACCOUNT1, SK between TS1 and TS2
2 Get all queries for an Account Use GSI-1, PK=ACCOUNT
3 Get all responses for a device Use GSI-1, PK = DEVICE
4 Get Account metadata Use Table, PK=ACCOUNT
5 Get Device metadata Use Table, PK=DEVICE
T
A
B
L
E
Primary Key
Attributes
ObjectID TargetID (GSI1-PK)
ACCOUNT1 ACCOUNT1
Other Account-level attributes
DEVICE1 DEVICE1
Other Device-level attributes
DATAMART1
ACCOUNT1
TimeInMillis (GSI1-SK) S3Key Namespace
12345678
ACCOUNT1
TimeInMillis (GSI1-SK) S3Key Namespace
23456789
DEVICE1
TimeInMillis (GSI1-SK) S3Key Namespace ContentType
12345678
DEVICE1
TimeInMillis (GSI1-SK) S3Key Namespace ContentType
23456789
G
S
I
#
1
GSI 1 Primary Key
Projected Attributes
TargetID TimeInMillis
ACCOUNT1
12345678
ObjectID TargetID S3Key Namespace
ACCOUNT1 ACCOUNT1
23456789
ObjectID TargetID S3Key Namespace
DATAMART1 ACCOUNT1
DEVICE1
12345678
ObjectID TargetID S3Key Namespace ContentType
DEVICE1 DEVICE1
23456789
ObjectID TargetID S3Key Namespace ContentType
DATAMART1 DEVICE1

DynamoDB – Fully managed NoSQL Service from AWS
Provisioning
Capacity planning
Monitoring
OS patching
Hardware upgrades
Database upgrades
Security patches
Scaling
Monitoring
Performance tuning
Replication across data centers
Re-replicate on server failureProvision new regions
Infrastructure Software
With Zero Downtime

• Amazon DynamoDB의 새로운 기능 확인하기
 Global Table (전역 테이블)
https://aws.amazon.com/ko/dynamodb/global-tables/
 Ondemand Back up & Restore (온디맨드 백업)
https://aws.amazon.com/ko/dynamodb/backup-restore/
 PITR (Point In Time Recovery)
https://docs.amazonaws.cn/en_us/amazondynamodb/latest/developerguide/PointI
nTimeRecovery.html
 Encryption At Rest (저장 시 암호화)
https://docs.aws.amazon.com/ko_kr/amazondynamodb/latest/developerguide/Encr
yptionAtRest.html
본 강연이 끝난 후…

Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018

Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018

Similar a Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(20)

Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018