[Games on AWS 2019] AWS 입문자를 위한 초단기 레벨업 트랙 | AWS 레벨업 하기! : 스토리지 - 현륜식 AWS 솔루션즈 아키텍트

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS 레벨업하기! 스토리지
현륜식 솔루션즈 아키텍트, AWS

Agenda
• Storage
• AWS 에서 생각하는 Storage
• Block Storage
• File Storage
• Object Storage
• Data Migration Tool

Storage

Block vs File vs Object
Block Storage
사용자의 데이터를 Local Disk 또는 SAN Storage 상의 Volume에 Block 단위로 저장 및 Access하는 스토리지 유형
일반적으로 파일 시스템을 구성하여 사용
e.g.: Local Disk, SAN/iSCSI Storage, NTFS, ZFS, Amazon EBS
File Storage
파일 시스템으로 구성된 저장소를 Network 기반의 Protocol을 사용하여 파일 단위로 Access하는 스토리지 유형(NAS)
e.g.: NAS, Amazon EFS, Amazon FSx
Object Storage
Encapsulate된 데이터 및 속성, 메타데이터, 오브젝트 ID를 저장하는 가상의 컨테이너
API 기반의 데이터 접속
메타 데이터 또는 정책에 기반하여 운영
e.g.: Amazon S3, OpenStack Swift, Ceph

스토리지의 특성
내구성 가용성 보안 비용 확장성 성능 Integration
기대 데이터
손실
기대 Downtime 저장 및 전송 중
데이터 보안
storage 단위
가격
e.g. $ / GB
유연성,
스토리지
크기, 사용자
수
성능 메트릭
e.g. 대역폭, IOPS
API 제공 여부
및 다른
서비스와의
상호 작용
가능성
스토리지 도입에 고려되는 사항

AWS에서 생각하는 Storage

On-premises
• 선납 방식 - Capex
• 기간별로 다른 금액 정책
• 빠른 혁신이 불가능
불필요한 자원 소모
AWS
• 사용한 만큼만 과금
• 지속적이고 자동으로 가격 인하
• 끊임없는 혁신
UX 저하
AWS 모델

Data
클라우드의 중심은 스토리지

99.99%
내구성 디자인
하나의 Site 에 두개 복사본
99.999%
내구성 디자인
두개의 Site에 하나의 복사본
99.999999999%
내구성 디자인
GlacierStandard IA
AWS 리전
내구성 이해하기

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
내구성과 가용성
% 가용성 내구성
99.999 5 minutes 15 seconds 1 in 100,000
99.9999 31 seconds 1 in 1,000,000
99.99999 3 seconds 1 in 10,000,000
99.999999999 300 uSeconds 1 in 100,000,000,000

다양한 스토리지 옵션들
Amazon Elastic Block Store
(EBS)
Amazon Elastic File System Amazon FSx for LustreAmazon FSx
Amazon S3 GlacierAmazon Simple Storage
Service (S3)
AWS SnowballAmazon FSx for Windows File
Server
Volume
Gateway
File Gateway Tape Gateway
AWS Storage GatewayAWS BackupAWS SnowmobileAWS Snowball Edge

Block Storage

EC2 인스턴스와 Block Storage
EC2 인스턴스
물리 호스트
인스턴스 스토어
or
EC2 인스턴스
물리 호스트
or
스토리지 호스트
EBS 스토어
Block IO
인스턴스 스토어 EBS (Elastic Block Store)

Amazon EBS(Elastic Block Store)
Amazon EBS
EC2 인스턴스를 위한 Persistent Block Level 스토리지
생성한 용량만큼만 비용을 지불
이중화(중복) 기본 제공 및 Write Cache
일관성 있는 낮은 지연의 성능을 제공
Random I/O에 최적화
저장된 상태에서의 암호화가 기본으로 제공

Amazon EBS(Elastic Block Store)
Amazon EBS
Network 연결 기반의 Block Storage
데이터 수명에 독립적
가상 디스크
하나의 EC2인스턴스가 다수의 EBS볼륨을 가질 수 있음
하나의 EBS 볼륨은 한번에 하나의 EC2인스턴스에만 연결이 가능
연결 해제 후, 다른 EC2 인스턴스에 장착이 가능
Raw Block Device
포멧되어 있지 않은 Block Device
데이터베이스 또는 파일시스템에 적합
다양한 종류의 EBS가 제공됨

Amazon EBS의 기능
항목 제공 기능
내구성 (Durable)
• 99.999%(five 9’s)의 신뢰성을 제공하도록 설계됨
• 단일 가용영역(AZ) 내에서 다중의 스토리지로 복제
보안성 (Secure)
• Identity and Access 정책
• 암호화 기능
성능 (Performance)
• 지연이 낮은 SSD
• 일관된 I/O 성능
• 보다 높은 성능을 위하여 다수의 EBS볼륨을 Stripe 볼륨으로 구성 가능
백업 (Backup)
• Point-in-Time 스냅샷 (시점 기반)
• 생성된 스냅샷을 가용영역(AZ)간 또는 리전(Region)간 복제 기능 제공
확장성 (Scalable)
• 1GiB ~ 16TiB의 필요한 용량 제공
• 손쉽게 용량/성능의 확장 및 축소가 가능

EBS 볼륨 종류별 비교
항목
SSD(Solid State Drive) HDD(Hard Disk Drive)
General Purpose
SSD (gp2)
Provisioned IOPS
SSD (io1)
Throughput
Optimized HDD (st1)
Cold HDD (sc1)
간략한 설명
• 범용 SSD 볼륨은
다양한 트랜잭션
워크로드를 위해
가격과 성능의 균형을
맞춤
• 고성능 SSD 볼륨은
지연 시간에 민감한
트랜잭션 워크로드를
위해 설계됨
• 저비용 HDD 볼륨은
자주 액세스하고 처리량
집약적인 워크로드를
위해 설계됨
• 최저비용 HDD
볼륨은 액세스 빈도가
낮은 워크로드를 위해
설계됨
사용 사례 • 대부분의 workload
• I/O 집약적 NoSQL
및 관계형
데이터베이스
• Big Data 분석 • 간헐적 사용 데이터
볼륨 크기 • 1GiB – 16TiB • 4GiB – 16TiB • 500GiB – 16TiB • 500GiB – 16TiB
최대 IOPS/볼륨
• 16,000 (볼륨 size에
따라 다름)
• 64,000 • 500 • 250
비용
(버지니아 북부
기준)
• $0.10/GB-Month
• I/O 양에 무관
• $0.125/GB-Month
• $0.065/Provisioned
IOPS
• $0.045/GB-Month • $0.025/GB-Month
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html

Choosing an Amazon EBS volume type
gp2
Latency?
< 1 ms Single-digit ms
Which is more important?
Cost Performance
IOPS
≤ 80,000> 80,000
is more important
io1
Throughput
is more important
Small, random I/O Large, sequential I/O
st1
d2
≤ 1,750 MiB/s
Aggregate throughput?
> 1,750 MiB/s
Which is more important?
Cost Performance
sc1

Elastic Volumes: Features
Increase volume size
Increase/decrease provisioned IOPS
Change volume type
standard gp2

EC2 Instance Store (Ephemeral Volumes)
EC2 인스턴스에 포함 (무료)
SAS, SSD, NVMe 디스크 제공
인스턴스 패밀리에 따라 종류 및 사이즈가 다름
로컬 하드웨어에 직접 연결된 디스크
Stop/Start로 인해 하드웨어가 바뀌면 사라짐 (휘발성)
디스크 오류, 인스턴스 중지, 인스턴스 종료 시 데이터 소실
IO의 타입에 따라 다양한 형태로 지원

AWS Cloud
EC2 Availability Zone
EC2
Amazon S3
EBS
EC2 EC2
EBS EBS EBS EBS EBS
EBS Snapshot
EBS Snapshot
EBS Snapshot
Create Snapshot
Clone From
Snapshot
Amazon EBS Snapshot
스냅샷을 찍는 시점에 대한 복사본
S3에 저장, EBS API 지원

EBS Volume
Time
Snapshot 1 Snapshot 2 Snapshot 3
S3
Block 1
Block 2
Block 3
Block 4
Chunk 1
Chunk 2
Chunk 3
Chunk 4
Amazon EBS Snapshot
용량 최적화
연속적으로 생성되는
스냅샷의 경우 용량
절감을 위하여
Incremental로 저장
스냅샷 삭제 시 해당
스냅샷에만 저장되었던
데이터 삭제

TIP!
중요한 정보가 EBS에 있다면 Amazon Data Lifecycle Manager를 이용하여 EBS를
정기적으로 Snapshot 찍어주세요.

File Storage

Elastic File System (EFS)
Amazon EFS
EC2인스턴스를 위한 완전 관리형 네트워크 파일시스템
표준 파일시스템 기능 제공
운영체제 표준 API 지원
수천대의 EC2 인스턴스간 파일시스템 공유
페타바이트 규모로 탄력적으로 확장
다양한 워크로드를 위한 성능을 제공
고가용성 및 내구성
NFS v4 기반
On-Premise의 서버에서도 사용 가능

Amazon EFS - Simple
완전 관리형
하드웨어, 네트워크 및 파일시스템 불필요
수초이내에 확장가능한 파일시스템 생성
기존 도구 및 어플리케이션과 유연하게 통합
NFS v4.1 – 표준 기반
표준 파일시스템
운영체제의 표준 파일시스템 API 호환
단순한 비용 체계 – 손쉬운 비용 예측

Amazon EFS - Elastic
사용자의 파일 추가, 제거에 따라 자동적으로 확장 또는 축소
스토리지 용량 및 성능을 미리 준비할 필요가 없음
초기 비용 없이 사용한 만큼만 비용 지불

Amazon EFS - Scalable
페타바이트 규모까지 파일시스템 확장 가능
파일시스템의 사용증가에 따라 자동으로 용량 및 성능이 확장
파일시스템 크기에 관계 없이 일관된 성능 제공
수천개 이상의 동시접속 지원

Amazon EFS – High Available
가용영역 장애를 고려한 디자인
다수의 가용영역에 걸쳐 자원이 통합
전통적인 NAS보다 뛰어난 가용성 모델
Production 및 Tier-0 어플리케이션에 적합
Big Data Analytics
Media Workflow Processing
Web Services
Content Management
Home Directories

EFS Infrequent Access
자주 사용하지 않는 데이터 용도
EFS Lifecycle Policy
85% savings for files accessed <1
time per month
EFS Standard EFS IA
Frequently
accessed
file system
Infrequently
accessed
file system

EFS Bursting Throughput
Data ingest
Compute
D U R A T I O N
A V E R A G E
T H R O U G H P U T
1TB of 1MB files
from 1 c5.2xlarge instance
2h 53m 105 MB/s
EFS

EFS Provisioned Throughput
Data ingest
Compute
D U R A T I O N
A V E R A G E
T H R O U G H P U T
1TB of 1MB files
from 1 c5.2xlarge instance
1h 12m 250 MB/s
2h 53m 105 MB/s
EFS

Compute
Compute
Compute
EFS Provisioned Throughput
Data ingest
Compute
D U R A T I O N
A V E R A G E
T H R O U G H P U T
1TB of 1MB files
from 4x c5.2xlarge instances
18m 1000 MB/s
1h 12m 250 MB/s
EFS
2h 53m 105 MB/s
90%
reduction
in time

Amazon EFS - Mounting
가용영역 1
REGION
가용영역 2
가용영역 3
Amazon
EFS
EC2
EC2
EC2
EFS DNS Name
availability-zone.file-system-id.efs.aws-region.amazonaws.com
Mount on machine
sudo mount -t nfs4 mount-target-DNS:/ ~/efs-mount-point

FSx for Windows
AWS 서비스들과
쉽게 연동
완전 관리형 Windows file
systems …
… built on Windows Server

기본 Windows 호환성 및 기능
네이티브
Windows 호환성
DFS
Namespaces 및
DFS Replication
Microsoft AD 및
Windows ACLs
지원
AD
NTFS
Windows Server
Native SMB
2.0 to 3.1.1
SMB

Amazon FSx for Lustre
For compute-intensive data processing
use cases like HPC or Machine Learning
S3에 저장된 Raw 데이터를
처리하기 위해 FSx에 저장
보존을 위해 S3에 반환된 처리
출력

Amazon FSx for Lustre 성능
대단위 확장 가능한 성능
100+ GB/s throughput | Millions of IOPS |
일관된 sub-millisecond 호출시간
Parallel file system Supports hundreds of
thousands of cores
SSD-based

Object Storage

Amazon S3 (Simple Storage Service)
Amazon S3
웹에서 사용 가능한 오브젝트 저장소
사용한 만큼만 비용 지불
뛰어난 내구성 (99.999999999%의 내구성 설계)
제약없는 확장성
4가지 유형의 서비스
Standard Storage : $0.025/GB/월
Standard-IA(Infrequent Access) Storage : $0.018/GB/월
One Zone-IA(Infrequent Access) Storage : $0.0144/GB/월
Glacier(장기보존) : $0.005/GB/월
Glacier Deep Archive : $0.002/GB/월

Amazon S3 (Simple Storage Service)
Amazon S3
병렬 처리 지원 (Multipart Upload, Ranged GETs)
Resource 단위의 IAM 권한
버킷(Bucket) 접근 정책 및 ACL
API를 통한 직접 사용 가능
Server Side Encryption
Static Website Hosting
데이터에 대한 수명주기 관리 기능
Amazon Athena 지원
Amazon S3에 저장된 데이터를 표준 SQL을 사용하여 분석할 수
있게 하는 대화형 Query 서비스

Availability Zone
AWS Object 스토리지의 특징
S3 Standard
S3 Intelligent-Tiering
S3 Standard-IA
Availability Zone
S3 One Zone-IA
AWS Region AWS Region
S3 Glacier
S3 Glacier Deep Archive
Availability ZoneAvailability Zone

Object Storage Tiering
데이터에 대한 S3 Life Cycle 정책을 통한 Tiering
GlacierS3 - IAS3 Standard
주 사용 데이터
Big Data 분석용 데이터
작은 오브젝트들
작업용 임시 공간
파일 동기화 및
공유서비스
아카이브 또는 백업
미디어 트랜스 코딩
재해 복구용 (DR/Geo
Redundancy)
장기 보존용 아카이브
Tape Vaulting
백업
Cold 유형의 데이터

알맞는 Amazon S3 스토리지 티어 선택하기
Access FrequencyFrequent Infrequent
• Active, frequently
accessed data
• Milliseconds access
• > 3 AZ
• Data with changing
access patterns
• > 3 AZ
• Monitoring fee per Obj.
• Min storage duration
• Infrequently accessed
data
• > 3 AZ
• Retrieval fee per GB
• Min object size
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
• Re-creatable, less
accessed data
• 1 AZ
• Min object size
• Archive data
• Select minutes or
hours
• > 3 AZ
• Min object size
S3 Glacier
Deep Archive
• Archive data
• Select 12 or 48 hours
• > 3 AZ
• Min object size

Infrequent access tierFrequent access tier
액세스 패턴에 따라 자동으로 스토리지 계층화

Amazon Glacier
Amazon Glacier
저렴한 보관용 스토리지(Archival)
높은 보안성 (SSL & AES-256)
높은 내구성 (99.999999999 %)
데이터의 보존 및 백업에 최적화된 스토리지
한시간 이내의 RTO 조건에 적합
스토리지 저장 비용과 검색 비용
3가지 검색 옵션 : 긴급(Expedited), 표준(Standard), 대량(Bulk)
GB당 $0.005/month의 저장 요금 (한국)
S3와 통합된 life cycle 관리

S3 performance increase
데이터 분석을 위한 S3
BEFORE
Compute
W R I T E T I M E R E A D T I M E
5TB of 2MB objects
S3
41m 40s 13m 52s
1with prefix

S3 요청 성능 향상
NOW
Compute
S3
12m 00s 7m 00s
41m 40s 13m 52s
5TB of 2MB objects
1with prefix0

S3 요청 성능 향상
병렬 처리
Compute
S3
12m 00s 7m 00s
41m 40s 13m 52s
x10
0h 1m 12s 0h 0m 42s
5TB of 2MB objects
1with 0 prefix

Amazon CloudFront
Amazon Glacier
구성과 사용이 매우 간단한 컨텐츠 전송 네트워크(CDN) 서비스
사용한 만큼만 비용을 지불, 초기 약정 불필요
다양한 원본 컨턴츠 Origin : S3, EC2, On-Premise
전세계 180개 이상의 Edge Locations
Video Streaming
지역별 제한 기능 (Geo Restriction)
Custom SSL Certificate
Dynamic Content
POST/PUT 지원

TIP!
S3 Lifecycle Management의 Incomplete Multipart Uploads를 삭제하는 Rule을
설정하세요.

Data Migration Tool

데이터 이동을 위한 5가지 질문
저장되어 있는 데이터는 어떤 종류의 데이터이고 어디로 옮겨야 하는가?
단발성인가? 지속적으로 옮겨야 하는가?
단방향인가? 양방향 동기화가 필요한가?
얼마나 많은 데이터가 있는가? 얼마 동안에 옮겨야 하는가?
데이터를 WAN 으로 옮겨도 되는가?

온라인 데이터 이동을 쉽고 빠르게 – 오픈소스 툴 대비 10배 이상 빠른 속도로
AWS Region
NAS
NFS
DataSync
Agent
AWS
DataSync
S3 Bucket
EFS File
System
Corporate Data Center
AWS Direct Connect or WAN
Encryption with TLS
Migrate active
application data to AWS
Transfer data for timely
in-cloud analysis
Replicate data to AWS
for business continuity
AWS DataSync

Your SFTP
end users
FTP over SSH
Archival
Analytics
Processing
S3AWS Transfer
for SFTP
S3를 위한 완전 관리형 SFTP 서비스
기존 Active Directory
및 LDAP 과 연동
S3에서 데이터에 대한 처리
및 아카이빙을 위한 준비
높은 가용성과 확장성
제공
AWS Transfer for SFTP

Amazon S3 Transfer Acceleration
Rio De Janeiro Warsaw New York Atlanta Madrid Virginia Melbourne Paris Los Angeles Seattle Tokyo Singapore
Time[hrs]
500 GB 데이터를 싱가폴 S3 버킷에 업로드시
Internet 망Transfer Accelerator
최대 300% 속도 개선
평균 171%

AWS Snowball & Snowball Edge
On-Premise  AWS 클라우드간의 빠르고 단순하며 안정적인
데이터 이동 수단 제공
10Gbps connection
50 TB/80 TB Capacity (Snowball)
100 TB Capacity (Snowball Edge)
Local S3 Storage APIs (Snowball Edge)
Local Lambda Functions (Snowball Edge)
멀티미디어 트랜스코딩, 실시간 압축, 커스텀 오디팅 지원
• Snowball Edge [Compute]
- 52 vCPUs or NVIDIA G100 GPU
- 42 TB capacity/100 Gb/s networking

AWS Snowball
E-ink 배송 라벨
매우 견고한
케이스
End-to-End
데이터 암호화
50 / 80 TB
10G 네트워크
방수 및 방진
기능
극한, 혹서의
환경에서도
기능을 발휘

Snowball의 속도 비교
대역폭
평균 사용률
인터넷 대역폭
1Gbps 500Mbps 300Mbps 150Mbps
25% 95 190 315 632
50% 47 95 158 316
75% 32 63 105 211
250TB의 데이터 이동을 위하여 5개의 Snowball을 사용하면 수일 이내에 이동 가능 (개당
50TB, 10Gbps 전송 x 5)
배송기간에 따라 지연 발생 가능여부
250TB의 데이터를 인터넷을 통하여 이동하는 경우의 소요 시간(단위, days)

AWS Korea 공식 소셜 채널에서
발표자료 및 녹화 동영상을 확인하세요.
발표자료 다운로드

설문조사와 강연 평가에
참여해 주신 모든 분들께
랩탑 백팩을 드립니다!
여러분의 피드백을 기다립니다!
#GamesOnAWS 해시태그와 함께
여러분의 행사 소감을 SNS에 올려주세요.

입문자 트랙 강연을 듣고, AWS 공식 교육 바우처를 받으세요!
1
2
3 6층 AWS 전문가 상담부스에서 바우처 수령
3개 이상의 강연에서 입장/퇴장 스탬프 획득
AWS 입문자 트랙 입구에서 스탬프카드 수령
*강연 시작 후 10분 이내에 ‘입장’ & 강연 종료 후 ‘퇴장’
*선착순 100명 한정
*AWS 입문자 트랙 참여하신 분들께만 제공됩니다*

감사합니다

[Games on AWS 2019] AWS 입문자를 위한 초단기 레벨업 트랙 | AWS 레벨업 하기! : 스토리지 - 현륜식 AWS 솔루션즈 아키텍트

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [Games on AWS 2019] AWS 입문자를 위한 초단기 레벨업 트랙 | AWS 레벨업 하기! : 스토리지 - 현륜식 AWS 솔루션즈 아키텍트

Similar to [Games on AWS 2019] AWS 입문자를 위한 초단기 레벨업 트랙 | AWS 레벨업 하기! : 스토리지 - 현륜식 AWS 솔루션즈 아키텍트 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

[Games on AWS 2019] AWS 입문자를 위한 초단기 레벨업 트랙 | AWS 레벨업 하기! : 스토리지 - 현륜식 AWS 솔루션즈 아키텍트