다양한 업무에 적합한 AWS의 스토리지 서비스 알아보기 – 김상현, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Builders Online Series
다양한 업무에 적합한
AWS의 스토리지 서비스 알아보기
김상현
AWS 솔루션즈 아키텍트

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
백업 및
재해 복구
애플리케이션
파일 저장소
사용자
파일 저장소
데이터베이스 분석
스토리지의 일반적인 사용 용도

블록 파일 오브젝트 백업
Amazon
EBS
Amazon
EFS
Amazon FSx
for Lustre
Amazon FSx for
Windows File Server
Amazon S3,
S3 Glacier
AWS
Backup
AWS Storage
Gateway
폭넓은 데이터 마이그레이션 서비스
AWS
DataSync
AWS Transfer
Family
AWS
Snowmobile
AWS
Snowball
AWS
Snowcone
AWS 스토리지 및 마이그레이션 서비스
다양한 종류의 스토리지 서비스

• EBS는 EC2에서 사용하도록 설계된 영구 지속 블록
스토리지 서비스
• EBS 볼륨을 활용하여 파일 시스템을 생성하거나
블록 디바이스 자체로 활용
• 고성능 대규모 데이터 처리와 트랜잭션 집약적인
워크로드에 사용
• 데이터베이스, 빅데이터 분석, 엔터프라이즈
애플리케이션과 같은 중요한 업무에 활용
Amazon EBS란?
Availability Zone
AWS Region
Amazon EC2
Instance
EBS volume EBS volume EBS volume

Amazon EBS의 특징
고가용성 안정성
• 낮은 지연 시간 제공
• 일정한 I/O를 유지
확장성
• 애플리케이션 중단없이
볼륨 유형 변경 가능
• 볼륨 크기 확장 및 축소
가능
성능 백업
• 99.999%의 가용성 제공
• 데이터 손실 방지를 위해
가용 영역 내에서 자동으로
볼륨 복제
• 스냅샷을 통해 특정 시점 백업
• 가용영역이나 리전간 스냅샷
복제 가능
• 모든 EBS 볼륨 유형은 암호화를
지원
• AES-256 및 Amazon이 관리하는
키 인프라를 사용

NoSQL 데이터베이스
트랜잭션 워크로드, 낮은 지연
시간이 필요한 애플리케이션
빅데이터, 분석
대량의 데이터셋
파일, 미디어
자주 액세스 하지 않는 큰
사이즈의 데이터셋
Cold
HDD
(sc1)
Throughput-optimized
HDD
(st1)
Provisioned IOPS
SSD
(io1/io2)
관계형 데이터베이스
I/O가 많은 데이터베이스
애플리케이션
General-purpose
SSD
(gp2/gp3)
Cassandra,
MongoDB, CouchDB
Kafka, Splunk, Hadoop,
data warehousing
Transcoding,
encoding, rendering
Amazon EBS 볼륨 타입
MySQL, SQL Server,
PostgreSQL, SAP, Oracle

General Purpose SSD
볼륨당 최대 250 MB/s
throughput
3 IOPS / GB
용량에 따른 성능 증가
$0.10 / GB
비용
gp2 gp3
볼륨당 최대 1,000 MB/s
throughput
3,000 IOPS (baseline)
기본 성능
$0.08 / GB
비용
gp3는 새로 출시된 General purpose SSD 볼륨 타입으로 기존 gp2에 비해 GB당 비용이 20%
절감되었습니다. 또한, EBS 용량에 관계없이 3,000 IOPS, 125 MB/s의 성능을 제공합니다.
Amazon EBS gp3: 새로운 General Purpose SSD

Provisioned IOPS SSD
io2는 새로 출시된 Provisioned IOPS SSD 볼륨 타입으로 기존 io1에 비해 내구성은 100배
향상되었고, GB당 제공하는 IOPS 성능이 10배 향상되어 비용을 절감할 수 있습니다.
Amazon EBS io2: 새로운 Provisioned IOPS SSD
50 IOPS / GB
Provisioned IOPS
99.9%
Durability
지원
EBS 다중 연결
io1 io2
500 IOPS / GB
Provisioned IOPS
99.999%
Durability
지원
EBS 다중 연결

Throughput
기준 정하기
Small, random I/O Large, sequential I/O
gp2/gp3 io1/io2 sc1 st1
지연 시간?
<1 ms 한자리 수 ms ≤2,375 MiB/s
throughput 총합?
>2,375 MiB/s
어떤 것이 더 중요한지?
비용 성능
IOPS
≤80,000>80,000
기준 정하기
어떤 것이 더 중요한지?
비용 성능
Instance
store
Instance
store
스토리지를 선택하는 방안 (예시)

• 여러 서버에서 동일한 공간에 있는 파일을 Access해야 하는 경우
• 서버, 스토리지, 네트워크 등의 장애 발생시에도 지속적인
서비스가 필요한 경우
• Block 기반의 database에서 가용성을 확보하기 위한 목적
• 고성능이 필요한 HPC (High Performance Computing) 시스템
Parallel
computing Strong
Consistency
EBS 다중 연결이 필요한 경우
EC2
Nitro
EC2
Nitro
EC2
Nitro
Application-Level I/O fencing
EBS
Availability Zone
File System

다양한 스냅샷 활용 방안
Account 1
Availability Zone
Region Region
Account 2
EBS 스냅샷을 계정간 공유 혹은
복제 가능
EBS 스냅샷을 리전간 복제 가능 (수동
/ 스케쥴링)

Amazon EFS Amazon FSx for
Windows File Server
Amazon FSx
for Lustre
LINUX-BASED WORKLOADS WINDOWS-BASED WORKLOADS
윈도우 기반의 어플리케이션을 위한
관리형 클라우드 파일 시스템
리눅스 기반의 어플리케이션을 위한
클라우드 최적화 관리형 파일 시스템
고성능 요구 사항을 만족하는 관리형 Lustre 파일
시스템
COMPUTE-INTENSIVE WORKLOADS
파일 기반 애플리케이션의 다양한 요구 사항을 만족하는 안전하고 다양한 기능을 제공하는 AWS의 완전
관리형 파일 스토리지
관리형 클라우드 파일 스토리지

안정적이고 비용 효과적인
클라우드 네이티브 NFS 파일
Amazon Elastic File System (EFS)

분석 업무
미디어
엔터프라이즈 애플리케이션
웹 서비스
컨텐츠 관리
데이터베이스 백업
홈 디렉토리
컨테이너 스토리지
애플리케이션 개발 및
테스트
Scale-out jobsMetadata-intensive jobs
높은 처리량과 병렬 I/O낮은 지연 시간과 순차적인 I/O
Amazon EFS 활용 사례

홈 디렉토리 공유 폴더
Managed
Containers
Amazon
EKS
Amazon
ECS
AWS
Fargate*
Amazon
EC2
Compute
Automation Machine Learning
Amazon
SageMaker
Jupyter
SageMaker
AWS
Auto Scaling
Amazon EFSAWS
Lambda
AWS의 다양한 서비스와 호환

Availability Zone A
Availability Zone B
Availability Zone C
Instance
Amazon
EFS
Instance
Instance
Mount Target
Mount Target
Mount Target
DNSname/filesystemID
Amazon EFS 고가용성 아키텍처
EFS는 여러 AZ에 걸쳐 데이터를 저장하여 높은 수준의 가용성과 내구성을 제공합니다.

Standard 스토리지 클래스
일반 파일 스토리지
$0.30/GB (월)
Infrequent access 스토리지 클래스
자주 사용되지 않는 파일에 대해서는 비용 절감
$0.025/GB (월)
$0.01/GB (요청 기준)
Amazon EFS 수명 주기
EFS Infrequent Access (IA)에서는 자주 액세스하지 않는 파일에 대해 비용 최적화된 가격과 성능을
제공합니다. 수명 주기 관리를 활성화하면 정책에 따라 파일이 IA로 자동 이동됩니다.

Shared
file systems
NFS TLS
On premises
AWS storage resources
Region
Amazon EFS
file systemAWS DataSync
agent
AWS DataSync
service
Amazon EFS로 데이터 마이그레이션
DataSync 서비스를 이용해서 데이터를 EFS로 옮길 수 있습니다. 데이터 암호화, 무결성 확인과 같은 보안
기능을 기본적으로 제공하며, 네트워크 대역폭 사용을 최적화 합니다.

• EFS 파일 시스템은 AWS Backup 서비스를
이용해 데이터를 안전하게 백업하고 복원
가능
• AWS Backup은 스케쥴링 정책에 따라
자동으로 데이터를 백업하고 데이터 보유
기간을 지정
• AWS Backup은 두가지 종류의 스토리지
클래스를 제공
• 개별 파일과 디렉토리에 대한 복구 기능 지원
• 서로 다른 리전간 백업도 지원
Cold storage
AWS Backup
Warm storage
Amazon EFS
백업 암호화
Amazon EFS 백업

윈도우 서버에 구축되는 확장
가능한 완전 관리형 파일
Active
Directory 사용
`
Amazon FSx for Windows

홈 디렉토리 비즈니스
애플리케이션
웹 서비스 및 컨텐츠
관리
소프트웨어 개발 환경 고가용성 SQL 서버
데이터베이스
백업 및 재해 복구
시스템
Amazon FSx for Windows 활용 사례

Amazon FSx for Windows 단일 가용 영역 배포
AWS Availability Zone 1 On-premises networkAvailability Zone 2
AWS Direct
Connect
or VPN
Windows file
server
단일 가용 영역 배포시에도 하드웨어 장애 발생시 자동으로 복원됩니다. SSD와 HDD 옵션을 제공하며 다중
가용 영역, 다중 VPC 및 온프레미스에서도 광범위한 접근을 제공합니다.

Amazon FSx for Windows 다중 가용 영역 배포
가용 영역간 이중화 구성(Active-Passive)을 지원하며 동기식으로 데이터가 복제됩니다. 관리자 개입없이
지속적인 데이터 접근이 가능해 고가용성 업무에 적합합니다.
Availability Zone 1 Availability Zone 2AWS On-premises networkAWS Direct
Connect
or VPN
Windows
file server
Windows
file server

Amazon FSx for Windows 백업
자동 혹은 수동으로 Amazon S3에 백업 데이터를 저장합니다. 초기 복제 이후에는 변경분만 백업하므로
비용을 절감하고 별도의 소프트웨어나 기타 라이센스는 필요하지 않습니다.
Region
매일 자동 백업
백업 윈도우, 보관 주기 설정
필요시 관리자 백업 수행
온 디멘드 사용자 백업
Amazon FSx
for Windows File Server
fs-0123456789.example.com
Amazon S3

Amazon FSx for Windows 파일 레벨 복구
이전 버전 파일과 직관적인 비교
셀프 서비스
관리자의 개입없이 사용자 직접 복구
이전 버전으로 파일 복원 지원
전체 파일 시스템 복구 불필요

컴퓨팅 워크로드를 위한
경제적인 고성능 스토리지
Amazon FSx for Lustre

방대한 데이터셋 스케일 아웃 컴퓨팅 자원데이터를 빠르게 전달
고성능 스토리지
빠른 네트워크
낮은 지연 시간
Amazon FSx for Lustre가 필요한 워크로드
Amazon FSx for Lustre는 고성능 공유 파일 스토리지로 HPC, 머신 러닝, 렌더링, 시뮬레이션 같은 공유
파일시스템을 통해 동일한 데이터에 액세스하는 워크로드에 적합합니다.

확장 가능한
고성능 솔루션
두가지 옵션 모두 컨트롤 플레인 (API, 관리, 파일시스템
제어)에 대해서는 고가용성을 유지
Scratch
임시 스토리지
단기 데이터 프로세싱
단일 데이터
Persistent
장기 보관 스토리지
데이터 복제
장애시 서버 교체
SSD or HDDSSD
Amazon FSx for Lustre 스토리지 옵션

Amazon FSx
for Lustre
FSx에서 데이터를
프로세싱하기 위해
S3에서 데이터를 로드
프로세싱의 결과가
S3로 다시 전달
Amazon FSx for Lustre S3 연계
Amazon FSx for Lustre는 기본적으로 S3와 연계되어 있어 손쉽게 데이터에 액세스가 가능하며 변경된
데이터만 추적이 가능합니다.

On premises AWS
Amazon FSx
for Lustre
NFS
AWS VPC
Virtual
Private
Gateway
AWS Direct
Connect
VPN
Amazon FSx for Lustre 하이브리드 구성
Amazon FSx for Lustre는 S3를 사용하지 않아도 필요한 경우에 데이터를 클라우드로 옮기고 FSx를 사용해
데이터를 프로세싱할 수 있습니다.

Provisioned
space
초기 백업
증분 백업
초기 백업 증분 백업 1 백업 보유
…
증분 백업 2 증분 백업 3 증분 백업 4 증분 백업 5 증분 백업 N
보유 기간
Persistent 파일시스템
Amazon FSx
for Lustre
Amazon FSx for Lustre 백업

• 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 오브젝트 스토리지 서비스
• API, AWS SDK, CLI, S3 콘솔, AWS 또는 3rd 파티 도구로 접근
• 광범위한 비용 효율적 스토리지 클래스
• 타의 추종을 불허하는 보안, 규정 준수, 감사 기능
• 쉬운 데이터 관리와 액세스 제어
• 분석을 위한 쿼리 인 플레이스 서비스
• 많은 기능이 지원되는 클라우드 스토리지 서비스
Amazon Simple Storage Service (S3)
Amazon Simple
Storage Service (S3)
Amazon S3 Glacier

Amazon S3 데이터레이크

스토리지 비용은 꾸준히
감소하고 있습니다.
스토리지 클래스는 점점
다양해지고 있습니다.
S3 Standard
(2006)
S3 Glacier
(2012)
S3 Standard-IA
(2015)
S3 One Zone-IA
(1H-2018)
S3 Intelligent-
Tiering
(2H-2018)
2006 2019
S3 Glacier Deep
Archive
(2019)
2006 2019
>80% lower
price per GB
Amazon S3 스토리지 클래스

Access frequencyFrequent Infrequent
• 자주 접근되는 데이터
• 밀리세컨드 지연시간
• > 3 AZ
• $0.0210/GB
• 시간에 따라 접근
빈도가 다른 데이터
• > 3 AZ
• $0.0210 to $0.0125/GB
• 객체별 모니터링 비용
추가
• 최소 30일 저장 의무
• 자주 접근되지 않는
데이터
• > 3 AZ
• $0.0125/GB
• GB당 추출 요구 부과
• 128KB 이상 크기
• AZ 장애로 데이터 손실
가능
• 자주 접근되지 않는
데이터
• 1 AZ
• $0.0100/GB
• 128KB 이상 크기
• 데이터 아카이브
• 추출 시간은
분단위에서 시간 단위
• > 3 AZ
• $0.0040/GB
• 추가 40KB 오버헤드
비용 추가
• 데이터 아카이브
• 12시간 또는 48시간
이후 접근 가능
• > 3 AZ
• $0.00099/GB
• 최소 40KB의 요금
부과
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
S3 Intelligent-
Tiering
S3 Glacier
Deep Archive
Amazon S3 스토리지 클래스

≥ 3 AZs 1 AZ
99.99% 99.5%
Milliseconds Hours
Hours Years
Frequent Archive
0 Bytes 5 Terabytes
2 Region
99.9%
Amazon S3 가장 알맞는 스토리지 클래스 선택

Amazon Simple Storage
Service
같은 리전에서 오브젝트 복제
(Single Region Replication)
서로 다른 리전간 오브젝트
복제 (Cross Region
Replication)
기간을 설정해 서로 다른
버킷으로 오브젝트 복제
SLA를 만족하고 정책 기반으로
오브젝트 복제
Amazon S3 오브젝트 복제

Amazon S3 멀티 대상 복제 기능
S3의 멀티 복제 대상 기능을 통해 동일한 리전내의 여러 버킷 혹은 다른 리전에 있는 버킷 등으로 데이터를
복제할 수 있습니다. 이를 통해 다른 스토리지 클래스로 개체를 복제하여 비용을 절감하며, 데이터 백업
계획을 유연하게 세울 수 있습니다.
Region A
AZ AZ AZ
S3 bucket
Region B
AZ AZ AZ
S3 bucket
Region D
AZ AZ AZ
S3 bucket
Region C
AZ AZ AZ
S3 bucket
S3에 데이터 생성
https://amz.run/46Gm

Amazon S3 스토리지 렌즈 (대시보드)
Amazon S3 Storage Lens는 조직 전반에서 사용중인 오브젝트 스토리지에 대한 가시성을 제공하는 분석
솔루션입니다. 활동 지표와 대화형 대시보드를 통해 스토리지를 이해, 분석 및 최적화하여 조직 전체, 특정
계정, 리전, 버킷 등에 대한 데이터를 집계할 수 있습니다.
지난 30일간 얼마나 많은
데이터가 쌓였는지?
스토리지 관리에 특이한
점은 없는지?
가시성
https://amz.run/46Go

Amazon S3 쓰기 후 강력한 읽기 일관성
기존에는 데이터를 저장하거나 수정하는 PUT API를 호출한 후에는 안정적으로 저장되었지만 모든 GET
또는 LIST 요청에는 약간의 지연 시간이 있었지만 이제는 GET, LIST 작업은 물론 태그 또는 메타데이터를
변경하는 작업에도 모두 강력한 읽기 일관성을 제공합니다.
Write object to S3
Read object from S3
List objects
AWS Region
AZ AZ AZ
S3 bucket
https://amz.run/46Gp

AWS 디지털 교육
aws.amazon.com/training
주요 교육
• AWS Cloud Practitioner Essentials (Second Edition)
AWS 클라우드 기초에 대해 학습하고, 기초 자격증인 AWS Certified Cloud
Practitioner 시험을 준비할 수 있습니다.
• AWS Security Fundamentals
AWS 액세스 제어 및 관리, 거버넌스, 로깅, 그리고 암호화 방법을 포함한
기본적인 클라우드 컴퓨팅 및 AWS 보안 개념에 대해 알아봅니다.
• AWS Database Offerings
데이터베이스 기술 및 아키텍처에 대한 기본 개요를 제공하며,
다양한 AWS 데이터베이스 서비스를 소개합니다.
• Data Analytics Fundamentals
다양한 데이터 분석 프로세스에 대해 학습하며, 데이터 분석 솔루션을
구축하고 개선하는 데 도움이 되는 AWS 서비스 및 솔루션을 소개합니다.
550개 이상의
무료 디지털 교육 및
심층적 강의실 교육을 통해
클라우드 기술 역량을
업그레이드 하세요!

AWS Builders Online Series에
참석해주셔서 대단히 감사합니다.
aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.

Thank you
Builders Online Series

다양한 업무에 적합한 AWS의 스토리지 서비스 알아보기 – 김상현, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a 다양한 업무에 적합한 AWS의 스토리지 서비스 알아보기 – 김상현, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

Semelhante a 다양한 업무에 적합한 AWS의 스토리지 서비스 알아보기 – 김상현, AWS 솔루션즈 아키텍트:: AWS Builders Online Series (20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea (20)

Último

Último (20)

다양한 업무에 적합한 AWS의 스토리지 서비스 알아보기 – 김상현, AWS 솔루션즈 아키텍트:: AWS Builders Online Series