대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트-김지훈, AWS Database Specialist SA::AWS 마이그레이션 A to Z 웨비나

1. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 김지훈 Database Specialist Solutions Architect AWS

4. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 1st 제안 솔루션 4 Performance at scale • Handles millions of requests per second • Delivers single-digit-millisecond latency • Automated global replication • New advanced streaming with Amazon Kinesis Data Streams for DynamoDB Enterprise ready • ACID transactions • Encryption at rest • Continuous backups (PITR), and on-demand backup and restore • NoSQL Workbench • Export table data to S3 • PartiQL (a SQL-compatible query language) support No servers to manage • Maintenance free • Auto scaling • On-demand capacity mode • Change data capture for integration with AWS Lambda, Amazon Redshift, Amazon Elasticsearch Service “DynamoDB”

6. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 정확한 고객 워크로드의 이해가 필요 • On-premise 환경에서 운영중인 서비스를 클라우드 환경으로 옮기고 싶으나 무엇을 어찌 해야할지 모르는 경우 • 특히 DB의 경우 마이그레이션 7R 중 어떤 것을 선택하는 것이 좋은지, 어떤 DB를 선택하는 것이 좋은지 알지 못함 • MSA를 적용하고 싶으나 어떤 DB 서비스가 최적인지 알지 못함 6 목적 지향 데이터베이스 워크샵 제안

7. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 목적 지향 데이터베이스 워크샵 개요 7 • 목적 지향 데이터베이스 워크샵 소개 • AWS DB Service 소개 Introduction • AWS DB Service 교육 • Amazon Aurora • Amazon DynamoDB • Amazon DMS Enablement • Interactive Workshop • 고객 주도 워크로드 상세 설명 • Q&A Dive Deep

8. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. To-Be 아키텍처가 확정되지 않을수록 성공률이 높음!! 8 클라우드 사용 고객 & 클라우드에 신규 서비스 준비중 클라우드 경험 없음 & 클라우드에 신규 서비스 준비중 온프렘 서비스를 클라우드로 옮기면서 MSA 도입 준비중 온프렘 서비스를 클라우드로 옮기면서 MSA 도입 진행중 클라우드에서 서비스 운영중이나 불만이 있음 온프렘 서비스를 빨리 클라우드로 옮겨야 하는 경우 대상 고객 DMA* DCAD** * DMA : Database Migration Accelerator ** DCAD : Database Clinic in A Day

9. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 드러난 실체 9 AS-IS • Oracle 11g RAC • 중복 데이터 체크 로직 • 일 배치 (전일 데이터를 월 테이블로 이동) • 월 배치 (데이터 슬림화) • 데이터 재처리 위한 DML • 6개월, 12개월 히스토리 조회 • 키 컬럼에 대한 역추적성 조회 • 다양한 패턴의 조회성 OLTP 워크로드 Pros Cons 요구 기능 지원 여부 Amazon DynamoDB • 대용량 트래픽 처리 가능 • 읽기 8만/초, 쓰기 8만/초 • 용량 제한 없음 • SQL 기반 App 구현 방식을 API 기반으로 전면 수정 필요 • 배치 업무에 적합하지 않음 • 파티션 키 조정 필요 • 파티션 키 + 소트 키 구조 • LSI 5개, GSI 20개 지원 • TTL 설정 가능 Amazon Aurora • App 변경 사항 최소 • 표준 ANSI SQL 변환 • 최대 용량 128TB로 샤딩 필요 • 샤딩에 따르는 로직 추가 필요 • AWS Native Sharding 서비스 부재

10. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 제안 아키텍처 - 개요 • 데이터 중복 처리 ▪ Amazon DynamoDB의 Primary Key 설정을 통해 일 30억 입력 중 중복 데이터 필터링 10 • 750TB 저장 ▪ Amazon Aurora 단일 클러스터 최대 용량은 128TB ▪ 10개의 클러스터를 생성하고, Apache ShardingSphere를 통해 데이터를 분산 저장 ▪ 분산 키는 ‘사용자 고유 식별 번호’ 사용 • 각종 DML 및 조회성 업무 처리 ▪ 빈번하고 때로는 대량으로 발생되는 Update/Delete에 대해 유연한 대처 가능 ▪ 각종 조회성 업무 처리 시, 여러 테이블과 조인 처리에 유리 • 일 배치 작업 ▪ 각각의 BP (Biz Process) 단계를 거칠 때 파일을 사용 ▪ 최종 BP를 거친 파일을 S3로 업로드 ▪ S3에 업로드 시 Put Event가 트리거되고 AWS Lambda가 일 배치 테이블로 해당 데이터를 로딩 ▪ 이를 통해 일 배치 작업을 실행하지 않아도 되고 IO 비용을 절감

11. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 제안 아키텍처 - 데이터베이스 • 데이터 샤딩 ▪ Amazon Aurora는 클러스터 당 최대 용량은 128TB 로 750TB를 하나에 저장 불가 ▪ BP #3에서 Amazon Aurora로 저장 시 ShardingSphere를 통해 unique한 “유저 고유 식별 번호”로 분기하여 10개의 Amazon Aurora 클러스터에 저장 ▪ 유저 고유 식별 번호 분기 이유는 조회 요건이 유저 고유 식별 번호 기준 ▪ 샤드가 10개인 이유는 동일하게 분배 시 75TB만 필요하나 특정 샤드로 데이터가 치우치더라도 충분한 여유 공간의 확보를 위함 • Primary Group • BP #3에서 발생하는 데이터 저장 부하의 처리 그룹 • 온라인 데이터 저장 및 각종 배치 작업의 처리 • Read Replica Group • 각 Amazon Aurora Primary 샤드 인스턴스의 가용성 확보 및 조회 부하 분산을 위한 그룹 • 각종 실시간 및 최대 6개월 또는 12개월 이력 조회 업무 처리 • 배치 작업 ▪ 실시간 데이터 입력 테이블은 20개 HASH 파티션으로 구성 ▪ 배치 시 각 파티션 별 INSERT .. SELECT 처리 ▪ 참고 : Aurora 3.x 부터는 파티션 테이블에 대해 병렬 쿼리 지원 • 비용 절감 ▪ 그라비톤 인스턴스 사용을 통한 대규모 인스턴스 사용 비용 최소화 11 BP #3 6개월 데이터 조회 App 12개월 데이터 조회 App 실시간 데이터 조회

12. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. 제안 아키텍처 검증 및 진행 사항 구분 검증 항목 데이터 저장 • 일 30억 건 기준 실시간 INSERT 성능 • 고객 자체 개발 데이터 발생 툴 데이터 조회 • 실시간 데이터 조회, 6개월 이력 조회, 12개월 이력 조회, 응답 시간 • Jmeter or nGrinder를 통한 부하 생성 데이터 UPDATE • 데이터 재처리를 위한 DML (DELETE, UPDATE, INSERT) 검증 • Jmeter or nGrinder를 통한 부하 생성 안정성 • 제안 아키텍처의 확장성, 가용성 및 안정성 검증 • 부하 발생 상황에서 검증 12 1 Day 고객 워크로드 Dive Deep 워크샵 1 Day Amazon Aurora MySQL Immersion Day 1 Week 제안 아키텍처 작성 및 설명회 2 Weeks Pilot 환경 구성 및 초기 데이터 로딩 1 Week 제안 아키텍처 검증 1 Week 결과 보고서 작성 진행 상황 결과 OK OK* OK OK * ShardingSphere가 UNION ALL 등 일부 구문 미지원

13. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트 © 2022, Amazon Web Services, Inc. or its affiliates. DB는 DB 전문가에게 13 목적 지향 DB 워크샵 DMA DCAD • To-Be 아키텍처 미확정일수록 효과적 • 고객 주도 워크로드 소개 세션이 중요 • MSA 적용에 최적화 • 이기종 DB 전환 시 적용 • DB, App, 구성환경 등 종합적 분석 • AWS에서 운영중인 DB의 고도화 목적 • 현재 운영 상태 파악 후 최적화 방안 제시

대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트-김지훈, AWS Database Specialist SA::AWS 마이그레이션 A to Z 웨비나

Esté a ler uma amostra.

Confira estes a seguir

대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트-김지훈, AWS Database Specialist SA::AWS 마이그레이션 A to Z 웨비나

Mais Conteúdo rRelacionado

Semelhante a 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트-김지훈, AWS Database Specialist SA::AWS 마이그레이션 A to Z 웨비나 (20)

Mais de Amazon Web Services Korea (20)

Mais recentes (20)