Início
Conheça mais
Enviar pesquisa
Carregar
Entrar
Cadastre-se
Anúncio
Check these out next
Aws glue를 통한 손쉬운 데이터 전처리 작업하기
Amazon Web Services Korea
Amazon RDS Proxy 집중 탐구 - 윤석찬 :: AWS Unboxing 온라인 세미나
Amazon Web Services Korea
AWS 9월 웨비나 | AWS 데이터베이스 마이그레이션 서비스 활용하기
Amazon Web Services Korea
Amazon DynamoDB 키 디자인 패턴
Amazon Web Services Korea
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...
Amazon Web Services Korea
9월 웨비나 - AWS에서의 네트워크 보안 (이경수 솔루션즈 아키텍트)
Amazon Web Services Korea
AWS 기반 데이터 레이크(Datalake) 구축 및 분석 - 김민성 (AWS 솔루션즈아키텍트) : 8월 온라인 세미나
Amazon Web Services Korea
데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 ...
Amazon Web Services Korea
1
de
52
Top clipped slide
실전! AWS 기반 데이터베이스 마이그레이션::최홍식::AWS Summit Seoul 2018
14 de Apr de 2018
•
0 gostou
3 gostaram
×
Seja o primeiro a gostar disto
mostrar mais
•
4,231 visualizações
visualizações
×
Vistos totais
0
No Slideshare
0
De incorporações
0
Número de incorporações
0
Baixar agora
Baixar para ler offline
Denunciar
Tecnologia
Amazon Web Services Korea
Seguir
Amazon Web Services Korea
Anúncio
Anúncio
Anúncio
Recomendados
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
Amazon Web Services Korea
167 visualizações
•
38 slides
민첩하고 비용효율적인 Data Lake 구축 - 문종민 솔루션즈 아키텍트, AWS
Amazon Web Services Korea
7.7K visualizações
•
43 slides
Amazon EMR과 SageMaker를 이용하여 데이터를 준비하고 머신러닝 모델 개발 하기
Amazon Web Services Korea
711 visualizações
•
29 slides
AWS Lake Formation을 통한 손쉬운 데이터 레이크 구성 및 관리 - 윤석찬 :: AWS Unboxing 온라인 세미나
Amazon Web Services Korea
3.6K visualizações
•
26 slides
클라우드 기반 AWS 데이터베이스 선택 옵션 - AWS Summit Seoul 2017
Amazon Web Services Korea
4.8K visualizações
•
60 slides
글로벌 기업들의 효과적인 데이터 분석을 위한 Data Lake 구축 및 분석 사례 - 김준형 (AWS 솔루션즈 아키텍트)
Amazon Web Services Korea
6.7K visualizações
•
50 slides
Mais conteúdo relacionado
Apresentações para você
(20)
Aws glue를 통한 손쉬운 데이터 전처리 작업하기
Amazon Web Services Korea
•
11.5K visualizações
Amazon RDS Proxy 집중 탐구 - 윤석찬 :: AWS Unboxing 온라인 세미나
Amazon Web Services Korea
•
835 visualizações
AWS 9월 웨비나 | AWS 데이터베이스 마이그레이션 서비스 활용하기
Amazon Web Services Korea
•
2.9K visualizações
Amazon DynamoDB 키 디자인 패턴
Amazon Web Services Korea
•
602 visualizações
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...
Amazon Web Services Korea
•
856 visualizações
9월 웨비나 - AWS에서의 네트워크 보안 (이경수 솔루션즈 아키텍트)
Amazon Web Services Korea
•
8.7K visualizações
AWS 기반 데이터 레이크(Datalake) 구축 및 분석 - 김민성 (AWS 솔루션즈아키텍트) : 8월 온라인 세미나
Amazon Web Services Korea
•
8.1K visualizações
데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 ...
Amazon Web Services Korea
•
688 visualizações
AWS Backup을 이용한 데이터베이스의 백업 자동화와 편리한 복구방법
Amazon Web Services Korea
•
310 visualizações
AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit...
Amazon Web Services Korea
•
2.1K visualizações
모든 데이터를 위한 단 하나의 저장소, Amazon S3 기반 데이터 레이크::정세웅::AWS Summit Seoul 2018
Amazon Web Services Korea
•
4K visualizações
실시간 스트리밍 분석 Kinesis Data Analytics Deep Dive
Amazon Web Services Korea
•
548 visualizações
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스 - 정영준 솔루션즈 아키텍트, AWS / 유현성 수석,...
Amazon Web Services Korea
•
5.4K visualizações
고객의 플랫폼/서비스를 개선한 국내 사례 살펴보기 – 장준성 AWS 솔루션즈 아키텍트, 강산아 NDREAM 팀장, 송영호 야놀자 매니저, ...
Amazon Web Services Korea
•
216 visualizações
데이터 마이그레이션 및 전송을 위한 AWS 스토리지 서비스 활용방안 - 박용선, 메가존 클라우드 매니저
Amazon Web Services Korea
•
1.4K visualizações
Amazon Personalize Event Tracker 실시간 고객 반응을 고려한 추천::김태수, 솔루션즈 아키텍트, AWS::AWS ...
Amazon Web Services Korea
•
1.8K visualizações
AWS 12월 웨비나 │성공적인 마이그레이션을 위한 클라우드 아키텍처 및 운영 고도화
Amazon Web Services Korea
•
4.3K visualizações
오토스케일링 제대로 활용하기 (김일호) - AWS 웨비나 시리즈 2015
Amazon Web Services Korea
•
10.3K visualizações
AWS KMS 에서 제공하는 봉투암호화 방식의 암호화 및 사이닝 기능에 대한 소개와 실습 - 신은수, AWS 솔루션즈 아키텍트 :: AWS...
Amazon Web Services Korea
•
2.1K visualizações
[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트
Amazon Web Services Korea
•
1.3K visualizações
Similar a 실전! AWS 기반 데이터베이스 마이그레이션::최홍식::AWS Summit Seoul 2018
(20)
빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)
Amazon Web Services Korea
•
3.8K visualizações
강의 4. 데이터베이스:: AWSome Day Online Conference
Amazon Web Services Korea
•
756 visualizações
AWS DMS를 통한 오라클 DB 마이그레이션 방법 - AWS Summit Seoul 2017
Amazon Web Services Korea
•
7.5K visualizações
대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트-김지훈, AWS Database Specialist SA...
Amazon Web Services Korea
•
91 visualizações
MariaDB 마이그레이션 - 네오클로바
NeoClova
•
711 visualizações
Oracle DB를 AWS로 이관하는 방법들 - 서호석 클라우드 사업부/컨설팅팀 이사, 영우디지탈 :: AWS Summit Seoul 2021
Amazon Web Services Korea
•
1.1K visualizações
아마존 웹 서비스 상에서 MS SQL 100% 활용하기::김석원::AWS Summit Seoul 2018
Amazon Web Services Korea
•
5.1K visualizações
효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019
Amazon Web Services Korea
•
3.5K visualizações
Amazon Aurora 신규 서비스 알아보기::최유정::AWS Summit Seoul 2018
Amazon Web Services Korea
•
3.6K visualizações
기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS...
Amazon Web Services Korea
•
231 visualizações
Amazon DynamoDB 기반 글로벌 서비스 개발 방법 및 사례::김준형::AWS Summit Seoul 2018
Amazon Web Services Korea
•
2.7K visualizações
클라우드 환경으로 데이터베이스 이전하기 - 강민석, AWS SR. Database SA
Amazon Web Services Korea
•
1.3K visualizações
천만 사용자를 위한 AWS 클라우드 아키텍처 진화하기::이창수::AWS Summit Seoul 2018
Amazon Web Services Korea
•
8.6K visualizações
비용 관점에서 AWS 클라우드 아키텍처 디자인하기::류한진::AWS Summit Seoul 2018
Amazon Web Services Korea
•
3.6K visualizações
AWS Certified Cloud Practitioner
영기 김
•
426 visualizações
AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018
Amazon Web Services Korea
•
2K visualizações
AWS Summit Seoul 2023 | 성공적인 AWS RDS 마이그레이션을 위한 여정과 필수 고려사항
Amazon Web Services Korea
•
40 visualizações
Java 엔터프라이즈 어플리케이션을 효과적으로 마이크로서비스로 전환하기 (박선용, AWS 솔루션즈 아키텍트) :: AWS DevDay2018
Amazon Web Services Korea
•
1.9K visualizações
Amazon Redshift 아키텍처 및 모범사례::김민성::AWS Summit Seoul 2018
Amazon Web Services Korea
•
9.8K visualizações
AWS CLOUD 2017 - Amazon Redshift 기반 DW 와 비지니스 인텔리전스 구현 방법 (김일호 솔루션즈 아키텍트)
Amazon Web Services Korea
•
4K visualizações
Anúncio
Mais de Amazon Web Services Korea
(20)
AWS Summit Seoul 2023 | Amazon Neptune 및 Elastic을 이용한 추천 서비스 및 검색 플랫폼 구축하기
Amazon Web Services Korea
•
168 visualizações
AWS Summit Seoul 2023 | 생성 AI 모델의 임베딩 벡터를 이용한 서버리스 추천 검색 구현하기
Amazon Web Services Korea
•
143 visualizações
AWS Summit Seoul 2023 | 스타트업의 서버리스 기반 SaaS 데이터 처리 및 데이터웨어하우스 구축 사례
Amazon Web Services Korea
•
92 visualizações
AWS Summit Seoul 2023 | Amazon EKS 데이터 전송 비용 절감 및 카오스 엔지니어링 적용 사례
Amazon Web Services Korea
•
137 visualizações
AWS Summit Seoul 2023 | 실시간 CDC 데이터 처리! Modern Transactional Data Lake 구축하기
Amazon Web Services Korea
•
104 visualizações
AWS Summit Seoul 2023 | 12가지 디자인 패턴으로 알아보는 클라우드 네이티브 마이크로서비스 아키텍처
Amazon Web Services Korea
•
143 visualizações
AWS Summit Seoul 2023 | AWS에서 OpenTelemetry 기반의 애플리케이션 Observability 구축/활용하기
Amazon Web Services Korea
•
82 visualizações
AWS Summit Seoul 2023 | 갤럭시 규모의 서비스를 위한 Amazon DynamoDB의 역할과 비용 최적화 방법
Amazon Web Services Korea
•
74 visualizações
AWS Summit Seoul 2023 | 기업 고객 대상 기계학습 기반 콜센터 도입을 위한 여정
Amazon Web Services Korea
•
30 visualizações
AWS Summit Seoul 2023 | 바쁘다 바빠, 현대사회! Amazon Kendra로 원하는 자료를 적재적소에 찾아서 활용하기
Amazon Web Services Korea
•
49 visualizações
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
Amazon Web Services Korea
•
100 visualizações
AWS Summit Seoul 2023 | 아마존의 공급망 전략을 배워보고, 우리 회사에 적용하기
Amazon Web Services Korea
•
83 visualizações
AWS Summit Seoul 2023 | 진짜로 코드 없이 기계학습 모델을 만드는 것이 가능하다구요? SageMaker로 No/Low 코...
Amazon Web Services Korea
•
72 visualizações
AWS Summit Seoul 2023 | 클라우드 보안의 새로운 접근법
Amazon Web Services Korea
•
92 visualizações
AWS Summit Seoul 2023 | 천만 사용자 서비스를 위한 Amazon SageMaker 활용 방법 진화하기
Amazon Web Services Korea
•
46 visualizações
AWS Summit Seoul 2023 | Amazon EKS, 중요한 건 꺾이지 않는 안정성
Amazon Web Services Korea
•
86 visualizações
AWS Summit Seoul 2023 | 통합을 통한 보안 간소화
Amazon Web Services Korea
•
65 visualizações
AWS Summit Seoul 2023 | 서버리스, 이제는 데이터 분석에서 활용해요!
Amazon Web Services Korea
•
68 visualizações
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
Amazon Web Services Korea
•
71 visualizações
AWS Summit Seoul 2023 | 모두를 위한 BI, QuickSight
Amazon Web Services Korea
•
68 visualizações
Último
(20)
AWS Summit Seoul 2023 | 팬덤을 위한 아티스트 IP 기반의 디지털 콜렉터블 플랫폼
Amazon Web Services Korea
•
120 visualizações
AWS Summit Seoul 2023 | MongoDB Atlas와 함께하는 Developer Data Platform
Amazon Web Services Korea
•
43 visualizações
AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지
Amazon Web Services Korea
•
68 visualizações
세션 공유용 템플릿_chi23.pdf
JisuRyou
•
109 visualizações
AWS Summit Seoul 2023 | 클라우드 솔루션 비즈니스를 위한 게임 체인저: AWS Marketplace
Amazon Web Services Korea
•
36 visualizações
AWS Summit Seoul 2023 | Amazon Connect의 다양한 기능을 활용한 컨택센터 구축 및 마이그레이션 방안
Amazon Web Services Korea
•
55 visualizações
AWS Summit Seoul 2023 |투자를 모두에게, 토스증권의 MTS 구축 사례
Amazon Web Services Korea
•
83 visualizações
AWS Summit Seoul 2023 | AWS의 개발자를 위한 신규 서비스 소개 Amazon CodeCatalyst & Amazon C...
Amazon Web Services Korea
•
70 visualizações
AWS Summit Seoul 2023 | Observability를 넘어선 클라우드 운영관리의 미래
Amazon Web Services Korea
•
45 visualizações
Red Hat OpenStack 17 저자직강+스터디그룹_1주차
Nalee Jang
•
205 visualizações
AWS Summit Seoul 2023 | 잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!
Amazon Web Services Korea
•
42 visualizações
MySQL 실행계획
Wonjun Hwang
•
32 visualizações
Red Hat OpenStack 17 저자직강+스터디그룹_2주차
Nalee Jang
•
68 visualizações
《留学生办伦敦摄政大学毕业证文凭证书学位证书》
zhgadu
•
3 visualizações
AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법
Amazon Web Services Korea
•
50 visualizações
AWS Summit Seoul 2023 | SK쉴더스: AWS Native Security 서비스를 활용한 경계보안
Amazon Web Services Korea
•
57 visualizações
AWS Summit Seoul 2023 | Global scale service의 중앙 집중식 Observability 구축
Amazon Web Services Korea
•
58 visualizações
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
Amazon Web Services Korea
•
38 visualizações
ChatGPT에 대한 인문학적 이해
Wonjun Hwang
•
45 visualizações
AWS Summit Seoul 2023 | AWS에서 최소한의 비용으로 구현하는 멀티리전 DR 자동화 구성
Amazon Web Services Korea
•
68 visualizações
Anúncio
실전! AWS 기반 데이터베이스 마이그레이션::최홍식::AWS Summit Seoul 2018
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 최홍식 Solutions Architect / Amazon Web Services 실전! AWS 기반 데이터베이스 마이그레이션
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 목차 • AWS 데이터베이스 마이그레이션 • 데이터베이스 마이그레이션 계획 수립 • AWS DMS를 이용한 실전 마이그레이션 • AWS DMS 마이그레이션 팁 • 고객 사례
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS 데이터베이스 마이그레이션
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 데이터베이스 마이그레이션 사용 사례 현대화 마이그레이션 복제 • 리전 간 읽기 복제본 생성 • 클라우드에서 분석 실행 • 실행 개발/ 테스트 및 프로덕션을 동기화 상태 유지 • 이전 데이터베이스 엔진에서 데이터 추출 및 변환 • 어플리케이션 코드 업데이트 • 비지니스 어플리케이션을 Amazon RDS로 마이그레이션 • 데이터 웨어하우스를 Amazon Redshift로 마이그레이션 • 데이터베이스 업그레이드 통합 및 보관
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS로 DB 마이그레이션의 일반적인 과정 1. AWS 계정 생성 2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성 3. VPN 또는 Direct Connect를 통한 AWS 접속 4. EC2 인스턴스에 새로운 DB 설치 및 설정 5. 기존 DB의 데이터 S3로 백업 6. 기존 DB 셧 다운 7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구 8. 어플리케이션을 위한 EC2 인스턴스 설정 9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS로 DB 마이그레이션의 일반적인 과정의 개선 1. AWS 계정 생성 2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성 3. VPN 또는 Direct Connect를 통한 AWS 접속 4. EC2 인스턴스에 새로운 DB 설치 및 설정 5. 기존 DB의 데이터 S3로 백업 6. 기존 DB 셧 다운 7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구 8. 어플리케이션을 위한 EC2 인스턴스 설정 9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 데이터베이스 마이그레이션은 ? 6< 1001001 0101001 1000100
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS Database Migration Service AWS 로 데이터베이스 마이그레이션
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. DMS 와 SCT? AWS Database Migration Service (DMS) 는 데이터베이스나 데이터 웨어하우스를 AWS로 빠르고 안전하게 마이그레이션 또는 복제를 도와주는 서비스 입니다. AWS Schema Conversion Tool (SCT) 는 데이터베이스 및 데이터웨어 하우스의 스키마를 오픈소스 엔진 또는 AWS에서 제공하는 서비스로 (Aurora and Amazon Redshift) 변환을 도와드립니다.
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. SCT를 이용한 스키마 변환 데이터웨어 하우스를 현대화하고 Amazon Redshift로 마이그레이션 (OLAP) Amazon Redshift 데이터베이스 영역 현대화 (OLTP) Amazon Aurora Amazon RDS
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. SCT를 이용한 테이블, 뷰, 코드의 변환 지원 시퀀스 사용자 정의 타입 패키지 스토어드 프로시저 함수 트리거 스키마 테이블 인덱스 뷰 소트, 분산 키
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. DMS를 이용한 마이그레이션 및 복제 대상 Amazon DynamoDB Amazon Redshift Amazon S3 원본 동종 혹은 이종간 Amazon Aurora Amazon Aurora Amazon S3
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 데이터베이스 마이그레이션 계획 수립 (Oracle to RDS PostgreSQL)
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 1. 계획 단계 마이그레이션 대상 분석 1. 타임 라인, 공수 산정을 위한 마이그레이션 복잡성 분석: • 스키마 변화 평가와 데이터베이스 오브젝트 분석 • 재 실행률 (redo) 와 TPS 예상 source • PostgreSQL의 제한 사항으로 인한 영향 분석 (partitions, Materialized views, plan stability ) • 일반적인 마이그레이션시 발생 문제 숙지 (https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion) 2. 파일럿 범위 확인 3. 마이그레이션 수행 시 발생된 이슈와 해결 방안을 이용한 더 복잡한 마이그레이션 진행
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 1. 계획 단계 스키마 마이그레이션 복잡도 분석 ( 예 ) 요소 포인트 Comment Tables 0.5 Non-partitioned테이블은 자동 변환 ( Data type, Character set 유의) Materialized Views 6 Fully refreshed Mviews 만 지원 Triggers 6 리뷰 및 로직 재작성 PL/SQL procedures 8 리뷰 및 로직 재작성 PL/SQL packages 30 3개 이상의 procedures , functions으로 만들어진 Packages의 경우 리뷰 및 로직 재작성 DB_link 2 postgres_fdw 익스텐션을 통한 DBLinks 전환 Partitions 1 모든 child partitions수동 생성 Functions과 triggers를 이용한 Partition Architecture 적용 LOB 2 LOB Columns들은 추가적 설정 필요
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 1. 계획 단계 마이그레이션 이슈를 풀기 위한 방안들 1. 응용 프로그램에서 실제 사용되고 있는 것 확인 o Top SQLs, ASH, DBA_HIST_% views를 통한 SQLs/Tables 최근 액세스 정보 2. 가능한 비지니스 로직을 어플리케이션으로 이동. PL/pgSQL 사용: o 테이블 감사 처리, 마지막 업데이트 타임 스템프를 업데이트 하는 트리거 함수 3. 마이그레이션 전에 레거시 나 보관된 데이터 제거 o Amazon S3 나Amazon Glacier를 통한 이전 4. 데이터 복제, ETL, 레포팅 등과 같은 AWS의 기본 기능 활용 o 증분 데이터를 지속적으로 시스템과 맞추기 위한 DMS CDC
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 2. 마이그레이션 단계 1. Amazon CloudWatch 메트릭과 DMS 로깅 필수 2. 어플리케이션 설정 : UTC로 default time zone settings 설정 (JVM Arg <jvmarg value="-Duser.timezone=UTC“) 3. Partition 정리 필요 4. 공통적 요구사항 해결을 위한 DBA 작업 자동화 o DB 계정관리 o Connection pool client (C3P0) o Secure JDBC Driver o 표준 모니터링 툴킷(Amazon RDS Events notifications) 5. Vacuuming은 PostgreSQL 의 최적 성능을 위해 매우 중요한 요소 모범 사례 대로..
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 2. 마이그레이션 단계 테스트 및 확인 전략 • 대상의 스냅샷으로 부터 새로운 인스턴스 생성 o 기능 테스트 o 부하 테스트 o 성능 테스트 • 테스트 전에 triggers, indexes 등 활성화 o CREATE TRIGGER table BEFORE INSERT OR UPDATEON table FOR EACH ROWWHEN (session_user != 'replication_user')EXECUTE PROCEDURE audit (); • Data validation 활성화 (SOX/ 보안 준수에 필수) • DMS Task assessment 를 통한 데이터 타입 변환 문제 확인 • PostgreSQL에서 Query plan은 안정적이 않음(Index 나 rewrite query 사용)
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 2. 마이그레이션 단계 DMS 사용시 Amazon RDS PostgreSQL 권장 파라미터 • shared_preload_libraries ='pg_stat_statements,auto_explain,pgaudit’ • log_statement = ddl • log_connections =on • log_disconnections =on • log_lock_waits = on • log_min_duration_statement = 5000 • rds.force_ssl = True (Infosec) • Huge_pages = on (larger instance types) • random_page_cost =1 • rds.logical_replication = 1 ( replication for rollback) • Max_parallel_workers_per_gather = number of CPUs (Enable Parallelism) • idle_in_transaction_session_timeout = 필요에 따라
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. 전환 단계 Amazon RDS Oracle을 통한 Fail back전환 전략 마련 AWS DMS Oracle RDS 온프레미스 Oracle DB AWS DMS 1 2 온프레미스DB 을 RDS PostgreSQL로 RDS PostgreSQL을 RDS Oracle App1 App2 1 2 Amazon RDS PostgreSQL
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS를 이용한 실전 마이그레이션 (Oracle to RDS PostgreSQL)
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 1. 준비 단계 원본 데이터베이스 준비사항 – Oracle 사전요구 사항 • Oracle 데이터베이스를 AWS DMS 에서 원본으로 사용 (https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Source.Oracle.html) • Oracle 11g (11.2.0.3.v1이상) , 12.1 버전 이하 • ARCHIVELOG Mode 활성화 • Supplemental Logging 구성 • 오라클 사용자 계정 권한 설정 • Change Data Capture (CDC)를 위한 LogMiner(또는 Oracle Binary Reader) 사용 구성 • 제한 사항 확인 팁 • 데이터베이스별 parameter group 사용 • DMS 세션 모니터링과 task들의 병렬 처리 조절 • Oracle Undo 사용량, wait events 주의 깊게 모니터링 ( Snapshot 1555 error )
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 1. 준비 단계 대상 데이터베이스 준비사항 – PostgreSQL 사전요구 사항 • PostgreSQL 데이터베이스를 AWS DMS 에서 대상으로 사용 (https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Target.PostgreSQL.html) • PostgreSQL 버전 9.4 이상 • session_replication_role 설정 • 제한 사항 확인 팁 • 데이터베이스별 parameter group 사용 • "Auto Minor Version Upgrade" 사용 않음 • Multi-AZ와 Backup retention 은 마이그레이션 이후 활성화 • Extensions 사용: pg_stat_statements, pg_audit, pgstattuple, pg_hint_plan, pg_repack, log_fdw,auto_explain
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 2. SCT 마이그레이션 평가 보고서 • 원본과 대상 데이터 베이스 엔진, Amazon RDS Mysql, RDS PostgreSQL및 Aurora와 마이그레이션 호환성 • 최상의 대상 데이터베이스 엔진 추천 • 마이그레이션을 위한 세부 내역 제공
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 복제 인스턴스 원본 대상 AWS DMS의 구성 • 원본, 대상 엔드포인트 • 복제 인스턴스 준비
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 • 작업 방법 선택 • 하나의 복제 인스턴스에서 복수 작업 실행 • 테이블 매핑 사용 • 선택 룰 – 스키마 및 테이블 선택 • 변환 룰 – 스키마, 테이블, 컬럼 변경 • 필터 적용 • 조건에 따른 컬럼 필터링 작업 생성
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 작업 설정
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 작업 설정
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 테이블 매핑
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 테이블 변환
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 3. AWS DMS 구성 테이블 변환
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 4. Oracle 에서 PostgreSQL 마이그레이션 Playbook • Oracle 에서 Amazon Aurora(PostgreSQL) 마이그레이션 상세 가이드 • 각 기능 별 비교 SCT DMS Playbook 스키마 데이터 모범 사례 http://bit.ly/dbmig
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 (Oracle to RDS PostgreSQL)
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 1.1 TB 이상의 큰 테이블 마이그레이션시 ORA-01555 (Snapshot too old) 발생 2.Large Objects (LOBs) 마이그레이션 3.원본 데이터베이스의 높은 TPS 사용 4.데이터 타입 변환 5.UTF8 설정
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 1. 1 TB 이상의 큰 테이블 마이그레이션 발생내용 ORA-01555: snapshot too old: rollback segment number %n with name "%segname" too small 이유 • Oracle 은 기본적으로 undo segments 이용한 read consistency mechanism 사용 • DMS는 Full load 시 전체 Table에 대한 “select * “ 오라클 설정 • Long running 쿼리 : 시스템의 DML load 가 적을 때 수행 • Rollback segment (undo) size 추가
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 1. 1 TB 이상의 큰 테이블 마이그레이션 • 다수의 Task로 나눠서 작업 1. PK / Data range를 통한 분리 2. Full load를 위한 Task들 동시 실행 3. 전체 테이블 대상 하나의 CDC 실행 (사용자 지정 시간) DMS 의 Table Mapping Filter 사용 • Active DataGuard를 통한 원본 영향 제거 1. 동기화가 멈춘 시간부터 원본으로부터 동기화 준비 2. Standby : Full Load 실행 3. Primary : CDC 실행 (사용자 지정 시간) 마이그레이션 원본
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 1. 1 TB 이상의 큰 테이블 마이그레이션 - 3TB 이상의 4개 Tables, 각 테이블은 60 TPS ( 대략 시간당 150,000 updates ) 사용 중예) - PostgreSQL 로 마이그레이션 시 “Snapshot too old” TPS 별 분기 방안 Low (3 to 6 TPS) • Active Dataguard standby를 full load 소스로 사용 • Standby가 만들어지고 실시간 데이터를 수집하기 전에 CDC 시작 High (~60 TPS) • 테이블당 10개의 replication instance를 통하여 ( 대략 테이블당 20개 Tasks ) Full Load 와 100 만개 row에 대한 CDC 동시 실행 • 테이블을 나눠서 동시 진행
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 2. LOBs (Large Objects)성능 이슈 필수 • LOBs 마이그레이션 시, Table 은 반드시 PK 또는 Unique index 포함. ( LOB 마이그레이션은 2 개 프로세스로 진행 ) 해결방안 • LOBs 제외한 전체 row 부터 마이그레이션. • 원본에서 LOB 데이터를 쿼리하고 LOB 데이터로 대상 테이블 업데이트.
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 2. LOBs (Large Objects)성능 이슈 1. LOB 값 null 아니면 원본에 LOB Lookup 2. OCILobRead2 이용. - 원본의 첫번째 chunk 의 “full lob chunk size” 읽음 ( default 는 64 KB) - 타겟에 사이즈 전달 - 다음 Chunk 읽고, 타겟에 전달 ( LOB를 모두 읽을 때 까지 지속적 ) 전체 LOB 1. MAZ LOB 사이즈 64KB 이하 - LOBs를 array mode로 읽음 (Default array size 1000) 2. MAX LOB 사이즈 64KB 이상 - LOB <= 64KB : 마이그레이션 - LOB > 64KB CLOBs : Getdata(), BLOBs : OCILobRead2 LOB 사이즈 별 대응
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 2. LOBs (Large Objects)성능 이슈 - 2 TB 데이터베이스마이그레이션시 500 GB의 LOBs 포함.예) - 128KB 미만, 5MB 의 LOBs 가 섞여 있음. LOB 크기 대응 방법 64 KB 미만 limited LOB mode 실행 및 최대 LOB 크기 설정. 64 KB ~ 128 KB 작은 테이블들은 limited LOB mode 실행. 수동으로 static LOB 마이그레이션. 128 KB 이상 아키텍처 변경하고 LOB를 S3로 이동. ( 큰 데이터는 RDB아닌 S3에 저장하는 방식으로 변경)
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 2. LOBs (Large Objects)성능 이슈 1.PK가 존재 하지 않고 LOBs를 포함한 테이블 확인 • Select owner,table_name FROM dba_tables where owner=‘schema_name' and table_name NOT IN (SELECT table_name FROM dba_constraints WHERE constraint_type ='P' and owner='schema_name ') and table_name in (select DISTINCT table_name from dba_tab_cols where data_Type IN ('CLOB', 'LOB', 'BLOB') and owner ='schema_name '); 2.Oracle 시스템 테이블을 사용한 LOB 최대 크기 확인 • Select 'select (max(length(' || COLUMN_NAME || '))/(1024)) as "Size in KB" from ' || owner || '.' || TABLE_NAME ||';' "maxlobsizeqry" from dba_tab_cols where owner=‘schema_name' and data_type in ('CLOB','BLOB','LOB’); 3.Stream Buffer 설정 (StreamBufferCount, StreamBufferSizeInMB, CtrlStreamBufferSizeInMB) LOBs 마이그레이션시 중요한 사항
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 3. 원본 데이터베이스의 높은 TPS 사용 CDC 과정 원본 ( Select * ) -> Replication 인스턴스 메모리 (데이터) -> CSV 생성( comma Delimited ) 준비 -> 대상 PostgreSQL에 copy 명령 ( Replication 인스턴스 -> 대상 인스턴스 ) SORTER IncomingStream OutgoingStream 원본 대상
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 3. 원본 데이터베이스의 높은 TPS 사용 1. 원본엔진에서 변경 분 읽고 배치 생성 2. 대상 배치에 변경된 것과 함께 intermediate net changes 테이블 생성 3. net changes algorithm을 통해 변경 분 압축하고 적용 ( 모든 insert, update, delete 같은 순서로) 배치 적용 1. DMS 기본 2. 원본과 동일한 적용 순서 3. 캐시 된 변경 사항 적용 4. 대상에 constraints 조건 적용 트랜잭션 적용
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 4. 데이터 타입 변환 동작방식 1. 원본 데이터 타입을 DMS 의 데이터 타입(SQLite)으로 변경 2. DMS의 데이터 타입(SQLite)을 대상 데이터 타입으로 변경 이슈내용 • Oracle 의 Number 가 PostgreSQL의 DOUBLE로 변경, 소수점 이후 0 붙음 ( 컬럼의 값 : 2045 -> 2045.00 ) 해결방안 1. 테이블이 적은 경우: Trigger 이용한 INT 나 BIGINT로 타겟에서 변경 2. 테이블이 많은 경우: 전체 Load 후 column definition 변경, CDC를 이용한 원하지 않는 소수점 제거
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 5. UTF8 설정 이슈내용 1. 현재 DMS는 4byte UTF8 마이그레이션 미지원 2. 마이그레이션 시 DMS 는 UTF-16 로 변경 해결방안 1. 원본에서 잘못된 캐릭터 제거 후 마이그레이션 2. 잘못된 캐릭터들을 파악하고, 마이그레이션 하는 동안 추가 connection attribute로 변경 4 Byte UTF8 컬럼 파악방안 • SELECT <Primary_Key_Column>||' '||<Problematic Column> FROM Table name WHERE REGEXP_LIKE(<Problematic Column>, UNISTR('[D800-DFFF]'));
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 5. UTF8 설정 원본에서의 캐릭터 변환 방안 CREATE OR REPLACE FUNCTION remove_supp_char(v_string_in IN VARCHAR2) RETURN VARCHAR2 IS BEGIN -- This function removes all 4-byte characters from an input string. -- Used to convert AL32UTF8 4-byte character set to UTF-8 3-byte character set without errors. RETURN REGEXP_REPLACE( v_string_in, '[' || UNISTR('D800DC00') || '-‘ || UNISTR('DBFFDFFF') || ']', ''); END; update <table_name> set <problematic_column>=remove_supp_char(problematic_column) ;
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS DMS 마이그레이션 팁 5. UTF8 설정 CSSCAN 이용 1. CSSCAN실행을 통한 4 Byte UTF8 캐릭터의 row ID 조회 • csscan TABLE='SCHEMA_NAME.TABLE_NAME' FROMCHAR=AL32UTF8 TOCHAR=UTF8 PROCESS=4 ARRAY=1024000 LCSD=Y LCSDDATA=ALL 2. 4 Byte UTF8 캐릭터를 바꾸기 위해 추가적 connect attribute 설정 ReplaceChars=EDA0BD,3F,EDB18D,3F,EDB89C,3F,EDB080,3F
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 고객 사례
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. Trimble 사례 (Oracle to RDS PostgreSQL) • North American DB 6.5 TB + 매달 22GB 증가 • European DB 4.6 TB + 매달 44GB 증가 • 비용 절감, 가용성, 확장성 • SCT 평가레포트를 통한 마이그레이션 공수 확인 • 매우 간단하고 신속한 작업 http://amzn.to/2tW2Dei - Todd Hofert, Director of Infrastructure Operations, Trimble
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. 본 강연이 끝난 후 https://aws.amazon.com/ko/dms/getting-started/ http://amzn.to/2tSsQuy • DMS 사용 설명서 – Aurora, DynamoDB, Redshift • SCT 설치 및 사용 설명서 • Oracle to Amazon Aurora (PostgreSQL) http://bit.ly/dbmig https://aws.amazon.com/ko/dms/free-dms/
© 2018, Amazon
Web Services, Inc. or Its Affiliates. All rights reserved. AWS Summit 모바일 앱과 QR코드를 통해 강연 평가 및 설문 조사에 참여해 주시기 바랍니다. 내년 Summit을 만들 여러분의 소중한 의견 부탁 드립니다. #AWSSummit 해시태그로 소셜 미디어에 여러분의 행사 소감을 올려주세요. 발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로 공유될 예정입니다. 여러분의 피드백을 기다립니다!
감사합니다
Anúncio