코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023

AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 분석 플랫폼 구축 여정
그 시작과 과제
김석기 그룹장
Data Business Center
MEGAZONECLOUD

1963 정부투자기관 "대한손해재보험공사"로 설립
2002 코리안리로 사명 변경
2012 세계10위 (수재보험료 기준)
2019 스위스 현지법인 영업개시
2

Agenda
• Data Analytics Platform 구축 배경
• DAP 구축 여정과 선택
• 그리고, 향후 과제

Data Analytics Platform 구축 배경

• 데이터의 다변화에 따른 DB간 데이터 연계
• 비정형 데이터 수집 및 관리 필요
• 데이터 통합 분석 및 활용 인프라 구축
• 데이터 수집/가공/분석/시각화 요소별 기능 평가
• AWS 데이터 처리 및 분석 서비스 기능 평가
기간계,정보계 AWS 퍼블릭 클라우드 전환
5
클라우드 기반 데이터 분석 플랫폼 구축

DAP 구축 여정과 선택
Data Analytics Platform, DAP

DAP 구축 여정
7
PoC PoC
1차
구축 운영
2차
PoC 시나리오 기반 검증
✓ 1차 10개, 2차 5개 시나리오 기능 검증
✓ AWS, Databricks, Cloudera 솔루션別 PoC
✓ AI/ML 과제 : 원수사 담보명 자동 분류
DAP 구축 목표
✓ 요구 수행에 가장 적합한 아키텍쳐 설계
✓ 거버넌스 기반 (사용자, 리소스, 권한 등)
✓ Cloud 이용 가이드라인, 보안 규정 준수
4개월 3주 4개월

PoC 시나리오
8
# 1차 - 시나리오 및 검증 내역
1
RDBMS에 있는 정형 데이터를 S3로 로딩하고, 이때의 편의성과 로딩
속도를 측정
2
파일 등의 비정형 데이터를 Transfer family for SFTP를 이용하여 S3 로 로딩하
고 이때의 편의성과 로딩 속도를 측정
3 S3로 로딩한 정형/비정형 데이터를 변환하여 데이터 마트를 생성
4 Lake Formation을 이용한 데이터 탐색 기능 검증
5
Glue Studio나 Glue Data Brew를 이용한 데이터 변환 작업을 스케줄링 기능을
사용하여 수행
6
데이터 마트 테이블을 대상으로 Athena를 이용하여 집계 및 조인 쿼리를 수행하
고 결과를 새로운 테이블로 저장
7 통계 분석을 위한 R 환경을 구성하여 제공
8
Athena로 처리한 데이터 집계 결과를 QuickSight를 이용하여 시각화
대시보드를 생성
9 Lake Formation을 이용한 접근 통제
10 CloudTrail을 이용한 Audit log 관리
# 2차 - 시나리오 및 검증 내역
1 정형데이터 조회 및 데이터마트 변환
2 데이터마트 생성작업 스케줄링
3 Redshift Spectrum을 활용한 SQL 분석
4 QuickSight 데이터 시각화 수준
5 Redshift Data Security – Row level and Column level security
ML과제 검증 - 담보명 분류
✓ SageMaker Immersion Day 워크샵
✓ 분류(예측)가 얼마나 정확한가?
✓ 테스트 모델 생성 & 성능 확인
✓ 테스트 데이터 셋 활용
PoC

DAP 데이터 분석 플랫폼 : Architecture
9
Glue Catalog
S3 Crawler Athena QuickSight
SageMaker
Redshift
Secrets Manager CloudWatch CloudTrail
✓ AWS Native 솔루션으로 구성
✓ ETL : Glue
✓ DataLake: S3
✓ DW: Redshift
✓ BI: QuickSight
✓ AI/ML: SageMaker
DAP Architecture 특징
Spectrum
Data sharing
구축

DAP 데이터 분석 플랫폼 : IAM 원칙
10
✓ 사용자 그룹 별 업무 및 데이터 활용 범위 정의
✓ 사용자가 아닌 Role에 권한을 적용
✓ Admin 그룹 - SA, DataLake Admin, Redshift DBA
✓ User 그룹 – LOB별 사용자 그룹
사용자 접근 통제 AWS Identity and Access Management
구축

DAP 데이터 분석 플랫폼 : Data Pipeline
11
✓ AWS Landing Zone 內 타 계정 Database 연동 – 기간계, 정보계 등
✓ AWS Glue, Workflow
✓ 원천 : RDS/PostgreSQL, EC2/PostgreSQL
✓ 비정형 데이터 : S3 직접 업로드
데이터 파이프 라인 Data Pipeline & ETL
구축

DAP 데이터 분석 플랫폼 : Data Warehouse
12
✓ 데이터 웨어하우스 Amazon Redshift 사용
✓ Data Sharing - Producer-정보계, Consumer-DAP
✓ Redshift Spectrum – S3 조회를 위한 Data Catalog 연결
✓ Mart 테이블 보관
데이터 웨어하우스 Redshift Data Warehouse
구축

DAP 데이터 분석 플랫폼 : 로그관리
13
Note : 로그 추출 샘플 파일
사용자의 작업 로그를 관리함
구축

데이터 분석 플랫폼 구성 시 고려사항
“Fit” 한 플랫폼으로 시작하고
✓ 분석하고자 하는 데이터를 구체적으로 정의
✓ 서버리스 또는 매니지드 제품 활용
✓ 빅뱅이 아닌 단계적 접근
✓ AWS 또는 파트너社 경험 활용
✓ 비용 효율적인 구성
✓ 보안에 대한 고려는 충분하게
“Suitable” 한 플랫폼으로 발전하라
✓ 데이터 분석가, 데이터 과학자 인원 및 역량 고려
✓ 기업에 맞는 실시간 분석 활용
✓ 대용량 데이터 처리 및 불필요 데이터 삭제
✓ 인공 지능 및 기계 학습 업무 확대
✓ 성능 및 비용을 고려한 목적별 솔루션 검토
✓ 보안과 개인정보 보호 지속
14

그리고, 향후 과제

[ Operational Excellence ]
16
운영 및 과제
• DAP 서비스 안정화 및 고도화
• 데이터 생명 주기 정책
• 데이터 사용량 모니터링
• 운영 자동화
• AWS 통합 분석 서비스 – On-demand
• ISV 솔루션 적용
• 데이터 중심의 AI/ML 역량 강화
• MZC – 데이터 비즈니스 파트너
• 로그 모니터링
• 로그 추출 감사 대응 훈련
• 사용자 교육
• 데이터 거버넌스
• AWS 서비스 비용 최적화
• Top 3 : Redshift, Glue, SageMaker
• S3 : 데이터 용량 모니터링
• 서비스 활용 > 클라우드 비용
[ Growth & Innovation ]
[ Control & Security ] [ Cost Optimization ]
운영

Best Practices 기반으로 데이터 플랫폼 + AI/ML + 컨설팅 서비스를 제공
`
`
Data Business
국내 Data Lake/DW
기반 분석 플랫폼 구축
경험/역량 보유
데이터 분석 플랫폼
컨설팅 및 구축
+
Artificial
Intelligence
Cloud
Big Data Data
Business
Center
`
`
AI 솔루션 및 컨설팅
경험/역량 보유
AI 솔루션
컨설팅 및 구축
AI /ML Business
Data Business Center @ MEGAZONECLOUD

Thank you!
김석기
seokkikim@megazone.com
18

코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023

코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a 코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023

Similar a 코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(16)

코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS Data Roadshow 2023