AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정 김관유 Data Platform Team Leader 피플펀드 이지영 Solutions Architect AWS

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML 도입 배경 1금융권과 2금융권 사이에 간극 이 생기는 이유 부실 예측의 어려움 신용모델 업데이트 주기 2년마다 업데이트, 현재 경제 상황 반영 불가 새로운 기술의 부재 머신러닝, 실시간 비정형 데이터의 활용 방대한 신용정보에서 유의미한 데이터 추출이 어려움

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 초기 RISE 모델 개발 Amazon SageMaker Notebook Notebook Notebook Data Scientist Amazon API Gateway AWS Lambda Data sources AWS Glue Amazon RDS Amazon S3 AWS Account Amazon S3 Amazon SageMaker endpoint User model artifacts

17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. MLOps 도입 배경 Amazon SageMaker Notebook Notebook Notebook Data Scientist Amazon API Gateway AWS Lambda Data sources AWS Glue Amazon RDS Amazon S3 AWS Account Amazon S3 Amazon SageMaker endpoint User model artifacts 🗶 🗶 🗶 모델 성능 Feedback 수집 변경 관리 필요 Model 관리 데이터 전처리 🗶

20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 반복 사이클 자동화 Yes No 비즈니스 문제 PART 1 PART 2 PART 3 PART 4 모니터링 및 디버깅 예측 모델 배포 Feature 엔지니어링 Data 시각화 및 분석 데이터 준비 및 정제 데이터 통합 데이터 수집 AI/ML 목표 수립 모델 평가 Model 학습 및 파라미터 튜닝 목표 달성?

21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Configuration Data Collection Data Verification Machine Resource Management Serving Infrastructure Analysis Tool Process Management Tools Feature Extraction Monitoring “Only a small fraction of real-world ML systems is composed of the ML code” source: Hidden Technical Debt in Machine Learning Systems [D. Sculley, & al.] – 2015 https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf MLOps 도입시 고려한 부분

23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. PART1: 데이터 전처리 자동화 Power users Data Platform 대출 데이터 AWS Glue Amazon S3 Data catalog AWS Glue AWS Glue Data storage 개인 신용 데이터 Athena, SageMaker Bucket (Raw) Bucket (Cleaned) Bucket (Training Set) Data governance DataHub Data quality & data lineage Data Scientist Data Engineers

24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Account Data Scientist Git Amazon S3 code artifacts create pipeline model artifacts scheduled trigger Amazon EventBridge or manual trigger Amazon SageMaker Studio Notebook Notebook Amazon SageMaker Pipelines Amazon SageMaker Model Registry PART2: 모델 개발 및 재훈련 워크플로우 Feature Engineering Job Training job Model Validation job Data Account Data sources Amazon SageMaker Feature Store Amazon ECR environments model artifacts

25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. PART3: 모델 배포 자동화 ML Account Auto Scaling group Amazon SageMaker endpoint Amazon SageMaker endpoint Amazon SageMaker endpoint Users AWS Lambda Jenkins AWS CodePipeline Amazon SageMaker Model Registry Amazon API Gateway Model Approved Manual trigger Deployment Deployment Trigger

27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. PART4: 모델 모니터링 Auto Scaling group Amazon SageMaker endpoint Amazon API Gateway AWS Lambda data capture Amazon EventBridge Model 모니터링 및 분석 Amazon S3 Periodic trigger or drift trigger ML Account Amazon SageMaker Pipelines baseline data Users

30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. MLOps 도입 성과 ▶ Baseline Data 와의 비교를 통한 Data Drift 분석 Data Drift 발생 XXXX-XX-XX XXXX-XX-XX XXXX-XX-XX XXXX-XX-XX XXXX-XX-XX XXXX-XX-XX XXXX

32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 규제대응 인증 및 인가 네트워크 망분리 IAM Role을 이용한 MLOps 역할별 리소스 권한 관리 Lake Formation을 이용한 Cross Account 데이터 접근 권한 관리 외부 통신의 암호화 Onpremise에서 VPC간, VPC와 VPC 간에 인터넷 접근 없이 내부 통신 리소스 보호 Amazon S3 등 저장 시 데이터 암호화, AWS KMS Key로 키관리 Open Source 검증 및 코드나 모델 artifacts를 안전하게 저장하고 보호

33. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인증 및 인가: 담당자 역할별 최소 권한 원칙 DEVOPS ENGINEER 데이터 수집부터 가공 처리 까지 일련의 과정을 담당하 며 DW를 개발/운영 AI 모델과 데이터를 서비스 하기 위한 API 개발/운영 수집된 데이터를 바탕으로 분 석하고 비즈니스에 필요한 모 델을 지속적으로 고도화 DATA SCIENTIST DATA ENGINEER

34. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인증 및 인가: AWS Control Tower 도입 멀티 계정을 도입하여 규제 대응 전략 수립 안정적 운영 환경 구축 및 관리를 위한 AWS Control Tower 도입 AWS 랜딩존 구성 규정 준수 계정 프로 비저닝 자동화 계정 및 접근 제어 중앙 관리 보안, 규제대응, 운영을 위한 가드레일 생성 지속적인 관리

35. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인증 및 인가: 멀티 계정 기반 업무 분리 Infra Account Dev Account Prod Account ML Account Ingress App Automation MLOps stack Prod deployment Dev stack Build stack Data Account Data Scientist Data Bucket IGW AWS WAF ELB Amazon API Gateway DevOps Engineers Users Data Engineers

36. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 네트워크 망분리: AWS Direct Connect 및 VPN 연결 Corporate data center Customer Router AWS Gateway Direct Connect location AWS Cloud Customer Gateway Seoul Transit VIF Active AWS Transit Gateway IPSec Encryption

37. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 네트워크 망분리: AWS PrivateLink Corporate data center Customer Gateway Customer VPC ML Account Public subnet Private subnet CloudWatch Metrics, Logs SageMaker Runtime SageMaker API ECR NAT gateway SageMaker AWS Account SageMaker Service VPC Notebook ENI VPN connection AWS Transit Gateway Infra Account Amazon S3 VPC Endpoints + Policies

38. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 네트워크 망분리: 모델 서빙 AWS Transit Gateway Prod VPC ML VPC Private subnet Amazon EKS ALB Private subnet Amazon API Gateway AWS Lambda Auto Scaling group Amazon SageMaker endpoint Prod VPC Public subnet Users AWS Cloud NLB

39. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 리소스 보호 Security AWS Lake Formation AWS Key Management Service Power users Data Platform 대출 데이터 AWS Glue Amazon S3 Data catalog AWS Glue AWS Glue Data storage 개인 신용 데이터 Athena, SageMaker Bucket (Raw) Bucket (Cleaned) Bucket (Training Set) Data governance DataHub Data quality & data lineage Data Scientist Data Engineers

42. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 피플펀드 성과 ▶ 피플펀드 대출 대환 시 비용 효과 22년 기준, % 4.5% 17.97% ▶ 13.47% 금리 인하 효과 1,275만원 1,389만원 ▶ 2,664만원 한도 상향 효과 226만원 1,009만원 ▶ 783만원 이자 절감 효과

45. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 사설 네트워크 기반으로 Amazon SageMaker 구성 요소간에 데이터 통신 제어 및 싱글 테넌시 환경으로 분리 인프라 및 네트워크 분리 리소스 접근을 제어하기 위한 인증 및 인가를 정의, 시행 그리고 감사 인증과 인가 저장 및 전송 중 자동 데이터 암호화 보장 데이터 보호 모든 API 호출, 이벤트, 데이터 액세스 또는 상호작용을 사용자 및 IP 수준까지 추적, 감사로 빠른 문제 해결 모니터링 및 감사로그 책임 공유 모델 기반의 인증 및 규제 대응 규정 준수 AWS 기반의 안전한 ML 및 MLOps 환경 구성 Amazon SageMaker 및 AWS 클라우드에서 제공하는 기본 기능을 통해 보안 강화

46. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인프라 및 네트워크 분리 인터넷 노출 영역을 최 소화하여 AWS의 전체 인프라 제어하고, 개인 정보 보호를 관리 및 강화 논리적으로 독립된 가상의 네트워크 Amazon VPC 에서 Sagemaker 구성 요소 배포, 데이터 트래픽은 이 VPC내에서 엄격하게 제어, 또한 자체 VPC 내에 배포하여 프라이빗 리소스에 안전하게 접근하는 옵션도 제공 Amazon Virtual Private Cloud(VPC) 지원 VPC, AWS 서비스간, 온프레미스 애플리케이션 간에 네트워크 트래픽을 AWS PrivateLink를 사용하여 인터넷과 분리된 네트워크 설계 AWS PrivateLink 를 이용한 네트워크 분리 다른 사용자들과 격리된 환경을 보장하기 위한 단일 테넌시 Amazon EC2 인스턴스에 배포 멀티 테넌트 격리 프로그래밍 방식으로 사용자에게 호스트 관리자 권한을 제어 루트 액세스 권한 관리

47. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인증 및 인가 Amazon SageMaker 및 관련 리소스 접근을 제어하기 위한 인증 및 인가를 정의, 시행 그리고 감사 온프라미스 AD/LDAP과 AWS IAM 역할을 매핑하여 Sagemaker 접근 제어 IAM 역할 기반 접근 제어 멀티 팩터 인증 설정하여 AWS 관리 콘솔로부터 SageMaker 노트북 접근 멀티 팩터 인증 SageMaker 리소스에 태그 설정하여 태그 기반의 접근 제어 설정 가능 태그 기반 접근 제어 지능형 위협 탐지를 구축하여 ML 환경과 데이터 접근 및 비인가 작업 등을 보호하기 위한 지속적 모니터링 탐지 잠재적 위협이 되는 작업을 발생하지 않도록 미연에 방지하여 제어 예방

48. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 보호 저장 및 전송 중 자동 데이터 암호화 보장 Model Artifacts 및 데이터를 Amazon S3 이나, EBS 볼륨을 암호 화 저장 저장시 암호화 SageMaker API 및 Console 요청은 SSL 기반으로 동작 전송시 암호화 분산 클러스터의 Training 노드 간에 모든 통신을 암호화 하도록 설정 가능 Container 간에 네트워크 암호화 Amazon S3 뿐 아니라, EBS 볼륨까지 데이터를 고객키를 이용해서 암/복호화 AWS KMS 암호화

49. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 모니터링 및 감사로그 모든 API 호출, 이벤트, 데이터 액세스 또는 상호작용을 사용자 및 IP 수준까지 추적, 감사로 빠른 문제 해결 EC2 인스턴스, AWS CloudWatch 등으로부터 로그 파일을 저장, 모니터링, 이상증상이 발생 시 즉각적 조치를 취하기 위한 알람 설정 활동 로깅 및 이벤트 수집 사용자 활동, API 사용양 등 ML 환경 운영 및 위기 감사를 위해서 사용 CloudTrail 및 CloudWatch 감사로그

50. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 규제 준수 SOC 1 SOC 2 SOC 3 **Excluding Public and Vendor Workforce** MTCS 참고: https://aws.amazon.com/financial-services/security-compliance/compliance-center/

51. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Well-Architected Framework 안정성 운영 우수성 보안 성능 효율성 비용 최적화 지속 가능성 디자인 원칙 모범 사례 참고: https://aws.amazon.com/ko/architecture/well-architected

52. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Well-Architected 렌즈 및 지침 기계 학습 렌즈 서버리스 애플리케이션 렌즈 관리 및 거버넌스 지침 하이브리드 네트워크 렌즈 SaaS 렌즈 금융 서비스 산업 렌즈 분석 렌즈 AWS에서 워크로드의 재해복구 지침

53. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Well-Architected Framework-기계학습 렌즈 Well-Architected Machine Learning Lifecycle 성능 효율성 신뢰성 운영 우수성 보안 비용 최적화 모니터링 비즈니스 목표 AI/ML 목표 수립 데이터 전처리 배포 모델 개발 참고: https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html

AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

Similar a AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(20)

AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정