핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition

2. Agenda • 리테일과 예측 • Amazon Forecast • Amazon SageMaker • 신세계 I&C AI 전략 • 비즈니스 Pain Point • 수요 예측 접근방안 • 시뮬레이션 결과 • 행사상품 예측

4. 리테일의 도전과 혁신 새로운 수익원 창출 비즈니스 위험 감소운영 및 재정 효율성 향상

5. 수요 예측(Demand Forecasting)의 필요성 채찍 효과(Bullwhip Effect) 부정확한 예측은 잘못된 재고 할당으로 이어지고 공급망 단계별로 비 효율성을 더욱 악화시킵니다. 수요 기반 공급 수요 기반 운영은 공급을 기반으로 재고를 밀어내기 보다는 예측을 기반으로 재고를 관리할 수 있습니다. 재고 운영 수요 변동성을 줄이면 재고 수준을 낮추고 재고 회전율을 높이고 운영 비용을 줄일 수 있습니다. 고객 기대 충족 과거 구매 패턴과 함께 다양한 시그널을 기반으로 고객 수요를 예측하는 것은 비즈니스에 매우 중요합니다.

6. 전통적인 통계 방식의 Forecasting 한계 현재 시스템의 대부분은 구식 및 수동 프로세스로 인해 비효율적입니다. 통계적 예측 방법은 정확하지 않고 실제값을 사용해서 학습하지도 않습니다. 신제품에는 고객 수요를 효과적으로 예측할 수 있는 과거 데이터가 없습니다. 매크로 이벤트, 사회적 시그널 또는 혼란과 같은 외부 요인을 고려하지 않는 모델 복잡한 품목과 관련된 가격 및 지리적 민감도를 감지 할 수 없는 모델 영업팀은 시스템에서 생성한 예측을 신뢰하지 않습니다.

7. 전통적인 통계 모델 계절별 상품일상 생활 용품 선형 또는 (반복) 계절적 수요 패턴 전통적인 통계는 합리적인 정확도로 일부 제품에 대한 수요를 예측할 수는 있습니다. Amazon.com 에서 배운 점들 기계 학습을 사용하여 복잡한 예측 문제 해결 1995 2000 2007 2010 2015 2019

8. Traditional statistical methods Amazon.com 에서 배운 점들 수년간의 Amazon 투자를 고객에게 예측 서비스로 제공 1995 2000 2007 2010 2015 2019 Use of Machine Learning Use of deep learning 15x Improvement in accuracy 높은 가격 변동성 낮은 판매율지역별 대 국가별 수요 새로운 제품 계절성 상품

9. 어려운 점들 ML 전문성 부족 솔루션 구축을 위한 데이터 수집 및 변환을 소싱, 평가 및 관리하려면 ML 전문가와 데이터 플랫폼 엔지니어가 필요합니다. 인사이트(Insight)를 의사결정 주기에 통합 유용한 통찰력을 생성 할 수 있는 회사가 실제 의사 결정주기의 맥락에서 빠르고 자동화된 방식으로 이러한 통찰력을 표면화하는데 어려움을 겪습니다. 향상된 의사결정 효과 입증 계획부터 분석을 고려하지 않으면 기업은 비즈니스의 신뢰를 얻고 ML 투자 효과와 ROI 입증에 어려움을 겪습니다. 비용 및 복잡도 ML 플랫폼에서 비즈니스에 즉시 사용할 수있는 통찰력을 얻으려면 개발, 테스트, 배포 및 유지 관리에 상당한 노력이 필요합니다. Challenges

11. The AWS AI/ML 스택 머신러닝을 위한 가장 광범위하고 완벽한 기능의 집합 VISION SPEECH TEXT & LANGUAGE SEARCH PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS AWS Marketplace for ML Augmented AI Studio Ground truth Built-in Algorithms Notebooks Experiments Processing Training Debugger Autopilot Hosting Monitor Neo Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia Greengrass (FPGA) Amazon Rekognition +Video Amazon Polly Amazon Transcribe +Medical Amazon Personalize Amazon Forecast Amazon Comprehend +Medical Amazon Textract Contact Lens For Amazon Connect Amazon CodeGuru Amazon Fraud Detector Amazon Translate Amazon SageMaker DeepGraphLibrary Amazon Lex Amazon Kendra AI 서비스 ML 플랫폼 및 서비스 ML 프레임워크 및 인프라스트럭처

12. The AWS AI/ML 스택 VISION SPEECH TEXT & LANGUAGE SEARCH PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS AWS Marketplace for ML Augmented AI Studio Ground truth Built-in Algorithms Notebooks Experiments Processing Training Debugger Autopilot Hosting Monitor Neo Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia Greengrass (FPGA) Amazon Rekognition +Video Amazon Polly Amazon Transcribe +Medical Amazon Personalize Amazon Forecast Amazon Comprehend +Medical AI 서비스 ML 플랫폼 및 서비스 ML 프레임워크 및 인프라스트럭처 Amazon Textract Contact Lens For Amazon Connect Amazon CodeGuru Amazon Fraud Detector Amazon Translate Amazon SageMaker DeepGraphLibrary Amazon Lex Amazon Kendra

13. Amazon Forecast 복잡한 예측 시나리오 처리 결측치(Missing Value) 콜드 스타트 (신제품 입고) 불규칙한 계절성 제품 단종 일시적 급증 데이터 민감도 분석 (미래 가격 변동)

14. Amazon Forecast의 알고리즘 통계 및 기계 학습 예측 알고리즘 딥러닝 기반 글로벌 알고리즘 DeepAR+ Prophet ETS, ARIMA, NPTS 유연성 있는 로컬 알고리즘 • Decomposition-based additive regression model 베이스 라인 알고리즘 • Works well with a small number of time series • Finds trends, seasonality, and residual /CNN-QR

15. DeepAR 특징 반복 신경망(autoregressive RNNs)을 사용하는 지도 학습 알고리즘 사용 가능한 모든 시계열을 사용하여 패턴을 식별, 글로벌 모델 구축 Amazon의 소매 제품 수요 예측 모델로 부터 구현 많은 데이터셋에 단일 모델 사용 미래의 알려진 연관 시계열 사용 What-if 시나리오에 적합 수백 개 Feature 시계열이 포함된 경우 DeepAR 알고리즘

16. CNN-QR 특징 Convolutional Neural Network을 기반으로 하는 지도 학습 알고리즘 정확도를 최대 30 % 향상시키고 모델을 최대 2 배 빠르게 학습 Amazon의 4억 개 이상의 제품 수요 예측 모델에서 사용 크고 복잡한 데이터세트 사용 관련 시계열 및 항목 메타 데이터 사용 예측에 미래 관련 시계열 불 필요 콜드 스타트 시나리오 CNN-QR(Quantile Regression) 알고리즘

17. AWS Solutions: Amazon Forecast Amazon Forecast 예측 변수 및 예측을 생성, 테스트 및 비교하는 파이프라인을 자동화 https://aws.amazon.com/solutions/implementations/improving-forecast-accuracy-with-machine-learning/ AWS Step Functions workflow AWS Step Functions Amazon Forecast Automation Amazon SNS (Email Notification) Amazon CloudWatch Amazon Forecast Amazon S3 (Forecast Exports) SageMaker Jupyter Notebook Forecasting Data Visualization AWS Lambda New Data Event: Invoke Amazon S3 Configuration File (JSON) Demand Data Related Data(Optional) Metadata(Optional) Data Preparation

19. The AWS AI/ML 스택 머신러닝을 위한 가장 광범위하고 완벽한 기능의 집합 VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth AWS Marketplace for ML Neo Augmented AI Built-in algorithms Notebooks Experiments Processing Model training and tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Lex Amazon Personalize Amazon Forecast Amazon Comprehend +Medical AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon CodeGuru Amazon SageMaker DeepGraphLibrary Amazon Fraud Detector Amazon Translate

20. 학습 데이터 수집 및 준비 Fully managed data processing jobs/ data labeling workflows ML 알고리즘 선택 또는 가져오기 Collaborative notebooks, built-in algorithms/models 학습을 위한 환경 설정 및 관리 One-click training 모델 학습, 디버깅 및 튜닝 Debugging and optimization 학습 실행 관리 Visually track and compare experiments 운영환경에 모델 배포 One-click deployment and auto-scaling 모델 모니터링 Automatically spot concept drift 예측 검증 Add human review of predictions 운영 환경 확장 및 관리 Fully managed with auto-scaling for 75% less WEB-BASED IDE FOR ML AUTOMATICALLY BUILD AND TRAIN MODELS ML 모델을 구축, 학습 및 배포를 위한 Amazon SageMaker

21. Model artifacts Amazon SageMake r Model feature store Amazon S3 (Flexible and scalable storage) Amazon S3 repository Data processing Amazon SageMaker PCA algorithm Data transformation Amazon SageMaker Forecasting algorithm Amazon SageMaker HPO Amazon SageMaker notebook environment Model evaluatio n Amazon SageMaker notebook environment Model evaluatio nConsolidated history data 탐색, Feature Engineering 모델 학습, 테스트, 평가, 튜닝1 2 Model artifacts Amazon S3 model repository Model artifacts Amazon S3 model repository Amazon SageMaker를 사용한 시계열 예측 모델 생성

24. Agenda • 리테일과 예측 • Amazon Forecast • Amazon SageMaker • 신세계 I&C AI 전략 • 비즈니스 Pain Point • 수요 예측 접근방안 • 시뮬레이션 결과 • 행사상품 예측

26. AI Approach 자체 기술로 내재화 시키기 위해 준비 IN-HOUSE Technology based Open Source Solution X Outsourcing X Platformed AI AI as a Service OPEX(not CAPEX) More fit for our Business. Hard to imitate. Recyclable Core. Speed. Less Cost.

27. FOCUS ON 3 AI AREA 인간의 지능적인 행동을 모방할 수 있도록 하는 것 사람의 가장 기본적인 감각 기관인 눈과 입과 머리에 해당하는 영역에 우선 집중 [AI Communications] Channel 소통/전달의 창구 Mouth Brain Eye [AI Analytics] Intelligence 컨텐츠(Insight) [AI Vision] Sensor 감지/ 식별

29. 재고 관리 PAIN POINT Retail의 재고 관리 이슈 I&C’s AI Platform AI Analytics engine Saicast(예측) Sailike(추천) SaiVision(비젼) Cloud AI Service Deep Learning AutoML I&C IN-House tech Saiaas (Shinsegae AI as a Service) 폐기상품 (과다, 정확도) 수요예측 효율화 필요 과도한 인력 소모 (수기작업) 기회Loss 결품 (과소, 정확도)

30. 수요예측에 왜 인공지능 인가? 점포별 상품 수 (Running 기준) 70,000 SKU 점포별 영업일 340days 독립변수 40variables 정확도, 업무량 사람의 판단으로 할 수 없는 일 100+ stores

32. PLATFORM SAICAST INPUT DATA & OUTPUT INSIGHT의 가장 Simple한 구성 (AIaas) 관계사의 Data Trained EngineDL/ML Core Engine Inference INSIGHTS Data Engineering Saicast

33. SUMMARY RetailBusinessDomain Knowledge+ I&CAI Technology + AWS Infra 환경 가장 큰 점포(A) 휴가지 점포(B) 약 20,000 SKU 30 variables using I&C AI Technology Data & Business by System Management Team Run on 100 중분류 2 년 간의 Data (17’,18’,19’) AI Platform Saicast + = Business Description Technology Colaboration

34. AWS Architecture Amazon SageMaker S3 EFS RDS CloudWatch S3 EFS RDS AWS Batch ECS ECR EC2container 연구/개발 환경 운영 환경 Data & Source code 저장 AI 학습 Model Inference 결과 & 분석 data JOB Scheduling Log Monitoring 예측/ 훈련 JOB 작업 환경 생성 Docker Image Computing I&C 내부 시스템과 연결해 주는 Gateway I&C 내부 시스템과 연결해 주는 Gateway Transit Gateway Transit Gateway

35. SageMaker 작업 시간에 따른 비용 - 개발 서버 구성 대비 비용적인 효율 높음 빠른 개발 환경 구성 (notebook instance) - 짧은 기간의 과업에 매번 환경 구성 필요 없음 Scale IN/OUT의 편의성 - downtime 없이 간단하게 Resource 확장 가능 다양한 개발언어 지원 - R, python, spark 등 동일한 jupyter 인터페이스 사용 가능 Sagemaker lifecycle 기반 사용자별 환경 구축 - lifecycle 구성을 통해 EFS mount해서 사용 중 User로써 이야기하는 SageMaker의 편리함

36. WHAT’s CHANGED [AS-IS] 관리적 통계 기반 수요예측 Sales Quantity (Removing Outliers) 다양한 지수 적용 (일률적인 방법)X Demands (not forecasting) 왜 그렇게 팔렸는가? – 변수의 영향에 집중 Event (effectiveness) Price (Discount rate) weather Timeseries (27weeks) POG Display Y/N ? Day of the week Category (features) +Derived variables AI Forecasting [TO-BE] 상품별 맞춤형 Algorithm by Machine Season (Valentine, Christmas) 추세를 확인하는 효과적인 방법 + 사람의 수작업

37. WORK FLOW Data preparation Data Engineering Saicast ML/DL Engine Modeling item, sales variable Training Predict Data Exploratory Analysis Consistency Accuracy Data 축소 Dimension 축소 N/A, NULL, Outlier Cleansing daily/Item sales Summary Training Data One-hot Encoding normalization Saicast Customizing Trained Machine Inference

39. 가장 매출 높은 점포 가공/일상 (100 중분류) 10,000 상품 ‘19 10/26 ~ 10/30 예측 결과 ※ 미판매 일자 제외

40. 모형의 예측력 판별 RMSE – Root Mean Square Error 낮을 수록 “정교한 예측 을 의미”

41. 상품 상세 분석 [초콜릿] D사 에너지바 4입 40g *4 기존 예측 Saicast ML 예측

42. 98개 중분류 중 92개 중분류에서 AI WIN 중분류 별 RMSE 집계 결과 예측오차 18%개선 바이어의 검증기간 後 과제 대상 2개점포 가공/일상 AI기반 자동발주 진행 중

44. 행사상품 수요예측 PAIN POINT 실제 수요예측 에서의 Pain Point는 “행사 상품” 수요 예측 행사 상품을 정밀하게 예측하는 AI가 필요 – Saicast 2.0 본사 집중 작업 본사에서 전점의 수량을 Cover 변동성이 큰 Data 수기로 할 수 없는 복잡한 변수와 계산 노동 집약적 작업 가공 바이어만 수십명 수기로 이뤄지는 작업 짧은 Lead Time 빠르게 반응하는 순발력이 필요한 작업

45. Saicast2.0 “SALESMAN” “행사”라는 특수한 환경에 최적화된 학습을 진행 Saicast 내부에 다양한 SUB AI MODEL 구현 가격 민감 Score Model 가격과 판매량의 관계를 상품별로 Scoring 체감 가격 복원 Model 1+1 상품 (n+1 상품) 에누리 (카드사/자동) Point 행사 적용 [상품 A] 1000원 30개/ 800원 35개 [상품 B] 1000원 30개/ 800원 50개 행사 Outlier 분리 Model 행사/비행사 데이터 처리 분리 비행사의 Condition이 행사의 예측에 영향을 미치지 않도록 → 축소추정 방지 Extreme outlier 분리 및 제거 ※ 최대 25배 판매

46. Saicast2.0 예측 결과 (시작) 행사 시작 시점에 대한 민감한 반응 & UP-Selling Scale 전통떡갈비 324g*2 라면 120g*5입 고구마스낵129g즉석밥 210g*12입

47. Saicast2.0 예측 결과 (종료) 행사 종료 시점에 대한 민감한 반응 & UP-Selling Scale 볶음면 130g*4입 시리얼 600g 과자 36개입 288g 저지방 우유 1L*2

48. Summary 대상 점포 : 전점 대상 상품 : 4월 2차 행사 상품 (50,000+ 개 상품) 행사 기간 : 2주 비교 대상 : 기존 발주 방식 (미발주 상품 제외) 비교 항목 : 발주량 vs 발주량 비교 (실 판매량 대비 오차) 예측 엔진 : Saicast v.18

49. 전점 행사 상품 수요예측 (AI VS 수기) 140개 점포 전체에서 AI WIN 점별 Win Count(상품) 비율 82 : 18

50. 내가 멀리 볼 수 있었던 것은 거인들의 어깨 위에 올라서 있었기 때문이다 - Issac Newton -

핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition

핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a 핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition

Similar a 핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(20)

핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 AI팀장:: AWS Cloud Week - Industry Edition