1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
김준형
솔루션즈 아키텍트
AWS
김수진님
아모레퍼시픽
고객 중심 서비스 출시를 위한 준비
“온오프라인 고객 데이터 통합”

2. Agenda
• What is Data Lake?
• Data Lake on AWS
• AMOREPACIFIC Use case
• Conclusion

3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

4. consumers social
weather
advertisements
web
digital user
engagement
리테일은 빅데이터에서 컨슈머의 여정으로 전환 중
pos
internal
applications
bluetooth
beacons
order
management
events
support
center
external
apps
cameras

5. 빅데이터로 얻은 통찰력으로 뭘 할 수 있을까요?
소비자의 여정 끊임없는 경험 추구 효과적인 마켓팅
캠페인
제품 & 판매 예측
개인화된 경험
제품 출시 새로운 소비자
수요에 대응하기
위한 틈새시장
채널 별 제품 모음

6. 리테일의 도전과제를 해결하기 위해서는…
• 소비자의 86% 가
온라인과 오프라인으로
전환하여 원활한 경험을
기대하고 있습니다.
• 매장, 웹, 타사
플랫폼에서는 채널
전반에서 일관된
메시징을 유지하는 것이
복잡할 수 있습니다.
• 여러 채널에서 신뢰할 수
있고 균일하게 데이터를
수집하는 것은 까다로울
수 있습니다.
고객 경험 데이터의 사일로소비자를 변화시키기 개인화된 경험
• 소비자의 53%
가로드하는 데 3 초 이상
걸리는 모바일 사이트를
포기합니다.
• 너무 많은 선택지는
혼란을 일으키고
소비자를 좌절시킵니다
• 구독 서비스는 소비자의
86% 가 자신의 경험에
더 만족하게 됨에 따라
행동을 변화시킵니다
• 밀레니얼 세대는 지속
가능성, 소싱 및 사회적
책임에 중점을 둔 제품에
의지하고 있습니다
• 연결되지 않는 데이터는
소비자와 멀어집니다.
• 사일로화 된 마케팅은
소비자에게 부정적인
영향을 미칠 수 있습니다.
• 리테일 사업자는 소비자
정보가 포함된 시스템을
평균 16개를 가지고
있습니다.
• 소비자의 63% 는
개인화된 서비스를
표준으로 삼습니다.
• 리테일 사업자 중
72% 가 개인화와
개인 정보 보호 간의
균형을 유지에
만족하지 못함
멀티 채널에서 구매

7. 빅데이터에 대한 어려움들
무엇 때문에 빅데이터를 활용하기 어렵나요?
낮은 데이터 품질 통일된 관점의 부재낮은 데이터 접근성
51%
의 리테일 사업자가
소비자에 대한 통일된
관점을 갖고 있지 못합니다.
51%
의 리테일 사업자가
시스템간 데이터 공유를
못하고 있습니다.
1 - SAP – Real-time Analytics: The Path to Intelligent Retailing
2 - The Retailers Guide to Big Data
올바른 플랫폼이 없으면 데이터에서 인사이트를 도출하기 어렵습니다
88%
의 리테일 사업자가 데이터
활용에 문제를 겪고
있습니다.

8. Data Lake 를 도입하여 큰 효과를 얻을 수 있습니다
소비자에 대한 데이터의 증가 매출 증가 멀티채널 판매
66%
의 리테일 사업자가
소비자에 대한 중요한
데이터 확보
64%
의 사업자가 매출 증가
54%
의 리테일 사업자가
멀티채널 판매량이 증가
올바른 플랫폼이 없으면 데이터에서 인사이트를 도출하기 어렵습니다
1 - Retail & The Big Data Revolution by the Economist Intelligence Unit

9. 많은 리테일 사업자들이
Data Lake 아키텍처를 도입 중입니다
DW 아키텍처를 확장하고 발전
모든 형태의 데이터를 저장
고가용성 & 고내구성 & 엑사바이트로 확장
보안, 컴플라이언스, 감사
DW에서 예측에 이르는 모든 유형의 분석 실행
데이터 웨어하우징 분석 머신러닝
Data lake

10. 데이터 사일로 에서
OLTP ERP CRM LOB
DW 사일로 1
Business
Intelligence
디바이스 웹 센서 소셜
DW 사일로 2
Business
Intelligence
머신러닝
BI +
분석
데이터
웨어하우징
Data Lake
오픈 포맷
중앙집중화된 카탈로그
기존의 데이터 웨어하우스는 확장할 수 없습니다

11. © 2020, Amazon Web Services, Inc. or its Affiliates.
AWS에서 Data Lake를 사용하고 있습니다
S3
Kinesis
Data lake
web interface
Data lake APIs
Workflows
service
Discovery
service
Data
ingestion
Subscription
service
Data security and governance
Source systems Big data marketplace Analytics
100 PB
Data
quality
/curationS3
DynamoDB
Relational stores
EMR
Redshift
Other compute
Non relational stores
Redshift Spectrum
어려움
Oracle DW는 확장되지 않았고 유지 보수가
어려우며 비용이 많이 들었습니다.
해결법
Amazon 은 Amazon S3 상에 Data Lake를
구축하였으며, Amazon Redshift, Redshift
Spectrum, 그리고 Amazon EMR을 이용하여
데이터 분석을 합니다.
혜택
데이터를 50PB에서 100PB로 두 배로 늘려서
저장하고, 더 낮은 비용으로 통찰력을 더 빠르게
얻을 수 있었습니다.

12. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

13. © 2020, Amazon Web Services, Inc. or its Affiliates.
왜 AWS에서 Data Lake를 구축하고 분석할까요?
가장 보안이 뛰어난
분석 인프라를
제공합니다.
가장 확장성이
뛰어나고 비용
효율적입니다.
가장 쉽게 Data
Lake를 구성하고
분석할 수
있습니다.
가장 포괄적이며
오픈되어 있습니다.
1 2 3 4

14. © 2020, Amazon Web Services, Inc. or its Affiliates.
가장 활용하기 쉬우면서 오픈되어 있습니다
분석
Redshift
EMR (Spark &
Hadoop)
Athena
Elasticsearch
Service
Kinesis Data
Analytics
AWS Glue
(Spark &
Python)
데이터 이동
Database Migration Service | Snowball | Snowmobile | Kinesis Data Streams | Kinesis Data Firehose | Managed Streaming for Apache Kafka
데이터, 시각화, 머신러닝
QuickSight SageMaker Comprehend Lex Polly Rekognition TranslatePinpointData
Exchange
Data lake 인프라 & 관리
S3/Glacier AWS GlueLake
Formation

15. 소비자 & 운영
데이터
소비자 & 운영
통찰력
모든 유형의 데이터를 수집할 수 있는 유연성
• 데이터에서 통찰력을 얻기 위해서는 모든 유형의 데이터를 수집할 수 있어야 합니다.
• 히스토리 성 데이터, 이커머스, 제품 수요예측,, OMS, ERP, WMS, 소셜, 날씨, Web, IoT, …
모든 데이터를 위한 단일 홈, 사일로가 없음!
• 분석가들은 인사이트와 차세대 오퍼링을 구축하기 위해 사용 가능한 모든 기업 및 운영
데이터에 액세스할 수 있는 단일 장소가 필요합니다.
모든 작업에 적합한 분석 도구
• 현재 데이터 웨어하우스에 대한 기본 SQL 쿼리에서 미래의 예측 통찰력을 위한 머신 러닝에
이르기까지 모든 종류의 분석 지원해야합니다.
내부 및 외부 어플리케이션에 연결
• 분석 통찰력은 내부 BI 시각화 프로그램에서 상용 추천 앱까지 모든 것을 원활하게 제공해야
합니다.
1
2
3
4
리테일에 필요한 Data Lake는 어떤 것일까요?

16. 빅데이터 분석을 위한 람다 아키텍처

17. Producer Layer
Speed Layer
Batch Layer View Layer
AWS에서의 데이터 분석 플랫폼
OLTP ERP
CRM LOB
Social
Devices
Web
Sensors
Data Source Ingestion Store / process Consume
Data
Catalog
Access
Control
CrawlersData
import
ML-
based
data prep
: Serverless Analytics Service
Amazon Kinesis
AWS Glue
Amazon MSK
AWS Direct Connect
AWS DataSync
AWS Snowball
AWS Database
Migration Service
AWS
Lake Formation
Amazon S3
(RawData)
Amazon S3
(Analytics Data)
AWS Glue
Amazon
Elasticsearch Service
Amazon Redshift
Amazon EMR
Amazon Athena
Amazon QuickSight
Amazon SageMaker
Amazon DynamoDB Amazon Aurora
Amazon Kinesis
Data Analytics
AI Services
Amazon S3 Glacier

18. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

19. Agenda
• AMOREPACIFIC 소개
• 빅데이터플랫폼팀 소개
• AWS 기반의 서비스 구현 사례 소개
• 적용 기술 및 아키텍처 소개
• 앞으로 계획

21. Assemble
Big Data Platform Team
2019.04.01
빅데이터플랫폼팀 신설
2019.08.23
첫 Source Commit
2020.02
전사실적 대시보드 서비스 오픈
2020.05
Report 서비스 오픈
2020.09
Customer Explorer 서비스 오픈
One
Team

22. AP Sales Dashboards
‘브랜드, 채널, 국가, 상품’ 의 모든 실적 제공하며 ‘매출,성장,추세’ 를 다양한 관점 분석 가능한 서비스

23. AP Report Service
Tableau 기반의 Custom Template 을 제공해 누구나 Report 생성이 가능한 서비스

24. AP Customer Explorer
수 백 개의 필터 조건을 1초 만에 고객을 탐색해 고객 규모와 분포를 확인하는 서비스

25. With AWS …
Cloud 기반의 Data Platform 구축
Amazon KinesisAWS Glue Amazon EMRAmazon Athena
Elastic Load Balancing
Amazon RDS
AWS Database Migration
Service
Amazon Simple Storage
Service
Amazon Simple
Notification Service
Amazon CloudWatch
Amazon Managed
Streaming for Kafka
Amazon EC2
Amazon ConnectAWS Lambda
Amazon API Gateway AWS CodeDeploy AWS Chatbot
Amazon Connect

26. With EMR …
Cloud 기반의 Data Platform 구축
AWS Glue
Amazon EMR

27. With EMR …
AWS EMR Master 에 고정 IP 할당
고정 IP 를 할당하여 단일 EMR 구축 ( 24/7 운용 )
 EMR Cluster static ip 설정 방법을 통해 working time 에만
운용 ( 비용 절감 )
 ec2:AssignPrivateIpAddresses 퍼미션 필요
초기 : 사용자별 Cluster 생성
단일 Cluster 사용 -> 고정 IP 이용 -> static IP 적용
AWS
Glue
Amazon
EMR
AWS
Glue
Amazon
EMR
AWS
Glue
Amazon
EMR
AWS Glue
Amazon EMR
User
User
User
User
User
User

28. With EC2 …
Cloud 기반의 Data Platform 구축
Amazon EC2

29. Workflow
복잡한 Pipeline ?
확대

30. 1일 기준 Batch Job
구분 2020-08-14 2020-09-13 증감
1일 기준 작업 수 1,727 1,935 208
1일 기준 적재 건수 31.28억 58.30억 27억
1일 기준 적재
volume
510G 528G 18G 증가

31. Spark SQL Job

32. Spark SQL Job
SQL Tuning & Tips.
query1 =“ select a.id, sum(b.cnt) from 브랜드 a, 실적 b where a.id=b.id group by a.id “
var cacheTable1 = spark.sql( query1 ) // cache #1
cacheTable1. createOrReplaceTempView(“cacheTable1”)
query2 =“ select a.id, sum(b.cnt) from 브랜드 a, 매출 b where a.id=b.id group by a.id“
var cacheTable2 = spark.sql( query ) // cache #2
cacheTable2. createOrReplaceTempView(“cacheTable2”)
mainQuery = “select id, sum(cnt) from cacheTable1 a, cacheTable2 b where …. ”)
var mainQueryDf = spark.sql(mainQuery)
mainQueryDf.write.partitionBy(“id”).mode(Append).parquet(s3path)
1. Spark SQL Hint 사용 (spark.2.2 이상 )
2. Distribute by , cluster by 등 사용
3. 적절한 coalesce , repartition
4. Outer join 시 skewness 회피를 위한 query 문 검토

33. 1일 기준 Batch Job

34. System Architecture – Batch
Batch Job Flow
Job submit
Job submit
Write
Notification
Insert
Single Master
Multi Master
Amazon EC2
Elastic Load Balancing
Amazon EMR
Amazon EMR
AWS Glue
AWS Glue
Amazon Simple Storage
Service
Amazon RDS Amazon Simple
Notification Service
Amazon Connect

35. System Architecture - Realtime
Realtime Data Collect Flow
publish
Write Notification
Insert
Single Master
publish
Write
Insert/update
event
AWS Database Migration
Service
Amazon EC2
Amazon Kinesis
Amazon Managed
Streaming for Kafka
Amazon Simple
Storage Service
Amazon EMR
AWS Glue
Amazon RDS Amazon Simple
Notification Service

36. System Architecture
As Is …

37. AP Customer Data Platform (CDP)
CDP 구축을 통한 고객 데이터 기반의 관리체계 마련

38. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

39. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

40. 감사합니다
© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.