LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
LG 이노텍 - Amazon Redshift Serverless를
활용한 데이터 분석 플랫폼 혁신 과정
LG 이노텍 : 유재상 선임
LG CNS : 김태규 선임
AWS : 김도균 Specialist
“LG 이노텍은 세계 시장을 선도하는 글로벌
소재·부품기업으로, Amazon Redshift 을 데이터 분석
플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인
데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의
필요성에 대처하기 위해, 2022년에 AWS 에서 발표된
Redshift Serverless 를 활용한, 비용 최적화된 아키텍처
개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.”

Agenda
1. AWS REDSHIFT 혁신 과정 소개.
2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정.
3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법.
4. Q/A

1. AWS Redshift 혁신 과정 소개.

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4
포괄적이면서 개방적인 AWS 서비스
데이터 이동
분석
데이터 레이크 인프라 & 관리
데이터, 시각화, 참여 & 기계 학습
+ 그 외 다양한
Redshift
EMR
(Spark & Hadoop)
Athena
OpenSearch
Service
Kinesis Data
Analytics
AWS Glue
(Spark & Python)
S3/Glacier AWS Glue
Lake
Formation
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate
Database Migration Service | Snowball | Snowmobile | Kinesis Data Streams | Kinesis Data Firehose | Managed Streaming for Apache Kafka
Pinpoint
Data
Exchange

Amazon Redshift - Happy 10th Year Anniversary!

Data 의 증가됨에 따른 도전 과제
AWS Redshift
6
고객의 다음과 같이 말하고 있습니다
“데이터 사용자 가 증가되고, 분석할
데이터는 어디에나 있습니다."
“분석 워크로드는 Mission Critical
하며 24/7 실행됩니다”
“통제가 가능하면서도, 모든 양의 데이터
또는 사용량에 대해 일관된 고성능을
원합니다”
“안전하고 잘 관리되고 확장 가능한
아키텍처를 찾고 있습니다”

Listening to our customers
2013 2023
Amazon Redshift launched as
the first MPP cloud data
warehouse at a price
performance unattainable in
on-premises MPP DWs
Amazon Redshift Spectrum
Amazon Redshift RA3 nodes
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon Redshift Query Editor V2
Amazon
Redshift
Terabytes to petabytes to exabytes
Data sharing with
AWS Data Exchange
Amazon Redshift Serverless
Amazon Kinesis streaming
ingestion
Concurrency writes
Role-based access control,
identity management updates

2013 2023
on-premises MPP DWs
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon
Redshift
Data sharing with
AWS Data Exchange
ingestion
Concurrency writes
Leader node
Amazon Redshift
managed storage

2013 2023
on-premises MPP DWs
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon
Redshift
Data sharing with
AWS Data Exchange
ingestion
Concurrency writes
Leader node
Amazon Redshift
managed storage
Cluster
cluster

2013 2023
on-premises MPP DWs
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon
Redshift
Data sharing with
AWS Data Exchange
ingestion
Concurrency writes
Leader node
Amazon Redshift
managed storage
Intelligent
and
dynamic
compute
management
Cluster
cluster

Data science
Marketing
Serverless endpoint
Finance
Provisioned cluster
Sales
Serverless endpoint
Provisioned cluster
Redshift Provision/Serverless 로 유연성 있는 다양한 architectures 구성
세분화된 제어 및 사용자 정의
프로비저닝 환경
Amazon Redshift
Provisioned
인프라 관리 없이 새로운 데이터
웨어하우징 워크로드 시작
Takes care of your infrastructure
Amazon Redshift
Serverless
• 사용한 시간 만큼 과금
• Auto Scale

Amazon Redshift innovates to meet your needs
Analyze all
your data
Best price
performance
at any scale
Easy analytics
for everyone
RA3
nodes &
managed
storage
Concurrency
scaling for
reads and
writes
Security,
governance
& compliance
Workload
management
enhancements
SQL
enhancements
& migration
support
Serverless Automated DW
management
Automatic
materialized
views
Data API AWS
CloudFormation
templates
Amazon
Redshift
Advisor
Grafana
Plugin
Query
editor v2
Data sharing Amazon
Redshift ML
AWS Data
Exchange
integration
Federated
query
SUPER data
type with
JSON
Geospatial
enhancements
Aurora Zero
ETL with
Redshift
(Preview)
Redshift
Streaming
Ingestion
Apache Spark
Connector
Multi-AZ
Deployment
(Preview)
Data Sharing
Access Control
via AWS Lake
Formation
(Preview)
Condition
column
Mask column
ID
Geo-
location Name Phone number
123 WA Ana 123-456-3568
124 NY Alice 123-457-****
125 WA Bruce 123-457-3569
126 CA Chris 123-457-****
130 CA Sharon 123-457-****
Dynamic Data
Masking
(Preview)
Auto Copy
from S3
(Preview)

Analyze all your data across data stores,
organizations, third party data for
powerful analytics
Zero
ETL!
No data
movement
Secure and consistent
data sharing
Data Lake
analytics
No data
duplication
ML in
SQL
Use your favorite
BI tool
Spark application
development
Auto
Ingestion of
S3 files
Data ingestion
Query data where it lives
Federated Queries
Amazon Redshift
data lake queries
Operational
databases
BI and analytics apps
Connect apps to analyze and visualize your data
Amazon S3 data lake
Keep up to exabytes of data in Amazon S3
SQL
Amazon
Redshift ML
Amazon Redshift
ML and
analytics services
Analyze open standards-
based data formats
Data sharing
Data marketplaces for
third-party data
Amazon S3 Amazon Redshift Auto-ingestion / Informatica data loader
Amazon
Redshift
integration
for Apache
Spark
Redshift producer and
consumer clusters
Streaming ingestion
Kinesis Data
Streams, MSK
Amazon Aurora Zero-ETL to Amazon Redshift
Data Lake export
[PREVIEW]

2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 15
모바일 기기에 적용되는 초슬림 고화소 카메라 모듈을
비롯해 3D 센싱 모듈 분야의 글로벌 시장을 선도하고,
차량용 카메라, XR(확장현실) 등 사업 분야도 시장을
주도하고 있습니다.
첨단 스마트폰 IT/Server 용 반도체에 적용되는 Package-
Substrate, 고해상도 디스플레이에 사용되는 Tape-
Substrate를 생산 중이며, FC-BGA 신규 사업 추진을 통해
미래 글로벌 기판 시장의 혁신을 주도하고 있습니다.
디스플레이용 초슬림 PSU와 편리하고 안전한 IoT
환경 구축을 위한 고감도 통신부품 및 센서
분야에서 글로벌 시장 리더쉽을 확보하고 있습니다.
통신 모듈, 자율주행용 센서, 파워 모듈 등 미래 자동차
트렌드에 맞는 토탈 솔루션을 제공합니다. 주행 안정성,
운전자 편의 제공 및 성능 향상을 위한 기술로 글로벌
시장을 확대하고 있습니다 .
Camera Module
3D Sensing Module
Actuator
Package Substrate
FC-BGA
Tape Substrate
Display Mask
Power Solution
Smart Connectivity Solution
Connectivity Solution
Autonomous Driving Solution
Electrification Solution
Lighting Solution
광학 솔루션 기판
소재
전장 부품 전자 부품
LG 이노텍 사업 영역

데이터 민주화를 목표로 POC 및 테스트를 통한 단계별 데이터플랫폼 구축
ㄱ
수집/통합 및 적재
운영 시스템
공정 데이터
Data Lake / Warehouse 활용 Application
SAS (통계/분석, 시각화)
MLOps(지능형 고급 분석)
MSTR (리포팅,대시보드)
데이터 활용
통합 데이터 플랫폼
데이터 포털
개인 추천 서비스
데이터 현황
데이터 검색 마이페이지 사용자 지원
데이터 거버넌스
데이터 표준
데이터
카탈로그
데이터
품질관리
데이터
보안관리
거버넌스 점검
및 변경관리
• 2023년(예정)
• 지능형 분석 결과와 운영시스템 간
양방향 Feedback Service 구축
• 2022년
• 마케팅, 설비, 안전환경 데이터 적재
• 지능형 분석/추론 MLOps 환경 구축
• 2021년
• 데이터 거버넌스 체계 수립
• 데이터 포털 구축
• 경영지표(ERP, SCM) 데이터 적재
• 2020년
• 생산데이터(MES) 중심 정형/비정형
분석 활용 환경(MSTR, SAS) 구축
• 2019년
• AWS 기반의 통합데이터플랫폼 구축
원천
설비
Sensor
데이터 수집/적재/활용
설비Log 데이터(반정형)
실험/센서 데이터(비정형)
제조, 경영 데이터(정형)
MES
ERP
SCM
Feedback Service
AI / DX 과제와 시스템 간 연계 강화
LG 이노텍 통합 데이터 플랫폼

LG 이노텍 Data Platform
통계/분석
On-Premise
ML/DL
리포팅/
대시보드
AWS Glue Amazon Athena
(View 조회)
AWS IOT Greengrass
(설비데이터 수집)
Amazon S3
(설비파일 적재)
Amazon MSK
(실시간 수집)
Amazon EC2
(데이터 처리)
Amazon ElastiCache
(실시간 모니터링)
AWS Glue
(파싱/병합/전처리)
AWS Glue
클라우드
설비
Sensor
Amazon S3
(장기보관 데이터)
ERP/MES Amazon Redshift
(원천 적재)
Amazon Redshift
(표준화/통합 배치)
Amazon Redshift
(요약/집계 제공)
Amazon S3
(원천 적재)
Amazon S3
(Map Type 변환)
Amazon S3
(파티셔닝)
Amazon S3
(설비/IOT 파일)
Informatica Informatica
Informatica
기존 통합 데이터 플랫폼 아키텍처

조회 성능에 대한 사용자 불만
리포트 조회 시 마다 성능 편차로 인한
사용자 불만 증대
데이터 적재량 증가 및 배치성능 이슈
데이터 적재량 지속 증가에 따른 저장공간
및 배치 성능 개선 필요
Batch 주기 개선 요구
기존 공정 Shift 단위 주기 데이터
제공에서 시간단위 데이터 제공 요구
기존 통합 데이터 플랫폼 이슈

0
10
20
30
40
50
60
플랫폼 내 데이터 적재량 지속 증가
32TB 한계
(DS2.8xlarge 2 Node)
고정적인 데이터 적재 공간
저장 공간/비용/성능 효율화 필요
size(TB)
기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하

배치 적재 수행시간 증가
대용량 테이블로의 전환
클라우드 Infra 기준의 성능 상향 고려
Amazon Redshift Amazon Redshift
Source Target
Call
Procedure
Max 9,000 Sec ± α
데이터 변환/요약 집계 배치
기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하

Batch시간 Amazon Redshift 리소스 점유 증가
Hourly 주기 데이터 적재 요구
Batch/조회 영역 간섭 해소 필요
1h 2h 3h 4h
Shift 단위 배치 수행
Hourly 단위 배치 수행(예상)
기존 플랫폼의 이슈 #2. 조회 성능보장 및 Hourly 적용

OLAP 영역 워크로드
클러스터 분리 후 조회 영역 적은 활용
효율적인 활용형태 고려
Serverless 전환에 대한 고민
ETL-Batch 영역 워크로드
기존 플랫폼의 이슈 #3. Provisioned vs. Serverless

고민 사항들
비용 및 성능 효율화
배치 및 조회 간섭 해소
서버리스 Soft Landing 전환
노드 타입 변경 체크
Data Share 적용 체크
서버리스 전환 체크
개선 체크 포인트
●
●
●
개선 수행을 위한 방법론 필요
●
●
●
데이터 플랫폼 이슈 해결을 위한 발상의 전환

POC
&
검증
케이스 적용 건 구체화
테스트 베드 구성
테스트 수행 및 결과 도출
운영 이관 및 모니터링
Task 협의체 브레인스토밍
반복적인 PoC 검증을 통한 개선 활동 수행

AWS Cloud
Amazon Redshift
(RA3.4xlarge 5 Node)
Provisioned Cluster
Consumer
64 RPU
데이터 공유
Workgroup – MSTR
Workgroup – SaS
Workgroup – MLOps
Producer
64 RPU
64 RPU
통계/분석
ML/DL
리포팅/
대시보드
데이터 공유
데이터 공유
Amazon Redshift Serverless 아키텍처(개선 후)

3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법

Amazon Redshift DS2
• 높은 압축률과 HDD 기반의 스토리지 특화
• 결합된 컴퓨팅/스토리지
기술적 접근 방법 #1. 클러스터 타입 변경

Amazon Redshift DS2
Amazon Redshift RA3
• 동일 요금 기준 가용 자원 증가
• Redshift Managed Storage(RMS)와 컴퓨팅 분리
클러스터 타입 변경

Amazon Redshift DS2
• 실 운영 데이터 기반의 개발 환경 구축
• 탄력적 크기 조정(Elastic Resize)을 통한 빠른 테스트
스냅샷 복원 및 크기 조정
RA3 테스트 및 이관
Amazon Redshift RA3
• 동일 요금 기준 가용 자원 증가
• Redshift Managed Storage(RMS)와 컴퓨팅 분리
클러스터 타입 변경

데이터 성숙도 증대
• RA3 변경이후 사용 인원 및 사용 시간 증가
• 원천 시스템과 집계 프로그램
기술적 접근 방법 #2. Scale-up vs. Data Share
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node

워크로드 분리
• 최대 동시 수행 가능 쿼리 제한
• WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요
워크로드 관리(WLM) 큐 분리
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node

• 스냅샷 복원을 통한 개발 데이터 공유 환경 구축
• 데이터 조회 가능 시점 단축과 시간 배치 환경 구축
데이터 지연 및 배치주기 단축
워크로드 관리(WLM) 큐 분리
데이터 공유 설정
워크로드 분리
• 최대 동시 수행 가능 쿼리 제한
• WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요
Amazon Redshift Amazon Redshift
Producer Consumer
데이터 공유
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node

편향된 쿼리 수행 패턴
• 업무시간 위주의 쿼리 수행과 해외 법인 존재
• 워크로드 수동 관리는 현실적으로 불가
기술적 접근 방법 #3. 서버리스 도입
Amazon Redshift
Provisioned
Amazon Redshift
Provisioned
Producer Consumer
데이터 공유

편향된 쿼리 수행 패턴
응용 프로그램 확장 용이
• 워크로드별 구축을 통한 자원경합 해결
• 활용 패턴별 자원 특화 가능
비용 최적화
• 사용한 만큼 과금
• 관리 공수 감소
서버리스 도입
• 업무시간 위주의 쿼리 수행과 해외 법인 존재
• 워크로드 수동 관리는 현실적으로 불가
Amazon Redshift
Provisioned
Amazon Redshift
Serverless
Producer Consumer
기술적 접근 방법 #3. 서버리스 도입
Amazon Redshift
Provisioned
Amazon Redshift
Provisioned
Producer Consumer
데이터 공유
데이터 공유

• 프로비전드와 서버리스간 데이터 공유 설정시 암호화는 필수임
• Faster Classic Resize를 통한 빠른 암호화 적용?
• 암호화는 1시간 내로 완료
• 내부적으로 재분산 작업이 일어나, 실 운영 시점까지 장시간 소요
• 데이터양에 따라 적용 시간 상이
• 암호화와 복호화에 따른 성능저하 없음
고려 사항 #1. 암호화

• 정렬/분산을 AUTO로 설정시 내부 작업이 지속적으로 수행됨
• ETL / OLAP 쿼리가 수행되는 상황에서도 수행
• 리소스 경합에 따른 성능저하에 영향
• 테이블별 분석이 필요하기에 관리 공수는 증가하나 성능은 향상됨
• 서버리스의 경우 버전업이 자동으로 수행됨
• 신규 생성 뷰 / 수정된 뷰가 조회 안되는 문제 발생
• Support Case 확인 결과, 자동 버전업이 진행이 안되어 object id를 정상적으로 못 받아옴
• 사용자에 의한 수동 버전업은 불가
고려 사항 #2. 완전 자동화 기능의 맹점

• 네트워크 사전 확보 필요
• Redshift Processing Unit(RPU)가 많아질 수록 서브넷 IP가 많이 필요함
• Cold Start
• 오랫동안 사용하지 않은 경우, 자원을 신규로 할당 받아 쿼리를 수행함
• 이 과정에서 쿼리가 수행되는 경우, 에러 메시지와 함께 종료될 수 있음
• 배치 작업 전 강제로 임의의 쿼리 수행하도록 조치 가능
고려 사항 #3. 서버리스의 제약

AWS Cloud
Amazon Redshift
Consumer
Amazon S3
AWS Lake Formation
데이터 공유
거버넌스
AWS Glue
Amazon AppStream 2.0
Amazon Redshift
Producer
Amazon EC2
ETL 리포팅/
대시보드
ML/DL
통계/분석
2023년 목표 데이터 분석 플랫폼 아키텍처

AWS 기반 솔루션을 통한 DATA MESH로의 방향성을 목표로 개선활동 수행
데이터 수집영역 고도화 데이터 활용형태 확산
• 정형 / 비정형 수집 관리 확대
• 데이터 특성별 수집 구조 개선
데이터 관리체계 재정립
• 권한체계 수립
• Data As a Product
• 데이터 카탈로그 확산
• 응용 영역 클라우드화
향후 LG 이노텍 데이터 분석 플랫폼의 목표

AWS Cloud
Amazon Redshift
Consumer
Amazon S3
AWS Lake Formation
Data Share
Governance
Amazon Aurora
AWS Glue
Auto-copy
Zero-ETL
Producer Consumer
Data Steward
AWS Glue
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Firehose
Amazon AppStream 2.0
Amazon Redshift
Producer
Amazon DataZone
Amazon S3
리포팅/
대시보드
ML/DL
통계/분석
향후 데이터 메쉬기반의 데이터 분석 플랫폼의 모습

Thank you!

LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Similar a LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(18)

LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023