Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates.
Data Road Show
Powering your analytics with serverless capabilities
2023/06/22

Redshift Deep-dive
with new feature
Dokyun, Kim
WWSO ACE Specialist

Agenda
1. Session Intro (5 Min)
2. Redshift 및 Redshift Serverless (15 Min)
3. Redshift ML (10 Min)
4. Redshift Stream Ingestion (10 Min)
5. Redshift Auto-Copy (Preview) (10 Min)
6. Summary - Moving towards zero-ETL Concept (5 Min)
3

Session Intro

© 2022, Amazon Web Services, Inc. or its Affiliates. 5
포괄적이면서 개방적인 AWS 서비스
데이터 이동
분석
데이터 레이크 인프라 & 관리
데이터, 시각화, 참여 & 기계 학습
+ 그 외 다양한
Redshift
EMR
(Spark & Hadoop)
Athena
OpenSearch
Service
Kinesis Data
Analytics
AWS Glue
(Spark & Python)
S3/Glacier AWS Glue
Lake
Formation
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate
Database Migration Service | Snowball | Snowmobile | Kinesis Data Streams | Kinesis Data Firehose | Managed Streaming for Apache Kafka
Pinpoint
Data
Exchange

Amazon Redshift 고객의 요구 사항에 따라 계속해서 혁신 중
모든 데이터
분석
모든 규모에서
최고의 가격
성능 제공
누구나 쉽게
분석 가능
RA3
nodes &
managed
storage
Concurrency
scaling for
reads and
writes
Security,
governance
& compliance
Workload
management
enhancements
SQL
enhancements
& migration
support
Serverless Automated DW
management
materialized
views
Data API AWS
CloudFormation
templates
Amazon
Redshift
Advisor
Grafana
Plugin
Query
editor v2
Data sharing Amazon
Redshift ML
AWS Data
Exchange
integration
Federated
query
SUPER data
type with
JSON
Geospatial
enhancements
Aurora Zero
ETL with
Redshift
(Preview)
Redshift
Streaming
Ingestion
Apache Spark
Connector
Multi-AZ
Deployment
(Preview)
Data Sharing
Access Control
via AWS Lake
Formation
(Preview)
Condition
column
Mask column
ID
Geo-
location Name Phone number
123 WA Ana 123-456-3568
124 NY Alice 123-457-****
125 WA Bruce 123-457-3569
126 CA Chris 123-457-****
130 CA Sharon 123-457-****
Dynamic Data
Masking
(Preview)
Auto Copy
from S3
(Preview)

Session Target
Architecture
Moving towards zero-ETL for years
Zero
ETL
No data movement,
data copying
Secure and consistent
data sharing
Data Lake
analytics
ML in
SQL
Use your favorite
BI tool
Spark application
development
Auto Ingestion of
S3 files
7
Amazon Redshift
Serverless
Amazon S3 data
lake & Files
ML and
analytics
services
(SageMaker)
Streaming data
services
Amazon Redshift
Provision
Data sharing
Stream Ingestion
Auto Copy (Preview)
Redshift ML

Get insights from data in seconds
Get started with no modifications
Pay for what you use
Compute provisioning
Automated patching
Routine maintenance
Backup and recovery
Automatic scaling
Automatic failover
Security and industry compliance
Advanced monitoring
YOU
focus on
insights
takes care of
the rest
Experience consistently high performance
Amazon
Redshift
Serverless
9

Redshift – 이제 선택의 폭이 더 많아졌습니다.
Amazon Redshift Data API
JDBC/ODBC
Tools
Your
applications
Amazon S3 Data Lake
Amazon Redshift Serverless
Intelligent
and
dynamic
compute
management
ML-based
workload monitoring
Automatic tuning
Automatic scaling
Automatic
workload management
Pay for use
Performance at scale
Automatic maintenance
AWS Lambda, AWS Cloud9, Java, Go, PowerShell,
Node.js, C#, Python, and Ruby
RA3
compute
nodes
Leader node
Amazon Redshift
managed storage
Provisioned Cluster Serverless Multi Endpoint
Data Sharing
(암호화 기반)
[RA3 의 특장점]
- Node / Storage 분리
- Node 당 : 128T (16P확장가능)
- Data sharing
[Serverless 특장점 ]
- 사용시간 만큼만 과금
- Base RPU 에 따른 Computing 설정
- 불필요한 관리 요소 자동화
1 2
Spectrum
Spectrum Spectrum

Redshift Serverless 는..
데이터 웨어하우스 클러스터를 관리할 필요
없이 분석 실행 및 확장
단순화된 사용자 경험
데이터 웨어하우스 용량을 자동으로
프로비저닝 및 확장하여 일관되게 빠른
성능 제공
지능적이고 동적인 컴퓨팅
Amazon Redshift의 풍부한 SQL 기능,
원활한 데이터 레이크 통합 및 규모에 맞는
업계 최고의 가격 성능 활용
모든 Redshift 의 기능과 성능
초당 워크로드 기간에 대해서만 계산 용량에 대한
비용을 지불합니다.
“사용한 만큼 지불”
“별도의 Cluster 관리 없이 ”, “다양한 Workload에 자동으로 대응되며”
“모든 기능”을, “사용한 만큼만 비용 지불”

Pay for use
2.00:00 2:05:00 2.10:00 2.15:00
2:00:00
-2:03:00
2:00:30
-2:02:30
2:07:00
-2:08:10
Q1
Q2
Q3
Q4
2:12:00
-2:13:20
2:01:30
-2:03:00
Q5
Pay for the compute capacity only for the workload duration (metered on a per-second basis)
Queries Query execution time
Q1, Q2, Q3 3 minutes
Q4 1 minute 10 seconds
Q5 1 minute and 20 seconds
Total charges 5 minutes and 30 seconds
No charges for idleness!
2:01:30
-2:03:00
2:01:30
-2:03:00

Namespace properties (데이타 베이스 기본 환경 부분)
1
Workgroup properties (자원 할당 부분)
2
보다 손쉽게 Redshift Serverless 를 시작 하실수 있습니다 -1
Default
Workgroup
(32 RPU)
Default
Namespace
ENDPOINT

Namespace properties
1
Workgroup properties
2
Serverless endpoint 생성
3
Query Editor 와 같은
Tool 로 Redshift
Serverless 연결
4
보다 손쉽게 Redshift Serverless 를 시작 하실수 있습니다 -2

Computing 관리 – RPU 기준 사용한 시간 비용 지불
RPU 128 (Default)
R P U
Base RPU 이상 필요시 Scale 됨

BASE RPU 맛보기
[ 미사용시 ]
[ SQL 수행시 ]

성능과 비용 통제가 가능합니다

Redshift Serverless 를 활용한 다양한 Architecture 구성 가능
Data science
Marketing
Serverless endpoint
Finance
Provisioned cluster
Sales
Serverless endpoint
Provisioned cluster

Demo-1
Iris_train
1) Producer Side (Redshift-provision) 에서 , 데이타 쉐어링 설정을 한다
2) Consumer Side (Serverless-workgroup01) 에서,
데이타 쉐어링 관련 설정을 하고, 데이타 확인한다
3) Redshift Serverless 에 자원 사용을 확인한다.
Iris_test
Amazon Redshift
Serverless
Amazon S3
data lake &
Files
ML and analytics
services
(SageMaker)
Streaming data
services
Amazon Redshift
Provision
Data sharing
Stream Ingestion
Auto Copy
Redshift ML
iris_data_test_auto_copy

친숙한 SQL 명령을 사용하여
웨어하우스 내에서 ML 모델 생성,
교육 및 구현
SQL 을 활용하여 ML task 를
수행 가능합니다.
빠르게 예측 이 가능합니다.
ML 에 대한 사전 경험이 없이
가능합니다
Amazon
Redshift ML
predictions per week in the warehouse
D A T A S C I E N C E F O R E V E R Y O N E
21

ML 분석 방법
22
Sagemaker Notebook - Python Sagemaker Autopilot

Bring your model to Amazon Redshift ML
S Q L 에 서 원 격 S A G E M A K E R E N D P O I N T 호 출
Amazon
Redshift
Amazon
SageMaker
C R E A T E M O D E L
P R E D I C T
SageMaker 에서 모델을 생성하고,
훈련하고 , 배포 합니다.
SageMaker 의 External function
을 통해서 Redshift 에서 활용
가능합니다
Redshift 에서 해당 model 을 호출
할수 있습니다.
SageMaker 의 전체 flexibility 와
algorithm 을 사용가능합니다.
CREATE MODEL remote_customer_ltv
FUNCTION customer_ltv(
integer,integer)
RETURNS float4
SAGEMAKER ‘…’
IAM_ROLE ‘…’;
SELECT n.id, n.firstName, n.lastName,
customer_ltv(n.age,c.zip)
AS activity_prediction
FROM new_customers n
WHERE n.marital_status = ‘single’
Amazon
Redshift
Amazon
SageMaker

복잡하고 반복 적인 ML 작업을 , 보다 간편하게 진행 가능합니다.
Redshift ML
Collect and
prepare
training data
Choose or build
a ML algorithm
Set up and
manage
environments
for training
Train, debug,
and tune
models
Deploy model
in production
Manage
training runs
Monitor models Validate
predictions
Scale and
manage the
production
environment
Build
Prepare Train & Tune Deploy & Manage
Collect and
load data into
your data
warehouse
Train
Amazon SageMaker
automatically tunes and
trains the best
ML model
Deploy
Amazon Redshift ML
automatically deploys
the ML model
Predict
Use SQL queries to make
predictions like projected
churn, pricing, and risk
Amazon Redshift
machine learning
Analyze data and do high-
performance reporting Create
Use the “create model”
command in SQL to create
the ML model in
Amazon Redshift

Redshift ML 는 어떻케 동작 할까요?
Amazon
Redshift
CREATE MODEL customer_churn
FROM (SELECT c.age, c.zip,
c.monthly_spend, c.monthly_cases,
c.active AS label
FROM customer_info_table c)
TARGET label
FUNCTION predict_customer_churn Amazon
SageMaker
Runs Autopilot
and returns model
SELECT n.id, n.firstName, n.lastName,
predict_customer_churn(n.age,c.zip,..)
AS activity_prediction
FROM new_customers n
WHERE n.marital_status = ‘single’
전적으로 Amazon Redshift에서 실행됨
Amazon
Redshift
T R A I N
P R E D I C T
간단한 SQL Command 로 모델
생성/훈련/Deploy 까지 수행됩니다
SageMaker 의 Autopilot 을 활용하여
모델의 자동 선택 및 전처리 작업들이
자동으로 수행됩니다.
훈련된 모델은 Amazon Redshift 데이터
웨어하우스의 SageMaker Neo에 의해
컴파일되어 SQL을 사용하여 예측할 수
있습니다

Amazon Redshift ML 의장점
• E A S I L Y T R A I N A N D U S E M L I N S Q L Q U E R I E S W I T H A M A Z O N S A G E M A K E R
Simple
SQL 로 모델을 생성하고 예측 할수
있습니다
Automatic
ML모델을 자동 사전 처리,
생성 .교육 조정 배포
Flexible
가장 적합한 ML 알고리즘을 찾아서
훈련 합니다.(e.g., XGBoost)
Performant
모델은 SageMaker Neo 로 컴파일 되어,
Redshift 에 배포 됩니다, 예측은
Redshift local 에서 효율적으로
진행됩니다,
Secure
데이타 거버넌스 관리에 대해
걱정할 필요가 없습니다, 데이타는
VPC 안에서 관리 됩니다.
Cost optimized
Training 부분에 대해서만, 비용이
발생하게 됩니다.

Demo-2
Amazon Redshift
Serverless
Amazon S3
data lake &
Files
ML and analytics
services
(SageMaker)
Streaming data
services
Amazon Redshift
Provision
Data sharing
Stream Ingestion
Auto Copy
Redshift ML
Iris_train
1) 쉐어링 된 iris provision 테이블을 활용해서 Redshift ML 을 수행한다
2) ML 이 수행되면 함수로, provision 의 iris_test 데이타를 검증한다
(Demo-1 에서 쉐어링 기능을 활용한다)
Iris_test

Amazon
Redshift
Streaming
Ingestion
스트림 데이타를 실시간
분석을 위해 DW 로
자동으로 유입 하는 기능
Amazon
Redshift
Amazon Kinesis
Data Streams
Amazon MSK
Kinesis or Kafka
producer
Amazon Kinesis
Data Streams
29

Why Streaming Data ?
Source: Perishable insights, Mike Gualtieri, Forrester
Real timeSeconds Minutes Hours Days Months
Value
of
data
to
decision-
making
Preventive
/Predictive
(방어/예측)
Actionable
(실행력)
Reactive
(반응하는)
Historical
Time critical decisions Traditional “batch” business intelligence
Information half-life
in decision-making

과거 Stream data Redshift ingestion 소개 방식
H T T P S : / / A W S . A M A Z O N . C O M / K O / K I N E S I S / D A T A - F I R E H O S E /
H T T P S : / / D O C S . A W S . A M A Z O N . C O M / K O _ K R / F I R E H O S E / L A T E S T / D E V / W H A T - I S - T H I S - S E R V I C E . H T M L

Amazon Redshift streaming
ingestion support
A m a z o n S 3 에 서 준 비 하 지 않 고 A m a z o n
K i n e s i s D a t a S t r e a m s ( K D S ) 및 A m a z o n
M a n a g e d S t r e a m i n g f o r A p a c h e
K a f k a ( A m a z o n M S K ) 에 서 데 이 터
웨 어 하 우 스 로 스 트 리 밍 데 이 터 를 직 접
수 집 합 니 다
친 숙 한 S Q L 을 사 용 하 여 풍 부 한 분 석 을
수 행 하 고 E L T 파 이 프 라 인 을 쉽 게 생 성 및
관 리
여 러 소 스 에 서 대 량 의 스 트 리 밍 데 이 터 를
처 리 하 여 몇 초 만 에 통 찰 력 을 얻 을 수
있 습 니 다
NEW [GENERAL AVAILABILITY]
Ingest streaming data into your data warehouse for real-time analytics
Amazon Redshift Streaming ingestion
Amazon
Kinesis
Data Streams
Amazon
Managed
Kafka Service
Amazon Redshift
Real-time
Materialized
View
Streaming
Table
Permanent
Tables

Streaming Ingestion Steps
Create External Schema
CREATE EXTERNAL SCHEMA mskdemo
FROM MSK
IAM_ROLE 'arn:aws:iam::123459007471:role/RedshiftImmersionRoleusw1'
AUTHENTICATION none
CLUSTER_ARN 'arn:aws:kafka:us-west-1:123459007471:cluster/MSKCluster-MSK/807707f7-
f857-4360-9ef2-b8726addd372-2';
Create Materialized View to ingest from topic/stream
CREATE materialized VIEW stg_orders diststyle even sortkey
(refresh_time) auto refresh yes AS
SELECT *,
Json_parse(kafka_value) AS payload
FROM mskdemo.orders
WHERE Can_json_parse(kafka_value);
Use MV to populate regular tables or MV on MVs

Demo-3
Amazon Redshift
Serverless
Amazon S3
data lake &
Files
ML and analytics
services
(SageMaker)
Streaming data
services
Amazon Redshift
Provision
Data sharing
Stream Ingestion
Auto Copy
Redshift ML
1) Kinesis 를 확인한다
2) 임의로 데이타를 유입한다 (Python Code 활용)
3) External 로 지정한다.
4) Materialized view 를 생성한다 (auto option)
5) 데이타 유입을 확인한다.
6) Grafana 를 통해서 데이타 유입을 확인 가능함.

Simple, low-code data ingestion
Avoid re-ingestion and manual tracking of
loaded files
Easily convert your existing COPY
statements into automatic ingestion jobs
Automatic ingestion of new data from
Amazon S3 based on user defined
configurations
Redshift auto-copy
from Amazon S3
[PREVIEW]
Simplified & automated file ingestion from
Amazon S3 into Amazon Redshift
Amazon S3
Redshift
Copy Job
Amazon
Redshift
Table
Continuously
monitoring S3
folder
New file(s)
detected Ingestion
automatically
starts

Ingesting data into analytics systems is complex
M U L T I P L E S O U R C E S Y S T E M S R E Q U I R E S E P A R A T E & C O M P L E X M A N U A L D A T A P I P E L I N E S
Data Sources
Operational databases
Streaming data
Data lake
Analytics
Expensive and cumbersome
to build and maintain ETL jobs
Complex reconstruction of the data
especially with schema changes
Incomplete, inconsistent, and stale
views of data, limiting insights
Manual data pipelines
File storage
X
X
X

Redshift auto-copy
from Amazon S3
[PREVIEW]
Simplified & automated file ingestion from
Amazon S3 into Amazon Redshift
Amazon S3
Redshift
Copy Job
Amazon
Redshift Table
Continuously
monitoring S3
folder
New file(s)
detected
Ingestion automatically
starts
지 속 적 인 파 일 수 집 파 이 프 라 인 을
설 정 하 기 위 해 사 용 자 지 정 빌 드
또 는 타 사 솔 루 션 이 필 요 하 지
않 습 니 다 .
데 이 터 엔 지 니 어 링 기 술 을
보 유 하 거 나 반 복 적 이 고 점 진 적 인
수 집 요 구 사 항 에 대 한 외 부 지 원 에
의 존 할 필 요 성 을 줄 임 으 로 써 L O B
사 용 자 의 생 산 성 을 향 상 시 킵 니 다 .
복 사 문 을 기 본 적 으 로 R e d s h i f t 에
저 장 하 고 , 새 파 일 을 만 들 때
자 동 으 로 또 는 수 동 으 로 실 행 할 수
있 는 복 사 문 을 다 시 사 용 할 수 있 는
방 법 을 제 공 합 니 다 .

Redshift auto-copy jobs
Amazon S3의 Redshift 자동 복사가 새로운
데이터베이스 개체를 소개되었습니다 : COPY JOB
COPY target_table
FROM s3://path-to-your-folder
[COPY PARAMETERS]
JOB CREATE <job_name>
1. 사용자는 복사 문을 복사 작업으로 쉽게 변환할
수 있습니다.
2. 지정된 S3 경로에서 새 파일이 탐지될 때 복사
작업을 자동으로 트리거 됩니다.
3. COPY 작업은 로드한 파일을 추적하고 나중에
다시 로드하지 않도록 합니다.
• Copy 작업은 , 일반적인 Redshift 의 Copy 명령을
사용합니다. S3에서 복사만 복사 작업에서
지원됩니다.
NOTE: Only one copy job can be
created for the same S3 path + target
table pair in a database.

Demo-4
Amazon Redshift
Serverless
Amazon S3
data lake &
Files
ML and analytics
services
(SageMaker)
Streaming data
services
Amazon Redshift
Provision
Data sharing
Stream Ingestion
Auto Copy
Redshift ML
1) S3 에 넣을 데이타를 확인한다
2) AUTO COPY 명령어를 수행한다
3) 빈폴더에 데이타를 Load 한다
4) 데이타 저장을 확인한다.

Target Architecture Summary

Session Target
Architecture
Moving towards
“Zero-ETL” for years
Zero
ETL
No data movement,
data copying
data sharing
Data Lake
analytics
ML in
SQL
Use your favorite
BI tool
Spark application
development
Auto Ingestion of
S3 files
Amazon Redshift
Serverless
Amazon S3 data
lake & Files
ML and
analytics
services
(SageMaker)
Streaming data
services
43
Amazon
Redshift
Data sharing
Stream Ingestion
Auto Copy
Redshift ML

Analyze all your data across data stores,
organizations, third party data for
powerful analytics
Zero
ETL!
No data
movement
data sharing
Data Lake
analytics
No data
duplication
ML in
SQL
Use your favorite
BI tool
Spark application
development
Auto
Ingestion of
S3 files
Data ingestion
Query data where it lives
Federated Queries
Amazon Redshift
data lake queries
Operational
databases
BI and analytics apps
Connect apps to analyze and visualize your data
Amazon S3 data lake
Keep up to exabytes of data in Amazon S3
SQL
Amazon
Redshift ML
Amazon Redshift
ML and
analytics services
Analyze open standards-
based data formats
Data sharing
Data marketplaces for
third-party data
Amazon S3 Amazon Redshift Auto-ingestion / Informatica data loader
Amazon
Redshift
integration
for Apache
Spark
Redshift producer and
consumer clusters
Streaming ingestion
Kinesis Data
Streams, MSK
Amazon Aurora Zero-ETL to Amazon Redshift
Data Lake export
[PREVIEW]

Gartner
Database Management System(Amazon Redshift)
Magic Quadrant Survey
설문에 약 10 분 가량의 시간이 소요 됩니다.

Thank you!

Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Similar a Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(11)

Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features) - 발표자: 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023