Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

© 2023, Amazon Web Services, Inc. or its affiliates.
Demystify data
streaming on AWS
JongHyok Lee (he/him)
Sr Analytics Solutions Architect
AWS

데이터에서 인사이트 도출 방법은 항상 변화
데이터의
가치
대용량
파생된
인사이트
실시간
인사이트
빠른
속도
Data warehouse Data Lake Data Streams

실시간(Real-time)의 의미
마이크로서비스
반응분석 (웹 및 모바일 앱 알림)
milliseconds
로그수집
IoT 디바이스 관리, 변경데이터
추출 (CDC)
seconds
데이터레이크 및
데이터웨어하우스로의 스트리밍
ETL
minutes

실시간 스트리밍 데이터 용어들
소스
Source
저장
Sink
데이터 보존
Data
retention
생산자
Producer
소비자
Consumer

유즈케이스와
스트리밍 데이터 파이프라인

로그 모니터링
플랫폼 현대화
데이터 웨어하우스
활용 준실시간 분석
커넥티드 디바이스
모니터링
일반적인
유즈케이스에서
관찰되는 데이터
스트리밍 주요
요건들

빠른 속도로 생산되는 대량의 데이터
다양한 형태의 데이터
수많은 데이터 원천
빠른 시간 안에 처리

실시간 스트리밍 데이터 파이프라인
Source
원천
Devices or
applications that
produce real-time
data at high velocity
Stream ingestion
스트림 수집
Data from tens of
thousands of data sources
can be collected and
ingested in real time
Stream storage
스트림 스토리지
Data is stored in the order
received for a set time and
can be replayed indefinitely
during that time
Stream processing
스트림 처리
Records are read in the
order they’re produced,
allowing for real-time
analytics or streaming ETL
Destination
대상
Data lake
Data warehouse
Database
OpenSearch
Event driven
Applications

스트림 수집
• AWS IoT
• Amazon CloudWatch
• Amazon DynamoDB
• AWS Database Migration Service
• Amazon Redshift
• AWS MSK Connect, Kafka
Stream
• Kinesis Agent
• Kinesis Producer Library
• AWS SDK
Stream ingestion
Toolkits/Libraries AWS service integrations

AWS 상에서의 스트림 스토리지
Stream storage
• 클라우드 네이티브 서비스
• 손쉬운 사용
• 탄력적인 서버리스 서비스
• 고가용성 및 보안
• 비용 효율적
• AWS 서비스들과 긴밀한 통합
Amazon Kinesis Data Streams
• 완전관리형 Apache Kafka
• 간편한 lift and shift 마이그레이션
• 클러스터 기반 및 서버리스
• 고가용성 및 보안
• 비용 효율적
• AWS 서비스들과 긴밀한 통합
Amazon MSK

Amazon Kinesis Data Streams
손쉬운 관리 및 저렴한 비용
실시간 및 탄력적 성능
안전하고 내구성있는 스토리지
다수의 실시간 분석 애플리케이션에서 사용 가능
하나의 Standard consumer 당 평균 200ms의 latency
Enhanced fan-out 사용 시 통상적으로 평균 70 ms latency
Spark
Apache
Stream storage

Kinesis Data Streams – On demand
Stream storage
간편한 사용 – 용량 관리가 필요없어 스트리밍 데이터 처리가
간소화
유연한 확장 – 데이터 볼륨 변화에 따라 자동으로 용량 확장 가능
자동화된 고가용성 – 기본으로 제공되는 가용성 및 내결함성
비용 절감 – 데이터 쓰기, 읽기, 및 저장량에 따른 기가바이트 당
비용 지불

Amazon Managed
Streaming for
Apache Kafka
(Amazon MSK)
완전 관리형 고가용성 Apache
Kafka 서비스로 데이터를
안전하게 스트리밍
자동화된 프로비저닝, 설정 및 튜닝
Apache Kafka 및 Kafka Connect 클러스터의 프로비저닝, 구성,
유지보수를 포함한 운영 오버헤드 제거
오픈소스 Apache Kafka와 완벽 호환
애플리케이션 코드를 변경할 필요 없이 Apache Kafka용으로
구축된 애플리케이션과 도구를 즉시 사용
높은 보안성
기본 수준 통합을 사용하는 안전하고 프로덕션에 바로 사용
가능한 애플리케이션을 인증과 권한관리를 위해 Amazon
Virtual Private Cloud (Amazon VPC) 에 손쉽게 배포
저렴한 비용
다른 공급업체 대비 1/13의 저렴한 비용으로 제공되는 완전
관리형 Apache Kafka로 비용을 낮게 유지
Stream storage

Amazon MSK Serverless
간편한 사용, 고가용성, 유연한 확장 및 저렴한 비용
클러스터 용량에 대한 정확한 클러스터 사이징이나 오버프로비저닝에
대한 걱정 없이 Apache Kafka 클러스터 손쉽게 실행 가능
용량 스케일 업/다운 및 파티션을 재할당에 대한 고민 필요 없이 즉시
I/O 스케일링
처리량 기반 요금제로 스트리밍 및 저장된 데이터 량에 대한 비용 지불
매우 가변적인 워크로드에 비용 효율적
Stream storage

스트림 스토리지 vs 메시지 큐
Stream storage
• 작업 단위는 Event stream
• 다수 consumer가 모든 이벤트 read 가능
• 과거 이벤트 Replay / Reprocess 가능
• 이벤트 분석 및 연관관계 확인에 최적
• Exactly-once 지원
• Streaming store의 용량 관리 필요
스트림 스토리지
• 작업 단위는 개별 메시지
• 메시지는 consume 후 삭제됨
• 서비스 간 느슨한 결합 (loosely coluple)에 최적
• 간단하고 직관적인 API
• 용량 관리 불필요
• 메시지 순서 관리되지 않음
메시지 큐

AWS 상에서의 스트림 처리
Stream processing
• 1초 미만 지연시간을 제공하는
실시간 분석
• 오픈소스 Apache Flink 기반의 SQL,
Python 및 Scala를 사용한 스트림
처리
• Kinesis Data Analytics Studio를
통한 간단한 build-and-run 환경
• 탄력적 확장 가능한 서버리스
서비스
Amazon Kinesis Data Analytics
• 코드 작성 없이 대상에 스트리밍 데이터
전송
• 다양한 대상 지원
• 데이터 변환 기능 제공
• 탄력적 확장 가능한 서버리스 서비스
Amazon Kinesis Data Firehose

Amazon Kinesis Data Analytics
Amazon
OpenSearch Service
Amazon Kinesis
Data Streams
Amazon MSK
Amazon MQ
Amazon S3
Custom
connectors
Additional
streaming sources
Amazon Kinesis
Data Streams
Amazon MSK
Amazon Kinesis
Data Firehose
JDBC endpoints
Amazon S3
Amazon
OpenSearch Service
SQL, Python, Scala, Java 또는 통합 Apache Flink 애플리케이션을 사용하여 실시간으로 스트리밍과 상호 작용
KDA Studio의 애드혹 분석을 KDA for Apache Flink에 내구성 있는 상태 보존 애플리케이션으로 배포
완전 관리형의 탄력적인 스트림 처리 애플리케이션 구축
OUTPUT
Send processed data to
analytics tools so you can create
alerts and respond in real time
Kinesis Data Analytics Studio
(SQL/Python/Scala/
serverless notebooks)
Stateful stream processing
using Apache Flink
KINESIS DATA ANALYTICS
Stream processing

Amazon Kinesis Data Firehose
Amazon S3
Amazon Redshift /
Serverless
Amazon
OpenSearch Service
Splunk
HTTP endpoints
INPUT
Kinesis Data Firehose로
데이터 캡쳐 및 전송
OUTPUT
선호하는 BI 도구 사용하여
스트리밍 데이터 분석
제로 관리 및 원활한 탄력성
데이터 저장소에 직접 통합
서버리스 형태의 지속적 데이터 변환 서비스
준실시간
Parquet/ORC로의 데이터 포멧 변환
Datadog, Sumo Logic, New Relic 및 MongoDB에
데이터 직접 전송
Kinesis Data Firehose
선택한 대상에 지속적으로
데이터 준비 및 적재
Stream processing

스트림 처리
Glue Streaming
• 간단한 작업 스케줄링으로 복잡한
ETL 파이프라인 처리
• 스트리밍 데이터에 대한 정제 및
변환
• 데이터 스트림에 대한 스키마
관리 및 강제
• 스트리밍 데이터와 과거데이터를
연동한 준실시간 데이터 분석
• 데이터 웨어하우스와 관리형으로
통합된 손쉽게 사용 가능한 스트리밍
데이터 수집
Redshift Streaming Ingestion
AWS Lambda
• Kafka와 Kinesis 의 스트림을 서버리스
형태로 처리
• 자동 스케일링
• 다양한 언어 지원
Stream processing

기업에서의 AWS 스트리밍 데이터 서비스 활용
Stream analytics and integration
Stream sources Stream ingestion Outcome
Stream storage
Amazon Kinesis Agent
AWS IoT Core
AWS Database Migration
Service (AWS DMS)
Amazon Kinesis
Data Streams
Amazon Managed
Streaming for
Apache Kafka
(Amazon MSK)
AWS
Lambda
Amazon
EMR
[Wed Oct 11 14:32:52
2018] [error] [client
/live/ap/htdocs/test
IOT sensors
Enterprise apps
Social media
Logs
Amazon Kinesis
Data Analytics
Stream processing
Stream integration
Amazon Kinesis
Data Firehose
AWS Glue
Amazon S3
Amazon Redshift
Amazon
OpenSearch Service
Amazon MSK connect
Automatic decision
Interactive dashboard
Alerting
Real-time ML inference
AWS SDK

참조 아키텍처 및
자주 사용되는
스트리밍 데이터 아키텍처 패턴

스트리밍 데이터 참조 아키텍처
https://docs.aws.amazon.com/wellarchitected/latest/analytics-lens/reference-architecture-2.html
Amazon MSK
kafka
1. Data Source
2. Stream ingestion
and producers
3. Streaming
storage
4. Stream
processing and
consumers
5. Downstream
destination

실시간 원격 검침을 통한 애플리케이션 성능 분석
Amazon Kinesis
Data Streams
Raw metrics
Raw traces Amazon OpenSearch Service
Amazon Kinesis
Data Firehose
Aggregated metrics
Raw traces
Amazon Kinesis
Data Analytics
Amazon SNS
Amazon Kinesis
Data Streams
AWS Lambda
Alert

실시간 모뎀 단말 모니터링
Ingestion
application Amazon Kinesis
Data Streams
AWS Lambda Amazon DynamoDB Customer application
Current device status
Amazon Kinesis
Data Analytics
Amazon OpenSearch Service Real-time dashboard
Metrics aggregation

변경데이터 캡쳐 (CDC) 를 사용한 플랫폼 현대화
Amazon RDS
MSK
Connect
Amazon S3
Data lake
Amazon MSK
MSK
Connect
AWS Lambda Amazon SNS
Real-time alert
CDC

데이터 웨어하우스 상의 준실시간 분석
Amazon Kinesis
Data Streams
Amazon Redshift
Data sources
Capture Transformation
Amazon QuickSight
Visualisation

DEMO

DEMO STEP
1. KDS stream 생성
2. Data generator 에서 데이터 생성
3. KDA Studio 로 data query, aggregation, join 및 시각화
4. Stream 데이터를 Aggregation 해서 새로운 KDS Stream 으로 sink
Stream processing
Source Stream ingestion Destination
Stream storage
Data Generator
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Analytics
Studio
Amazon Kinesis
Data Streams
Amazon S3

Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Similar a Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023(20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(15)

Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023