AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 최근 데이터를 기반으로 발 빠른 결정 시간이 지남에 따라 그 가치를 빠르게 잃어가는 데이터 모바일 앱 앱 로그 측정 기록 IoT 센서 [Wed Oct 11 14:32:52 2000] [error] [client 127.0.0.1] client denied by server configuration: /export/home/live/ap/ htdocs/test 지속적인 데이터 생산 의사 결정의 정보 반감기

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트리밍 데이터 처리 패턴 지속적으로 데이터 생성 스트림으로 지속적인 데이터 쓰기 무엇이든 대상이 될 수 있음 데이터 생산자 내구성 있게 데이터 저장 데이터 준비를 위한 임시 버퍼 공간 제공 매우 높은 쓰루풋 제공 스트리밍 서비스 지속적으로 데이터 처리 정리, 준비 및 집계 데이터를 정보로 변환 데이터 소비자 Mobile client Kinesis Amazon Kinesis app

4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis와 함께하는 스트리밍 비디오와 데이터 스트림을 실시간으로 손 쉽게 수집 및 처리, 분석 데이터 스트림을 분석하는 사용자 정의 애플리케이션 개발 Kinesis Data Streams 데이터 스트림을 AWS 데이터 저장소에 적재 Kinesis Data Firehose SQL을 사용하여 데이터 스트림을 분석 Kinesis Data Analytics 분석을 위한 비디오 스트림 캡처 및 처리, 저장 Kinesis Video Streams

5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis Data Streams Kinesis Streams로 데이터를 캡쳐하여 보냄 Kinesis Analytics나 Apache Spark 또는 EC2, Lambda를 이용한 사용자 정의의 실시간 어플리케이션을 작성 처리된 데이터를 저장하고 실시간 경보, 대시보드 등에 활용 • Easy administration: 새로운 스트림을 만들고 Shard로 원하는 용량 수준을 설정 가능 • Build real-time applications: Kinesis Client Library (KCL), Apache Spark / Storm, AWS Lambda 등을 사용하여 대용량 데이터 스트리밍에 대한 지속적인 처리 수행. • Low cost: 어떤 규모의 워크로드에도 비용 효율적임.

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis Data Firehose 스트리밍 데이터 캡쳐 및 전송 선호하는 BI 도구를 사용하여 스트리밍 데이터 분석 Firehose는 Amazon S3, Redshift 및 Elasticsearch에 지속적으로 스트리밍 데이터 로드 • 애플리케이션을 개발/ 인프라 관리 없이 S3, Redshift 에 스트리밍 데이터를 전송. • 간단한 설정으로 스트리밍 데이터를 60초내에 Batch 처리, 압축하고 암호화하여 데이터 저장소에 전송. • 들어오는 소스 데이터를 변환하기 위해 람다 함수를 호출

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis Data Analytics • Kinesis Stream 또는 Firehose Delivery Stream에 쉽게 연결하고 SQL 검색 • 빅 데이터 스트리밍에 대한 지속적인 처리를 초단위로 수행 • 데이터 처리량에 따라 쉽게 확장 Kinesis Stream 이나 Firehose 에 접속 Data Stream 에서 표준 SQL 쿼리 수행 Kinesis Analytics는 처리 된 데이터를 analytic tool 로 보내어 경고를 생성하거나 실시간으로 응답

8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis 데이터 스트림 EMR/Spark Custom code on EC2 Amazon S3 Amazon Redshift Splunk 데이터 스트림을 수집, 저장 Kinesis Data Streams Kinesis Data Analytics 데이터 집계, 필터, 강화 Kinesis Data Firehose 데이터 스트림 전달 AWS Lambda 실시간 완전 관리형 확장성 안전성 비용 효율성 Amazon Elasticsearch Service

10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis Data Analytics 입력 Kinesis Data Firehose나 Kinesis Data Streams으로 스트리밍 데이터 캡쳐 Kinesis Data Analytics 데이터 스트림에 표준 SQL 쿼리를 적용 결과 처리된 데이터를 분석 도구로 보내어 경보 등 실시간으로 반응할 수 있게 함

12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트리밍 SQL: 스트림 (인-메모리 테이블) CREATE STREAM calls_per_ip_stream( eventTimeStamp TIMESTAMP, computationType VARCHAR(256), category VARCHAR(1024), subCategory VARCHAR(1024), unit VARCHAR(256), unitValue BIGINT );

13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트리밍 SQL: 펌프 (연속 쿼리) CREATE OR REPLACE PUMP calls_per_ip_pump AS INSERT INTO calls_per_ip_stream SELECT STREAM "eventTimestamp", COUNT(*), "sourceIPAddress" FROM source_sql_stream_001 ctrail GROUP BY "sourceIPAddress", STEP(ctrail.ROWTIME BY INTERVAL '1' MINUTE), STEP(ctrail."eventTimestamp" BY INTERVAL '1' MINUTE);

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트림 처리: 3가지의 대표적 사용 사례 • 윈도우 분석 (예: 최근 5분간 X의 합) • 세션화와 같은 이벤트 상관 관계 • 시각화 지속적인 지표 생성 실용적인 통찰력 • 데이터에 따라 이벤트 또는 경보를 발생 • 머신 러닝 • 실시간 피드백 루프 스트리밍 수집-변환-적재 • 원시 데이터를 대량으로 수집 및 적재 • 원자 변환 • 간단하게 데이터를 강화

17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 1. 스트리밍 수집-변환-적재 예시 • Amazon S3로 로그 데이터를 수집 및 적재 • 클릭스트림 데이터 수집 및 정리, 데이터 웨어하우스에 유지 • IoT 센서, 장치 원격 측정 데이터 캡처 및 검증 핵심 요구사항 • 대용량의 소규모 이벤트를 내구성 있는 곳에 수집 및 버퍼링 • 간단한 변환 수행 • 효율적으로 데이터 보존 및 저장

18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS 네트워크 로그 분석 VPC subnet Amazon CloudWatch Logs AWS Lambda Kinesis Data Firehose Amazon S3 bucket Amazon Athena Amazon QuickSight VPC 흐름 로그 전달 집계 및 변환 근 실시간 질의 및 시각화 • 여러 단계로 데이터를 버퍼링 (데이터 생성자, Amazon Kinesis, 데이터 소비자) • 사용 사례를 지원하는 데이터 형식을 선택 (JSON vs GZIP vs Parquet) • 정확성 및 비용을 포함한 요소들과 지연 사이의 절충이 필요

19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 2. 지속적인 지표 생성 예시 • 애플리케이션 로그를 사용하여 지표 생성 • Top 웹 페이지 또는 앱 화면을 위한 리더보드 구축 • 광고 노출 및 페이지 뷰와 같은 클릭스트림 분석 핵심 요구사항 • 늦거나 순서가 바뀔 수 있는 데이터로 정확한 결과를 생산 • 과거의 데이터와 결합된 결과 • 최종 사용자(기술자 및 비기술자 모두)에게 신속히 데이터를 제공

20. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 시계열 데이터 분석 • 데이터 생성자가 항상 온라인이 아닐 수 있으므로 늦거나 순서가 바뀔 수 있는 데이터를 고려 • 수집할 때의 이벤트 시간을 기준으로 사용 • S3 또는 Amazon Redshift 등에서 정적 데이터나 과거 데이터와 함께 결합 IoT sensor AWS IoT RDS MySQL DB instance Kinesis Data Streams Kinesis Data Streams Kinesis Data Analytics AWS Lambda function 매 10초마다 평균 기온 계산센서 데이터 수집 데이터베이스에 시계열 분석 저장

21. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 3. 반응형 분석 예시 • 리테일 웹사이트의 추천 엔진 • 지능적 장치 운영 및 경고 • 사용자의 행동 추세와 이상행동 감지 핵심 요구사항 • 낮은 지연으로 사용자와 기계에 통지 • 스트림을 통한 장기 실행, 상태가 있는 작업

22. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 실시간 이상 징후 감지 및 조치 • 확장되는 수집 및 처리를 통해 데이터 스트림 유지 • 알고리즘은 데이터 과학자의 대체물이 아니므로 데이터에 대해 높은 이해가 필요 • 앱 또는 사람이 ‘이유’를 파악하기 위해 데이터와 관련된 충분한 컨텍스트를 제공 Amazon API Gateway Amazon Kinesis Streams Amazon Kinesis Streams Amazon Kinesis Analytics Lambda function Amazon SNS email notification users SMS notification SMS 클릭스트림 데이터 수집 이상 징후 감지 및 조치 사용자에게 알림

23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 그 이외의 다양한 활용 사례 • 알람 • 문제 발생 시 수분 이내로 알기를 원함 • 문제해결 • 근 실시간으로 AWS CloudWatch Logs로 전송되는 로그와 크래시 기록들 • 대시보드 • 배포 • 새 버전의 앱 배포 후 실시간으로 사용자 반응 모니터링 • 데이터 공유 • 소비자는 실시간으로 새로운 데이터에 대한 알림을 받음 • 심층분석 • 스트리밍 데이터와 과거 데이터를 기반으로 ML 모델링, 예측 생성, 위험 감지

26. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 아키텍처 Kinesis Data Stream Kinesis Data Analytics Kinesis Data Firehose Amazon Elasticsearch Service Amazon S3 EC2 Instance Reference Data Kinesis Data Firehose 수집 분석 적재

27. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 게임 로그 데이터 수집 Kinesis Data StreamEC2 Instance 원시 로그 데이터 • 하나의 매치 (대전) 와 관련된 수십 개의 데이터들 • 매치 당 ~1KB • KDA/WIN_LOSS 비율 등의 분석 결과에 대부분이 필요 없는 데이터들 Kinesis Stream 입력 • 관련된 데이터만 • 레코드당 7개의 속성 • 레코드당 ~250B 크기

28. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. SQL로 스트리밍 데이터에 접근 스트림 (STREAM) • 테이블 (TABLE) 과 비슷 • 연속적인 데이터 흐름을 나타냄 CREATE OR REPLACE STREAM "GAME_LOG_STREAM" ( ID BIGINT, CHAR_NAME VARCHAR(20), KILLS INTEGER . . . 펌프 (PUMP) • 연속적인 삽입 (INSERT) 쿼리 • 하나의 인앱 스트림에서 다른 곳으로 데이터를 삽입 CREATE OR REPLACE PUMP ”GAME_LOG_PUMP" AS INSERT INTO "GAME_LOG_STREAM" SELECT STREAM * FROM . . .

29. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 쿼리에서 참조 데이터 사용 char,class Brasta,Fighter Carle,Fighter Ilthi,Tank Erilalta,Wizard Gaorz,Assassin s3://summit-demo/char_class_map.csv SELECT STREAM cc.”class" FROM ”GAME_LOG_STREAM" gamelog INNER JOIN ”CharClass" cc ON gamelog.”CHAR_NAME" = LOWER(cc.”char") Kinesis Data Analytics Reference Data

30. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트리밍 데이터 수집 방법 • 스트리밍 분석의 일반적인 요구사항은 지정된 시간 내에 수집된 이벤트들을 대상으로 set 기반의 명령(count, average, max, min 등)을 수행하는 것 • 보통의 데이터베이스처럼 테이블 전체를 대상으로 수집을 하기 힘듬 • 잠재적으로 끊임없는 스트림에서는 ‘윈도우 함수’로 부분 집합을 지정하여 처리

31. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 윈도우란? • 윈도우는 고정된 길이 • 두 종류의 윈도우: 텀블링, 슬라이딩 아웃풋 레코드는 윈도우의 끝 시점의 타임스탬프 값을 포함 1 5 4 26 8 6 4 t1 t2 t5 t6t3 t4 Time Window1 Window2 Window3 집계 함수 (Sum) 18 14 아웃풋 이벤트

33. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Kinesis Data Firehose로 출력 PREPROCESSED_STREAM •CHAR_NAME •KILLS_COUNT •DEATHS_COUNT •ASSISTS_COUNT •KDA •WIN_LOSS_RATIO Amazon Elasticsearch Service KibanaKinesis Data Firehose

37. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 인스톨 추적을 위한 아키텍처 게임 데이터 Kinesis Data Streams Kinesis Data Analytics Lambda (전 처리) Kinesis Data Streams Lambda (리더) 스트리밍 소비자 원시 데이터를 Kinesis Data Analytics 에서 집계 (aggregation) 하기 쉬운 형태로 변환 1. Parse 2. Match 3. Map

38. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 스트리밍 데이터 계산 용 SQL 스트림 합병 용 대상 SQL 스트림 대상 SQL 스트림 Kinesis Data Stream 전처리 된 결과 원시 데이터를 아웃풋 분류로 변환 rowtime, record time, source, metric 등으로 그룹화. FLOOR를 사용하여 rowtime을 가까운 분으로 정규화 (tumbling) 분산된 여러 스트림을 병합하여 rowtime, time, source, metric 등으로 그룹화 (tumbling) 10분간 count, sum, average, min, max 등을 계산 (sliding window) 집계된 데이터가 전송되며 Lambda로 작성된 리더가 읽어 감

41. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Sliding 윈도우 결과 처리 800 190 10 12:00-12:01 12:01-12:02 12:02-12:0312:00-12:01 1000 입력 12:00:00 - 1 입력 12:00:01 - 2 12:00:02 - 3 ... 12:03:30 - 999 12:03:32 - 1000

43. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 멀티 윈도우 체인 • 1분 텀블링 윈도우 결과는 10분 슬라이딩 윈도우로 반영됨 • 데이터 레코드는 데이터 파이프라인을 통해 전파되기 까지 ~10분이 소요될 수 있음 (평균 ~3분 정도 소요) … GROUP BY FLOOR((”SOME_DESTINATION_SQL_STREAM"."ROWTIME" - TIMESTAMP '1970- 01-01 00:00:00') MINUTE / 1 TO MINUTE), "time", "source", "metric", "detail"; … WINDOW W1 AS ( PARTITION BY "time", "source", "metric", "detail" RANGE INTERVAL '10' MINUTE PRECEDING);

48. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 분야 별 데이터 스트리밍 활용 분야 가속화된 Ingest-Transform- Load/Data Lake 지속적인 지표 생성 기계 학습 및 실용적인 통찰 디지털 광고 기술/마케팅 퍼블리셔, 입찰자 데이터 집계 범위, 산출량, 전환율 등의 광고 지표 광고에 대한 사용자 참여, 최적화된 입찰/구매 엔진 IoT 센서, 장치 원격 측정 데이터 수집 운영상 지표와 대시보드 기기 운영 지능형 정보 및 경보 게임 온라인 데이터 수집 (예: 상위 10 플레이어) 대규모 멀티 플레이어 온라인 게임 (MMOG) 라이브 대시보드 리더보드 생성, 플레이어-스킬 매치 Consumer Online 클릭스트림 분석 노출 수 및 페이지 뷰와 같은 지표 추천 엔진, 사전 예방 보안 운영 데브옵스 도구, VPC Flog Logs 수집 CloudWatch Logs 의 로그 데이터를 실시간으로 분석 이상 탐지

49. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Kinesis를 활용하는 많은 고객들 연결된 장치로부터 매주 10억 개의 이벤트 근 실시간 주택 가치 평가 (Zestimates) 10초 미만으로 갱신되는 라이브 클릭스트림 대시보드 250개 이상의 사이트에서 매일 100GB의 클릭스트림 50ms 이하 응답으로 연간 50억 회의 광고 노출 하루 1,000만 건의 온라인 스타일리스트 처리 100개 이상의 마이크로서비스 간 통신 실시간으로 수십억 개의 네트워크 흐름 분석 IoT 예측 분석 근 실시간으로 게임 이벤트 분석

51. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 참고 자료 • Kinesis 홈페이지: https://aws.amazon.com/kinesis/ • Kinesis 데이터 생성기: https://aws.amazon.com/blogs/big-data/test-your- streaming-data-solution-with-the-new-amazon-kinesis-data-generator/ • Kinesis Firehose 랩: https://run.qwiklab.com/focuses/preview/1641?search=44727 • 로그 분석 솔루션 구축: https://aws.amazon.com/getting- started/projects/build-log-analytics-solution/ • 블로그: https://aws.amazon.com/kinesis/firehose/blog-posts/

52. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS Summit 모바일 앱과 QR코드를 통해 강연 평가 및 설문 조사에 참여해 주시기 바랍니다. 내년 Summit을 만들 여러분의 소중한 의견 부탁 드립니다. #AWSSummit 해시태그로 소셜 미디어에 여러분의 행사 소감을 올려주세요. 발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로 공유될 예정입니다. 여러분의 피드백을 기다립니다!

53. 감사합니다

AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

Similar a AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018 (20)

Mais de Amazon Web Services Korea

Mais de Amazon Web Services Korea(20)

AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018