게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

1. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 오 승 용 Head of Data Platform Devsisters Corp. 게임의 성공을 위한 Scalable 한 데이터 플랫폼 G A M E S O N A W S 2 0 2 2 – T R A C K 0 4

3. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • 글로벌하게 사랑받는 Cookie Run 시리즈의 개발사/퍼블리셔 • 글로벌 누적 이용자 2억명 돌파! • 쿠키런: 킹덤 • 4천만명 이상의 글로벌 유저 • Pocket Gamer Mobile Game Awards - People's Choice • 2021 대한민국 게임대상 최우수상 3

4. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 오늘 다룰 주제: 데이터 플랫폼의 Scalability • 쿠키런: 킹덤이 런칭하자마자 데이터 트래픽이 n00배+ • 그런데 데이터플랫폼 개발자는 3명 (킹덤 런칭 기준, 지금은 많아요 ㅎㅎ) • 어떤 선택을 거쳐 데이터플랫폼이 살아남고 게임의 성공에 기여했는가? 4

5. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Contents 1. 데브시스터즈의 데이터플랫폼 소개 2. 분석 환경의 Scalability 높이기 3. 데이터 인프라의 Scalability 높이기 4. Scalable 한 데이터플랫폼으로 게임의 성공에 직접적으로 기여하기 • 두 가지 Scalability 관점으로 ▪ 인프라/서비스의 Scalability 확보 관점 n00+배의 트래픽에 대응하기 위한 아키텍처 ▪ 사람의 Scalability 확보 관점 사람이 가장 Scalable 하지 않은 요소 5

6. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 사람의 Scalability 란? = Toil 줄이기 6 • 사람이 가장 Scalable 하지 않음 ▪ 뽑기도, 유지하기도.. • Toil (=고역, 잡일) 없애기 ▪ Overhead (팀 미팅, HR서류작업 등) 와 달리, 서비스 운영에 필요하면서도 매뉴얼, 반복적이고, 자동화 가능하며, 서비스 성장에 따라 선형적으로 커지는 일 ▪ Toil을 줄이기 위한 기술적, 문화적 선택을 통해 사람의 Scalability 를 확보 https://sre.google/sre-book/eliminating-toil/

8. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 게임에서의 데이터 플랫폼? • 게임서버 로그, DB, 클라이언트, 써드파티 등으로부터 다양한 데이터를 수집하고 • 활용가능한 형태로 적절히 가공하고 쌓아 두어 • 다양한 니즈에 맞게 활용할 수 있는 방법을 제공하고 • 이를 통해 게임의 개발, 운영과 성장에 필수적인 다양한 문제를 해결 할 수 있는 플랫폼 8

9. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 9 데이터 스토리지 Data Source 로그 수집 / 전처리 Apache Kafka & Kafka Streams 준실시간 데이터 검색 / 분석 Data Warehouse Storage Data Mart Storage Data Lake Storage Elasticsearch 데이터 소비자 TEAM DEV 구성원 경영진 PD / PM 게임 디자이너 클라이언트/백엔드 DevOps QA 엔지니어 고객지원팀 BI Analyst 데이터 과학자 마케터 ... 데이터 기반 서비스들 데이터 적재 / 가공 카탈로그 AWS Glue Amazon Athena Logstash Kibana 대시보드 & Ad-hoc 분석 서비스 Servers Client Apps Web 3rd Party Apps (ex. User attribution) Operational Databases Other Sources (ex. Google Sheets) 쿼리 서비스 Data Platform Overview

10. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 데이터플랫폼의 활용 예: 지표 및 분석 10 • 분석가 / DW Engineer 가 지표를 만들 수 있는 환경 ▪ 주요 KPI 지표 (AU, NU, 매출, 리텐션, ..) ▪ 게임 별 세부 지표 (기능별 참여도, 어뷰징, ..) ▪ 마케팅 세부 지표 (유저 ROI, LTV, ..) • Adhoc 분석 환경

12. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 데브시스터즈의 데이터플랫폼 • 처음에는 쿠키런 게임 서버팀 내 하나의 영역으로 시작 • 데브시스터즈의 게임/서비스들이 다변화되기 시작하면서 여러 서비스에서 같이 활용 가능한 데이터 플랫폼으로 확장 • 게임 팀이 빠르게 게임을 개발하고, 성공할 수 있도록 돕는 내부 제품들을 개발 12

15. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • 요약 ▪ Kafka 로 로그 수집 ▪ Spark (Scala) 을 통해 전처리해 S3 적재 (Parquet) ▪ PySpark 을 통해 Data Warehouse, Data Mart Table 적재 (Parquet) ▪ Athena 로 Parquet Table 을 쿼리하여 지표 대시보드에 사용 ▪ Airflow 로 Spark Job Scheduling 분석 인프라 (Gaming on AWS 2018) 15

16. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • 여러 게임을 서비스하며 데이터의 유형과 사용이 다양/복잡해짐 • BI 조직을 셋업, DW Engineer 와 비즈니스 분석가 직군 합류 Python/Spark 기반 분석 환경의 한계 16 기존 팀 협업 모델 게임 팀 데이터 팀 데이터 엔지니어 데이터 과학자 변경된 팀 협업 모델 BI 팀 SQL-first 데이터플랫폼 팀 Python-first BI 팀이 ETL 작업을 추가하려면 데이터플랫폼팀 개입이 필수적 게임 팀들 게임 팀들

17. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • DW 엔지니어가 직접 작업을 개발하고 배포하기 어려운 상황 • 데이터플랫폼 엔지니어의 병목, DW 엔지니어의 생산성 저하 • 여러 가지 고민들 ▪ 별도로 Data Warehouse (Redshift, MSSQL, ..) 를 셋업하고 Data Lake 와 연동? ▪ DW 엔지니어에게 Python 을 교육? Python/Spark 기반 분석 환경의 한계 17

18. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • Glue Catalog + Spark Thrift Server 기반의 SQL 쿼리 환경 • 기존 EC2 Spark -> Spark on k8s (with dynamic allocation) ✅ 인프라 프로비저닝을 신경쓰지 않고 SQL 쿼리 실행 가능 해결책 1: Spark SQL 기반으로 SQL 환경을 지원하자 18 Kubernetes Forum Seoul 2019: Re-architecting Data Platform with Spark on Kubernetes https://youtu.be/7MPH1mknIxE

19. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • Airflow 위에서 SQL Task 정의를 위한 별도 프레임워크 개발 해결책 1: Spark SQL 기반으로 SQL 환경을 지원하자 19 -- query.sql CREATE TABLE IF NOT EXISTS dw.login ( user_id string date date ) PARTITIONED BY date INSERT OVERWRITE TABLE dw.login PARTITION (date = '{{ date_kst }}') SELECT ... FROM ods.login # task.py class LoginTask(SQLTask): source_tables = ["ods.login"] target_table = "dw.login" start_date = "2022-10-01"

20. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • Airflow 위에서 SQL Task 정의를 위한 별도 프레임워크 개발 ▪ SQL 기반으로 손쉽게 Task 를 생성하고, 의존성을 정의해 DAG 생성 ▪ Jinja 기반 렌더링을 지원 ▪ Unit Testing & GitOps & CI/CD ✅ DW 엔지니어가 Spark SQL 기반의 ETL 작업들을 직접 손쉽게 관리 ✅ 데이터플랫폼 엔지니어의 병목 해소, 대응 부담 해소 해결책 1: Spark SQL 기반으로 SQL 환경을 지원하자 20

21. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 그러나 여전히 아쉬운 점들.. Parquet • UPDATE / DELETE 불가 → 전체 재적재 필요 • 한 개 row만 수정/삭제하고 싶은데, 불가능하므로 파티션 하나를 통째로 drop & insert • 컬럼 삭제/수정 불가 • 테이블 메타 정보가 제한적 Spark SQL • PySpark의 함수들 중 지원되지 않는 경우가 있음 • 예: replaceWhere() • 자유로운 쿼리(e.g. PL/SQL) 사용 불가능 21

22. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • Delta Lake ▪ ACID Transactions ▪ Upserts / Deletes ▪ 다양한 Metadata API ▪ 다양한 최적화 지원 – Compaction – Z-Ordering 해결책 2: Delta Lake 기반의 Data Lakehouse 22 https://www.databricks.com/blog/2019/08/21/diving-into-delta-lake-unpacking-the-transaction-log.html

23. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책 2: Delta Lake 기반의 Data Lakehouse 23 • Databricks 로 Spark Runtime 을 Migration • Delta Lake 로 기존 Parquet 기반 테이블들을 Migration ✅ Spark 실행 환경, Parquet 의 제한 사항들을 운영/서포트하기 위한 데이터플랫폼 엔지니어의 부하 경감 ✅분석가, DS, DWE 등 다양한 사용자들이 SQL Query, Notebook 등 환경과 툴로 능동적 액션 https://www.databricks.com/blog/2022/02/23/get-to-know-your-queries-with-the-new-databricks-sql-query-profile.html

25. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • 별도로 CDC 하지 않고 스냅샷만 S3 적재: 운영과 맥락의 비용 절감 • Aurora: S3 Parquet Export 기능 사용 • CockroachDB (킹덤 주 DB) ▪ n십 TB 규모 – Spark 으로 분산 처리하여 스냅샷 생성 및 ETL DB 파이프라인 25 Amazon Aurora Amazon S3 (Parquet) Amazon ElastiCache (Redis) Amazon S3 (rdb) CockroachDB

26. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 로그 수집/검색/적재 파이프라인 26 Web Frontend Game Client VM & Containers Kubernetes Cluster Log Collector Server Apache Kafka & Kafka Streams Logstash Elasticsearch Kibana Amazon S3 User Log Query Service Apache Spark 준실시간(<10초) ~최근 2주간의 로그 저장 로그 메세지 큐 & 전처리 (Streams) 약 3일간의 로그 저장 3rd Party Services Servers Clients Data Warehouses 로그 장기 저장 로그 수집 / 전처리 로그 검색 / 조회 로그 적재

27. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 로그 수집의 Scalability 올리기 • 2016년 <쿠키런: 오븐브레이크> 글로벌 런칭 후 Kafka 로 인한 프로덕션 서비스 장애 ▪ Kafka 의 Disk 가 찼는데 알람 설정 오류로 인지하지 못함 ▪ Kill switch 의 작동 오류 • 이외에도, 로그 개발자의 Kafka 이해도 요구, 로그 스키마 관리가 되지 않아 발생하는 다양한 이슈들 ▪ 특정 필드의 타입 충돌 -> 다양한 인프라의 이슈 발생 ▪ 로그 사용자 입장에서 로그의 종류와 필드의 의미를 찾기가 힘듦 27 Game Servers Apache Kafka

28. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 로그 수집의 Scalability 올리기 (cont’d) • Kafka 의 장애가 서비스에 직접적 영향이 없고 신뢰 가능한 구조로 ➔ 서비스와의 decoupling 이 필요 • 각각의 로그 생산/사용 주체가 Kafka 에 대한 지식 없이 쓸 수 있도록 ➔ 로그 생산자에게 Kafka 의 interface 를 노출시키지 않아야 함 • 최소한의 로그 퀄리티가 모든 파이프라인에 걸쳐 유지될 수 있도록 ➔ 자동화된 검수와 전처리가 필요 28

29. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책 1: Agent 기반의 수집 구조 ✅ 서버에서의 로그 수집을 Host Agent (EC2) / DaemonSet (K8s) 기반으로, Agent 가 로그를 수집하도록 변경 29 Apache Kafka EC2 instance / Kubernetes Worker Node App 1 App N Filebeat Agent Docker log Docker log

30. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책 2: Kafka Streams 기반의 전처리/검수 Filebeat 등 로그 생산자로부터 온 로그를 전처리하고 최소한의 퀄리티 보장 ✅ 스키마 이슈가 있는 로그를 격리 ✅ 공통 로그 포맷에 맞게 로그 전처리 30 로그 생산자 (서버, 클라,..) Kafka Topics Raw Log Topics Kafka Streams Transformed Topics Malformed Topics Schema Store

31. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책 3: 쓰기용/읽기용 Kafka 클러스터 분리 Producer-faced / Consumer-faced 클러스터를 분리하여, ✅ Spark batch read 중 producer 영향 같은 이슈를 decoupling ✅ 각 클러스터의 목적에 맞게 최적화 가능 31 Kafka “Writer” Cluster (Producer-faced) Kafka “Reader” Cluster (Consumer-faced) Mirror Maker 로그 생산자 (서버, 클라,..) 로그 소비자 (Elastic, Spark, ..)

33. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책: 컴포넌트별 특성에 따른 트래픽 급증 대응 정책 • Kafka (Producer-faced) 를 신뢰성 있는 Buffer 용도로 사용 • 이후 단계 어플리케이션은 ▪ 빠르게 n 배 확장할 수 있게 하거나 (예: Kafka Streams) ▪ 사전 (혹은 이슈 발생에 따라) SLA 를 기반으로 지연시키거나 버리기 33

34. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 • 데이터 인프라에서 대부분의 컴포넌트가 Stateful • 최대한 Storage 와 Compute 가 분리가능한 구조를 사용 ▪ 분리 정도에 따라 인프라의 Scalability 가 상당부분 결정됨 ▪ (거의) 완전히 분리 가능 – 예: Apache Spark + Amazon S3 ▪ 제한적으로 확장 가능 – 예: Apache Kafka (AWS EC2 / EBS Storage) ▪ 인스턴스 단위로만 확장 가능 – 예: Elasticsearch (AWS EC2 / Local Storage) Storage 와 Compute 의 분리 34

35. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 데이터 인프라 운영의 Scalability 올리기 • Stateless 의 경우는 이미 Autoscaling 그룹 등으로 운영 자동화했지만, Stateful Application 들은 제약이 많음 • Stateful Application 특성상 in-place upgrade / 작업이 빈번 • 작업자의 맥락 인지 비용이 높음 35

36. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 해결책: Terraform 과 Ansible 을 이용한 IaC • 코드가 진실의 근원이 되어, 맥락 팔로업 / 변화사항 인지비용을 최소화할 수 있도록 • 대부분의 EC2 기반 Stateful Application 에서, ▪ (Terraform) Auto-scaling group 의 기능을 제한적으로 활용/정의 ▪ (Terraform) Instance userdata 기반 Provisioning 자동화 (service discovery, cluster join, ..) ▪ Rolling 하기 어려운 in-place 작업의 경우 Ansible 로 진행, Terraform 에 후반영 ▪ Custom Resource 들은 custom terraform provider / in-house 스크립트로 해결 36

38. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Case 0. 실전 운영 • 사전에 (대박을 상정한) 부하테스트에도 불구하고 예상보다 많은 유저 인입 • Kafka Peak 트래픽이 런칭 전 2MB/s -> 런칭 이후 300MB/s 로 급격한 증가 • 일일 로그 적재량이 (원본 로그 기준) n00GB -> 10TB+ ✅ 핵심 컴포넌트 SLI 100% 유지 ✅ 유의미한 지연 없이 데이터 적재 및 처리 38

39. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Case 1. 킹덤, 총 56시간의 긴급 점검 • DB conf (1차), AWS AZ 오류(2차) 로 storage 영역 일부에 corruption / 유실 발생 • Replicated data 를 이용해 복구 가능했지만 데이터 규모가 매우 큼 (8 TB) • Spark r5.8xlarge 350대를 이용, 빠른 복구 성공 • 로그 기반으로 유저의 상태 재현, DB 무결성 검증 완료 39

40. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Case 1. 킹덤, 총 56시간의 긴급 점검 (cont’d) • 점검 오픈 직후 유저 트래픽의 폭발적인 인입 • Kafka 는 정상적으로 기능 – 로그 기반으로 이후 CS 이슈 대응 40 NDC 2022: 쿠키런: 킹덤, 총 56시간의 긴급 점검 회고 https://youtu.be/AZbCZ2KOcwU

41. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Case 2. 다양한 운영 이슈 대응과 분석 • N천만명의 유저 로그와 DB 데이터를 분석할 수 있는 환경 • 운영상 발생한 다양한 이슈들을 데이터 기반으로 대응, 유저와의 신뢰 유지 ▪ 특정 유저의 문의에 대한 CS 대응부터 ▪ N십~N백 TB 단위의 전체 유저 데이터 분석을 기반으로 하는 대응까지 41

43. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Case 3. 데이터플랫폼을 활용한 조건부 아이템 지급 • 쿠키런 IP 를 공유하는 게임들 간의 Cross Game Promotion • 처음에는 게임 서버 –> 플랫폼 서버 간 API 로 조건 달성 여부 전달 ▪ -> 부하 발생, Sync API 여서 응답 시간 지연 이슈 • Kafka 를 consuming 하여 로그를 기반으로 조건 달성 여부 확인, 부하를 줄이고 조건의 자유도도 높임 43 https://tv.naver.com/v/23650703 Deview 2021: 데이터 드리븐으로 서비스 운영 100% 자동화하기

46. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 Wrap-Up • 사람과 인프라의 Scalability 를 확보하거나 우회할 수 있는 다양한 옵션들을 통해 ▪ SQL 기반의, 분석가/DW 엔지니어가 능동적으로 사용 가능한 Spark 분석 인프라 ▪ N백 배의 트래픽 증가를 버텨낼 수 있는 데이터 인프라 아키텍처 • 이를 통해 폭발적인 성장의 시기에도 Scalable 한 데이터플랫폼을 구축하고 • 게임의 성공에 직접적으로 기여할 수 있었음 46

47. © 2022, Amazon Web Services, Inc. or its affiliates. GAMES ON AWS 2022 만약에 킹덤과 같은 게임이 N 개 존재한다면? • 지금보다 데이터플랫폼의 대응성 업무와 데이터의 맥락을 줄여야 함 • 이를 위해서는 ▪ 사용자에게 자유도를 주어 데이터플랫폼의 self service 가 가능하고 ▪ 데이터플랫폼 개발자와 사용자의 Toil 을 줄여나갈 수 있는 환경 필요 47

게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

Esté a ler uma amostra.

Confira estes a seguir

게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a 게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022 (20)

Mais de Amazon Web Services Korea (16)

Mais recentes (20)