世界中のオンラインゲームやスマフォアプリの分析をしてきたPlayFab。最近、従来のイベント分析に加えて様々なテレメトリーを包含したクラウド分析機能が備わりました。今回は、その裏の Azure Data Explorer a.k.a Kusto での構成や仕組みをご紹介します。Windowsのテレメトリー分析やAzureのログ解析基盤の裏側と共通した仕掛けが含まれているのでお楽しみに!ゲーム業界に限らず、ビックデータ運用を考えている大規模なSaaS事業やIoT事業にもご参考いただけたら幸いです。
at db tech showcase ONLINE 2020 https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp
*本資料は 2020年11月11日に開催された DB Tech Showcase イベントにてお話させていただいた、同タイトルのセッション資料となります
16. PlayFab Analytics Architecture (high level)
PlayStream
PlayFab
Client
SDK
Game Manager
PlayFab.com
PlayFab Customer
Game Manager
Game Manager
PlayFab Action
Services
Ingestion
ADX Clusters
ADF
Proxy
PlayFab
Services
Logs &
Metrics
CosmosDB
Operational logs
and metrics
Tenancy
RTA
*ADX - Azure Data Explorer
*ADF - Azure Data Factory
Warehouse: Reports, Trends
etc.
AzureBlob
Scorecard compute
17. PlayFab Facts /
Dimensions
PlayFab Analytics (ETL scenarios)
PlayFab
Client
SDK
ADX Clusters
GDE004
(table per event)
CosmosDB
ADX Clusters
GDEPF001
(follower DB from GDE001)
ADF
PlayFab
Services
PlayFab Facts /
Dimensions
Power BI PF internal reportsPlayFab DB
ADX Functions
PlayFab Metrics
PlayFab Metrics
PlayFab Metrics
ADF
PlayFab Facts /
Dimensions
PlayFab Facts /
Dimensions
18. PlayFab Analytics – direct access
Powering analytics with Azure Data Explorer
• クエリの埋め込みエクスペリエンス
• 保存されたクエリ/レンダリングされたグラフ
• データのインポートとエクスポート
• スケーラブルなパフォーマンス (IPU メーター)
Connectors through Proxy
19. ADX continuous
export to Azure Blob
Manage Experiments
Experience
• UI と API を使用する
• CRUD API サーフェス
• 実験のスケジュール
• Expのコンプライアンス
• Expのアクセス制御
• コードレスExp
•
*A&E – Analytics and Experimentation
➢ Variant ID でタグ付けされ
た PlayFab Profile
(treatment)
➢ Variant ID でタグ付けされ
た PlayFab Events
➢ メトリック生成用
Azure BLOB データ
➢ Data Bricks による
スコアカード
20. Azure Data Explorer
(Kusto)
PlayFab Data Governance – GDPR
PlayFab.com
Game Manager
PlayFab
APIPurge or
Export
PlayFab SDK
Service Fabric Cluster
PCF Command
Feed Ingestion
Command Actor
Orchestrator
Actor
Table Delete Service
CRM
Management
API
PlayFab
Webhook
Stateful Service
(Partitioned by
Cluster]
Stateless Service
Stateful Actor
(Partitioned by PlayerId)
Stateful Actor
Determines Query Execution
GDPR compliance for all customers
• Data Portability: 顧客データのエクスポートを提供
• Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去
NGP Compliance (for Xbox Game Studios)
• Integrated into Microsoft Privacy Portal
DeleteMasterPlayer
ExportMasterPlayer
21.
22. `本日のお話
第一部: PlayFab Insights
ゲームの BaaS である PlayFab の分析機能についてお話します
PlayFab は従来の分析機能が大幅にバージョンアップしました
内部には、Azure Data Explorer が使われており、その機構をご紹介します
第二部: Azure Data Explorer
Azure Data Explore (ADX、または Kusto )についてさらにお話します
この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
39. “Digital feedback loops help you
better engage with your customers,
empower your employees, optimize
your operations, and reinvent
products and business models”
S. Nadela
40. Log files
Spatial & GPS
coordinates
Data market feeds
eGov feeds
Weather
Text/image
Web 2.0Advertising
Mobile
Collaboration
eCommerce
Web logs
Digital Marketing
Search Marketing
Recommendations
40
More decision makers
BigData
Megabytes
Gigabytes
Terabytes
Petabytes
Data Complexity: Velocity, Variety
ERP/CRM
Payables
Payroll
Inventory
Contacts
Deal Tracking
Sales Pipeline
Click streams
Wikis, Blogs
Sensors/RFID/
Devices
Social Sentiment
Audio/Video
42. Any append-
only stream
of records
Relational query
model:
Filter, aggregate, join,
calculated columns, …
Fully-
managed
Rapid iterations to
explore the data
High volume
High velocity
High variance
(structured, semi-
structured, free-text)
PaaS,
Vanilla,
Database
Purposely built
1センテンスで理解するADX
43. • メトリックと時系列データ
• テキスト検索とテキスト分析
• 多次元/リレーショナル分析
Comprehensive Strength
• シンプルで強力なデータ探索
• リッチ リレーショナル クエリ言語
• 全文検索
• ML Extentionの拡張性
• SQL/TDS エンドポイント
Analytics Query language
• 低遅延インジェズレーション
• 圧縮とインデックス作成
• 自動保持(リテンション設定)
• Hot/cold resource アロケーション
Data Ingestion and Management
• ハードウェアでスケールアウト
• ジオ全体でスケールアウト
• 細かいリソース使用率制御
• クロスジオでのクエリ
High performance over large data sets
Azure Data Explorer
A big data interactive platformAzure Data Explorer の内部の構造
Ingestion
Dev/BI Tools
44. Telemetry Analytics for internal Analytics Data Platform for products
AI OMS ASC Defender IOT
Interactive Analytics Big Data Platform
2015 - 2016
Israelの研究所で行われた社内のインキュ
ベーションプログラム
マイクロソフト社内のデータ分析プラッ
トフォームを作るビジョンで開始された
2019
サードパーティのオファーを試験運営
Operational Management Suite/Application
Insightsにまたがる統合プラットフォーム
クライアント/サーバー・セキュリティー
を介してブリッジされるシナリオに拡張
(IoT、テレメトリーシナリオ)
2017
パブリックプレビューは2018年後半
GAは、2019年
Kusto (現ADX)の生い立ち