22. • AzureではAzure Data Lake Storage Gen2をデータレイクとして構成。
• Spark によるETLおよび、データレイクへのSQLクエリによりクエリ用テーブルにロード
される。
データレイクとの統合
Store
Transform QueryIngest
Synapse Pipeline
Azure Data Lake
Storage Gen2
Spark Pool SQL Pool
クラウド データ
SaaS データ
デバイス データ
Power BI
Azure
Machine Learningオンプレミス データ
Azure Analytics
48. ユーザー
アプリ
Azure
Cosmos DB
Azure Data Lake Storage
抽出
(パイプライン)
変換 /
強化
オーケストレーション
Power BI
提供
Azure Cosmos DB から Azure Data Lake Storage に定期的にデータをインジェスト
分析に最適化するために、データ形式とストレージ レイヤーを管理
Apache Spark
for Synapse
Synapse
SQL
OLTP と OLAP を分離
54. • Common Data Model 1.0フォーマットでAzure Data Lake Storage Gen2内に書き込み/読み取りを実行可能
• Dynamics 365 やPower BI DataflowなどのCDM形式に対応したサービスとのデータおよびスキーマ情報の連携が容易になる
※Power BI Dataflowでは旧形式のmodel.jsonを利用しているので、未対応の可能性
• Data Factory でもCDMフォルダのサポートを開始されているのでCDMの展開に期待
補足:Apache Spark 用の新しいCommon Data Model コネク
タ (Public Preview)
• https://azure.microsoft.com/en-us/updates/new-common-data-model-connector-for-apache-spark-in-azure-synapse-azure-databricks/
• https://docs.microsoft.com/en-us/common-data-model/data-lake
Azure Data Lake Storage Gen2
No code ,low code Low to high code
61. • Read older versions of data using time travel:
https://docs.delta.io/latest/quick-start.html#-read-older-
versions-of-data-using-time-travel
•
参考:その他のDB機能の観点