Azure Synapse Analytics は、Azure SQL Data Warehouse を大きく進化させ、SQL pool と呼ばれるプロビジョニング型だけでなく、サーバーレスの SQL on-demand、オートスケール Spark の機能を提供する Spark pool、そして、Azure Data Factory や Power BI の機能も統合したシングルサービスとなります。 本セッションでは、技術的な観点で Azure Synapse Analytics の価値をご説明します。

1. *本資料の内容 (添付文書、リンク先などを含む) は de:code 2020 における公開日時点のものであり、予告なく変更される場合があります。
#decode20 #D14
Azure Synapse Analytics 技術編
最新の統合分析プラットフォームによる新しい価値の創出
(後編)
宮原 誠治 (ドク)
日本マイクロソフト株式会社
デジタル トランスフォーメーション事業本部
エンタープライズ クラウド アーキテクト技術本部
Senior Cloud Solution Architect

3. 本セッションについて
対象者
課題
ゴール
• IoT, ビッグデータ, データウェアハウスに関心のある技術者
• IT/DX 戦略に関わる方
• 日々増大するデータ、ペタバイトを超えるデータをどう扱うのか？
• データ収集や投入、非構造化・構造化データの加工・分析・可視化は？
• 複数の PaaS を組み合わせて、セキュリティは？運用は？
• Azure SQL Data Warehouse を大きく進化させ、PaaS を組み合わせる
複雑性を排除した最新の統合分析プラットフォームの価値をご理解頂きます

4. セッションアジェンダ
• Azure Synapse Analytics とは
• Azure Synapse Analytics のアーキテクチャ
• 開発生産性の観点
• セキュリティと運用性の観点
• まとめ
前編 (D09)
>開発者/分析者視点
後編 (D14)
>管理者/運用者視点

5. Microsoft Learn おすすめコンテンツ
本セッションの内容は，以下の Microsoft Learn コンテンツでも補完的に学習できます。
ぜひアクセスし，Microsoft Azure の Azure Synapse Analytics 関連サービスの理解を深めて
ください。
Azure Synapse Analytics (ワークスペース プレビュー) とは
https://docs.microsoft.com/ja-jp/azure/synapse-analytics/overview-what-is
What is Azure Synapse Link for Azure Cosmos DB (Preview)?
https://docs.microsoft.com/ja-jp/azure/cosmos-db/synapse-link

6. Azure Synapse Analytics とは

7. Cloud Scale
Analytics

8. Azure Synapse Analytics は次のレベルに
Open Source Analytics Azure Analytics
ベストな OSS と Azure サービス
を組み合わせ、エンド ツー エンド
のシングルサービスとして提供
HDInsight
Enterprise-grade service for open source analytics
Hadoop Spark Kafka
Ingest
Azure Data
Factory
Prep
Azure
Databricks
Explore
Azure Data
Explorer
Streaming
Azure Stream
Analytics
IoT
Azure Event
Hubs
Share
Azure Data
Share
Store
Azure Data
Lake Storage

9. Azure Analytics
Store
Transform QueryIngest
Azure
Data Factory
Azure Data Lake Storage
Azure Databricks Azure SQL Data
Warehouse
クラウド データ
SaaS データ
オンプレミス データ
デバイス データ
Power BI
Azure
Machine Learning

10. 2
データ ウェアハウスとビッグデータ分析システム全体のあらゆるデータから、
驚異的なスピードでインサイトを提供する無制限の分析サービス
Store Azure Data Lake Storage
Azure Synapse Analytics
Azure Synapse Analytics
クラウド データ
SaaS データ
オンプレミス データ
デイバイス データ
Power BI
Azure
Machine Learning

11. Azure Synapse Analytics の重要な開発領域
サーバーレス型 + プロビジョニング型
統合された SQL + Spark
構造/非構造データに対する
統合されたセキュリティ
ワークロード別のスケジューリング
オンライン スケーリング
共有データに対する
マルチ コンピュート クラスター

12. Analytics Runtimes
全体アーキテクチャ
SQL on-demand
SQL Runtime
共有クラスター
自動スケール
共有ストレージ
SQL pool
SQL Runtime
プロビジョン クラスター
現在、手動スケールのみ
共有
ストレージ
専用
ストレージ
クラスター × N 個
を作成可能
クラスター × N 個
を作成可能
Spark pool
Spark Runtime
プロビジョン クラスター
自動/手動スケール
共有ストレージ
データ統合機能
パイプライン/データフロー
Azure
Data Lake Storage Gen2
Synapse Studio
開発/監視/管理
※現在、Spark pool から SQL Analytics にメタデータ共有可能なのは、Parquet ファイル形式のマネージドテーブル/外部テーブルで、SQL pool への共有は coming soon

13. セキュリティと運用性の観点

14. Azure Synapse セキュリティ全体像
⚫ ネットワーク セキュリティ
⚫ 認証とパススルー
⚫ アクセス制御
⚫ 暗号化

15. 14
xxxxx.onmicrosoft.com
(別名: xxxxx.co.jp)
ディレクトリ
Azure Active Directory
Azure Resource Manager (ARM)
Azure リソースのデプロイ & 管理機能 (Azure Portal, Azure CLI / PowerShell, ARM REST API)
ARM テンプレートによるデプロイ リソース グループ Role based Access Control (RBAC) タグ や ロック
Azure IaaS
仮想マシン (VM, VM Scale-set), NIC, 管理ディスク, 仮想ネットワーク
(VNet), Load Balancer が主たる構成要素
VNet (1,000 超のサブネットを構成可能)
VM
(100 種類超の Spec)
Load
Balancer
NSG
VNet Service
Endpoint
or
Private Endpoint
Azure PaaS (Dedicated)
VM や VM Scale-set をベースとした PaaS で、VNET への組み込みが 可能な占
有型アーキテクチャ
Azure SaaS / API
DevOps や AI 系 (Cognitive Services) などの
SaaS 型 / API 型のサービス
App Service
Env / 統合
Service
Fabric
AKS
(K8s)
Batch
(HPC)
SQL Database
Managed Instance
Databricks HDInsight
・・・・・ etc.
サブスクリプション
(Azure Portal)
Cognitive
Services
DevOps
Services
・・・・・ etc.
F/W機能
Azure PaaS (Multi-tenant)
Service Fabric Cluster (コンテナー & サービス凝集型) などをベースとした PaaS で、
サービス毎に Firewall 機能、VM ベースのゲートウェイ機能を持ったマルチテナント型
アーキテクチャ
Blob
Storage
Queue
Storage
File
Storage
SQL Data
Warehouse
SQL
Database
DB for
PostgreSQL
DB for
MySQL
Cosmos
DB
Functions
(従量課金)
Event
Hubs
・・・ etc.
Data
Factory
(G/W 型)
・・・ etc.
Analysis
Services
PrivateLink

16. ワークスペースのファイアウォール規則
ファイアウォール
アクセス

17. Azure AD ユーザー認証 OK
SQL on-demandSpark pool SQL pool データ統合機能
ADLS Gen2
トークン
※SQL on-demand ⇒ ADLS Gen2 への認証では、パススルー認証 (既定) の他、SAS 認証、マネージド ID 認証がサポートされる
トークン
トークン

18. (※ワークスペース作成者も必要)
⚫ Azure Portal で対象ストレージの [アクセス制御 (IAM)] で “ストレージ Blob データ共同作成者” ロールに自分の Azure AD
ユーザー プリンシパル (user_name@xxxxx.co.jp など) や所属するセキュリティ グループを追加する
⚫ Azure Portal もしくは Synapse Studio で、フォルダーやファイルに対して、自分の Azure AD ユーザー プリンシパル
(user_name@xxxxx.co.jp など) や所属するセキュリティ グループを追加し、 Read/Write/Execute の権限を設定する

19. Managed ID : “adf1”
IAM : “adf1” = “ストレージ Blob データ共同作成者”
Managed ID 認証を選択した場合、認証先の IAM 設定で、
適切なロールが割当てられていれば、認証が成功し、その権限で
アクセスが実施される

20. Azure
Data Lake Storage Gen2
SQL on-demand SQL pool データ統合機能
Polybase / Parquet Direct
マネージド ID 認証を選択可能
(パススルー認証が既定)
マネージド ID 認証を選択可能
(SAS 認証も可)
既定の Linked サービスは、マネージド ID 認証
(SAS 認証も可)
既定の Linked サービスは、マネージド ID 認証
(SQL 認証/サービス プリンシパル認証も可)
ワークスペース外の Azure リソース
に対しても、マネージド ID 認証が
可能
※ワークスペース作成時に指定した ADLS Gen2 は Synapse Link によってリンクされたリソース

21. “ストレージ Blob データ共同作成者”
ロールが割り当て済み
-- パススルー認証を特定のユーザー「xxxxxxxxxxx」に対して無効化する
DENY REFERENCES ON CREDENTIAL::[UserIdentity] TO [xxxxxxxxxxx];
GO
-- パススルー認証をすべて無効化する
DROP CREDENTIAL [UserIdentity];
GO
-- 既定の ADLS Gen2 ファイルシステムにマネージド ID 認証を適用する
CREATE CREDENTIAL [https://adlsgen2xxxxx.dfs.core.windows.net/synapsefs1]
WITH IDENTITY='Managed Identity';
GO
-- パススルー認証を再度有効化する場合 (ワークスペース作成時に流されるスクリプト)
CREATE CREDENTIAL [UserIdentity] WITH IDENTITY = 'User Identity';
GO
GRANT REFERENCES ON CREDENTIAL::[UserIdentity] TO [public];
GO

22. -- Create Database
CREATE DATABASE ondemandDB;
GO
-- Master key
USE ondemandDB;
CREATE MASTER KEY;
GO
-- Credential
CREATE DATABASE SCOPED CREDENTIAL MyAdls
WITH IDENTITY='Managed Identity'
GO
-- External Data Source
CREATE EXTERNAL DATA SOURCE MyAdlsSource
WITH (
LOCATION = 'https://adlsgen2xxxxx.dfs.core.windows.net/synapsefs1',
CREDENTIAL = MyAdls
);
GO
-- Format
CREATE EXTERNAL FILE FORMAT ParquetFormat
WITH (
FORMAT_TYPE = PARQUET,
DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO
-- ADLS Gen2 ストレージに 2016 年の NYC データを出力
USE ondemandDB;
CREATE EXTERNAL TABLE OpenData_NYC
WITH (
LOCATION='opendata/nyc/',
DATA_SOURCE = MyAdlsSource,
FILE_FORMAT = ParquetFormat
)
AS
SELECT * FROM
OPENROWSET(
BULK 'https://azureopendatastorage.blob.core.windows.net
/nyctlc/yellow/puYear=2016/puMonth=*/*.parquet',
FORMAT='PARQUET'
) AS [nyc]
GO
“ストレージ Blob データ共同作成者”
ロールが割り当て済み

23. ワークスペース作成時
Spark pool
データ統合機能Spark pool
Spark pool
マネージド ワークスペース VNet

24. Azure IaaS
仮想マシン (VM, VM Scale-set), NIC, 管理ディスク, 仮想ネットワーク
(VNET), Load Balancer が主たる構成要素
VNET (1,000 超のサブネットを構成可能)
VM
(100 種類超の Spec)
Load
Balancer
NSG
Private Endpoints
PrivateLink
Azure PaaS (Multi-tenant)
Service Fabric Cluster (コンテナー & サービス凝集型) などをベースとした PaaS で、
サービス毎に Firewall 機能、VM ベースのゲートウェイ機能を持ったマルチテナント型
アーキテクチャ
Blob
Storage
Queue
Storage
File
Storage
SQL Data
Warehouse
SQL
Database
DB for
PostgreSQL
DB for
MySQL
Cosmos
DB
Event
Hubs
・・・ etc.
F/W機能

25. Synapse Studio
⚫ ワークスペース内の SQL on-demand / SQL pool へのプライベート接続 (既定で作成済み)
⚫ ワークスペース外の Azure リソースへのプライベート接続 (追加で作成要)
データ統合機能Spark pool
マネージド ワークスペース VNet
SQL on-demand SQL pool
Managed Private Endpoints
Private Link Private Link
既定で作成済み
他のマルチテナント型 PaaS
他のマルチテナント型 PaaS
他のマルチテナント型 PaaS

26. ⚫ Synapse Studio
⚫ SQL on-demand
⚫ SQL pool
Azure IaaS
仮想マシン (VM, VM Scale-set), NIC, 管理ディスク, 仮想ネットワーク
(VNET), Load Balancer が主たる構成要素
VNET (1,000 超のサブネットを構成可能)
NSG
SQL on-demand SQL pool
Private Link
Synapse Studio
Private Endpoints
Private LinkPrivate Link
Azure Portal ⇒ Synapse ワークスペース

27. Synapse Studio
Home Data
Monitor Manage
Quick-access to common
gestures, most-recently used
items, and links to tutorials
and documentation.
Explore structured and
unstructured data
Centralized view of all resource
usage and activities in the
workspace.
Configure the workspace, pool,
access to artifacts
Develop
Write code and the define
business logic of the pipeline
via notebooks, SQL scripts,
Data flows, etc.
Orchestrate
Design pipelines that that
move and transform data.

28. Demo
- Synapse Studio 管理者/運用者の視点

29. Synapse Studio
Manage Hub

30. Manage Hub - Analytics プール

31. Manage Hub - Linked サービス

32. Manage Hub - オーケストレーション

33. Manage Hub - セキュリティ

34. Synapse Studio
Monitor Hub

35. Monitor Hub - オーケストレーション

36. Monitor Hub - Spark アプリケーション

37. まとめ

38. まとめ

39. © 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
© 2020 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。