3. Agenda
Cloud OnAir
APP316: Anthos 詳細: パート 1
Anthos Deep Dive: Part One
DA100: Google Cloud によるデータレイクの構築
Building Data Lakes on Google Cloud
DA105: BigQuery Omni を使ったマルチクラウド環境でのデータ分析
Analytics in a Multi-Cloud World with BigQuery Omni
1
3
2
4. Nitin Motgi, Google Cloud
DA100
Building Data Lakes on
Google Cloud
Google Cloud によるデータレイクの構築
8. データレイク ユースケース
データウェアハウス ステージング
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Refined
Stage
Raw Stage
Data Lake
Curated
Stage
● データレイクに保存されているデータ
の利用
● データ変換、クレンジング、整形など
9. データレイク ユースケース
データサイエンス、Hadoop
● Hive, Spark などの
オープンソースソフトウェア
との連携
● データ分析、解析用の
データの準備
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Data Science
Stage
Raw Stage
Data Lake
Exploratory Analysis
Curated
Data
Advanced
Analytics
Machine
Learning
10. データレイク ユースケース
アクティブ アーカイブ
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Raw Stage
Data Lake
Curated
Stage
Data Warehouse
Archive
Stage
● 利用しないデータの
オフロード
● アクティブ アーカイブを
有効に
● 外部データソースへのクエリ
11. Cloud
Storage
中央ストレージ
安全で費用対効果の高い
Catalog & Metastore
メタデータへのアクセスと検索
データ取り込み
データを GCS にすばやく安全に転送します
セキュリティ
データの安全性とユーザーの ID を確保する
検証済み
データ処理と分析
好きなデータ処理のパイプラインを使って、記述的および予測的分析
をやります
Data
Catalog
Cloud
Dataproc
Cloud
Dataflow
BigQuery
KMS
Cloud
Pub/Sub
Data
Transfer
Service
Dedicated
Interconnect
Partner
Interconnect
Cloud Data
Fusion
BigQuery
Storage
Cloud Machine
Learning Engine
Dataproc
Metastore
ALPHA
12. Analytics in a Multi-Cloud
World with BigQuery Omni
Emily Rapp, Google Cloud
DA105
BigQuery Omni を使ったマルチクラウド環境でのデータ分析
49. Multi-Cloud
GCP Other Cloud Provider
マルチクラスタ採用のユースケース
Low-Latency Services
Alice in Arkansas Bob in Berlin
US Germany
Environment Separation
(by Team, Tenant, Dev/Stage/Prod)
Team A Team B Team C
Canary Clusters
(for upgrades)
Existing Cluster (v 1.10) Canary Cluster (v 1.11)
Data Locality
Bob from Berlin Alice from Arkansas
US Germany
Highly Available Services
Region A Region B
53. まとめ
Cloud OnAir
Anthos 詳細: パート 1
Anthos Deep Dive: Part One
Google Cloud によるデータレイクの構築
Building Data Lakes on Google Cloud
BigQuery Omni を使ったマルチクラウド環境でのデータ分析
Analytics in a Multi-Cloud World with BigQuery Omni
1
3
2