No-Ops で大量データ処理基盤
•
10 gostaram•2,883 visualizações
デブサミ2017の講演資料です。Google では検索やYoutube、Gmailといったビリオンユーザを抱えるサービスのデータを効率良く処理するため、MapReduceやBigTable、Dremelといった多くの基盤技術を発明してそれらを自社で利用してきました。Google Cloud Platformを使うと、こうした最新のテクノロジーを使いやすいサービスとして利用することできます。データ処理の概要アーキテクチャと BigQuery、Dataflow を中心とした製品について説明します。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (8)
Semelhante a No-Ops で大量データ処理基盤
Semelhante a No-Ops で大量データ処理基盤 (20)
Mais de Google Cloud Platform - Japan
Mais de Google Cloud Platform - Japan (20)
Último
Último (10)
No-Ops で大量データ処理基盤
- 1. 福田 潔 Google Cloud Platform カスタマーエンジニア Google Cloud No-Ops で大量データ処理基盤を 簡単に実現する BigQuery と Cloud Dataflow で実現する次世代データ処理基盤
- 3. Data makes software great. Apps (and companies) win or lose based on how they use it.
- 8. Enterprise
- 12. データセンター内の 高速ネットワーク ● 5th generation of custom-made network fablic ● 1Pbps = 100K machines x 10Gbps Jupitor
- 13. Borg 大規模クラスタ 管理システム ● Everything at Google runs in a container ● Separate of infra / application ● Prod + Non-Prod runs on same machine
- 14. 2016 Google Research 20082002 2004 2006 2010 2012 2014 2015 Open Source 2005 Google Cloud Products GFS Map Reduce 15年以上、データの問題に向き合ってきた
- 15. 2016 Google Research 20082002 2004 2006 2010 2012 2014 2015 Open Source 2005 Google Cloud Products BigQuery Pub/Sub Dataflow Bigtable ML GFS Map Reduce BigTable Dremel Flume Java Millwheel Tensorflow Apache Beam PubSub 15年以上、データの問題に向き合ってきた
- 17. 分析保存収集 BigQuery (SQL) 処理 Cloud Dataflow (stream and batch) Cloud Storage (objects) Cloud Datastor (NoSQL) BigQuery Storage (structured) Cloud Dataproc (Hadoop & Ecosystem) Cloud Bigtable (NoSQL HBase) Cassandra hBase MongoDBRabbit MQ Kafka Cloud 2.0 Cloud 3.0 可視化 Cloud DataLab (iPython/Jupyter) Tableau Pub/Sub Stackdriver Logging BQ Streaming App Engine Cloud SQL (SQL) Cloud Machine Learning プロダクトをマップすると Cloud Spanner (NewSQL)
- 18. リファレンスアーキテクチャ : データを収集する Cloud Pub/Sub At Leaast One の信頼性を持つ、スケーラブルなNo-Opsグローバル分散 メッセージ・キュー Cloud Storage オブジェクトストレージ。外部システムが出力するファイルの GCPへのエントリーポイントとなる 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 Stackdriver Logging GCP および AWS(EC2) からログイベントを収集 APIを介して任意のアプリケーションログも収集 GCPのシステムロ グ、アプリケーション ログ 等 Transfer Service
- 19. リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Transfer Service
- 20. リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Cloud Dataproc Spark / Hadoop のマネージド・サービス Batch
- 21. リファレンスアーキテクチャ : 分析および保存 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch BigQuery 大規模データセットに対する 高性能クエリーエンジン
- 22. リファレンスアーキテクチャ : 分析および可視化 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A BigQuery Dataproc Dataflow Cloud Storage Pub/Sub Stackdriver Logging
- 23. 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A a No-Ops big data stack that scales automatically
- 25. BigQuery Fully managed, Petabyte Scale, Low Cost Enterprise Data Warehouse for analytics
- 27. BigQuery の内部構造 SQL クエリ ペタビット ネットワーク BigQuery カラム指向ストレージ コンピュート ストリーミングイン ジェスト 高速バッチロード Google Cloud Storage Google Drive Google スプレッドシート Federated Query
- 28. デモ 1PB Query
- 30. 継続的な改善 2010 2011 2012 2013 2014 公開 大規模なクエリ結果 2015 2016 900 300 0 1,200 Google I/O でベータリリース Dremel X Big JOIN サポート ダイナミック エグゼキューション Capacitor シャッフル高速化 100k qps のストリーミン グ ユーザー定義関数 100k qps の ストリーミング Code Submits
- 31. Unstructured data accounts for 90% of enterprise data* *Source: IDC
- 32. Dataflow New default of stream processing
- 33. バッチ処理の問題点：データは継続的に生成される （＝Unbounded Data）。なぜ処理するために待たなければなら ないのか？ Dataflow(Apache Beam) は ストリーム処理の新しいデフォルト バッチ処理はストリーム処理のサブセットと捉える Cloud Dataflow とは？
- 34. 20122002 2004 2006 2008 2010 MapReduce GFS Big Table Dremel Pregel FlumeJava Colossus Spanner 2014 MillWheel Dataflow 2016 Dataflow は新しいデフォルト
- 35. Dataflow モデル および Cloud Dataflow Dataflow Model & SDKs バッチおよびストリーム処理の 統合プログラムモデル no-ops, フルマネージドサービス （実行環境） Google Cloud Dataflow Apache Beam
- 36. {a->[apple, art, argentina], ar->[art, argentina, armenia],...} Count ExpandPrefixes Top(3) Write Read ExtractTags {a->(argentina, 5M), a->(armenia, 2M), …, ar->(argentina, 5M), ar->(armenia, 2M), ...} {#argentina scores!, watching #armenia vs #argentina, my #art project, …} {argentina, armenia, argentina, art, ...} {argentina->5M, armenia->2M, art->90M, ...} Tweets Predictions
- 37. Count ExpandPrefixes Top(3) Write Read ExtractTags Tweets Predictions Pipeline p = Pipeline.create(new PipelineOptions()); p p.run(); .apply(ParDo.of(new ExtractTags())) .apply(Top.largestPerKey(3)) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(TextIO.Write.to(“gs://…”)); .apply(TextIO.Read.from(“gs://…”)) class ExpandPrefixes … { public void processElement(ProcessContext c) { String word = c.element().getKey(); for (int i = 1; i <= word.length(); i++) { String prefix = word.substring(0, i); c.output(KV.of(prefix, c.element())); } } }
- 38. NYC Taxi and Limousine Commissions : Open Data
- 39. Cloud Pub/Sub (public dataset) Dataflow ETL using Cloud Dataflow BigQuery BigQuery Cloud Pub/Sub Visualize Application Datalab DataStudio
- 48. cloud.google.com
- 49. https://goo.gl/EolvdJ 4月21日 | 10:00 AM - 5:30 PM ベルサール渋谷ファースト
- 50. 参考 ● BigQuery ○ https://cloud.google.com/bigquery/ ● Dataflow ○ https://cloud.google.com/dataflow/ ● Google Big Data Blog ○ https://cloud.google.com/blog/big-data/ ● NYC Taxi Tycoon Codelab ○ https://goo.gl/4g5eep ● Architecture: Optimized Large-Scale Analytics Ingestion ○ https://cloud.google.com/solutions/architecture/optimized-large-scale-a nalytics-ingestion