Anúncio

20171212_GTCJapan_InceptionSummt_HeteroDB

Software Architect, Intrapreneur em NEC
12 de Dec de 2017
Anúncio

Mais conteúdo relacionado

Apresentações para você(20)

Similar a 20171212_GTCJapan_InceptionSummt_HeteroDB(20)

Anúncio

Último(20)

Anúncio

20171212_GTCJapan_InceptionSummt_HeteroDB

  1. HeteroDB,Inc ~ハードウェアの限界に挑むデータベース屋さん~ チーフアーキテクト 兼 代表取締役社長 海外 浩平 <kaigai@heterodb.com>
  2. HeteroDB社について GPU Technology Conference Japan 2017 - Inception Startup Summit2 ▌会社概要  商号 ヘテロDB株式会社  創業 2017年7月4日  社員数 2名(海外浩平、柏木岳彦)  事業内容 データ解析アプライアンス製品販売 データベース技術コンサルティングサービス  拠点 品川区西大井1-1-2-206 (西大井創業支援センター内) ▌代表者プロフィール  海外 浩平 (KaiGai Kohei)  OSS開発者コミュニティにおいて、PostgreSQLやLinux kernelの開 発に10年以上従事。セキュリティ強化や外部データ連携等の貢 献があり、PostgreSQLの主要開発者としても知られている。  2007年 IPA未踏ソフト事業において “天才プログラマー” 認定  2012年~ GPUによるPostgreSQL高速化モジュールの開発を開始  2017年 NECを退職し、柏木と共に HeteroDB 社を創業
  3. 我々のミッション + GPUを用いたSQL処理の高速化製品の提供 GPU Technology Conference Japan 2017 - Inception Startup Summit3
  4. RDBに求められる諸機能 ✓ 可用性/クラスタリング ✓ バックアップ/運用管理 ✓ トランザクション ✓ BI・可視化  PostgreSQLのものをAs-Isで利用 中核技術 – PG-Strom PG-Strom: GPUの持つ数百~数千コアと広帯域メモリを利用して、 SQLワークロードを高速化するPostgreSQL向け拡張モジュール GPU I/O中心処理の高速化 計算中心処理の高速化PG-Strom GPU Technology Conference Japan 2017 - Inception Startup Summit4
  5. Re-definition of GPU’s role (GPUの役割を再定義する)
  6. x86_64サーバの構成 GPUSSD CPU RAM HDD N/W GPU Technology Conference Japan 2017 - Inception Startup Summit6
  7. x86_64サーバの構成(単純化) CPU RAM SSD HDD N/W GPU DMI PCIe 高速デバイス 低速デバイス GPU Technology Conference Japan 2017 - Inception Startup Summit7
  8. データベースが大量データを処理する時 CPU RAM SSD GPU PCIe PostgreSQL データブロック 従来のデータフロー 本来は不要なレコードであっても、 一度CPU/RAMへロードしなければ 要・不要を判断できないため、 データサイズは大きくなりがち。 GPU Technology Conference Japan 2017 - Inception Startup Summit8
  9. 中核機能:SSD-to-GPUダイレクトSQL実行 CPU RAM SSD GPU PCIe PostgreSQL データブロック NVIDIA GPUDirect RDMA CPU/RAMを介することなく、 Peer-to-PeerのDMAを用いて SSD上のデータブロックを直接 GPUに転送する機能。 WHERE句 JOIN GROUP BY GPUでSQLを処理し、 データ量を削減する データ量:小 GPU Technology Conference Japan 2017 - Inception Startup Summit9
  10. Star Schema Benchmarkによる性能測定  Star Schema BenchmarkのScaling Factor=401 (DB-size: 353GB) を用いて13種類のクエリを実行  CPU: Xeon E5-2650v4, RAM: 128GB, GPU: Tesla P40, SSD: Intel SSD 750 (400GB) x3  測定に使用したNVMe-SSDの性能は SeqRead: 2.2GB/s 0 1000 2000 3000 4000 5000 6000 7000 Q1_1 Q1_2 Q1_3 Q2_1 Q2_2 Q2_3 Q3_1 Q3_2 Q3_3 Q3_4 Q4_1 Q4_2 Q4_3 QueryProcessingThroughput[MB/sec] Star Schema Benchmark on NVMe-SSD + md-raid0 PgSQL9.6(SSDx3) PGStrom2.0(SSDx3) SSD x3枚構成の 理論限界値 [6.6GB/s] GPU Technology Conference Japan 2017 - Inception Startup Summit10
  11. 〈余談〉GTC2017でSSD-to-GPU機能の発表がTop-5に選出 GPU Technology Conference Japan 2017 - Inception Startup Summit11 世界中から集まったGPU関連R&Dの ポスター発表全138件のうち、 最も評価の高い5件の一つとして選出。 (来場者投票では惜しくも次点…) GPU Technology Conference 2017 8th~ 11th May, San Jose
  12. 製品概要 – HeteroServer GS120 GPU Technology Conference Japan 2017 - Inception Startup Summit12 1UラックサーバでDWH専用機並みのクエリ処理能力を目指す HeteroServer GS120 – Hardware Configuration Chassis Supermicro 1019GP-TT CPU Xeon Gold 5120 (2.2GHz, 14C) RAM 192GB (32GB DDR4-2666 x 6) GPU NVIDIA Tesla P40 (3840C, 24GB) x1 SSD Intel SSD DC P4600 (HHHL; 2.0TB) x3 HDD 2TB(SATA; 72krpm) x6 Power 1400W 非冗長電源ユニット Others ライザカード RSC-R1UG-2E8GR-UP OS Red Hat Enterprise Linux 7.4 CUDA 9.0 + Latest driver DB PostgreSQL v10 + PG-Strom 2.0 大容量・高速 NVMe対応SSD 3840コア搭載 NVIDIA Tesla P40 HW能力を最大限に 引き出すPG-Strom 2018年4月販売開始(予定)
  13. 想定適用領域① – BIシステム向けバックエンドDB GPU Technology Conference Japan 2017 - Inception Startup Summit13 ▌なぜ HeteroServer を適用するのか?  SSD-to-GPUダイレクトSQL実行によってハードウェア能力を全て引き出し、 DWH専用機に匹敵する処理能力を1Uスタンドアロンシステムで実現。  商用DB (Oracleなど) に比べ安価に増設できるため、ユーザ数が増えた時にも 柔軟なシステムの増設が可能。  PostgreSQLの豊富な周辺ツールや運用ノウハウを“そのまま”適用できる。 レプリケーション “ニア”リアルタイム同期 BIツール 業務系システム 集計系クエリ 結果 データの発生・集積 データの集計・サマライズ データの可視化  BI向けバックエンドDBに求められる要件 - 集計系クエリ(JOIN/GROUP BYの多用)の高速な実行 - 大量のデータに対する高い読み出しスループット - 異種DBを含む業務系システムとの連携
  14. 導入へ向けたシナリオ GPU Technology Conference Japan 2017 - Inception Startup Summit14 0 20 40 60 80 100 120 140 商用DB製品 (Oracle DB) DWH専用機 (Netezza) HeteroServer (PG-Strom) HW/SW製品価格+4年保守費用[百万円] データ分析基盤/4年TCO比較 HW+SW初期費用 保守費用(4年) レプリケーション レプリケーション OLTP&OLAP一元化 業務系は変更なし 第一段階)業務系:商用DB + 情報系:PG-Strom レプリケーションによるリスクのない移行 第二段階)業務系:PostgreSQL + 情報系:PG-Strom PostgreSQL化によるライセンス・保守費用の削減 第三段階)業務系+情報系:PG-Strom DB一元化に伴うリアルタイムの分析基盤 1296万円 1億1700万円 1億2979万円 ※ Oracle DBはHeteroServer同等の12プロセッサコアで試算 ※ 全て価格は公開されているList Priceを元に試算 保守費用 6019万円 HW能力を限界まで使い切れる データ分析基盤を1/10のTCOで実現
  15. ~Beyond the Hardware Limitation~ インテリジェント・ストレージ構想
  16. インテリジェント・ストレージ構想 – 行で書いて、列で読む GPU Technology Conference Japan 2017 - Inception Startup Summit16 カスタムロジックを搭載可能な NVMe-SSD 製品が 容易に入手可能になりつつある。 SSD上のカスタムロジックを用いて、 PostgreSQLの行データをGPU処理に適した “列データ” へ変換。 PostgreSQLデータブロック カスタムロジック PageHeader ItemPointers Record-01Record-02 Record-03Record-04Record-05 Record-06Record-07 Record-08Record-09 列A 列D 列F
  17. 今後のロードマップ PG-Strom v2.0β (Jan-2018) PG-Strom v2.0 (Apr-2018) • SSDtoGPU Direct SQL • PL/CUDA • columnar cache • gstore_fdw PG-Strom v3.0 (Early-2019?) • Intelligent Storage • PostGIS • multi GPUs & SSD affinity • NVMe over Fabric? 2018年4月に新バージョン&DB製品をリリース予定 GPU Technology Conference Japan 2017 - Inception Startup Summit17
  18. お気軽にお問合せください ▌まとめ  PG-Strom GPU用いてSQLを高速化するPostgreSQLモジュール  SSD-to-GPUダイレクトSQL実行 SSDとGPUを直結し、ハードウェア限界に近い速度で読み出すと同時に、 GPUの “超”並列処理によって効率的に不要なデータを落とす技術。 結果的に、GPUでI/Oも高速化しているかのように見える。  HeteroServer GS120 PG-Stromや動作検証済みHWを搭載したDBアプライアンス製品 バッチやBI系のデータ分析基盤などが適用領域 ▌お問合せ  e-mail: contact@heterodb.com  Tw: @kkaigai GPU Technology Conference Japan 2017 - Inception Startup Summit18
Anúncio