Início
Conheça mais
Enviar pesquisa
Carregar
Entrar
Cadastre-se
Anúncio
20171212_GTCJapan_InceptionSummt_HeteroDB
Denunciar
Kohei KaiGai
Seguir
Software Architect, Intrapreneur em NEC
12 de Dec de 2017
•
0 gostou
2 gostaram
×
Seja o primeiro a gostar disto
mostrar mais
•
5,235 visualizações
visualizações
×
Vistos totais
0
No Slideshare
0
De incorporações
0
Número de incorporações
0
Check these out next
SQL+GPU+SSD=∞ (Japanese)
Kohei KaiGai
20191115-PGconf.Japan
Kohei KaiGai
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
Insight Technology, Inc.
20200828_OSCKyoto_Online
Kohei KaiGai
20170310_InDatabaseAnalytics_#1
Kohei KaiGai
20200806_PGStrom_PostGIS_GstoreFdw
Kohei KaiGai
PL/CUDA - Fusion of HPC Grade Power with In-Database Analytics
Kohei KaiGai
FPGAによる大規模データ処理の高速化
Kazunori Sato
1
de
19
Top clipped slide
20171212_GTCJapan_InceptionSummt_HeteroDB
12 de Dec de 2017
•
0 gostou
2 gostaram
×
Seja o primeiro a gostar disto
mostrar mais
•
5,235 visualizações
visualizações
×
Vistos totais
0
No Slideshare
0
De incorporações
0
Número de incorporações
0
Baixar agora
Baixar para ler offline
Denunciar
Tecnologia
GTC2017 Inception AI Startup Summit での発表スライドです。
Kohei KaiGai
Seguir
Software Architect, Intrapreneur em NEC
Anúncio
Anúncio
Anúncio
Recomendados
20171220_hbstudy80_pgstrom
Kohei KaiGai
882 visualizações
•
58 slides
SSDとGPUがPostgreSQLを加速する【OSC.Enterprise】
Kohei KaiGai
1.5K visualizações
•
39 slides
20180217 FPGA Extreme Computing #10
Kohei KaiGai
4.5K visualizações
•
42 slides
20210731_OSC_Kyoto_PGStrom3.0
Kohei KaiGai
354 visualizações
•
36 slides
(JP) GPGPUがPostgreSQLを加速する
Kohei KaiGai
23.9K visualizações
•
49 slides
20190926_Try_RHEL8_NVMEoF_Beta
Kohei KaiGai
969 visualizações
•
22 slides
Mais conteúdo relacionado
Apresentações para você
(20)
SQL+GPU+SSD=∞ (Japanese)
Kohei KaiGai
•
9.5K visualizações
20191115-PGconf.Japan
Kohei KaiGai
•
2.8K visualizações
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
Insight Technology, Inc.
•
2K visualizações
20200828_OSCKyoto_Online
Kohei KaiGai
•
684 visualizações
20170310_InDatabaseAnalytics_#1
Kohei KaiGai
•
6.7K visualizações
20200806_PGStrom_PostGIS_GstoreFdw
Kohei KaiGai
•
577 visualizações
PL/CUDA - Fusion of HPC Grade Power with In-Database Analytics
Kohei KaiGai
•
1.1K visualizações
FPGAによる大規模データ処理の高速化
Kazunori Sato
•
9.5K visualizações
20201113_PGconf_Japan_GPU_PostGIS
Kohei KaiGai
•
1.3K visualizações
TPC-DSから学ぶPostgreSQLの弱点と今後の展望
Kohei KaiGai
•
6.2K visualizações
pgconfasia2016 lt ssd2gpu
Kohei KaiGai
•
779 visualizações
GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
Kohei KaiGai
•
21.8K visualizações
An Intelligent Storage?
Kohei KaiGai
•
2.4K visualizações
20190418_PGStrom_on_ArrowFdw
Kohei KaiGai
•
2.3K visualizações
[Azure Antenna] クラウドで HPC ~ HPC on Azure ~
Shuichi Gojuki
•
1.4K visualizações
20190516_DLC10_PGStrom
Kohei KaiGai
•
1.7K visualizações
[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
Shuichi Gojuki
•
594 visualizações
PostgreSQLレプリケーション10周年!徹底紹介!(PostgreSQL Conference Japan 2019講演資料)
NTT DATA Technology & Innovation
•
11.5K visualizações
20211112_jpugcon_gpu_and_arrow
Kohei KaiGai
•
734 visualizações
20170127 JAWS HPC-UG#8
Kohei KaiGai
•
938 visualizações
Similar a 20171212_GTCJapan_InceptionSummt_HeteroDB
(20)
20180914 GTCJ INCEPTION HeteroDB
Kohei KaiGai
•
351 visualizações
ビックデータ処理技術の全体像とリクルートでの使い分け
Tetsutaro Watanabe
•
2.1K visualizações
20190925_DBTS_PGStrom
Kohei KaiGai
•
1.8K visualizações
20190314 PGStrom Arrow_Fdw
Kohei KaiGai
•
3.9K visualizações
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
Insight Technology, Inc.
•
2K visualizações
20221116_DBTS_PGStrom_History
Kohei KaiGai
•
107 visualizações
20191211_Apache_Arrow_Meetup_Tokyo
Kohei KaiGai
•
1.1K visualizações
[db analytics showcase Sapporo 2018] B25 Hadoop上で動く世界最速のAnalytic DBをSparkと一緒に...
Insight Technology, Inc.
•
683 visualizações
Cld017 nh シリーズリリース
Tech Summit 2016
•
42 visualizações
Cld017 nh シリーズリリース
Tech Summit 2016
•
156 visualizações
Hadoop基盤を知る
日本ヒューレット・パッカード株式会社
•
581 visualizações
インフラ野郎AzureチームProX
Toru Makabe
•
2K visualizações
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
ShuheiUda
•
5.8K visualizações
Hadoop 2.6の最新機能(Cloudera World Tokyo 2014 LT講演資料)
NTT DATA OSS Professional Services
•
9.2K visualizações
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
•
1.4K visualizações
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
Insight Technology, Inc.
•
1.5K visualizações
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
ShuheiUda
•
1.2K visualizações
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
Tomoyuki Oota
•
1.6K visualizações
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
•
488 visualizações
Hadoop, NoSQL, GlusterFSの概要
日本ヒューレット・パッカード株式会社
•
706 visualizações
Anúncio
Mais de Kohei KaiGai
(16)
20221111_JPUG_CustomScan_API
Kohei KaiGai
•
96 visualizações
20210928_pgunconf_hll_count
Kohei KaiGai
•
277 visualizações
20210301_PGconf_Online_GPU_PostGIS_GiST_Index
Kohei KaiGai
•
423 visualizações
20201128_OSC_Fukuoka_Online_GPUPostGIS
Kohei KaiGai
•
505 visualizações
20201006_PGconf_Online_Large_Data_Processing
Kohei KaiGai
•
427 visualizações
20200424_Writable_Arrow_Fdw
Kohei KaiGai
•
644 visualizações
20190909_PGconf.ASIA_KaiGai
Kohei KaiGai
•
483 visualizações
20181212 - PGconfASIA - LT - English
Kohei KaiGai
•
467 visualizações
20181212 - PGconf.ASIA - LT
Kohei KaiGai
•
804 visualizações
20181211 - PGconf.ASIA - NVMESSD&GPU for BigData
Kohei KaiGai
•
1.3K visualizações
20181210 - PGconf.ASIA Unconference
Kohei KaiGai
•
250 visualizações
20181116 Massive Log Processing using I/O optimized PostgreSQL
Kohei KaiGai
•
436 visualizações
20181016_pgconfeu_ssd2gpu_multi
Kohei KaiGai
•
7K visualizações
20181025_pgconfeu_lt_gstorefdw
Kohei KaiGai
•
5.1K visualizações
20180920_DBTS_PGStrom_EN
Kohei KaiGai
•
512 visualizações
20180920_DBTS_PGStrom_JP
Kohei KaiGai
•
1.1K visualizações
Último
(20)
☀️【卡尔顿大学毕业证成绩单留学生首选】
15sad
•
2 visualizações
AIEXPO_CDLE名古屋紹介
KotaMiyano
•
3 visualizações
統計学の攻略_正規分布ファミリーの全体像.pdf
akipii Oga
•
133 visualizações
20230523_IoTLT_vol99_kitazaki_v1.pdf
Ayachika Kitazaki
•
107 visualizações
量子論.pdf
hiro150493
•
5 visualizações
20230601_Visual_IoTLT_vol14_kitazaki_v1.pdf
Ayachika Kitazaki
•
0 visão
ペンタエリスリトール市場.pdf
HinaMiyazu
•
3 visualizações
社内ソフトスキルを考える
infinite_loop
•
40 visualizações
Oracle Cloud Infrastructure:2023年5月度サービス・アップデート
オラクルエンジニア通信
•
29 visualizações
通信プロトコルについて
iPride Co., Ltd.
•
0 visão
CDLEハッカソン2022参加報告.pdf
SHOIWA1
•
7 visualizações
JSTQB_テストプロセスの概念モデル.pdf
akipii Oga
•
135 visualizações
統計学の攻略_統計的仮説検定の9パターン.pdf
akipii Oga
•
133 visualizações
初学者のためのプロンプトエンジニアリング実践.pptx
Akifumi Niida
•
376 visualizações
UAV写真・レーザー測量test.pptx
ssuserb48d2b1
•
14 visualizações
20230602_enebular_meetup_kitazaki_v1.pdf
Ayachika Kitazaki
•
0 visão
Kubernetes超入門
Takashi Suzuki
•
5 visualizações
Forguncy製品概要.pptx
フォーガンシー
•
0 visão
MC-800DMT intrusion detector manual
Vedard Security Alarm System Store
•
2 visualizações
JSTQB_テストマネジメントとレビュープロセス.pdf
akipii Oga
•
113 visualizações
Anúncio
20171212_GTCJapan_InceptionSummt_HeteroDB
HeteroDB,Inc ~ハードウェアの限界に挑むデータベース屋さん~ チーフアーキテクト 兼 代表取締役社長 海外
浩平 <kaigai@heterodb.com>
HeteroDB社について GPU Technology Conference
Japan 2017 - Inception Startup Summit2 ▌会社概要 商号 ヘテロDB株式会社 創業 2017年7月4日 社員数 2名(海外浩平、柏木岳彦) 事業内容 データ解析アプライアンス製品販売 データベース技術コンサルティングサービス 拠点 品川区西大井1-1-2-206 (西大井創業支援センター内) ▌代表者プロフィール 海外 浩平 (KaiGai Kohei) OSS開発者コミュニティにおいて、PostgreSQLやLinux kernelの開 発に10年以上従事。セキュリティ強化や外部データ連携等の貢 献があり、PostgreSQLの主要開発者としても知られている。 2007年 IPA未踏ソフト事業において “天才プログラマー” 認定 2012年~ GPUによるPostgreSQL高速化モジュールの開発を開始 2017年 NECを退職し、柏木と共に HeteroDB 社を創業
我々のミッション + GPUを用いたSQL処理の高速化製品の提供 GPU Technology Conference
Japan 2017 - Inception Startup Summit3
RDBに求められる諸機能 ✓ 可用性/クラスタリング ✓ バックアップ/運用管理 ✓
トランザクション ✓ BI・可視化 PostgreSQLのものをAs-Isで利用 中核技術 – PG-Strom PG-Strom: GPUの持つ数百~数千コアと広帯域メモリを利用して、 SQLワークロードを高速化するPostgreSQL向け拡張モジュール GPU I/O中心処理の高速化 計算中心処理の高速化PG-Strom GPU Technology Conference Japan 2017 - Inception Startup Summit4
Re-definition of GPU’s
role (GPUの役割を再定義する)
x86_64サーバの構成 GPUSSD CPU RAM HDD N/W GPU Technology Conference
Japan 2017 - Inception Startup Summit6
x86_64サーバの構成(単純化) CPU RAM SSD HDD N/W GPU DMI PCIe 高速デバイス 低速デバイス GPU
Technology Conference Japan 2017 - Inception Startup Summit7
データベースが大量データを処理する時 CPU RAM SSD GPU PCIe PostgreSQL データブロック 従来のデータフロー 本来は不要なレコードであっても、 一度CPU/RAMへロードしなければ 要・不要を判断できないため、 データサイズは大きくなりがち。 GPU
Technology Conference Japan 2017 - Inception Startup Summit8
中核機能:SSD-to-GPUダイレクトSQL実行 CPU RAM SSD GPU PCIe PostgreSQL データブロック NVIDIA
GPUDirect RDMA CPU/RAMを介することなく、 Peer-to-PeerのDMAを用いて SSD上のデータブロックを直接 GPUに転送する機能。 WHERE句 JOIN GROUP BY GPUでSQLを処理し、 データ量を削減する データ量:小 GPU Technology Conference Japan 2017 - Inception Startup Summit9
Star Schema Benchmarkによる性能測定
Star Schema BenchmarkのScaling Factor=401 (DB-size: 353GB) を用いて13種類のクエリを実行 CPU: Xeon E5-2650v4, RAM: 128GB, GPU: Tesla P40, SSD: Intel SSD 750 (400GB) x3 測定に使用したNVMe-SSDの性能は SeqRead: 2.2GB/s 0 1000 2000 3000 4000 5000 6000 7000 Q1_1 Q1_2 Q1_3 Q2_1 Q2_2 Q2_3 Q3_1 Q3_2 Q3_3 Q3_4 Q4_1 Q4_2 Q4_3 QueryProcessingThroughput[MB/sec] Star Schema Benchmark on NVMe-SSD + md-raid0 PgSQL9.6(SSDx3) PGStrom2.0(SSDx3) SSD x3枚構成の 理論限界値 [6.6GB/s] GPU Technology Conference Japan 2017 - Inception Startup Summit10
〈余談〉GTC2017でSSD-to-GPU機能の発表がTop-5に選出 GPU Technology Conference
Japan 2017 - Inception Startup Summit11 世界中から集まったGPU関連R&Dの ポスター発表全138件のうち、 最も評価の高い5件の一つとして選出。 (来場者投票では惜しくも次点…) GPU Technology Conference 2017 8th~ 11th May, San Jose
製品概要 – HeteroServer
GS120 GPU Technology Conference Japan 2017 - Inception Startup Summit12 1UラックサーバでDWH専用機並みのクエリ処理能力を目指す HeteroServer GS120 – Hardware Configuration Chassis Supermicro 1019GP-TT CPU Xeon Gold 5120 (2.2GHz, 14C) RAM 192GB (32GB DDR4-2666 x 6) GPU NVIDIA Tesla P40 (3840C, 24GB) x1 SSD Intel SSD DC P4600 (HHHL; 2.0TB) x3 HDD 2TB(SATA; 72krpm) x6 Power 1400W 非冗長電源ユニット Others ライザカード RSC-R1UG-2E8GR-UP OS Red Hat Enterprise Linux 7.4 CUDA 9.0 + Latest driver DB PostgreSQL v10 + PG-Strom 2.0 大容量・高速 NVMe対応SSD 3840コア搭載 NVIDIA Tesla P40 HW能力を最大限に 引き出すPG-Strom 2018年4月販売開始(予定)
想定適用領域① – BIシステム向けバックエンドDB GPU
Technology Conference Japan 2017 - Inception Startup Summit13 ▌なぜ HeteroServer を適用するのか? SSD-to-GPUダイレクトSQL実行によってハードウェア能力を全て引き出し、 DWH専用機に匹敵する処理能力を1Uスタンドアロンシステムで実現。 商用DB (Oracleなど) に比べ安価に増設できるため、ユーザ数が増えた時にも 柔軟なシステムの増設が可能。 PostgreSQLの豊富な周辺ツールや運用ノウハウを“そのまま”適用できる。 レプリケーション “ニア”リアルタイム同期 BIツール 業務系システム 集計系クエリ 結果 データの発生・集積 データの集計・サマライズ データの可視化 BI向けバックエンドDBに求められる要件 - 集計系クエリ(JOIN/GROUP BYの多用)の高速な実行 - 大量のデータに対する高い読み出しスループット - 異種DBを含む業務系システムとの連携
導入へ向けたシナリオ GPU Technology Conference
Japan 2017 - Inception Startup Summit14 0 20 40 60 80 100 120 140 商用DB製品 (Oracle DB) DWH専用機 (Netezza) HeteroServer (PG-Strom) HW/SW製品価格+4年保守費用[百万円] データ分析基盤/4年TCO比較 HW+SW初期費用 保守費用(4年) レプリケーション レプリケーション OLTP&OLAP一元化 業務系は変更なし 第一段階)業務系:商用DB + 情報系:PG-Strom レプリケーションによるリスクのない移行 第二段階)業務系:PostgreSQL + 情報系:PG-Strom PostgreSQL化によるライセンス・保守費用の削減 第三段階)業務系+情報系:PG-Strom DB一元化に伴うリアルタイムの分析基盤 1296万円 1億1700万円 1億2979万円 ※ Oracle DBはHeteroServer同等の12プロセッサコアで試算 ※ 全て価格は公開されているList Priceを元に試算 保守費用 6019万円 HW能力を限界まで使い切れる データ分析基盤を1/10のTCOで実現
~Beyond the Hardware
Limitation~ インテリジェント・ストレージ構想
インテリジェント・ストレージ構想 – 行で書いて、列で読む GPU
Technology Conference Japan 2017 - Inception Startup Summit16 カスタムロジックを搭載可能な NVMe-SSD 製品が 容易に入手可能になりつつある。 SSD上のカスタムロジックを用いて、 PostgreSQLの行データをGPU処理に適した “列データ” へ変換。 PostgreSQLデータブロック カスタムロジック PageHeader ItemPointers Record-01Record-02 Record-03Record-04Record-05 Record-06Record-07 Record-08Record-09 列A 列D 列F
今後のロードマップ PG-Strom v2.0β (Jan-2018) PG-Strom v2.0 (Apr-2018) • SSDtoGPU Direct
SQL • PL/CUDA • columnar cache • gstore_fdw PG-Strom v3.0 (Early-2019?) • Intelligent Storage • PostGIS • multi GPUs & SSD affinity • NVMe over Fabric? 2018年4月に新バージョン&DB製品をリリース予定 GPU Technology Conference Japan 2017 - Inception Startup Summit17
お気軽にお問合せください ▌まとめ PG-Strom GPU用いてSQLを高速化するPostgreSQLモジュール SSD-to-GPUダイレクトSQL実行 SSDとGPUを直結し、ハードウェア限界に近い速度で読み出すと同時に、 GPUの
“超”並列処理によって効率的に不要なデータを落とす技術。 結果的に、GPUでI/Oも高速化しているかのように見える。 HeteroServer GS120 PG-Stromや動作検証済みHWを搭載したDBアプライアンス製品 バッチやBI系のデータ分析基盤などが適用領域 ▌お問合せ e-mail: contact@heterodb.com Tw: @kkaigai GPU Technology Conference Japan 2017 - Inception Startup Summit18
Anúncio