FPGAX 第7回　スライド

1. のための 内 、
カーネル内
@ 第7回
徳差 雄太 aom at sfc.wide.ad.jp
2015年8⽉2⽇(⽇)
慶応⼤学 松⾕宏紀研究室

2. 今⽇のトピック / ʼ
▶ FPGAによるKey-Value Store⾼速化の取り組み
▶ NOSQL向けデータベースキャッシュの階層化
1

3. による - ⾼速化
の取り組み

4. とは / ” ”
▶ KeyとValueを格納する超単純なデータベース
▶ スケールアウトに特化
▶ SNSを初めとする多くのWEBサービスで使⽤
▶ Facebookの写真のキャッシュにMemcached
▶ TwitterのタイムラインのキャッシュにRedis
▶ LINEのストレージ・キャッシュにRedis・HIVE
3

5. による限界と 化のメリット
Xilinx社によるMemcached⾼速化[Blott] 1
▶ FPGAにMemcachedを実装
▶ KVS処理のパイプライン化
プラットフォーム RPS [M] RPS/W [K]
Intel Xeon (8コア) 1.34 7
TilePRO (64コア) 0.34 3.6
スタンドアロンFPGA 13.02 254.8
FPGA + ホストPC 13.02 106.7
電⼒あたりの性能がスタンドアロンFPGAでは約30倍改善!
デメリット : FPGAボード上のDRAMのサイズに律速(<数GB)
1[Blott] Achieving 10Gbps Line-rate Key-value Stores with FPGAs,
HotCloudʼ13
4

6. REmote DIctionary Server
▶ インメモリKVS
▶ Valueにデータ構造を定義可能
▶ 永続化(ディスクに書き出し可能)
▶ DB-Engines RankingでKVSの中で1位
Memcachedとの相違
Memcached Redis
プロトコル Memcacheプロトコル 独⾃プロトコル
データ永続化 x ○
データ構造 string String, List, Hash,
Set, Sorted Set
HW化の事例 多数 x
5

7. 設計⼿法の対⽐ .
Memcached
深いパイプライン化
▶ Valueにデータ構造がない
▶ Write/Readの操作時間が
⼀定
Redis ヘテロジニアスマルチコア⽅式
▶ データ構造毎に処理時間が異なるた
め、パイプライン化が困難
▶ データ構造毎に専⽤演算器(PE)を設計
▶ マルチコアで⾼速化
6

8. ハードウェアによる の挙動 0
7

9. ハードウェアによる の挙動 1
8

10. NetFPGAプロジェクト
▶ githubベースのオープンハードウェア
▶ NetFPGA-10G, NetFPGA-SUME
NetFPGA-10G
FPGA Xilinx Vertex5
DRAM RLDRAM-II 288MB
SRAM 27MB
Network 10G x4
PCIe Gen2 x4
NetFPGA-SUME
FPGA Xilinx Vertex7
DRAM DDR3 SDRAM 8GB
SRAM 27MB
Network 10G x4
PCIe Gen3 x8
FMC 100G Ether対応!? 9

11. ハードウェア - のブロック図
10

12. 単⼀ の場合のブロック図
String PE で1クエリ処理に必要な時間
▶ SET操作に211クロックサイクル
▶ GET操作に48クロックサイクル
11

13. 領域のメモリ管理
Slab Allocator
▶ FPGA内のCPU(MIPS R3000互換)によるSlab Allocator
▶ Chunkサイズ毎に未使⽤のChunkをFree Listで管理
▶ Slab allocatorに140クロックサイクル(SET処理の7割) 12

14. データ構造サーバ設計プロジェクトのまとめ
Redisのハードウェア化の検討
ねらい
▶ RedisのようにValueにデータ構造を定義
▶ FPGAによる低消費電⼒で動作するデータベースサーバ
▶ PEのヘテロジニアスマルチコア化による⾼いスループット
こんなことがしたい！
▶ ⽤途に応じてPEのカスタマイズ可能
▶ 現在、ASIC化も取り組み中
13

15. インカーネル
インカーネルKVS
▶ FPGA NICでIP, UDPのチェックサム、Keyのハッシュ値の
計算をオフローディング
▶ KVSパケットのみをネットワークスタックをバイパスし、
カーネル内処理
14

16. 向けデータベースキャッシュ
の階層化

17. / の得⼿不得⼿
キャッシュ容量 電⼒効率(Perf/Watt)
HW⾼速化 x オンボードDRAMの
容量に律速 (<数GB)
○ ⾼いPerf/Watt
SW⾼速化 ○ メインメモリをスト
レージとして使⽤可能
(<数TB)
x ⼤幅なPerf/Wattの
向上は困難
▶ 容量と電⼒効率のトレードオフ
▶ HW⾼速化⼿法とSW⾼速化⼿法の併⽤が適切
16

18. 向けデータベースキャッシュ階層
⼤容量かつ⾼速なNOSQLサーバの実現
17

19. キャッシュ階層の検討項⽬
▶ キャッシュの連想度・Victimキャッシュ
▶ 同⼀ハッシュ値を有するキャッシュブロックの個数
▶ Key-Valueサイズによるキャッシュポリシー
▶ 書き込み⽅式 (Write back / Write Through)
▶ 書き込み時のキャッシュの割り当て
▶ Write allocate / Write non-allocate
▶ キャッシュ階層間の包含(Inclusion)
▶ キャッシュのEvictionポリシー
18

20. キャッシュ階層間の包含
19

21. データベースコアの 化
▶ 当研究室ではワイヤレス3次元
チップを研究しています。
▶ 今回はプロセスの検証として簡
易版を実装
20

22. データベースコアの 化
▶ データベースコアの
ASIC化 (ルネサス社
65nmプロセス)
▶ ストア領域として8K
SRAMセル
▶ 3次元積層チップと
して想定
▶ 今回はプロセスの検
証として簡易版を実
装
21

23. まとめ /

24. ▶ Key-value Storeの⾼速化⼿法
▶ FPGAによるKVS専⽤ハードウェアの設計
▶ カーネル内に実装したIn-Kernel KVS
▶ NOSQL向けデータベースキャッシュ階層
23

25. 24