1. Insight Technology, Inc.
Big Data Solution Division
Akira Ichikawa
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
1

2. Overview Presentation
InfinibandやSSDを含め、最近のハードウェアテクノロ
ジーは、日々進歩しています。
↓
最新のハードウェアテクノロジーの恩恵を SQLServer
2012のストレージとして使えるようになりました。
↓
最新のハードウェアを使い、どの程度 SQLServer のパ
フォーマンスがでるかを検証してみました。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
2

3. Agenda.
1. About Me…
2. Why SQLServer 2012 is Super hot !?
3. A new feature of the SMB 3.0
4. SMB Direct Performance.
5. What is Insight Qube ??
6. Configuration.
7. Future of SQL Server with Hardware Innovation.
Copyright © 2011 Insight
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
Technology, Inc. All
3

4. About me ...
2011.8 Insight Technology に入社。
Oracle, SQL Server のエンジニアとして
経験を活かしてコンサルを目指すも、、、
2012.4 ～ Bigdata に関わる業務をこなす
日々を送っています。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
4

5. Why SQLServer2012 is Super hot ??
・AlwaysOn (高可用性 ↑ )
・Column Store Index (DWH機能 ↑ )
・SMB3.0 をSQL2012からサポート・・・★
⇒ SMBファイルサーバをSQLServerのストレージ
として使えるため、高速にデータ転送可能。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
5

6. AlwaysOn
以前は、、可用性を向上させるためにWSFCやDBMなどの
技術でシステムを構築。
※WSFC：SANやiSCSIの共有ストレージが必要
※DBM：監視サーバが必要
2012では、AlwaysOnで可用性を向上。プライマリに対
して複数のセカンダリにレプリカが作成可能で、障害発生
時の自動的なF/O, バックアップ, 負荷分散などを実現。
※共有ストレージは不要で、ファイルサーバをクラスタ化
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
6

7. Column Store Index
Databaseのデータ(行データ)から、特定の列(カラム)だ
けを取り出し、圧縮してインデックスを作成する機能です。
DISTINCT や GROUP BYを使う集計などが高速化され、
夜間バッチ処理やDWHの集計処理で威力を発揮します。
※集計処理において、Column Store Index を利用する
と50倍~100倍の高速化を実現。(インデックス付きのス
キャンより高速化されている)
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
7

8. A new feature of the SMB 3.0
高速なストレージを使用可能にする
注目すべき新機能は、、、
・SMBダイレクト
・SMBマルチチャンネル
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
8

9. SMB Direct
SMB Direct (SMB over RDMA)は、
Windows Server 2012に実装されている新し
いストレージプロトコルで、RDMA機能をもつ
NetworkAdapter(HCA)をサポート。
Remote Direct Memory Access(RDMA)とは、独立したシ
ステムのメインメモリ間、システムとストレージ間のデータ転送
でOSを介さないため、高スループット、低レイテンシの通信を行
うことができる。
※CPU負荷も軽減
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
9

10. CPU Offload
Transport、NetworkレイヤをHCAのチップが
ハードウェアで処理します。
Reference by Mellanox Technologys
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
10

11. SMB Direct Performance
Ex) StorageにFlash Memory を使用した場合
Configuration MB/sec %CPU
RDMA (IOS:512KB) 5,792 ~ 4.8
LOCAL(IOS:512KB) 5,808 ~ 6.6
RDMAを使うことで、リモートディスクのスループットは、ロ
ーカルと比較して、99 % のスループットを達成。
参考：
OCZ Talos2 R (Read 550MB/s) * 14, PCIe 2.0 x8 2.21GB/s
Reference by Jose Barreto's Blog
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
11

12. SMB Multichannel
Multiple RDMA NICs 複数のパスがある場合、
SMB Client ネットワーク帯域幅を集約
NIC NIC 可能で自動的にフォールト
IB IB トレラントを確保。
Switch Switch
自動でRDMA機能を持つ
IB IB NICを認識して、RDMAを
使ってデータ転送を行う。
NIC NIC
IB IB
SMB Server
Reference by Microsoft TechEd 2012
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
12

13. Using SMB Direct & Multichannel
Without Multichannel
•No automatic failover
•Can’t use full bandwidth
–Only one NIC engaged
–RDMA capability not used
With Multichannel
•Automatic NIC failover
•Combined NIC bandwidth available
–Multiple NICs engaged
–Multiple RDMA connections
Reference by Jose Barreto's Blog
13

14. Next…Attempts to validate
今回は、Insight Qube というハードウェアを
SQLServerのベンチマーク検証に使いました。
※製品紹介ではなく、構成について説明致します。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
14

15. What is Insight Qube ??
SSD, SATA3, PCI Express, InfiniBand で
構成されたクラスター型ハードウェア。
～ Image ～
・SSD(Read:500MB/s) ⇒ SATA3(帯域:600MB/s)
・SSD * 6 (Read:3GB/s) ⇒ PCIe2.0x8(帯域:500MB/s * 8)
・Storage Node(3GB/S) ⇒ InfiniBand(帯域：QDR 4GB/s)
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
15

16. Configuration
SQLServer InfiniBand * 5
Fabric(40Gb/s)
InfiniBand
Switch(8 port)
Network adapter
Storage-1 Storage-2 Strage-3 HCA * 5
Storage
SSD
SSD SSD SSD(60GB) * 6
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
16

17. SQLServer Node
HCA(PCIe 2.0x8)
Intel Xeon L5640
@ 2.27 GHz
6 processors(*2)
Memory 4GB*12
DDR3-1333
Unbuffered ECC
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
17

18. Storage Node
Intel Xeon E5620
@ 2.40 GHz
4 processors
Memory 2GB * 2
DDR3-1333
Registered ECC
SATA3 x4 ⇔ SAS
HCA(PCIe 2.0x8)
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
18

19. Future of SQLServer with HW Innovation
Windows 2012の SMB3.0 の機能により、
Infiniband がサポートされ、SQL 2012 では、
データファイルをSMBの共有ファイル上に置ける
ようになり、高速なストレージへのアクセスが可
能になりました。
今後ハードウェアの進化に応じて、SQLServer
のパフォーマンス向上が期待できます。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
19

20. 続きは、marioさんにお願いします。
ご静聴有難うございました。
The next speaker is mario.
Groet !
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
20

21. ＳＱＬ Ｓｅｒｖｅｒ ２０１２ ｕｓｉｎｇ
ＳＭＢ3 ｆｉｌｅ ｓｈａｒｅｓ
By Mario Broodbakker, Insight
Technology Inc
21

22. whoami
• Joined Insight Technology in August 2011
mostly worked on SQL Server DMA.
Helped ITI acquiring Oracle DMA
techniques in 2003 already.
• Before that: over 10 years of performance
engineering work on Oracle and SQL
Server, working for Baan, Compaq and HP
in Holland and USA.
• Started DBA career 25 years ago..
22

23. Windows 2012 SMB
• New version of SMB (Server Message Block
protocol): SMB3.0
• New features that can be used for SQL
Server:
– SMB Direct: SMB using RDMA (see next slides)
– SMB Multichannel, use multiple NICs for
throughput and failover (demo, if time permits)
– VSS (volume snapshot service) for SMB file
shares, to enable backup/restore
– SMB transparent failover (not yet on IQube..)
– PowerShell scriptable
23

24. SMB Direct 1
• RDMA: Remote Direct Memory Access
– Low latency protocol
– Low CPU overhead
SQL
Server
user
SMB SMB
Client Server
NTFS kernel
RDMA RDMA
network network
RDMA RDMA
NIC NIC
24

25. SMB Direct 2
• Direct memory copy by NIC hardware (must
be RDMA capable)
– Bypass TCP/IP and OS stack: while NIC
hardware copies data, CPU can do other work
• Transport Offload
• Zero Copy
• Kernel Bypass
• Can be used over any RDMA capable NIC
like Infiniband, (10Gb) Ethernet.
• Different protocols: Infiniband, iWarp, RoCE
• SMB client decides when to use RDMA
25

26. Advantages SMB
• Ease of use: everybody ‘understands’ file
shares
• No configuration or specialist knowledge
necessary to manage
– Out-of-the-box (almost): SMB Multichannel,
automatic failover, auto detection
– DBA can use standard perfmon counters to
understand IO load
26

27. SQL Server on SMB
• Possible since SQL Server 2008R2
http://sqlcat.com/sqlcat/b/technicalnotes/archive/2010/05/07/top-10-hidden-gems-in-sql-2008-r2.aspx
– Create database and logfiles on shares:
Create Database tpch100g on
Primary (name=tpch100g,
filename='¥¥fs1¥disk1¥tpch100g.mdf',size=10mb,filegrowth=0),
FileGroup iqdemo ..etc..
– But needs Windows 2012 to use SMB Direct
– Make sure SQL Server (domain) account has
permissions on the file share, and folders.
– SQL Server 2012: System DB on file share: install
root directly on share
– SQL Server AlwaysOn Failover Cluster supported
http://www.sqlskills.com/blogs/jonathan/post/Failover-Clustering-without-a-SAN-SQL-Server-2012-and-SMB-for-Shared-Storage.aspx
27

28. Verify RDMA
• Why? SMB can choose to use RDMA or IP at
runtime
• Also not all inbox drivers (and firmware
combinations) work.
– Perfmon Counters: RDMA Activity, SMB Direct
Connection .(SMB Server/Client Shares)
– PowerShell: Get-NetAdapterRDMA, Get-
SmbServerNetworkInterface, Get-
SmbClientNetworkInterface
– netstat.exe -xan | ? {$_ -match “445”}
28

29. PowerShell commands
29

30. Mellanox toolbox
C:¥Program Files¥Mellanox¥MLNX_VPI¥IB¥Tools>ibstat
CA 'ibv_device0'
CA type:
Number of ports: 1
Firmware version: 0x2000903e8
Hardware version: 0xb0
Node GUID: 0x002590ffff2ed2bc
System image GUID: 0x002590ffff2ed2bf
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Real rate: 32.00 (QDR)
Base lid: 16
LMC: 0
SM lid: 15
Capability mask: 0x90580000
Port GUID: 0x002590ffff2ed2bd
30

31. Benchmarking your setup
• Verify if all components work as expected
– Use an IO generator tool like sqlio or iometer
– Understand that you are generating serious
amounts of IO.
Therefore use multiple processes and
multiple threads
– Start testing local IO, then move on to network
– Use big (>10GB) test files to get smooth
performance
– Get a TPC-H kit from tpc.org (and scripts from
full disclosure reports posted by vendors)
31

32. Things to think about..
• Extent allocation: defaults to 1 extent (64k)
per file (round robin) ‘proportional fill’
• Use –E to get 64 extent proportional fill
• Traceflags: -T834 (large pages), -T2301
(DSS optimizations
http://support.microsoft.com/kb/920093
• Minimal logging options for dataloading,
see also:
– Microsoft Data loading performance guide
http://msdn.microsoft.com/en-us/library/dd425070.aspx
32

33. Insight Qube test
disks2.5 GB/sec
SQL Server s
ib
4.2 GB/sec
Windows 2012 IB
Switch
6.5 GB/sec ib
IB card: 3.5 GB/sec
ib
PCI-E Gen2
x8 4 GB/sec
ib ib
33

34. Summary
• SMB, RDMA, Infiniband combination
scales very well, mostly limited by PCI bus
speeds
• Easy to understand and administer
• Know your system, benchmark your
components and system.. or
• Insight Qube can do it for you !
34

35. 3x SQLIO 128KB reads
35

36. DB Server Query from 3 SMB servers
36

37. SMB (file) Server 3
37

38. SQLIO test run against 1 SMB server
38

39. 無断転載を禁ず
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
株式会社インサイトテクノロジーは本書の内容に関していかなる保証もしません。また、本書の内容に関連したいかなる
損害についても責任を負いかねます。
本書で使用している製品やサービス名の名称は、各社の商標または登録商標です。
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
39