VIOPS08: ハードウェアオフロードの現在と今後 メラノックステクノロジーズジャパン株式会社 シニアシステムエンジニア 友永　和総 2013年7月19日(金曜日)10：00-18：00 VIOPS08 WORKSHOP Virtualized Infrastructures Workshop [08]

1. メラノックステクノロジーズジャパン株式会社
シニアシステムエンジニア 友永 和総 (@kz_tomo)
VIOPS08-2013年7月19日
ハードウェアオフロードの現在と今後

2. © 2013 Mellanox Technologies 2
 VPI (Virtual Protocol Interconnect) テクノロジー
• IB and Eth by single chip (ConnectX-3、SwitchX-2)
• IB and Eth by ports (ConnectX-3、SwitchX-2)
• IB/Eth Bridging(SwitchX-2)
 高スループット、低レイテンシー、超低消費電力 (Ultra Low Power)
 RDMA (Remote Direct Memory Access) 対応、高速データ転送
 VXLAN/NVGREオフロード(ConnectX-3Pro)
メラノックス社のコアテクノロジー : 高性能・高集積ASIC
3.0 x8
17mm
45mm
InfiniBand/Ethernet
InfiniBand/Ethernet
2x 56Gbps
Ethernet mode:
1/10/40/56GbE
144組のネットワークSerDesを搭載
36x 40/56GbE
64x 10GbE
48x 10GbE+12x 40/56GbE
Ethernet mode:
1/10/40/56GbE
• InfiniBand or Ethernet
• InfiniBand + Ethernet
• InfiniBand / Ethernet Bridging
36x 40GbE: 83W
64x 10GbE: 63W
(100% load power)2pt 40GbE
Typ power: 7.9W
3.0 x16
2x IB FDR(56Gbps)

3. © 2013 Mellanox Technologies 3
データスループットに関する現在のステータス
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1GbE
4G FC
IB QDR
4G SASx4
10GbE
16G FC
6G SASx4
40GbE
IB FDR
IB FDRx2
PCIe Gen2x8 PCIe Gen3x8 PCIe Gen3x16Intel QPI
4.8GT/s
Intel QPI
5.86GT/s
Intel QPI
6.4GT/s
Intel QPI
7.2GT/s
Intel QPI
8.0GT/s
DDR2-1066
DDR3-1333 DDR3-1600
GB/sec.
1GB/sec=1,000,000,000 Byte/sec
ストレージ：
- PCIe SSD ~3GB/s
- SAS SSD ~900MB/s
参考資料：http://blogs.technet.com/b/josebda/archive/2013/02/04/hyper-v-over-smb-performance-considerations.aspx

4. © 2013 Mellanox Technologies 4
SwitchX® VPI Technology Highlights
VPI per Port
Same box runs
InfiniBand AND Ethernet
VPI on Box
Same box runs
InfiniBand OR Ethernet
VPI Bridging
Same box bridges
InfiniBand AND Ethernet
Bridging
3
InfiniBand
2
Virtual Protocol Interconnect ® (VPI)
One Switch – Multiple Technologies
1
Ethernet InfiniBand Ethernet
• IPoIB / IPoE(通常のIP)ブリッジ機能
• ARPパケットを相互に通信(Proxy-ARP)
• フルワイヤレート(40GbE)でブリッジング
• IB PKey/VLAN Mapping

5. © 2013 Mellanox Technologies 5
2005 2008 20112002
1999, Salesforce
Mellanox Adapters Roadmap Timeline
2014
InfiniHost
10Gb/s InfiniBand
PCI-X
InfiniHost III Ex
20Gb/s InfiniBand
PCIe Gen1 x8
Connect-IB
56Gb/s InfiniBand
PCIe Gen3 x16
ConnectX
40Gb/s VPI (IB/ Eth)
PCIe Gen2 x8
ConnectX-2
40Gb/s VPI (IB/ Eth)
PCIe Gen2 x8
ConnectX-3
56Gb/s VPI (IB/ Eth)
PCIe Gen3 x8
NEW AdapterConnectX-3 Pro
56Gb/s VPI (IB/ Eth)
PCIe Gen3 x8
InfiniHost III Lx
20Gb/s InfiniBand
PCIe Gen1 x8

6. © 2013 Mellanox Technologies 6
 Virtual Extensible LAN (VXLAN) Address the need of scalable virtualized networks with:
• MAC in User Datagram Protocol (MAC-in-UDP) encapsulation technique
• 24-bit tenant id
 NVGRE
• MAC over GRE
• 24 bit tenant id
VXLAN and NVGRE
MAC GRE MACIP (v4/v6) ….

7. © 2013 Mellanox Technologies 7
0
1
2
3
4
5
6
7
8
9
10
NVGRE with ConnectX-3
Pro Offloads
NVGRE Without Offloads
Throughput (Gb/s)
NVGRE Initial Performance Results With ConnectX-3 Pro 10GbE
Higher
Is Better
65%
Higher Throughput for Less CPU Overhead
0
2
4
6
8
10
12
NVGRE with ConnectX-3
Pro Offloads
NVGRE Without Offloads
CPU Overhead (CPU Cycles per Byte)
Lower
Is Better
80%

8. © 2013 Mellanox Technologies 8
考察と今後の課題
 ネットワーク性能への要求増大
 仮想化統合率向上、コンテンツの大容量化ネットワーク帯域へのニーズ拡大
 スケールアウト型のシステムアーキテクチャの進展低レイテンシーなネットワークのニーズ拡大
 高度なパケットプロセッシングニーズの拡大
 オーバーレイネットワーク、OpenFlowによるスイッチング
 データスループットに比例してCPU負荷が増大する処理 --- データコピー、カプセル化、データの符号化／復号化、暗号計算、
RAIDパリティ計算、CRC計算／チェック、重複除外ハッシュ計算…
ハードウェアオフロード処理への期待の高まり。これまでも同じ課題はあったが、ネットワーク性能や要求機能が増大するに従
い一層顕著化。
 ネットワーク基本性能の確保
 RDMA(Remote Direct Memory Access)データ転送（CPUゼロコピー）の適用範囲拡大---ストレージ、サーバー間
 マルチコアCPU、NUMAアーキテクチャの効率的な活用、アプリケーションを意識したデータ配置---RSS、Flow Steering
 ネットワーク拡張機能（オーバーレイネットワーク、OpenFlow、プロトコル変換等）の盛り込み
 ネットワークハードウェアに拡張機能をハードウェアロジックとして実装---例：ConnectX-3Pro, Connect-IB
 ワイヤレートで処理するハードウェアロジックで機能を実現=ボトルネックを排除---例：SwitchX Eth/IB bridging

9. © 2013 Mellanox Technologies 9
Thank You