O documento descreve um projeto para evoluir a infraestrutura de experimentação do FIBRE utilizando virtualização e equipamentos whitebox de baixo custo. O objetivo é permitir a criação de switches virtuais sob demanda e melhorar o desempenho usando DPDK, removendo a dependência do FlowVisor. Os resultados iniciais mostraram melhorias no throughput e latência após tunning no OVS, porém a latência ainda precisa ser reduzida. Trabalhos futuros incluem testes com portas de 10Gbps e novas funcionalidades no OVS

1. FIBRE - Projeto de Elasticidade e
Evolução do Plano de Dados da
Infraestrutura de Experimentação
do FIBRE
Fernando Farias - UFPA
Marcos Schwarz - RNP
Campinas, Novembro 2016

2. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
2

3. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
3

4. Motivação
• FIBRE é hoje um dos principais Testbeds em
tecnologia de redes disponível na américa latina.
4

5. Motivação
• Para o FIBRE 2.0 essa evolução vem sendo uma das
prioridades, com o objetivo de vencer as limitações
observadas no projeto inicial.
5

6. Motivação
• Utilizar virtualização para permitir o maior número de
experimentos possíveis.
• Evoluir a infraestrutura e não depender de softwares
de terceiro para habilitar experimentos.
• Atualmente, o FIBRE utiliza o FlowVisor para permitir a
virtualização da infraestrutura.
• No entanto, o FlowVisor apresenta o série de problemas
em seu desenvolvimento
6

7. Motivação
7
Limitações do Modelo:
● Performance
Limitada
● Não possui suporte
a novas
funcionalidades
● Software
Descontinuado
● Não possui
sucessor para
versões do
OpenFlow 1.0

8. Motivação
• Diminuir os custos com equipamento e aumentar a
flexibilidade na evolução e adoção de novas
características
• Avaliar a utilização dos chamados whitebox,
equipamentos aberto, sem softwares e de custos
reduzidos.
• Além disso, avaliar também a atualização de
frameworks de para aceleração o plano de dados:
• Intel’s Data Plane Development Kit (DPDK)
• Aceleração do processamento de pacotes
• Utilização de nucleos para processamento de pacotes
8

9. Motivação
9
• Adaptar novas novas opções de protocolos
ao experimentador:
• Suporte a Openflow 1.3
• Switches em Containers
• Topologias Virtuais
• Alocação de Recurso
• Monitoramento
• Etc...

10. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
10

11. Objetivo
11
• O objetivo original do projeto era criar uma
nova forma de virtualização independente da
utilização do flowvisor:
• Utilizar Whitebox para criar datapaths virtual sob-
demanda.
• Usar DPDK para aperfeiçoar e acelerar o
processamento de pacotes
• Gerenciar o OpenVSwitch para criar instâncias
virtuais do datapath e oferecê-las ao
experimentador
• Viabilizar o uso do OpenFlow 1.3 em
experimentos

12. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
12

13. Solução Inicial
13
• A solução adotada muda a visão de slice criado pelo
flowvisor.
• Também remove a camada central responsável por
gerenciar e controlar os slices criados
• Nesta solução adotamos a ideia elasticidade para
switches, ou seja, habilita-se switches lógicos sob-
demanda de acordo com a necessidade do
experimentador
• Neste switch lógico é possível habilitar qualquer
versão do OpenFlow, tanto individual quanto
simultâneos

14. Solução Inicial
14
FIBRE 1.0 (Atual) FIBRE 2.0

15. Solução Inicial
15
• Prototipo 1.0

16. Equipamentos
16
• Server U L800
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ suporte AES-NI
Chipset: Intel® "Rangeley", suporte a virtualização VT-x;
Memória: 1x 8GB DDR3 on 240P DIMM socket (expansível até 16GB em 2x240P DDR3 DIMM)
Interfaces de Rede: 6x Intel Gigabit, sendo 2xIntel i210AT e 4xIntel 88E1543 (igb(4), netmap ready)
Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads
E/S Físico: Pad de 4 teclas & Display LCM de 2 linhas (scriptáveis sim!)
Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc,72Vdc
Consumo: 40W

17. Equipamentos
17
• Supermicro 5018A -TN7B
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ suporte AES-NI
Chipset: Intel® "Rangeley", suporte a virtualização VT-x;
Memória: 4x 240-pin DDR3 UDIMM slots Supports up to 64GB DDR3 ECC or non-ECC memory
Interfaces de Rede: Quad GbE LAN w/ Intel C2000 SoC i354 - 2 pairs LAN bypass, Single GbE LAN w/ Intel i210-
AT,Dual GbE LAN w/ Intel Ethernet controller i350-AM2- 1 pair LAN bypass
Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads
E/S Físico: -
Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc,72Vdc
Consumo: 200W Low Noise AC-DC power supply with PFC

18. Resultados parciais
18
• Protótipo 1.0
• Avaliação:
• Testar a performance do encaminhamento entre portas
utilizando openflow 1.0
• Ambiente:
• Hardware: ServerU Netmap L-800
• Software: Ubuntu 16.04, DPDK 2.2.0, OVS 2.5.0
• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET
• Metricas:
• Latencia
• Throughput
• Perda de pacote

19. Resultados parciais
19
• Protótipo 1.0

20. Resultados parciais
20
• Protótipo 1.0

21. Resultados parciais
21
• Protótipo 1.0

22. Resultados parciais
22
• Protótipo 1.0

23. Resultados parciais
24
• Por outro lado, o gráfico da latência permitiu
observar a quantidade necessária de processadores
para se manter um limite estável da latência, que
ficou nos valores entre 3000 a 4000 us
(microsegundos).
• Por fim, no gráfico da perda de pacote, observou que
a quantidade de processadores utilizada na afinidade
influência na perda de pacote, ou seja, a quantidade
processadores não pode ser o valor mínimo (1 Core)
e nem o valor máximo (8 Cores).
• Sendo o valor mínimo o mais problemático

24. Resultados parciais
23
• No Throughput observa-se que para pacote de 64
bytes de payload. Há uma limitação no
processamento
• Porém para pacote maiores que 64 bytes, a solução
consegue transmitir a line rate.
• No entanto, o comportamento da latência se mostra
preocupante, pois dependendo da quantidade de
processadores usados na afinidade (Processador <-
> Interface de rede), quase atinge o threshold de 10
ms.

25. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
25

26. Tunning
26
• Durante os testes do protótipo 1.0 observou-
se que quando se cria a afinidade
(processador <> interface) no DPDK o
processador, ele não fica totalmente a
interface DPDK.
• Observou que isso influenciou o desempenho
do OpenVSwitch.

27. Tunning
27

28. Tunning
28

29. Tunning
29

30. Tunning
30

31. Tunning
31

32. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Trabalhos Futuros
• Conclusões
32

33. Solução Revisada
33
• Protótipo 2.0
• Avaliação:
• Testar a performance do encaminhamento entre portas
utilizando openflow 1.0
• Ambiente:
• Hardware: ServerU Netmap L-800
• Software: Ubuntu 16.10, DPDK 16.07, OVS 2.6.0
• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET
• Metricas:
• Latencia
• Throughput
• Perda de pacote

34. Solução Revisada
34
• Protótipo 2.0

35. Solução Revisada
35
• Protótipo 2.0

36. Solução Revisada
36
• Protótipo 2.0

37. Solução Revisada
37
• Protótipo 2.0
• Case 1

38. Solução Revisada
38
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3

39. Solução Revisada
39
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3

40. Solução Revisada
40
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3

41. Solução Revisada
41
• Protótipo 2.0
• Case 2

42. Solução Revisada
42
• Protótipo 2.0
• Case 2

43. Solução Revisada
43
• Protótipo 2.0
• Case 2

44. Solução Revisada
44
• Protótipo 2.0
• Case 2

45. Solução Revisada
45
• Protótipo 2.0
• Case 3

46. Solução Revisada
46
• Protótipo 2.0
• Case 3

47. Solução Revisada
47
• Protótipo 2.0
• Case 3

48. Solução Revisada
48
• Protótipo 2.0
• Case 3

49. Solução de Transição
• As soluções apresentadas dependem do
desenvolvimento de novos Aggregate Managers
para serem integradas ao FIBRE 2.0.
• Para viabilizar o uso do equipamento Whitebox no
FIBRE atual (1.0) baseado em OCF, as primeiras
unidades sendo entregues às ilhas foram
configuradas com apenas uma bridge com OF 1.0.
• Mas poderão ser estendidas para as soluções
apresentadas acima para testes ou quando o FIBRE
2.0 estiver em operação.

50. Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Conclusões e Trabalhos Futuros
50

51. Conclusões
• O trabalho foi realizado em 6 meses utilizando dois
tipos de Hardwares
•Server U L800
•Supermicro 5018A-TN7B
•Os melhores resultados de desempenho foram
observados no L800. Ficou pendente validar se o
tunning no SuperMicro terá os mesmos resultados.
•A partir do Tunning utilizado o whitebox tem um
desempenho parecido com o do Switch Pronto.
•A latência melhorou bastante, mas ainda estamos
em busca de novos valores.

52. Trabalhos Futuros
•Avaliar desempenho com portas 10G
•Analisar aplicabilidade na FIBREnet
•Replicar solução em whitebox Broadcom
•Ex: Pica8 Pronto 3295/3297 com PicOS (4 portas)
•Explorar novas features do OVS quando
disponíveis
•Meters, QinQ nativo…
•Homologar novos equipamentos
•Maior densidade de portas
•Suporte a novas técnologias (HyperThreads, VT-d,
Hugepages1G)
•Validar solução no CentOS que possui mais opções
de tunning, ex: perfil network-latency

53. Trabalhos Futuros
Fabricante SuperMicro Nexcom Lanner Lanner
Modelo 5018D-FN8T NSA 5160 NCA-4010A NCA-5510A
Chipset Xeon® Brodwell D-
1500 Family
Xeon® Brodwell
D-1500 Family
Xeon® Brodwell
D-1500 Family
Xeon® Broadwell
E5-2600 v4
Cores 4 6 8 18
Threads 8 12 16 36
HyperThreads Sim Sim Sim Sim
1G HugePages Sim Sim Sim Sim
VT-d Sim Sim Sim Sim
Interfaces de
Rede
6x 1GbE RJ45
2x 10GE SFP+
1x PCIe 3.0 x8 slot:
- Up to 4x1GE
- Up to 2x10GE
- Up to 2x40GE
8x 1GbE RJ45
2x Expansion slot:
- Up to 16x 1GE
- Up to 8x 10GE
16x 1GbE RJ45
2x 10GbE SFP+
1x Expansion slot:
- Up to 8x1GE
- Up to 4x10GE
- Up to 2x40GE
4x Expansion slots:
- Up to 32x1GE
- Up to 16x10GE
- Up to 8x40GE
Price $761.35 $1,758.00 $1,560.00*

54. Thank you / Obrigado
Fernando Farias (UFPA)
Marcos Schwarz (RNP)
www.facebook.com/fibre.project
www.fibre.org.b
r