1. Развитие технологий
унифицированной сети
ЦОД
Скороходов Александр
Системный инженер – консультант
askorokh@cisco.com
+7(495)789-8615

2. Требования к сети ЦОД нового поколения
И их реализация в решениях Cisco
• Повышение производительности подключения серверов и
магистрали
10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath
• Консолидация ввода-вывода серверов
Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX
• Более простая и «плоская» архитектура сети ЦОД без опоры на
STP
Virtual Portchannel, FEX, TRILL/FabricPath
• Сетевая поддержка виртуализации
Nexus 1000V, VM-FEX
• Надёжная и производительная связь ЦОД
OTV, LISP

3. Консолидация транспорта
с помощью FCoE и DCB

4. Консолидация ввода-вывода:
Объединенный транспорт FCoE/IEEE DCB
Internet/
Storage RDMA/IPC LAN SAN
Intranet
Unified
LAN SAN IPC Fabric IPC
Сегодня
• Много портов ввода-вывода Используя FCoE/DCB
• Высокие расходы на оборудование и • Общий транспорт
эксплуатацию • Обеспечение совместимости

5. Fibre Channel over Ethernet (FCoE)
• Метод передачи фреймов FC по Ethernet
– Выглядит как FC для серверов и сети Ethernet
– Сохраняет текущую инфраструктуру
и управление FC
– Фрейм FC остается неизменным
• Может работать на стандартных Fibre
Channel
коммутаторах (с jumbo фреймами)
• Priority Flow Control обеспечивает отсутствие потерь
– Имитирует систему буферных кредитов FC
• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
Cisco первой представила основанный на стандартах
Весна 2008
коммутатор FCoE Cisco Nexus 5000

6. Требования FCoE к Ethernet транспорту
• 10Gbps+ Ethernet
– FC использует 1/2/4/8G
• Jumbo фреймы Ethernet
– Максимальный размер FC фрейма = 2112 байт
• Lossless Ethernet
– Соответствует поведению, обеспечиваемому в FC с
использованием B2B credits
Обычный Ethernet фрейм, ethertype = FCoE
Обычный фрейм FC
Header
Ethernet
Header
FC Payload
Header
CRC
FCoE
EOF
FC
FCS
Дополнительная информация

7. Стандартизация FCoE
T11 IEEE 802.1
FCoE
DCB
FC on
FC on Other
other
Network
network PFC ETS DCBX
Media
media
Lossless Priority Configuration
Ethernet Grouping Veritifcation
FC-BB-5
802.1Qbb 802.1Qaz 802.1Qaz
7

8. FCoE: консолидация на уровне доступа
• Первый шаг – «консолидация доступа» («Unified Wire»)
• Существенная экономия при сохранении существующего
ядра сетей Ethernet и Fibre Channel
SAN A SAN B
10GE
Backbone
VF порты
VN порты (CNA)

9. Консолидация на уровне доступа
Unified Fabric Converged Network
Adapter (CNA)
Коммутатор 10 Gigabit Адаптер 10GE с поддержкой
Ethernet с поддержкой Fibre Fibre Channel over Ethernet
Channel over Ethernet
Адаптер 10GE Adapter и
программная поддержка
FCoE

10. Converged Network Adapter
• Заменяет несколько адаптеров 10GE/FCoE
на сервере
• Выглядит для ОС/гипервизора
как отдельные адаптеры
Ethernet и Fibre Channel
• Консолидирует 10GE и FC
на едином интерфейсе / паре
интерфейсов 10GE/DCB/FCoE
• Минимум изменений в
существующей среде
• Вариант с использованием
микросхем от Qlogic или Emulex: 10GE FC
– Существующие драйверы
– Обеспечение совместимости
• Cisco VIC: виртуализация
ввода-вывода
PCIe Bus

11. FCoE: консолидация в масштабах сети
FCoE
Enhanced
Storage
§ Расширение консолидации Ethernet Fabric
ввода-вывода на
магистраль
§ Поддержка разделения VE
SAN фабрик для
отказоустойчивости
VE
§ Поддержка систем VF
хранения с подключением
VN
по DCB/FCoE
Enhanced Ethernet и FCoE

12. Продукты Cisco с поддержкой FCoE
Директорный класс
Фиксированная
конфигурация
Nexus 5596
MDS 9500
Nexus 7000
Nexus 5020
Nexus 5548
F1 32-port FCoE 8-port
Nexus 2232 Nexus 5010
Nexus 4000
NX-OS & DCNM

13. Nexus 5596UP & 5548UP Весна 2011
Новое поколение уровня доступа ЦОД
§ Коммутаторы ToR высокой плотности
(1RU / 2RU)
§ 10GE / 1GE / FCoE / 8G FC
Инновации
§ Универсальные порты
§ Поддержка модуля Преимущества
маршрутзации § Защита инвестиций!
§ Увеличенное число FEX (24/L2) § Продолжение семейства Nexus 5000,
§ FCoE Multi-hop использование NX-OS
§ Adapter-FEX (ноябрь 2011) § Низкая предсказуемая задержка
коммутации
§ Cisco FabricPath (ноябрь 2011)
§ VM-FEX (ноябрь 2011)

14. Nexus 7000 FCoE Лето 2011
Конвергентное решение директорного класса
§ Первый конвергентный коммутатор класса
«директора»
§ Самая выскопроизводительная
комутационная платформа для задач
хранения
32-Port F1 FCoE-
capable Module
Преимущества Применение
§ Соответствует требованиям высокой § Доступ
досутпности для критичных SAN
§ Агрегирование
§ Использование для iSCSI, NAS и FCoE
§ Ядро
§ Масштабируемость более 15Tbps,
готовность к 40G и 100G § Подключение СХД по FCoE
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

15. MDS 9000 8-портовый FCoE модуль
Сопряжение FC SAN с конвергентными сетями
Лето 2011
§ 8-портовый FCoE модуль
§ Поддержка в любом шасси
MDS 9500
Преимущества Применение
§ Защита инвестиций и продолжение § Интеграция конвергентных сетей с FC SAN
эволюции семейства MDS 9000
§ Связь конвергентных ЦОД на
§ Интероперабельность между значительные расстояния с
семействами MDS 9000 и Nexus platforms использованием FCIP
§ Использвание функций MDS 9500 § Доступ к FC SAN для Nexus 7000
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

16. FCoE на Fabric Extender
Лето 2010
Nexus 2232
§ «Виртуальная интерфейсная карта»
§ Настройка и управление на центральном коммутаторе
§ 32 серверных порта 10Gig/FCoE и 8 апинков 10Gig/FCoE к
«материнской» системе Nexus
§ Поддержка DCB/CEE, в том числе PFC
§ Поддерживается на Nexus 5000/5500 для Ethernet и FCoE
§ Сейчас поддерживается на Nexus 7k только для Ethernet
§ Для FCoE необходимо использование подключения к одной
«материнской» системе

17. Варианты построения
конвергентной сети

18. Традиционные сети
Выделенные LAN и SAN
• Полное разделение сетей
– Отдельные домены эксплуатации Native
– Неэффективное масштабирование FibreChannel
Ethernet SAN
• Ethernet – основная технология LAN
передачи данных
– Допускает потери
CORE
• Fibre Channel – стандарт для iSCSI FC FC
корпоративных SAN L3 A B
– Отсутвие потерь L3 L2
– Высокая доступность за счёт AGGREGATION
изоляции фабрик
• Увеличение числа интерфейсов
сервера
– Минимум 2xHBAs + 2xNICs !!
FC
Ethernet

19. Полная консолидация транспорта
Другая крайность
§ Единая сеть ЦОД
Ethernet and Storage traffic
§ Все соединения несут все виды EVERYWHERE
трафика
Протоколы передачи и Core
хранения данных
§ Максимальное сокращение L3 Aggregation
числа устройств и соединений L2
§ Уход от фабрик A/B Virtual Port-
Channel (VPC)
Единая фабрика с Access
резервированием сервисов

20. Ethernet SAN
Консолидация технологий
§ LAN и SAN используют те же элементы: коммутаторы, кабели,
адаптеры, трансиверы...
§ Полная изоляция построения и эксплуатации
§ Использование эволюции Ethernet (10Gà40Gà100G)
Native Ethernet LAN Fibre Channel over Ethernet
SAN
Core Fabric ‘A’ Fabric ‘B’
FCoE
L3 Aggregation Core
L2
Virtual Port-
Channel (VPC)
Access Edge
CNA
CNA
Ether-channel Multi-pathing

21. Консолидация на уровне доступа
• Единая СКС и топология доступа
• Подключение к существующим
SAN
– К FC сети или к FCoE по VE портам CORE
• Плавная миграция к FCoE FC
конвергентное сети iSCSI
• Сохранение изоляции SAN AGG
L3
фабрик L3 L2
• Обеспечение совместимости с
использованием NPV режима
Nexus5000
FC
FCoE
Shared Ethernet
Nexus2000
Access
DCB

22. Консолидация на уровне агрегирования
• Транспорт сети хранения через
высокопроизводительный
конвергентный коммутатор высокой
доступности
FCoE FC
• Аналог традиционных SAN топологий
CORE
«Edge-Core-Edge»
• Повышение производительности на iSCSI
уровне агрегирования AGG
L3
– Построение крупных FCoE сетей с сохранением L2
доступа к СХД с подключением по Fibre
Channel
Shared
• Сохранение изоляции для трафика Access
FC
FCoE
хранения Ethernet
DCB
– Выделенные FCoE соединения
– Выделенные Storage VDC на Nexus 7000

23. FCoE Multi-Hop
Подключение СХД по FCoE
Целесообразно ли подключение
СХД по FCoE targets к CORE
конвергентному коммутатору
агрегирования ?
Multiple VDCs FCoE Target
§ Различные подходы FCoE SAN
В SAN: СХД традиционно LAN Agg
подключаается к коммутаторам ядра LAN Core
В LAN: оконечное оборудование
традиционно не подключается к
уровню ядра/агргеирования
§ Влияющие факторы
Плотность портов
Разделение ролей устройств и
администрирование
§ Потенциально приемлемо для не
очень больших внедрений
§ В крупных внедрениях понадобятся
отдельные FCoE ‘SAN’ коммутаторы
для подключения СХД

24. Выделенное FCoE SAN ядро
• Унификация платформ для LAN
и SAN
• SAN ядро на базе
выскопроизводительных
FCoE iSCSI
CORE
Ethernet коммутаторов
• Использование экономики и L3
AGG
производительности Ethernet L3 L2
• Техническая и организационная
изоляция
FC
FCoE
Shared Ethernet
Access
DCB

25. Технология FabricPath для
масштабируемой сети ЦОД

26. Развитие архитектуры с NX-OS
Spanning-Tree vPC FabricPath
16
Switches
Активных Один Два 16
путей
Производитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/с
ность блока
Масштабируемость Layer 2
Виртуализация инфраструктуры и производительность

27. Потребность в L2MP
Spanning Tree превращает многосвязную сеть в дерево
• Нужно альтернативное решение,
позволяющее:
– Задействовать все соединения
– Наращивать производительность
путем увеличения числа связей
– Принципиально исключить
возможность бесконечных «петель»
– Обеспечить быструю и надежную
сходимость
• ...и всё это – для коммутации на
втором уровне!

28. TRILL (Transparent Interconnection of Lots of
Links)
• Стандарт, разрабатываемый IETF
• Свойства
– Построение топологии и таблиц коммутации с помощью IS-IS
– Оптимальная доставка фреймов
– Распределение нагрузки по равноценным путям
– Сохранение интероперабельности с существующими
протоколами и технологиями
• Подход, заменяющий Spanning Tree
– Устранение Spanning Tree на магистрали
• Масштабирование полосы, когда скорости соединений на разных
уровнях одинаковы или близки
• Сокращение задержки коммутации
• Аппаратная поддержка во всех коммутаторах Cisco с поддержкой
FabricPath

29. Cisco FabricPath: ключевые возможности
• Продолжение возможностей TRILL Лето 2010
• Маршрутизация на втором уровне с
использованием до 16 альтернативных
путей (ECMP)
• Заголовок FabricPath: иерархическая
адресация со встроенным
предотвращением «зацикливания» Up to 16Wa
L2 ECMP
• Выучивание MAC «по диалогам»: Cisco FabricPath
эффективное использование
аппаратных ресурсов
• Совместимость с «классическим»
Ethernet
• VPC+ обеспечивает VPC в L2MP сеть
• STP Boundary Termination
• Поддержка множественных топологий –
возможность Traffic Engineering

30. Преимущества FabricPath
Multi-Domain – Silos FabricPath – Any App, Anywhere!
Fabric
Web Servers App Servers New Apps Web Servers
App Servers
Silo 1 Silo 2 Silo 3 New Apps
• Создаёт сетевую «фабрику», работающую как один коммутатор →
разрушает «острова», делает возможной мобильность нагрузки
• Упрощение дизайна – меньше коммутаторов, ниже переподписка,
выше «горизонтальная» масштабируемость
• Опора на открытый протокол с важными усовершенствованями
• Упрощения взаимодействия между сетевои и серверной
«командами»

31. Cisco FabricPath делает возможными более
быстрые, простые и «плоские» сети ЦОД
• “Мы оценивали FabricPath с точки зрения его способности
повысить пропукную способность, обходить проблемы в сети
и упростить управление сетью. Во всех трёх областях
FabricPath достиг желаемого результата”
• “Коммутаторы передавали все трафик с нулевыми потерями
пакетов, подтверждая способность FabricPath распределять
нагрузку по 16 альтернативным соедиениям"
• “FabricPath сходится гораздо быстрее,чем Spanning Tree”
• “Нет сомнения, что он представляет собой существенный
прогресс в области сетевых технологий”
http://www.networkworld.com/reviews/2010/102510-cisco-fabricpath-test.html

32. Детали технологии
FabricPath

33. Интерфейсы FabricPath и Classic Ethernet
Интерфейсы Classic Ethernet (CE)
§ Подключаются к серверам и традиционным
сетевым устройствам → FabricPath interface
§ Получают/отправляют традиционные
→ CE interface
фреймы Ethernet
§ Участвуют в STP
§ Коммутация на основании MAC
FabricPath
Ethernet Ethernet FabricPath Header
STP
Интерфейсы FabricPath
§ Подключаются к другому устройству FabricPath
§ Получают/отправляют фреймы с заголовком
FabricPath
§ Нет Spanning Tree!!!
§ Нет MAC learning
§ Обмен топологической информацией с помощью ISIS
§ Коммутация на основании ‘Switch ID’

34. FabricPath и CE VLANы
• В FabricPath коммутаторе,
VLAN Mode
каждый VLAN является либо
CE VLAN (default) либо CE FabricPath
VLAN VLAN
FabricPath VLAN
• Только трафик в FabricPath M1 Ports
VLANах может передаваться F1 Ports F1 Ports F2 Ports
через FabricPath домен
CE mode CE mode CE mode
• Коммутация между M1 и F1
портами только для CE VLAN FP mode FP mode
n7k(config)# vlan 10
n7k(config-vlan)# mode ?
ce Classical Ethernet VLAN mode
F1 порт в FabricPath VLAN
fabricpath FabricPath VLAN mode может работать и в режиме
CE, и в режиме FabricPath
n7k(config-vlan)# mode

35. Принцип коммутации в FabricPath
DSID→20
DSID→20 → FabricPath interface
SSID→10
SSID→10
DMAC→B → CE interface
SMAC→A DMAC→B
Payload SMAC→A
S10 Payload S20
Ingress FabricPath Egress FabricPath
Switch Switch
Payload
DMAC→B SMAC→A
SMAC→A
Payload
FabricPath Core DMAC→B
DMAC→B
STP STP
Payload
SMAC→A
SMAC→A
Payload
DMAC→B
MAC A MAC B
• Входной FabricPath коммутатор определяет Switch ID выходного и добавляет заголовок FabricPath
• Switch ID выходного коммутатора используется для маршрутизации в ядре FabricPath
• Не нужно выучивание или простмотр No MAC адресов в ядре
• Выходной FabricPath коммутатор снимает заголовок FabricPath и передаёт фрейм в CE порт

36. Инкапсуляция FabricPath
16-байтный заголовок MAC-in-MAC
Classical Ethernet Frame DMAC SMAC 802.1Q Etype Payload CRC
Original CE Frame
Cisco FabricPath Outer
DA
Outer
SA
FP
Tag DMAC SMAC 802.1Q Etype Payload
CRC
(new)
Frame (48) (48) (32)
6 bits 1 1 2 bits 1 1 12 bits 8 bits 16 bits 16 bits 10 bits 6 bits
OOO/DL
RSVD
Endnode ID Endnode ID Sub
U/L
I/G
Switch ID Port ID Etype Ftag TTL
(5:0) (7:6) Switch ID
• Switch ID – уникальный идентификатор FabricPath коммутатора
• Sub-Switch ID – идентификатор устройства/хоста подлюченного по VPC+
• Port ID – идентификатор входного или выходного интерфейса
• Ftag (Forwarding tag) – идентификатор топологии и/или дерева
распространения группового трафика
• TTL - уменьшается на каждом шаге для предотвращения зацикливания

37. FabricPath ECMP
• При наличии нескольких альтернативных путей, выбор пути
обеспечивается хеш-функцией
• До 16 next-hop интерфейсов для каждого Switch ID получателя
• Масштабирование полосы до 16 логических интерфейсов, до 256
физических (с учётом Port Channel)
S1
S100
S16

38. Диалоговое выучивание MAC адресов
(conversational MAC Learning)
• Метод выучивания MAC адресов предназначенный для экономии
места в таблицах на пограничных коммутаторах FabricPath
– Коммутаторы ядра FabricPath вообще не выучивают MAC адреса
• Каждый коммутационный блок различает два типа MAC адресов:
– Локальный – MAC, подключенный к коммутационному блоку CE
портом
– Удалённый – MAC, подключенный к другому коммутатору или
коммутационному блоку
• Коммутационый блок выучивает удалённые MAC только если
между ним и локальным MAC возникает «диалог»
– Выучивание MAC не вызывается широковещательными пакетам
• Диалоговое выучивание разрешено во всех FabricPath VLANах

39. Диалоговое выучивание MAC адресов
(conversational MAC Learning)
FabricPath
MAC Table on S300
MAC IF/SID
B S200 (remote)
C e7/10 (local)
S300
FabricPath MAC C
S100
MAC Table on S100
MAC IF/SID
A e1/1 (local)
B S200 (remote)
FabricPath
FabricPath Core MAC Table on S200
MAC IF/SID
S200
A S100 (remote)
MAC A B e12/1(local)
C S300 (remote)
MAC B

40. Как это работает вместе – от хоста A к хосту B
(1) Broadcast ARP Request
Root for Root for
Multidestination Tree 1 Tree 2
S10 S20 S30 S40
Trees on Switch 10
Tree IF
DSID→FF
Ftag → 1 L1,L5,L9 Ftag→1
2 L9
SSID→100 DSID→FF
Ftag→1
DMAC→FF L5 L6 L7 L8
SSID→100
SMAC→A
Multidestination L1 L2 L3 L4 DMAC→FF
Payload L9 L10 L11 L12
Trees on Switch 100 SMAC→A
Tree IF Payload
Broadcast → 1 L1,L2,L3,L4 S100 S101
FabricPath S200
2 L4 Multidestination
Trees on Switch 200
FabricPath Tree IF Payload
MAC Table on S100 DMAC→FF
SMAC→A
Ftag → 1 L9 SMAC→A
MAC IF/SID
2 L9,L10,L11,L12 DMAC→FF
A e1/1 (local) Payload
MAC A MAC B
FabricPath
MAC Table on S200
MAC IF/SID
Don’t learn MACs in
flood frames
Learn MACs of directly-connected
devices unconditionally

41. Как это работает вместе – от хоста A к хосту B
(2) Unicast ARP Reply
Multidestination
S10 S20 S30 S40
Trees on Switch 10
Tree IF
Ftag → 1 L1,L5,L9
2 L9
DSID→MC1 DSID→MC1
Ftag→1 Ftag→1
L5 L6 L7 L8
SSID→200 SSID→200
Multidestination DMAC→A DMAC→A
L1 L2 L3 L4 L9 L10 L11 L12
Trees on Switch 100 SMAC→B SMAC→B
Tree IF Payload Payload
Ftag → 1 L1,L2,L3,L4 S100 S101
FabricPath S200
2 L4 Multidestination
Trees on Switch 200
FabricPath Tree IF DMAC→A
Payload
MAC Table on S100
SMAC→B
SMAC→B Unknown → 1 L9
MAC IF/SID
2 L9,L10,L11,L12 Payload
DMAC→A
A→ A e1/1 (local)
MAC A MAC B
B S200 (remote)
FabricPath
MAC Table on S200
MAC IF/SID
If DMAC is known, then A→
learn remote MAC B e12/2 (local)

42. Как это работает вместе – от хоста A к хосту B
(3) Unicast Data
FabricPath Routing
Table on S30 S10 S20 S30 S40
Switch IF
… …
S200 → S200 L11
DSID→200
DSID→200
Ftag→1
Ftag→1
SSID→100 L5 L6 L7 L8
SSID→100
DMAC→B
DMAC→B
FabricPath Routing L1 L2 L3 L4 L9 L10 L11 L12
SMAC→A
Table on S100 SMAC→A
Payload
Switch IF Hash Payload
S10 L1 S100 S101
FabricPath S200
S20 L2
FabricPath Routing
S30 L3 Table on S30
S40 L4 Switch IF Payload
DMAC→B
S101 L1, L2, L3, L4 … … SMAC→A
SMAC→A
… …
Payload S200 → S200 – DMAC→B
S200 → S200 L1, L2, L3, L4
MAC A MAC B
FabricPath
FabricPath MAC Table on S200
MAC Table on S100
MAC IF/SID
MAC IF/SID
A S100 (remote)
A e1/1 (local)
B→ B e12/2 (local)
B→ B S200 (remote)

43. S3 FabricPath
VPC+ для сопряжения с L1 L2
традиционными сетями F1
VPC+
F1
CE
S1 F1 F1 S2
• VPC+ обеспечивает PortChannel
подключения active/active к F1 F1
пограничным коммутаторам
FabricPath домена внешних не- po3
FabricPath устройст Physical Host A
– CE коммутатор, маршрутизатор,
сервер и т.д.
• VPC+ требует F1 модулей с
включенным FabricPath
– Peer-link и все подключения VPC Logical S3 Host A→S4→L1,L2
+ должнгы быть на F1 портах L1 L2
• VPC+ создаёт «виртуальный F1 F1
VPC+
FabricPath коммутатор» для
каждого устройства S1 F1 F1 S2
подключенного по VPC+-чтобы F1 F1
обеспечить балансировку
нагрузки в FabricPath домене
S4
Виртуальный “Switch 4” становится next-hop
коммутатором для хоста A в FabricPath домене
po3
Host A

44. Cisco FabricPath: пример использования
Масштабирование вычислительных кластеров
16 Chassis 12,288 10GE ports
Spine Switch
768 10GE FabricPath ports per system
16-port Etherchannel
16-way ECMP
FabricPath
32 Chassis 384 10GE FabricPath Ports
Edge Switch
Open I/O Slots for
connectivity
160 Tbps System Bandwidth
Преимущества FabricPath для HPC
Требования HPC § FabricPath образует производительное
«толстое дерево» (fat tree)
• Большое число
вычислительных узлов § Неблокируемый транспорт за счёт
FabricPath ECMP и агрегирования
• Минимальная «переподписка» портов (port-channel)
• Низкая задержка между § Сокращение числа транзитных узлов
узлами для снижения задержки

45. Использование FabricPath в корпоративном ЦОД
Альтернатива традиционной архитектуре с STP
• Существенное повышение производительности
• Сокращение числа устройств
• Повышение надёжности
• Упрощение эксплуатции
– меньше устройств
– проще настройка
Традиционная сеть со Spanning Tree Сеть на базе FabricPath
Blocked Links
Oversubscription 16:1
Fully Non-Blocking
2:1
FabricPath
4
Pods
8:1
64 Access Switches 8 Access Switches
2, 048 Servers
2, 048 Servers

46. Вопросы и Ответы

47. Спасибо!
Просим Вас заполнить анкеты.
Ваше мнение очень важно для нас!