Современный ЦОД с точки зрения ИТ-архитектора.

Cisco Expo
2012

Современный ЦОД
с точки зрения ИТ-архитектора

Виктор Подкорытов
инженер-консультант Cisco
vpodkory@cisco.com
+380 44 3913600
© 2011 Cisco and/or its affiliates. All rights reserved. 1

Cisco’s Commitment to Data
Center


Сеть
•  Higher loads of East-West traffic types

•  Higher 10G and 40G switch density per RU

•  Denser Tier 2 switching layer

•  Flexible L2/L3 Boundary Placement

•  Redundancy from 1+1 to N+1: better HA and lower fate sharing

•  Migration to 40G Fabric

•  Early Integration of 100G north-south focused – DC edge

•  Selection of Rack network model: ToR to ToMR

•  Selection of Row network model: EoR to EoMR


Виртуализация Приложения

•  Hypervisors at Scale •  App logical isolation at scale
•  DVS orchestration and Integration •  App processing closer to the wire
•  Virtual Machine / bare metal mobility
•  Apps to handle unstructured data
•  Fabric & cross-fabric mobility
•  APIs for high performance & time
•  Segmentation at Scale sensitive ops

Сервера
•  CPU: SandyBridge

•  10G LOMs

•  Server Migration to 10G

•  Uplinks 10G or 40G

От 48xGE + 4x10G к 48x10G + 4x40G От 48x10G к 12, 24, 32x40G /слот
RU-коммутатор Horizontal
Cabling
EoR X-Connect Модульный
Main X-Connect коммутатор

Vertical
Cabling

Больше ToR на коммутаторы Агрегации
Меньше коммутаторов Агрегации
Серверная мощность значительно выше


  Серверная виртуализация и Data Center Row 1
функциональность (vMotion, Live
Migration,….) меняет множество
аспектов дизайна ЦОД
  Где сервер в настоящее время?
  Где порт доступа?
  Где должен существовать VLAN?
  Любой VLAN везде?
  Насколько Масштабируемый домен Data Center Row 2
L2?
  Как планировать ресурсы для гибко
меняющейся нагрузки? (в тч Питание,
Охлаждение…)
  Как планировать Политики(Security,
QoS,) для гибко меняющейся нагрузки?


Boxes Ports
2 64

6 48

60 48+4

3 Малых Блока c Ядром : 2880 серверных портов

Boxes Ports
0 XX

4
2 384
128

384 48+4
60

1 Большой Блок, лучше HA – 18,432 серверных портов


Moving to a fully virtualized Data Center, with Any to Any Connectivity


10/40/
100Gb
SAN LAN LAN/SAN ports
Масштабируемость

FCoE
Servers
x86
Unified

Nexus
7000

MDS
9500
Nexus
5500

40Gb 550Gb
Nexus
4000

Nexus
B22HP

MDS
9200
Nexus

2000

B22F

Nexus
1100

Nexus
3000
B22
Nexus
3548
Fujitsu
MDS
9100
200 HP
ns
Nexus
1000V

Cisco NX-OS: Единая операционная система от Гипервизора до Ядра ЦОД

Конвергентность Гранулированость Коммутация Расширение Фабрики Облачная
до уровня VM 10 GbE Мобильность


10/40/
100Gb


Nexus 3k/5k Access
UCS

10/40G
CRS-3 Catalyst 6500

100G 10/40G

Routing Core
Campus
100G Core

ASR 9000
SP Edge


M-Серия
•  Много-функциональное Ядро
Ядро •  До 240 Gb/слот (1/10/40/100GbE)
•  Большие Буфера и Таблицы (1M IPv4,
M2-Карты 128K MAC, 128K TCAM)
ЦОД и Кампус
LAN •  Сервисы OTV, MPLS, LISP*, FEX

F-Серия

•  До 480 Gb/слот (1/10 Gb SFP+, 10GT)
•  До 768x10Gb
Агрегация Агрегация
•  Агрегация Доступ (32K IPv4, 16K MAC)
Доступ Доступ
•  Сервисы FabricPath, FCoE, FEX

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15

VDC A VDC B

Layer-2 Protocols Layer-3 Protocols A Layer-2 Protocols Layer-3 Protocols
B
VLAN mgr UDLD OSPF GLBP VLAN mgr UDLD OSPF GLBP

STP CDP BGP HSRP
C B D STP CDP BGP HSRP

IGMP sn. 802.1X EIGRP VRRP IGMP sn. 802.1X EIGRP VRRP

LACP CTS PIM SNMP
D C A LACP CTS PIM SNMP

RIB RIB RIB RIB

Protocol Stack (IPv4 / IPv6 / L2) Protocol Stack (IPv4 / IPv6 / L2)

Infrastructure
Kernel
VDC (Virtual Device Context)
Изоляция программных компонент и
протоколов
Изоляция аппаратных ресурсов и данных
Полная изоляция доменов управления Sup 1,2 – 4+1 VDC
обеспечивает безопасность Sup2E – 8+1 VDC

L3

Ядро
VDC 1

Агрегация
VDC 2
Сервисы

VSS

VSS

  Совмещение Ядра/Агрегации/Доступа
без смешения функциональности
каждого уровня
  Управление политиками Безопасности, Доступ
QoS, BW .. VDC 3
  Изоляция уровней, Управления

2x Sup = Sup&Fabric
1+1 = ISSU

5x Fabric = N+1 Control Plane
= 550Gb/Slot

Data Plane

Обновление ПО без остановки сервиса!


Physical Topology Logical Topology

Virtual Port Channel
Traditional STP Based Network Nexus VPC Based Network

Blocked Links

L3 L3

L2 L2


Традиционное решение FEX Архитектура

Порт коммутатора на
LAN LAN вынесенной из шасси
Удаленного I/O карте

Switch 4-8x10Gb Eth
Switch

Switch FEX

Сетевые Уровни объединены, единая точка управления

2

2

#1

N55k
Cisco Nexus® 2000 FEX
+ M2/F2
= #48

Распределенный Коммутатор

Более 13000 заказчиков
10М+ Nexus 2k портов внедрены
23

STP-Free

Уровень

Агрегации

vPC

L3

L2

Nexus
2000

Fabric

Extender
vPC
Nexus

7k/5K

Servers
GE
10GE
10GE

Rack
Rack
Blade

Servers
Servers
Servers

Virtual
Modular

System

Rack-‐2
Rack-‐3
Rack-‐N


•  RU-, Блейд- сервера

•  100Mb, 1/10G, FCoE, Медь, Оптика FCoE!

•  Уровни 2/L3, Виртуализация

Nexus 5000/5500 Nexus 7000
Родительский
коммутатор

UCS
Унифицированный
уровень Доступа

Nexus Nexus Nexus Nexus Cisco
2000 2000 2000 2000 UCS

100M/1GE Rack 1/10GE/FCoE 1/10GE/FCoE 1/10GE/FCoE
Third Party 1/10G/FCoE
Mount Servers Rack Mount UCS Compute
Blade Servers UCS Compute
Servers Blade
Rack


Host OS

vNIC

vHBA
LAN SAN
vHBA

•  До 116 виртуальных
Host OS адаптеров.
•  Виртуальные адаптеры
VIC 1240/1280 vNIC подключены в vEth порты
N55k и UCS Фабрики.
•  Презентуются как аппаратные
vNIC адаптеры Eth и FC для OS.
OS Limits Max PCIe Int Max vNICs Max vHBAs
vHBA Win 2008 20 20 16
Классический Ethernet
RHEL 5.4 32 32 16
Классический FC
Унифицированая Фабрика ESX 26 16
Унифицированая Фабрика


Host OS

vNIC VM

P81E VIC vHBA
LAN SAN 1255 VIC VM
vHBA

Унификация
Кабелирования!
•  Используются
Host OS оставшиеся
VM виртуальные
VIC 1240/1280 vNIC интерфейсы для VM.

•  vmNIC подключается на
vNIC VM прямую в UCS Фабрику.

•  Интеграция с vCenter и
vHBA VMM.
Классический Ethernet
Классический FC
Унифицированая Фабрика •  Поддержка VMotion.
Унифицированая Фабрика


STP-Free

Приложение получает необходимые ресурсы без привязки к конкретному
шкафу

Fabric
Path

VLAN 1 VLAN 2 VLAN 3
Rack 1 Rack 2 Rack 3 VLAN 1, 2, 3

  Простой дизайн: Любой VLAN, в любом месте – Фабрика Ethernet
  Эффективность: Балансировка аплинков
  Сходимость: L3 протокол для L2
  Масштабируемость: наращивание агрегации, управление переподпиской


FabricPath
Топология VLAN 20 (Весь ЦОД)
‘0’

FabricPath FabricPath
Топология Топология
‘1’ ‘2’
VLAN 20 – Весь ЦОД VLAN 20 – Весь ЦОД
VLAN 30 – POD Локальный (и не уникальный) VLAN 30 – POD Локальный (и не уникальный)
VLAN 10 – POD Локальный (и уникальный) VLAN 40 – POD Локальный (и уникальный)

N55k F1
F2


Простота
Эффективность
Масштабируемость

Традиционные Масштабируемость Фабрика
топологии
+VPC FEX+VPC FABRIC PATH+VPC

L2 / L3

100 – 1,000 10,000 100,000
Серверных портов Серверных портов Серверных портов


North
Data
•  Работа поверх любого транспорта (IP, Fault Center Fault
MPLS) Domain Domain

•  Изоляция доменов сбоев
•  Независимость сайтов
•  Оптимальное использование полосы
•  Встроенная отказоустойчивость
LAN Extension
•  Встроенная защита от «петель»
•  Связь многих сайтов
•  Масштабируемость
Only 6 CLI
  VLANs, сайты, MACs commands

  ARP, broadcasts/floods
•  Простота настройки Fault Fault
Domain Domain
•  Легкость добавления сайтов South
Data
Center

MAC Table contains
MAC addresses reachable through
IP addresses
MAC TABLE
MAC TABLE
OTV Inter-Site Traffic VLAN MAC IF
VLAN MAC IF
100 MAC 1 Eth 2
1 100 MAC 1 IP A
100 MAC 2 Eth 1 5
Layer 2 100 MAC 2 IP A
Animated Slide !

Lookup 100 MAC 3 IP B Layer 2
Lookup 100 MAC 3 Eth 3
100 MAC 4 IP B
100 MAC 4 Eth 4
OTV OTV
MAC 2 MAC 4

External External
Eth 1 IP B Eth 4
IP A
Eth 2 Eth 3
MAC 1  MAC 3 IP A  IP B MAC 1  MACIP A  IP B
MAC 1  MAC 3 3
6
L3 L2
MAC 1  MAC 3
L2 L3 Core 4 MAC 1  MAC 3
2
3 Decap
Encap
MAC 3
MAC 1
West East

  No Pseudo-Wire state is maintained.
  The encapsulation is done based on a Layer 2 destination lookup.


FCoE Достоинства

  Меньше кабелей
  Транспорт фреймов FC
через Ethernet   FC и Ethernet на одном кабеле

  Поволяет FC работать   Меньше адаптеров
через сеть Ethernet без
  Меньше энергопотребление
потерь
  Совместимость с
существующими SAN
Ethernet
Трафик   Сохранение модели
Fibre управления FC
Channel   Сохранение всей логики FC


Nexus
7009,
7010,
7018

FCoE
–

New

Nexus
4000
Nexus
2232

FCoE,
iSCSI,
NAS

HP,
FS
FEX

Nexus
5548UP
Nexus
5596UP

FCoE
–

New

UCS
6248UP
UCS
6296UP

MDS
9506,
9509,
9513

Cisco NX-OS: Единая OS от Hypervisor , Server, Network, Storage Access


End-To-End FCoE
Host
Access
AggregaDon
Core
Storage

FCoE

N2232
N5XXX
(SW)

FCoE

N2232
N5XXX
(SW
or
NPV)
MDS95XX
(FC-‐SW)

FCoE

N2232
N5XXX
(SW
or
NPV)
N5XXX
(FC-‐SW)
MDS95XX
(FC-‐SW)

FCoE

N2232
N5XXX
(SW
or
NPV)
N70XX
(FC-‐SW)
MDS95XX
(FC-‐SW)

FCoE

N70XX
(FC-‐SW)

FCoE

N70XX
(FC-‐SW)
MDS95XX
(FC-‐SW)

FCoE

N70XX
(FC-‐SW)
N70XX
(FC-‐SW)


N70XX
(FC-‐SW)

By End of 2012 (non-exhaustive)
Host
Access
AggregaDon
Core
Storage

N4000
(FSB)
N70XX
(FC-‐SW)
FCoE

N2232
N70XX
(FC-‐SW)
FCoE

FC

N61XX/62XX
FI
N5XXX
(FC-‐SW)
FCoE

FC

N61XX/62XX
FI
N70XX
(FC-‐SW)
MDS95XX
(FC-‐SW)
FCoE

FC

N61XX/62XX
FI
MDS95XX
(FC-‐SW)
FCoE

FC

N61XX/62XX
FI
FCoE


•  Унифицированные Порты
 Небывалая гибкость – упрощение инфраструктуры

•  Полное, законченое решение от сервера до сторадж
 UCS: FCoE на «наружу»
 Nexus:
• F1, F2 карты
• FEX
• vPC на разделяемых линках Eth+FCoE
• До 30км FCoE на F2 картах, (До 3км N55k)
• 10Gb T – технически возможен с технологией 40нм
 MDS: FCoE карты 8х10Gb FCoE
•  40Gb FCoE: На горизонте

41
Presentation_ID © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
4
1

10GE Агрегация 40GE Агрегация

10GE 40GE

10GE Hosts 10GE Hosts

40G Links 10G Servers

Не нужна агрегации множества 10G каналов
Больше пропускная полоса
Низкие задержки <200 нсек (Биржи, HPC, WEB2.0)
Режим Быстрой коммутации cut-through
Line Rate L3, NAT
Меньшее кол-во устройств, меньше портов
40Гб RU коммутаторы против Модульных для 10Гб…
Идеальный Коммутатор для Агрегации - 96x40G
Идеальный Коммутатор для Доступа - 48x10G + 4x40G
Технологии VPC, FEX, FabricPath, FCoE


40G
N3016 – 16х 40Gb 40GE
Nexus 3016 – 16х 40Gb

40GE

N3064-X 48xSFP+ 1G/10G 4x40G N3064-T 48x10GT 4x40G
Почему некоторые предпочитают дизайны 40G?
Не нужна агрегации множества 10G каналов
Больше пропускная полоса
Низкие задержки
Режим Быстрой коммутации cut-through
Меньшее кол-во устройств,
40Гб RU коммутаторы против Модульных для 10Гб
Технологии VPC, FEX, FabricPath, FCoE для 40Gb? – ДА!

40G
6-port 40Gb Модуль
•  До 96х40G портов/шасси

•  40G QSFP+ Оптика:

•  40GBASE-SR4 (100m MMF)
•  40GBASE-CR4 (7 and 10m copper)
•  40GBASE-LR4 (10km SMF)
•  QSFP+ to 4x SFP+ Twinax Breakout cable

N7K-M206FQ-23L

96x40G / 4RU…
48х10Gb +4x40Gb 1RU…

Функциональность
 Line rate L2/L3  7-9W на порт
 40GE или 4 x10GE (патчкорд)   Layer 2 multipath (FabricPath и TRILL)
  FEX, FCoE, VNTag, NAT…


Физический ЦОД Виртуальный ЦОД #1...
Департамент A Департамент B
ASA
CSR 1000V
1000V VSG VSG
vWAAS

App
Servers Nav vPath
WAN Switches

vPath VXLAN Free
Nexus 1000V Essential

Multi-Hypervisor (VMware, Microsoft*, RedHat*, Citrix*)

Nexus 1000V VSG ASA 1000V vWAAS CSR 1000V
(Cloud Router)
•  Distributed switch •  VM-level •  Edge firewall, •  WAN •  WAN L3
controls VPN optimization gateway
•  NX-OS
consistency •  Zone-based FW •  Protocol •  Application •  Routing and
Inspection traffic VPN
6000+ Customers (Limited Availability)

© 2011 Cisco and/or its affiliates. All rights reserved.
* MSFT currently in beta; RedHat/Citrix announced 48

Функциональность
Гибкость •  Централизованный
•  До 18500 vEth/vFC Менеджмент
•  Сервисные профили •  Layer 2
•  Пулы МАС, WWWN, UUID… •  Layer 3*
•  Управление политиками •  FabricPath*
Масштабируемость •  A-FEX
•  До 640x 10G Серверных порта •  VM-FEX
•  160 Серверов на Блок UCS •  FCoE
•  UCS Central – управление •  FabricFailover
множеством UCS
•  Интеграция vCenter/VMM
Эффективность
•  10G 1-10м -Twinax Медь/Oптика
•  10G FET 100м Оптика

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 51

Унифицированный Менеджмент
Единая Унифицированная Система UCS
для блейд- и RU- серверов Manager

UCS Service Profile
Service Profile: HR_App1
VNIC1 Device Management
Unified
MAC: 08:00:69:02:01:2E
HR_WEB_VLAN (ID=50)
VNIC2
Network Policy
MAC: 08:00:69:02:01:2F
HR_DB_VLAN (ID=210)
HBA 1 and 2
WWN: 5080020000075740
Storage Policy
WWN: 5080020000075741
VSAN ID: 12
Boot Order: SAN
BIOS Settings:
Server Policy
Turbo On
C-Серия HyperThreading On
B-Серия
RU- Сервера Блейд Сервера

•  Тренд по трансформации к унифицированному менеджменту серверов.

•  Выгоды UCS Менеджер и Сервис Профайлов для RU-серверов

•  Новые Nexus 2k позволяют уменьшить стоимость и увеличить масштабируемость
подключения RU-серверов к Унифицированной Фабрике

Multi-UCS Manager
Унифицированный
Менеджмент для
множества Cisco UCS

Multi-UCS Manager
ЦОД 1 ЦОД 2 ЦОД 3
UCS Manager UCS Manager UCS Manager UCS Manager UCS Manager

•  Упрощает эксплуатацию, централизует инвентаризацию, обработку ошибок, логов, серверных
консолей UCS в нескольких ЦОД

•  Глобальные политики, сервисные профили и шаблоны

•  Основа для построения высокой доступности, восстановления от катастроф, мобильности
This is an upcoming product—Feature set for first release subject to change
•  Предоставление API для большого масштаба автоматизации

30 %
Less Cost
30
Faster
% 90 %
Less Time
Deploy 2x
Capacity
60 %
Less Cost
No Staff Increase


Thank you.
Заполните

Анкету!


Современный ЦОД с точки зрения ИТ-архитектора.

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Современный ЦОД с точки зрения ИТ-архитектора.

Semelhante a Современный ЦОД с точки зрения ИТ-архитектора. (20)

Mais de Cisco Russia

Mais de Cisco Russia (20)

Современный ЦОД с точки зрения ИТ-архитектора.