Принципы работы измерительного оборудования для Ethernet, сложности, решения.

1. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Всё, что вы хотели знать о том,
Как работает измерительное
оборудование Ethernet
,но боялись спросить
1

2. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Цель
Рассказать про измерения и устройство
измерительного оборудования
2

3. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
План
● классификация измерений
● первичные и производные параметры
● архитектура оборудования
● измерение первичных параметров на
аппаратном уровне
● 10M/100М/1G/10G/100G - что меняется?
3

4. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
По назначению
● паспортизация, SLA
● troubleshooting
● ввод в эксплуатацию, Turn Up Testing
● демаркация
● мониторинг
4

5. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
По времени выполнения
● Краткосрочные - подключился, измерил,
отключился
● Периодические - подключился, периодически
измеряем
● Мониторинг - постоянные 365/7/24
5

6. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
По топологии
● Двусторонние измерения
● Односторонние измерения
6
Измеритель Шлейф
Измеритель
Сеть
Шлейф/
Измеритель
Трафик
Управление Сеть

7. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
По уровням
● L1 - BERT, Рефлектометрия, skew, комм. пар
● L2 - RFC2544, OAM, Шлейф
● IP/UDP - RFC2544
● UDP - Y.1564, TWAMP, OWAMP
● UDP/TCP - iperf
● Application layer - RTP/RTCP
Ну и куда же без ping и traceroute?
7

8. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
L1, Физика
● медная рефлектометрия: расстояние до
обрыва, замыкания
● оптическая рефлектометрия: обрывы, сварки,
соединения, потери мощности
● BERT (bit error rate test)
● skew - временная дистанция между lane’ами или
витыми парами
● коммутация lane’ов и витых пар
8

9. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
L2: MAC
● RFC2544 - нагрузочное тестирование
● OAM - управляемый шлейф для тестирования
● BERT - ПСП упаковывается в Ethernet-фрейм
9
● Коммутаторы отбрасывают битые
пакеты
● Далеко не все коммутаторы
выдерживают пиковые нагрузки
● Есть оборудование, которое имеет
L2 стык, а за ним идёт другая среда
(РРЛС, TDM)

10. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
L3/L4 - IP/UDP
● RFC2544 - нагрузочное тестирование
● Y.1564 - тестирование сервисов на SLA
● BERT - ПСП упаковывается в IP/UDP payload
● TWAMP/OWAMP - определяет формат
управления и тестового трафика
10

11. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Шлейф, он же loopback
● “отражает” трафик
● меняет поля местами
● ведёт статистику
● может измерять задержку (OWAMP)
● работает в паре с тестером
● может дифференцировать трафик
● управляется, как правило, дистанционно
11

12. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Тестовые пакеты
● Со специальной сигнатурой
● С заданным портом
● С псевдо-случайным содержимым
● C фиксированным содержимым
● Фиксированного размера
● Случайного размера
12

13. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Нагрузка
● равномерная
● нарастающая
● burst-ная
13

14. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Информационная скорость
inf_rate = line_rate * (L2_frame_size - overhead_size ) / ( L2_frame_size + IFG ) (1)
IFG = 20 Байт
14
Уровень overhead_size
L2 0 байт
L3 14 байт
L4 14 + 20 байт

15. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как работает BERT?
15
Генератор
ПСП
канал Приёмник
ПСП
...01101010100... ...01101110100...
+
+
=

16. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как работает RFC2544
● Throughput
o ищет ту нагрузку, на которой не теряются пакеты
● Latency
o измеряет задержку по кадрам выборочно
● Frame Loss
o промеряет зависимость потерь от нагрузки
● Back-To-Back
o измеряет длительность работы при заданной
нагрузке
16

17. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как работает Y.1564
● Проверка конфигурации
o проверяет корректность настройки сервисов
● Тест производительности, одновременно для
всех сервисов:
o измеряет гарантированную проп. способность
o измеряет, на сколько она может быть превышена
o задержку
o джиттер
17

18. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Y.1564 vs RFC2544: Fight!
18
Y.1564 RFC2544
Измерение нескольких
параметров
Параллельно Последовательно
Длительность Меньше Больше
Вероятность ошибки при
настройке
Исключается тестом
конфигурации
не исключена
Классификация теста SLA Benchmarking
Джиттер да нет
Задержка да, по всем пакетам! да, по выборочным
пакетам
Пропускная способность по факту по отсутствию потерь

19. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
ХВАТИТ ТЕОРИИ!
19

20. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
На чём “держатся” все измерения?
● Генерация пакетов с заданной нагрузкой
● Приём и подсчёт пакетов
● Задержка
● Джиттер
● Битовые ошибки
20
Это первичные
параметры!

21. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Что влияет на точность?
● Буферизация
o создаётся burst’ность, увеличивается задержка
● Часы
o увеличивается задержка, джиттер
● Скорость обработки
o могут быть потери, burst’ность, задержка
● scheduling
o может быть неточная нагрузка
21

22. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Архитектура
22
CPU/MCU FPGA Transceiver PHY Cable
third-partythird-partyIntellectual
property
Intellectual
Property,
Open Source

23. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Что уже готово, а что нужно сделать?
● “из коробки” нам достаются:
o трансивер
o трансформаторы
o SERDES
● Всё остальное ручками:
o MAC-контроллер
o Генератор
o Анализатор
o Иногда PTP
o плюс всё железо (PCB, корпус, etc…)
23
MAC
Трансивер
Генератор Анализатор
PTP
PTP

24. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как измеряется нагрузка
24
Генератор
пакета
size = x
Счётчик
x + IFG
● Вычисляется IFG по формуле 1 (см. 14 слайд)
● Планировщик считает байты
MAC
● Каждый x+IFG байт генератору даётся строб “огонь!”
● Пакет уходит в мак-контроллер и далее - в среду и сеть
Метод даёт абсолютную
точность!

25. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как измеряется 2-way задержка
● Тактовый генератор отсчитывает время
● “снимаются” показания и попадают в пакет
● На приёме достаются из пакета и сравниваются с
показаниями
25
Генератор
пакета
MAC
Сеть
Приёмник
пакета

26. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как измеряется 1-way задержка
● нужна точная синхронизация времени (PTP/NTP)
● PTP: высокие требования к сети и к измерительному оборудованию
26
Генератор
пакета
MAC
Приёмник
пакета
MAC
PTP
Master

27. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Как измеряется джиттер
● относительная вариация задержки = d(i) - d(i-1)
● абсолютная вариация задержки = d(i) - d(0)
● алгоритм не требует синхронизации времени!
27
Должно
быть
T = const
real life
T = variable
t
t

28. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Уточняем архитектуру
28
CPU/MCU FPGA Transceiver PHY Cable
third-partythird-partyIntellectual
property
Intellectual
Property,
Open Source
рефлектометрия,
skew, пары
линк,
синхронизация,
auto-negotiation
Первичные
параметры,
передача и
приём
пакетов
RFC2544
Y.1564
BERT
UI/GUI/CLI

29. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Разные скорости (10M-100G)
Меняется:
● тактовая частота
● время на обработку
● разрядность
Неизменно:
● точность нагрузки
29

30. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Таблица для разных linerate
30
10M 100M 1G 10G 100G
Тактовая
частота
(внутри FPGA)
125 МГц 125 МГц 125 МГц 156.25 МГц 315 МГц
Разрядность
(FPGA)
8 бит 8 бит 8 бит 32 бит 512 бит
Тактовая частота
(трансивер)
2.5 МГц 25 МГц 125 МГц 4 x 3.125
ГГц
10 x 10.3125
ГГц
Время прихода
пакета, минимум
67 мкс 6.72 мкс 672 нс 67.2 нс 6.72 нс

31. Курочкин Павел, НТЦ Метротек специально для linkmeup.ru2014
Ссылки
● http://wiki.metrotek.spb.ru/wiki/BERT_и_пакетные_сети
● http://metrotek.spb.ru/y1564.html -- сравнение Y.1564 и RFC2544
● https://www.ietf.org/rfc/rfc2544.txt -- RFC2544 в оригинале
● https://www.itu.int/rec/T-REC-Y.1564/en -- рекомендация Y.1564
31