Сетевые аномалии – рано или поздно с ними сталкиваются все, кто так или иначе связан с созданием и эксплуатацией сетевых сервисов. Природа сетевых аномалий и их проявления могут значительно варьироваться: потери пакетов, увеличение задержек, разрывы TCP-соединений. Но вне зависимости от своей природы сетевые аномалии требуют корректной и зачастую крайне оперативной диагностики. В рамках доклада будут рассмотрены стандартные утилиты, такие как ping, traceroute, mtr, hping, а также области их применения. Самым значительным ограничением при использовании данных утилит является невозможность определения обратного пути пакета, что может значительно усложнить диагностику. Также в докладе будут рассмотрены активные методы диагностики сетевых аномалий (Looking glass, RIPE Atlas, NLNOG RING, PlanetLab) и разработанный командой Qrator механизм определения обратного маршрута от любой заданной сети с использованием математического моделирования.

1. Сетевая
диагностика:
новый взгляд
сквозь старые
щели
Евгений Усков
Qrator Labs

2. Постановка задачи

3. Кто виноват?
Проблемы в самом
приложении
(frontend/backend)
Причина

4. Кто виноват?
Проблемы в самом
приложении
(frontend/backend)
Сетевые аномалии
➢ большие задержки
➢ потери пакетов
➢ разрывы TCP-соединений
Причина

5. Кто виноват?
Проблемы в самом
приложении
(frontend/backend)
Сетевые аномалии
➢ большие задержки
➢ потери пакетов
➢ разрывы TCP-соединений
Причина

6. Первая помощь: ping
Отправляем ICMP Echo Request …
… получаем ICMP Echo Reply

7. Первая помощь: ping
Отправляем ICMP Echo Request …
… получаем ICMP Echo Reply
… или не получаем

8. Первая помощь: hping
ICMP-пакеты часто фильтруются
Можно попробовать другие протоколы:
hping ya.ru -1 ICMP
hping ya.ru -S -p 80 TCP SYN
hping ya.ru -1 -a 1.2.3.4 указать 1.2.3.4 в
качестве source адреса

9. traceroute
Построение маршрута до заданного хоста:
➢
последовательно отправляем пакеты с TTL = 1, 2, …
➢
принимаем ICMP TTL Exceed от промежуточных узлов
SRC R1 R1 DST
TTL=1 TTL=2 TTL=3
TTL Exceed
TTL Exceed
Response
Может использовать различные протоколы:
ICMP, UDP, TCP (tcptraceroute)

10. Лучше: mtr
Трассировка в реальном времени!
Преимущества traceroute/mtr:
➢
сразу строит полный маршрут
➢
показывает задержки и потери пакетов
➢
сразу видно проблемный участок

11. Лучше: mtr
Трассировка в реальном времени!
Преимущества traceroute/mtr:
➢
сразу строит полный маршрут
➢
показывает задержки и потери пакетов
➢
сразу видно проблемный участок
Однако так ли все просто?

12. Диагностика 1
Задача: есть ли проблемы на данном участке маршрута?
Host Loss%
...
3. te1-1.ar2.DCA3.gblx.net 0.0%
4. te1-2-10g.ar3.DCA3.gblx.net 0.0%
5. sl-st21-ash-8-0-0.sprintlink.net 87.9%
6. 144.232.20.149 0.0%
7. sl-bb20-dc-15-0-0.sprintlink.net 0.0%

13. Диагностика 1
Задача: есть ли проблемы на данном участке маршрута?
Host Loss%
...
3. te1-1.ar2.DCA3.gblx.net 0.0%
4. te1-2-10g.ar3.DCA3.gblx.net 0.0%
5. sl-st21-ash-8-0-0.sprintlink.net 87.9%
6. 144.232.20.149 0.0%
7. sl-bb20-dc-15-0-0.sprintlink.net 0.0%
Нет! Это всего-лишь деприоритезация!

14. Диагностика 2
Задача: определить проблемный стык
Host Loss%
...
3. te1-1.ar2.DCA3.gblx.net 0.0%
4. te1-2-10g.ar3.DCA3.gblx.net 0.0%
5. sl-st21-ash-8-0-0.sprintlink.net 70.9%
6. 144.232.20.149 72.3%
7. sl-bb20-dc-15-0-0.sprintlink.net 72.8%

15. Диагностика 2
Задача: определить проблемный стык
Host Loss%
...
3. te1-1.ar2.DCA3.gblx.net 0.0%
4. te1-2-10g.ar3.DCA3.gblx.net 0.0%
5. sl-st21-ash-8-0-0.sprintlink.net 70.9%
6. 144.232.20.149 72.3%
7. sl-bb20-dc-15-0-0.sprintlink.net 72.8%
Типичный ответ: GBLX - Sprint

16. Диагностика 2
Типичный ответ: GBLX – Sprint
Правильный ответ:

17. Диагностика 2
Типичный ответ: GBLX – Sprint
Правильный ответ:
Где может быть проблема
? ?
?

18. BGP
Автономная система (AS) — система IP-сетей и
маршрутизаторов, управляемых одним или несколькими
операторами, имеющими единую политику маршрутизации
с Интернетом
AS2 AS1
AS3
AS4

19. BGP
AS2 AS1
AS3
AS4
Протокол BGP:
➢
автономные системы обмениваются информацией о
доступности сетей
➢
на основе полученной информации принимается
решение о маршрутизации

20. BGP
Чем определяется принимаемое решение?

21. BGP
Чем определяется принимаемое решение?

22. BGP
Процент асимметричных путей для некоторых АС
MTS (8359) 52.9%
ReTN (9002) 31.8%
TATA (6453) 31.1%
Level3 (3356) 27.5%
Экономические
отношения
не симметричны
Пути также
не симметричны

23. Обратный путь
Задача: определить обратный путь
➢
ping + Record Route
➢
Looking Glasses
➢
RIPE Atlas
➢
NLNOG Ring
➢
Planetlab
➢
Reverse Looking Glass (Qrator Radar)

24. Снова ping ...
… с опцией Record Route!
ping -R R4
1. R1
2. R2
3. R4
4. R4
5. R3
6. R1
R1
R2
R4
R3

25. Снова ping ...
… с опцией Record Route!
ping -R R4
1. R1
2. R2
3. R4
4. R4
5. R3
6. R1
R1
R2
R4
R3
Обратный путь

26. Record Route
Pros:
➢
полнота: можно отправить пакет любому хосту
Cons:
➢
можно сохранить только 9 адресов ...
➢
… путь в одну сторону обычно содержит от 8
до 30 хопов
➢
данные часто далеки от идеала

27. Looking glass
Есть у многих операторов
Типичный LG позволяет запускать:
➢
ping
➢
traceroute
➢
show BGP route

28. Looking glass
Какой будет путь из Мегафона до msu.ru?

29. Looking glass
Какой будет путь из Мегафона до msu.ru?
188.44.32.0/19 (2 entries, 1 announced)
*BGP Preference: 170/-281
...
Local AS: 31133 Peer AS: 3267
...
AS path: 3267 2848 I
AS path: Recorded
...

30. RIPE Atlas

31. RIPE Atlas
Pros:
➢
Хорошее покрытие:
➢
>8000 точек мониторинга
➢
почти 3000 IPv4 АС, около 1000 IPv6 АС
➢
172 страны
➢
чтобы получить доступ, достаточно установить точку
мониторинга
➢
наличие API
Cons:
➢
ограниченный набор
запросов: ping, traceroute,
DNS, NTP, SSL
➢
каждый запрос тратит
credits

32. RIPE Atlas
Визуализация инцидента с AMS-IX:

33. NLNOG Ring
Pros:
➢
(почти) произвольные запросы
➢
Looking Glass для нескольких узлов
Cons:
➢
для получения доступа
нужно установить
полноценный узел
➢
покрытие: 366 узлов, 326 АС,
48 стран

34. Planetlab

35. Planetlab
Особенности:
➢
похож на NLNOG Ring
➢
есть платный доступ
➢
покрытие: 1336 узлов, около 250 АС

36. Активная диагностика
Позволяет получить полноценный обратный путь …
… но только для некоторых АС
Недостатки:
➢
недостаточная полнота
➢
сложность установки
Как быть, если для АС нет Looking Glass и она
не входит в покрытие описанных ранее
средств?

37. Reverse LG (Qrator)
Что умеет:
➢
определять обратный путь от произвольной АС
➢
определять альтернативные пути
В основе – математическая модель логических отношений
между АС

38. Reverse LG (Qrator)
Пример: определение путей от AS8331 до AS-QRATOR
(AS197068):
Active Paths:
197068 x1 9002 x1 8331
Alternative Paths:
197068 x1 9002 x1 12714 x1 8331
197068 x1 9002 x1 42632 x1 8331
...

39. Reverse LG (Qrator)
Пример: определение путей от TeliaSonera (AS1299) до AS-
QRATOR (AS197068):

40. Reverse LG (Qrator)
Пример: определение путей от TeliaSonera (AS1299) до AS-
QRATOR (AS197068):
Active Paths:
197068 x2 6453 x1 1299
197068 x2 6461 x1 1299
197068 x1 9002 x1 2914 x1 1299
197068 x1 20485 x1 3549 x1 1299
197068 x1 20485 x1 6453 x1 1299
197068 x1 50304 x1 174 x1 1299
Alternative Paths:
197068 x2 2828 x1 1299

41. Reverse LG (Qrator)
Позволяет определить:
➢
обратный путь от произвольной АС
➢
альтернативные пути
Для получения доступа необходимо:
➢
подтвердить доступ к своей АС
➢
установить BGP-сессию с AS-QRATOR

42. Спасибо!
Вопросы?