HighLoad++ 2013

1. Распределенная файловая
система NDFS и базирующаяся
на ней Компьютерная
платформа Nutanix
Максим Шапошников

2. 1990
2005
Будущее
Эволюция дата-центров
Эффективность

3. Google изменил все в ранних
2000
Physical transforms
to virtual
Converged architecture
Services delivered via software
Commodity hardware
alters economics
Традиционные (ранняя Yahoo, Altavista)
Сервера, коммутаторы, SAN, NAS
Модульные (Google, Amazon, Facebook)
Стандартное оборудование, Map/Reduce, NoSQL

4. Google File System
• Масштабируемость. Датацентры – как кубики лего.
• Производительность. Скорость ответа на запросы миллисекунды.
• Управляемость. Простые, идентичные компоненты, для легкости управления в любом
масштабе.
• Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.

5. RAID надежен?
MythBusters могли бы
возразить ;)
• RAID6 практически гарантирует потерю данных в единой рейд-группе размером
>500TB менее чем за год (вероятность 99.999%)
• MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя
• Современные СХД могут восстанавливаться после сбоев дисков сутками и даже
неделями, подъем из бэкапа – еще дольше
• Отказ двух контроллеров в большинстве случаев – потеря данных или
долговременный отказ в обслуживании

6. NDFS: Задачи и их решение
•
Создать ФС, подобную GFS, но спроектированную для общих задач /
виртуализацию
Создана NDFS, работающая «поверх» KVM, vmWare, HyperV
•
Предложить распределенную ФС на недорогом, стандарном X86
оборудовании высокой плотности размещения
Поместили в 2 юнита сверхбыструю СХД + 4 «сервера»
•
Предоставить разделяемый доступ к датастору для всего кластера через
стандартные протоколы
NDFS способна работать через NFS, iSCSI, SMB3
Решить проблему split-brain
Используем paxos, наиболее продвинутый алгоритм на
сегодняшний день
•

7. NDFS: Задачи и их решение
•
Решить множество проблем cтандартных IT инфраструктур
Увеличили скорость ввода в эксплуатацию до минут, уменьшили
стоимость и сложность, понизили энергопотребление, требуемое
охлаждение, стойко-места
•
Предоставить реальную масштабируемость – от маленьких до очень
больших проектов
NDFS не имеет центральных точек отказа, использует NoSQL решения
для работы с метаданными, масштабируется от 3-х узлов и не имеет
теоритических лимитов расширения
•
Не использовать RAID ввиду устарелости, медленности и ненадежности
Используется технология «размазывания данных» (dispersed data)

8. Кстати, нужна ли
виртуализация?
(«у нас много денег на железо»)
• Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную
конфигруацию под конкретные задачи (или тратить $$$)
• Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память
лишней не бывает)
• Переезд сервисов на другое «железо» - трагикомедия
• Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)!
• «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут
кардинально измениться
• Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в
сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов
• Множество точек управления, сложности развертывания ОС и ПО
• Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется
на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды
• Изоляция сервисов – условна, безопаснее разносить аппаратно
• В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач,
вплоть до смешения разработки и продакшена

9. Новое поколение ДЦ?
Универсальная платформа для гибридных облаков
Гибкое управление нагрузками
Общий интерфейс управления
Управление данными ориентированное на виртуальные машины

10. Как оно
работает?

11. Distributed File System (NDFS)
Распределенная Файловая Система
Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной
распределенной файловой системой, изначально разработанной для целей виртуализации.
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

12. Distributed File System (NDFS)
Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

13. Distributed File System (NDFS)
Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

14. Distributed File System (NDFS)
Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

15. Distributed File System (NDFS)
Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

16. Distributed File System (NDFS)
Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

17. Distributed File System (NDFS)
Резервирование данных в кластере
VM
ABC
Контроллерная VM
данные
Гипервизор
VM
данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор

18. Distributed File System (NDFS)
Как работает высокая доступность (HA)?
VM
данные
ABC
VM
VM
ABC
данные данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор
Гипервизор

19. Distributed File System (NDFS)
Как работает миграция VM?
VM
данные
ABC
VM
данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор
Гипервизор

20. Distributed File System (NDFS)
Оптимизация размещения данных
Гостевая
Гостевая
VM
Гостевая
VM
Гостевая
VM
VM
cVM
NFS датастор
Гипервизор
Горячие данные
SATA
SSD
SATA
SSD
HDD
HDD
HDD
HDD
Холодные данные
•
•
•
Данные попадают на SSD
Передвигаются на более медленные диски «Куратором»
Поднимаются обратно на SSD в зависимости от количества и частоты обращений

21. Distributed File System (NDFS)
Оптимизация ёмкости СХД. Сжатие.
•
•
•
Данные сжимаются при записи (синхронно)
Идеально для архивации
Высокая производительность для
последовательных нагрузок
•
Данные сжимаются после того как стали
«холодными» и мигрировали на
низкопроизводительные уровни СХД
Осуществляется (только) когда есть свободные
вычислительные ресурсы
Нет негативного эффекта на скорость вводавывода данных
Идеально для нагрузок со случайным доступом
•
•
•

22. Distributed File System (NDFS)
Оптимизация ёмкости СХД.
До
78%
Сжатия

23. Линейное масштабирование
Виртуальных машин
В едином кластере могут независимо масштабироваться процессорные
мощности и СХД
Количество модулей (4 модуля на блок)
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

24. Аварийное восстановление
Репликация каждой виртуальной машины

25. Управляем из единого интерфейса

26. Виртуализация высокой плотности
4 независимых модуля,
совмещающих СХД и сервера
Сервера
4x Независимых серверных модуля
8x Intel CPUs (80 ядер)
До 1TB RAM
Два 10Gbit Ethernet
4 модуля в 2U
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

27. Сценарии использования
Виртуализация Виртуализация
серверов
рабочих мест
Big data
Приватные
облака
Hadoop
Удаленные
офисы
Восстановление
из аварий
Локальные Непрерывность
сервисы в
бизнеса
офисах

28. Как сказал Альберт Эйнштейн,
«Безумие - делать одно и то же, и
каждый раз ожидать иного результата»

29. NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY