Доклад Максима Шапошникова на HighLoad++ 2014.

1. Nutanix Acropolis - облако
на базе KVM “под ключ”,
или WebScale в коробке.
Максим Шапошников

2. Гипервизор - ширпотреб
1990 2005 Будущее
Эффективность

3. Проблемы традиционных ДЦ
1. Сложность (множество
вендоров, различных
коммуникаций)
2. Неэффективность (место и
энергопотребление)
3. Непредсказуемое
расширение (нелинейность)

4. Цели WebScale дизайна ДЦ
• Массивное снижение энергопотребления и
прогнозируемое масштабирование
• Нет единой точки отказа
• Распределять все
• Всегда работает
• Полная автоматизация и мощная аналитика
Фундаментальные аксиомы
• Стандартные однотипные x86 сервера:
«отказало -> заменил»
• Нет специализированных аппаратных средств
• Весь интеллект и сервис в ПО
• Линейный, предсказуемый рост
Web-Scale IT

5. Openstack? Ха-ха три раза.
• Не решает проблем низкого уровня (ввод-вывод данных)
• Рабочие коммерческие варианты по факту очень дороги и
несовместимы
• Масса (зачастую) лишнего функционала, вносящего нестабильность.
• Очень высокий порог вхождения - требуются специалисты экстра-
класса для запуска и поддержки.
• Чаще всего реально требуется не создание IaaS или PaaS, но
внутренняя облачная инфраструктура.
• Есть существенные проблемы масштабируемости.

6. Пилите Шура, они золотые!
• OpenStack remains an emerging technology
• It is not mature yet
• Error handling not robust
• Understanding the flow of calls and messages is needed
• Large volume of message based rpc calls
• Logging is not optimal (either too much or too little)
• You must be willing to look at code
• Networking (nova-network) is complicated
• Multiple bridges
• IPTables configuration not straight forward
© IBM Corporation

7. Не путать проект и продукт
Ceph, GlusterFS – отличные проекты
• Крайне сложный запуск
• Ограниченный или отсутствующий UI
• Практически любое «железо»
• Уникальные протоколы (эмуляция стандартных при необходимости)
• Только ФС, не решает вопросов управления виртуализацией
• Фактически, только KVM (ESXi / HyperV – говорить несерьезно)
• Не создавались и не затачивались под виртуализацию.
• Отсутствует взаимная интеграция гипервизора и СХД (локализация
ввода-вывода)

8. Не путать проект и продукт
Nutanix Acropolis – законченное решение
• «Под ключ» с запуском за 15-30 минут
• HTML5 UI
• Ограниченный, но 100% протестированный набор оборудования
(Supermicro, Dell) – полная интеграция IPMI / аппаратного
мониторинга
• Использование стандартных протоколов (iSCSI, NFS, SMB3)
• BigData технологии (Cassandra, Zookeeper, etc), все распределенное
• Комплексное решение
• Не завязан на KVM

9. Proxmox?
• Все проблемы стандартных решений
• Копии конфигураций всех VM на каждом ноде
• 16 нодов в кластере (2014 год!)
• Попытка скопировать Look’n’Feel VMware vCenter (который уже
устарел сам по себе)
• Только KVM
• Серьезнейшие проблемы производительности при большом количестве
VM

10. Традиционные СХД
• Архаичные RAID системы, не рассчитанные на масштабируемость и
отказоустойчивость
• Время “ребилда” современной СХД при отказе одного диска может быть
часами или сутками.
• RAID6 - потеря данных в течении года (при достаточно больших
датасторах) - практически гарантирована
• На рынок выходят диски 10TB, что несет в себе множество
дополнительных проблем (Теперь мы идем к вам (с)! Сутки ребилда?
Легко!)
• Упор в количество интерфейсов ввода-вывода и производительность
контроллеров.

11. Nutanix – все в одном
• Отсутствуют все вышеназванные узкие места.
• Безлимитное масштабирование (как по производительности, так и
размеру кластера). Миллионы IOPS, тысячи VM на стойку
• Использование по максимуму open-source компонент с существенной
доработкой (Cassandra NoSQL, Apache ZooKeeper, Linux Kernel, EXT4,
KVM).
• Полностью программная реализация.
• Распределенная файловая система NDFS и система управления
облаком Acropolis.
• Поддержка стандартной версии KVM (Centos 6.5+) через libvirt, но
полностью своя реализация управления кластером - aCLI, HTML5 UI,
RESTful API.

12. Nutanix – все в одном
• Нет RAID или JBOD (на всех уровнях)
• 2-я или 3-я защита данных
• Disaster Recovery (репликация датацентров)
• Метаданные файловой системы и кластера хранятся в NoSQL DB
Cassandra.
• Конфигурация кластера - Apache Zookeeper.
• Активное применение SSD как полноценного уровня хранения (не
кэширования).

13. Традиционные vs Nutanix
Сервера
Сеть СХД
SAN

14. Nutanix
Google
Facebook
Microsoft
Другие
решения VSAN Старые
Архитектуры
Гипер-конвергентные решения на x86 –
интеграция компьютинга и СХД
Все в программном обеспечении – 100%
«только ПО»
Распределение всего – кластеризация
данных и сервисов
Самоизлечение – изоляция сбоев и
распределенное восстановление
API автоматизация и мощная аналитика
Множство различных приложений
одновременно

15. Nutanix Distributed File System
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

16. Компоненты кластера

17. Компоненты кластера
Arithmos: Публикация и получение статистики гипервизора
Cassandra: Конфигурация VM, файловая система NDFS. 3 или 5 копий.
Stargate: подготовка и работа с виртуальными дисками, отдача по
протоколам iSCSI / NFS / SMB3
Zookeeper: конфигурация кластера (одна из наиболее устойчивых к
partitioning систем хранения кластерных конфигураций)
Prism: UI / CLI / API

18. CAP Теорема – «умный в гору»
В любой реализации распределённых вычислений возможно обеспечить не
более двух из трёх следующих свойств (WikiPedia):
• Согласованность данных (англ. Consistency) — во всех вычислительных
узлах в один момент времени данные не противоречат друг другу;
• Доступность (англ. Availability) — любой запрос к распределённой
системе завершается корректным откликом;
• Устойчивость к разделению (англ. Partition tolerance) — расщепление
распределённой системы на несколько изолированных секций не
приводит к некорректности отклика от каждой из секций.”

19. …обойдет
Значительная доработка Кассандры, многократное дублирование (3 – 5
копий метаданных) с реализацией Paxos алгоритма.
• CAP -> CAP
• Практически мгновенная сходимость файловой системы – суровая
необходимость
• Доступность – без вариантов
• Устойчивость к партиционированию – делаем множество копий

20. Резервирование данных
Динамическая
настройка различных уровней
защиты для разных приложений
в одном кластере
 100% программно
 RF-3 защищает от одновременного
выхода из строя двух дисков, нодов
и сетевых карт
 Переключайтесь между RF-2 и RF-3
 Уровень репликации (защиты)
выставляется на уровне контейнера
RF-2 контейнер (2 копии данных)
RF-3 контейнер (3 копии данных)

21. Умное распределение
Распределение данных
между аппаратными
блоками
 V1: Защищает от потери
блока целиком (4 нода /
контроллера одновременно)
 Доступно начиная с трех
блоков
Блок Блок Блок

22. CLI / API : Управление VM
• CPU and memory.
• Disk and NIC (hot-plug).
• Boot order configuration.
• Power operations.
• Live migration.
• Crash-consistent snapshot, restore, clone.

23. CLI / API: управление сетью
• OpenvSwitch (для KVM)
• VLAN
• IPAM (перехват DHCP / ARP на уровне хоста)

24. UI

25. Prism Central
Управление множеством
кластеров по всему миру
из единой точки
 Агрегация статусов кластеров
 Единая точка входа
 Накапливание исторических
данных для глубокого анализа
 Упрощение рабочих процессов

26. Интегрированная защита
Локальные и «на расстоянии»
снапшоты для целей резервного
копирования и восстановления
из аварий через Prism
 Безлимитные локальные
снапшоты на основном
кластере с Time Stream
 Восстановление данных «одним
кликом»
 WAN-оптимизированная
репликация для DR
Снапшоты в другом ДЦ
vdisk Локальные
снапшоты
DR Кластер
Основной кластер
Он-сайт вторичные
Локальные бэкапы
(вне кластера)

27. High End нагрузки и задачи
• High End решение
• Практически
любые
применения
• Государство,
Военные,
Медицина,
Корпорации,
Сервис
провайдеры

28. p.s. не грузится VM? 

29. Спасибо!
m.shaposhnikov@nutanix.com
@Nutanix_Russia