UP2IT 2017, DEV&QA Stream 1 Володимир Смірнов, Managing Director, Apptimized Operations (Суми) "Складнощі і специфіка побудови систем роздачі адалт контенту"

1. Сложности и
специфика
построения систем
раздачи адалт видео
контента

2. Статья 301 Криминального кодекса Украины
Ввоз, изготовление, сбыт и распространение
порнографических предметов

4. Технологии, ставшие популярными
благодаря адалт контенту
• E-Commerce
• Потоковое видео
• Вебкамеры
• Онлайн платежи
• VHS кассеты
• Blue-ray диски
• Cкрытые субтитры для
слабослышащих
• Кабельное телевидение
• VR / AR
• Тактильная обратная
связь

5. What is this all about?

6. Google Cloud Services
Amazon AWS
Rackspace
Internet is for porn,
but clouds
Microsoft Azure

7. Основные элементы построения
системы раздачи видеоконтента
Transcoding
Storage
Delivery
Playback
DRM

10. Netflix хранит 120 вариантов
каждого фильма
= 120

11. Эффективность способов транскодинга
1080p H.264 видеоролика с битрейтом 8-
12 mbps (baseline profile)
•Intel i7-4790K (CPU only mode) - 1
файл.
•Nvidia NVENC GPU - 2 файла.
•Intel i7-4790K (QuikSync mode) - 4-6
файлов.

12. Как сделать правильный
transcoding cloud
• Сервер с процессором с поддержкой Intel
QuickSync
• Linux Ubuntu 17.10
• Intel Media SDK
• Ffmpeg 2.7 собранный с поддержкой Intel QS VA-
API
• Task queue - Celery

13. Основные элементы построения
системы раздачи видеоконтента
Transcoding
Storage
Delivery
Playback
DRM

14. Хранение данных

15. Условия
• Час 1080p видеоконтента занимает ±15-18 GB во всех
вариациях
• Работа на типовом железе
• Размер библиотеки при запуске - 1 500 часов
• Репликация и резервное хранение данных создает
оверхед > 300%
• Проигрывание 400 роликов в 1080p - 4.5 Gbps и ±12000
IOPS
• Экономия на инфраструктуре, использование хранилища
для docker контейнеров, хранилища конфигураций
• Удобный программный интерфейс для доступа к
хранилищу

16. • Варианты:
• Распределенные ФС: GlusterFS, Ceph, Lustre
• Объектное файловое хранилище: Сeph, OpenStack Swift,
Sheepdog, Nimbus, Riak Cloud Storage
• Решение: Ceph
• Причины:
• Open-source & всегда бесплатно, активное коммьюнити
• 3 модели хранения: object, block & VFS
• Используется в продакшне: Yahoo, Redhat Cloud, Dropbox,
Cisco, CERN, Deutsche Telekom, Canonical, Suse.
• S3-совместимое API для объектного хранилища
• Стабильная работа в условиях низких скоростей между
нодами

17. Uploader Rados Gateway
Ceph MDS
STOR 1
HP DL580
SSD
SAS HDD
SAS HDD
…
STOR 2
HP DL580
SSD
SAS HDD
SAS HDD
…
STOR 3
HP DL580
SSD
SAS HDD
SAS HDD
…
CDN
Transcoders
Кластер хранения

18. Основные элементы построения
системы раздачи видеоконтента
Transcoding
Storage
Delivery
Playback
DRM

21. Условия
• Unicast :(
• Усредненная нагрузка - 10 Gbps
• Пиковая нагрузка - 80 Gbps
• Задержка старта проигрывания - не больше 1.5
секунды
• Разные цены на трафик в зависимости от региона

22. Решение
• Сложная HTTP балансировка с 302 ответом
• Munin
• MaxMind GeoIP
• Внутренняя система статистики с поддержкой A/B тестирования
• Кеширование результатов для географических зон - город,
область, страна
• nginx + lua-nginx-module
• Форк nginx-rtmp-module
• Pull контента через librados и 3 уровня кеша:
• RAM
• SSD
• HDD
• Использование edge серверов от сторонних провайдеров для
быстрого и дешевого масштабирования

23. Основные элементы построения
системы раздачи видеоконтента
Transcoding
Storage
Delivery
Playback
DRM

24. DASH
HLS
Smooth
Stream

25. DRM

26. Спасибо!