2. (пара скриптов на shell и SQL)

3. медиа-сервис с типичным размером файла от 1 до
50 MB
мастер данные от 100 TB до 1 PB
стриминг данные от 50 до 200 TB
стриминг полоса от 10 Gbit/s до 1 Tbit/s

4. сохранность мастер данных
безотказность и качество стриминга
разумная TCO

5. много дисковых полок
эффективное кластерное хранилище
CDN от вендора
серверы доступа — отдельно

6. Isilon, NetApp, Panasas
Exadata, EMC, HDS
GPFS, PolyServe

7. инфраструктура требует 3–4 решения
негарантируемая скорость при экстремальных
нагрузках
крайняя сложность дебага и тюнинга
стоимость raw TB в 10–30 раза выше consumer
storage

8. server-integrated storage!
(cloud storage)

9. Google, Yandex, и почти все крупные интернет-
компании
гибкость, доступность дебага и тюнинга
consumer hardware, стоимость raw TB в 1,5–3 раза
выше consumer storage

10. HDFS, GFS, S3, (Lustre, …)
сложности с большими расстояниями
медленный стриминг, сложность кэширования
сложность эксплуатации

11. FreeBSD
UFS2
HTTP

13. продвинутый, надежный storage: geom, UFS2, ZFS
проверенный extreme streaming на nginx
доступная коммерческая поддержка на уровне ядра
промышленный опыт NetApp, Isilon, Panasas

14. самая быстрая FS в мире
7 лет успешной эксплуатации
ZFS сложна и пока медленна

15. основной протокол внешнего доступа
достаточно быстрый и простой для внутреннего
обмена

16. серверы и хранилище
мастер и стриминг данные
внешний и внутренний доступ
кластерный и облачный (CDN) обмен

17. одна файловая система на диск
никаких RAID, только JBOD
распределённость на базе случайных чисел

18. шасси SuperMicro 4U 24 x 3.5"
2–6 x Intel Gigabit
24 x 2TB потребительские диски
контроллеры LSI 1068 в режиме JBOD

19. имя файла — sha256 от его содержимого
равномерно разнесены по 4096 (16^x) папкам
диспетчер данных

20. минимум на трёх шасси
чуть позже — минимум в трёх ДЦ

21. минимум на трёх шасси
во всех точках CDN

22. PostgreSQL, sh, Python
sha, hdd, chassis, rack, dc
вид sha—http://chassis/hdd/ доступен
приложению

23. знает текущий статус всех объектов
формирует из ручных и автоматических задач
сценарии и запускает их
единая точка автоматизации
частичная multi-master архитектура
self-healing

24. nginx + fetch/wget/curl
гибкая аутентификация
быстрый fetcher в разработке

25. унифицирован между локальным и
распределённым уровнями
подстраивается под ширину каналов

26. nginx, secure link
100k+ потоков на шасси

27. linear local read/write: 100MB/s на диск, 2.4GB/s на
шасси
random local read: 20–40MB/s на диск, 480–960MB/s
на шасси
random HTTP get: 4–5Gbit/s на шасси без
оптимизаций

28. app-level next path retry
актуальная информация о доступности в
приложении

29. carp в пределах dc
proxy store при выходе диска из строя

30. hardware balancers плохо подходят для тяжёлых
данных
app-level, geo-aware, status-aware balancing

31. на новое шасси уходит несколько минут
это можно автоматизировать
plug-and-pray

32. примерно в 2,5 раза дороже жёсткого диска
можно оптимизировать: пример backblaze

33. рабочий прототип примерно за неделю
совершенствование в режиме production благодаря
high availability

34. случайная распределённость — равномерно
распределённое восстановление избытычности
жёсткий диск 2TB: 6 часов 4 минуты
шасси 48TB: 55 часов 6 часов
ЦОД 1PB: 10 дней 5 дней :'-(
Земля 10PB: 3 месяца CLASSIFIED секунд

35. секунды при потере диска
миллисекунды при потере шасси (carp)
секунды при потере dc (app-level next-path)

36. недостатки
преимущества

37. кастомность
велосипедность
маленький bus factor

38. сырость
отсутствие сертификаций

39. гибкость
производительность
job security

40. единственное унифицированное решение под
задачи

41. интересно? заходите к нам в гости знакомиться
и оставайтесь делать будущее!
andrew@dreamindustries.ru