O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Block-level compression in Linux. Pro et contra

898 visualizações

Publicada em

[RUS] SECR 2015 Обсуждение возможностей сжатия в Linux на уровне блочных устройств.

Publicada em: Software
  • Презентация Block-level compression in Linux. Pro et contra с доклада на #secr2015
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Seja a primeira pessoa a gostar disto

Block-level compression in Linux. Pro et contra

  1. 1. Одиннадцатая независимая научно- практическая конференция «Разработка ПО 2015» 22 - 24 октября, Москва К.Кринкин, Н.Плохой Сжатие данных на блочном уровне в Linux ”За и против” СПбГЭТУ “ЛЭТИ”
  2. 2. 2 Мотивация ● большой размер файлов с “сырыми“ данными ● требуется on-line сжатие без потерь ● необходима независимость от ФС Тестовый набор данных: результаты медицинского 3D сканирования Сценарий: однократная запись, множественное чтение
  3. 3. 3 Задачи ● Оценить возможности для компрессии блочного уровня в Linux ● Качественно сравнить file-level и block-level сжатие ● Подобрать алгоритмы сжатия блоков ● Разработать схему трансляции
  4. 4. 4 Блочный ввод-вывод в Linux (с) www.thomas-krenn.com ФС DM BLK-IO BLK-DEVS
  5. 5. 5 Существующие работы ● Th. Makatos et al. ZBD – compressed block device, 2010-2012 ● Y. Klonatos et al. Azor (HDD/SDD compression scheme), 2011 ● Y. Cao et al. Block level memory compression, 2015
  6. 6. 6 Проблемы сжатия блоков ● Разный размер после сжатия ● Не все блоки нужно сжимать ● Требуется уровень трансляции ● Увеличение количества ввода-вывода (read- before-write) ● Фрагментация данных на диске
  7. 7. 7 Архитектура I/O App FS Buffers cache Block compression Ph.disk user kernel © см. [1] Log->ph read XT load balance decomp Read load balance compress Map and store XT Write ph Write
  8. 8. 8 Трансляция блоков: extents 1st header free offset blk num blk sz comp. data free space next blk blk num blk sz comp. datanext blk blk num. . .
  9. 9. 9 Трансляция блоков: упаковка Ph.disk 1/4 1/4 1/4 1/4 1/2 1/2 1/1 meta физические блоки упаковка логические блоки
  10. 10. 10 Координатное пространство NL → {Nph,P} Где: – NL – логический номер блока – Nph – физический номер блока – P – позиция внутри физического блока Nph 0 1 2 3 NL P:
  11. 11. 11 Статическая разметка диска Ph.disk свободно занято метаданные . . . блоки х1 блоки х2 блоки х4 фикс. размер
  12. 12. 12 Динамическая разметка диска* Ph.disk свободно x4 метаданные . . . фикс. размер x2 x1
  13. 13. 13 Device Mapper dm-device Logical Volume BIOs Logical/Physical Volume BIOs BIOs BIOs
  14. 14. 14 Device mapper iface dm_target : dm_dev /device-mapper.h#L124
  15. 15. 15 Компрессоры: степень сжатия
  16. 16. 16 Компрессоры: время сжатия
  17. 17. 17 Подключение компрессоров ● in kernel ● Shared memory + User space daemon
  18. 18. 18 In-kernel compressor App FS Buffers cache Block compression Ph.disk user kernel compression module compression buffer
  19. 19. 19 User space compressor App FS Buffers cache Block compression Ph.disk user kernel compression daemon comp. buffer comp xcomp xcomp x Shared memory Pluggable compressors
  20. 20. 20 Сжатие блоков: “за” и “против” ● За: – прозрачное увеличение дискового пространства – лучшая (по сравнению с ФС) гранулярность объектов сжатия – скорость доступа* ● Против: – фрагментация* – затраты на хранение мета информации – отсутствие интеграции с ФС
  21. 21. 21 Развитие ● Балансировка нагрузки ● Тестирование производительности (HDD, SSD) ● Эффективное кэширование ● Использование аппаратного ускорения сжатия
  22. 22. 22 Источники [1] Y. Klonatos et al. Transparent Online Storage Compression at the Block-Level. ACM Trans. Storage 8, 2, Article 5 (May 2012) [2] ZBD: Using Transparent Compression at the Block Level to Increase Storage Space Efficiency // 2010 International Workshop on Storage Network Architecture and Parallel I/Os ● [3] Y. Cao Flexible Memory: A Novel Main Memory Architecture with Block-level Memory Compression // Networking, Architecture and Storage (NAS), 2015 IEEE International Conference on [4] www.thomas-krenn.com
  23. 23. 23 Вопросы? Кирилл Кринкин kirill.krinkin@gmail.com
  24. 24. 24 запасные слайды
  25. 25. 25 Intel DEFLATE Vinodh Gopal et al. High Performance DEFLATE Compression on Intel ® Architecture Processors (igzip library) Nov 2011
  26. 26. 26 Возможности для компрессии
  27. 27. 27 Уровень BIOs

×