1. Некоторые методы
матирования видео
Юрий Бердников
Video Group
CS MSU Graphics & Media Lab

2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed Form Image Matting
 Temporally Consistent Video Matting
 FuzzyMatte
 Свой метод
 Заключение
2

3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
3
Изображения из J. Wang and M. Cohen, “Matting Survey”

4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Требования к алгоритму
4
 Скорость работы
 Отсутствие «провалов» на объектах
 Отсутствие «мерцания» на видео
 Определение цветов фона и объекта

5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed-form image matting
 Temporally consistent video matting
 FuzzyMatte
 Свой метод
 Заключение
5

6. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Closed-form image matting
 Предположение о локальной гладкости
 Минимизация функции
6A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008
Цвет фонаЦвет объектаОкно 3х3Прозрачность
Весь кадр Окно вокруг пикселя j Регуляризация
Текущий
цвет

7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Основная теорема
Пусть
тогда
где - матрица , у которой элемент
7A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008
Символ Кронекера Дисперсия цвета в окне Средний цвет в окне
Количество пикселей
в изображении

8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Работа с цветом
8A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008
 Переход от линейной модели к 4D
 Вид матрицы для цветного изображения
Единичная матрица 3x3Матрица ковариации

9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Финальный вид алгоритма
9A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008
 Задача минимизации функции N переменных
 Время работы исходного метода – 20с
(MATLAB, кадр 300х200)
 Оптимизации за счет прореживания и multigrid
solver

10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (1)
10A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008

11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (2)
11A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to
Natural Image Matting. IEEE Trans. PAMI, Feb 2008

12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Анализ алгоритма
 Преимущества
 Хорошее качество работы
 Недостатки
 Низкая скорость
 Нет гарантии стабильности во времени
12

13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed-form image matting
 Temporally consistent video matting
 FuzzyMatte
 Свой метод
 Заключение
13

14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Схема алгоритма
14Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010
Начальная
сегментация
Генерация trimap 3D-матирование

15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Начальная сегментация
15
 Алгоритм – Graph Cut на карте вероятностей
 Карта вероятностей строится с помощью WKDE
 Пример работы
Исходный кадр Карта
вероятности
Результат Ground Truth
Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Построение trimap
16Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010
 Грубое построение trimap с помощью
морфологии
 Уточнение trimap с помощью GMM
Фон, вероятный фон, вероятный объект, объект

17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Уточнение trimap
17Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010
 Построение GMM для фона и объекта
 Для каждого пикселя вероятного объекта:
 Поиск наиболее вероятного цвета объекта
 Поиск наиболее вероятного цвета фона
 Определение прозрачности
Гауссианы GMM объекта Цвет текущего пикселя

18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Определение цвета фона
 Определение прозрачности и типа пикселя
Цвет фона и прозрачность
18Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Пример работы уточнения
19Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010
Исходное Морфология Уточнение
Матирование
морфологии
Матирование
уточнения

20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Определение цвета фона
 Определение прозрачности и типа пикселя
Цвет фона и прозрачность
20Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
3D-матирование
 Алгоритм – closed-form matting
 Трехмерное окно для каждого пикселя:
21
Векторы движения
из optical flow
Координаты текущего пикселя
Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Методы оценки алгоритма
 Оценка качества работы
 Оценка стабильности работы
22Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты работы
23Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent
video matting based on bilayer segmentation, ICME, 2010

24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Анализ алгоритма
 Преимущества
 Уменьшение дрожания границ
 Работа с trimap – хорошо интегрируется в
имеющиеся наработки
 Недостатки
 Скорость неизвестна. Вероятно, низкая
24

25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed-form image matting
 Temporally consistent video matting
 FuzzyMatte
 Свой метод
 Заключение
25

26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
FuzzyMatte
26
 Всё изображение – граф
 Вес ребра – «похожесть» соседних пикселей
Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Пиксели
Похожесть
пикселей Константа
ФонОбъект
Сходство цветов
пикселей между собой
Сходство цветов пикселей с
объектом (фоном)

27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Взаимная схожесть
пикселей
27Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Цвета
пикселей
Матрица ковариации
гауссиана GMM с самой
большой дисперсией

28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Схожесть пикселей с
объектом (фоном) (1)
28Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Средний цвет i-го
гауссиана GMM
Матрица ковариации i-го
гауссиана GMM
Сходство пикселя
с объектом
 Для фона вычисления аналогичны
 Билатеральная префильтрация кадра
(дисперсии 2 по расстоянию и 5 по цвету)

29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Схожесть пикселей с
объектом (фоном) (2)
29Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008

30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Нечёткая связность
30Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Путь
Элементы
путиВес пути
«Нечёткая связность»

31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Иллюстрация FC
31Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008

32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Свойства FC
32Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
 Рефлексивность
 Транзитивность
 Симметричность
 Обобщение для множеств

33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Прозрачность
 Цвета – лучшая пара из GMM объекта и фона
Определение цветов
и прозрачности из FC
33Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008

34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Вычисление FC
34Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
 Сведение к поиску кратчайшего пути
 Модифицированный алгоритм Дейкстры
 В случае trimap и волновой поиск хорошо
отработает

35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (1)
35Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Исходный кадр
и разметка
Прозрачность Наложение

36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (2)
36Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Исходный кадр
и разметка
BP matting
Spectral matting
FuzzyMatte

37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (3)
37Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Исходный кадр
и разметка
BP matting
Spectral matting
FuzzyMatte

38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы (4)
38Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008
Исходный кадр
и разметка
BP matting
Spectral matting
FuzzyMatte

39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Сравнение с конкурентами
39Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte:
A computationally efficient scheme for interactive matting. CVPR 2008

40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Анализ алгоритма
 Преимущества
 Потенциально высокая скорость
 Мало затеканий
 Недостатки
 Нет примеров работы на trimap
40

41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed-form image matting
 Temporally consistent video matting
 FuzzyMatte
 Свой метод
 Заключение
41

42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Свой метод
 Основан на билатеральной фильтрации
 Цель 1 – восстановление резких границ
глубины при размытой карте
 Цель 2 – коррекция некорректно проведённых
границ по глубине (несоответствие цвету)
42

43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Билатеральная фильтрация
43
Штраф градиентных областей
Векторы координат пикселей
Новая
глубина
Исходная
глубина
j-го пикселя
Вес j-го
пикселя
Max
разности
компонент
Константы
Векторы цветов пикселей
Окно вокруг i-го пикселя

44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры работы
44
Кадр Глубина Результат

45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Анализ алгоритма
 Преимущества
 Скорость
 Недостатки
 Априорное предположение о доверии гладким
областям
 Слишком резкая граница
 Стабильность во времени не гарантируется
45

46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Closed-form image matting
 Temporally consistent video matting
 FuzzyMatte
 Свой метод
 Заключение
46

47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Список литературы
1. A. Levin, D. Lischinski, and Y. Weiss, "A Closed-Form Solution to
Natural Image Matting", presented at IEEE Trans. Pattern Anal. Mach.
Intell., 2008, pp.228-242.
2. Z. Tang, Z. Miao, and Y. Wan, "Temporally consistent video matting
based on bilayer segmentation", in Proc. ICME, 2010, pp.370-375.
3. Y. Zheng, C. Kambhamettu, J. Yu, T. Bauer, and K. Steiner,
"FuzzyMatte: A computationally efficient scheme for interactive
matting", in Proc. CVPR, 2008.
47

48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ и
ИПМ им. Келдыша)
 Выпускниками защищено 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
48