1. Методы повышения
визуального качества
восстановленного фона
(часть 2)
Дмитрий Акимов
Video Group
CS MSU Graphics & Media Lab

2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Coherent Occlusion Generation
 Background Inpainting
 Gradient Domain Video Editing
 Заключение
2

3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Постановка задачи
 Дано:
 Исходное видео
 Карта глубины
 Требуется:
 Определить области открытия, появляющиеся
при генерации стерео
 Заполнить найденные области таким образом,
чтобы человек не был способен обнаружить
следов редактирования
3

4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
4Результат Михаила Ерофеева
для тестовой последовательности “Lord”

5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
5
Кадр №78

6. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
6
Кадр №78

7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
7
Кадр №78

8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
8
Кадр №78

9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (1)
9
Кадр №78

10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
10Результат Михаила Ерофеева
для тестовой последовательности “EastZen_3”

11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
11
Кадр №7

12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
12
Кадр №7

13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
13
Кадр №7

14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
14
Кадр №7

15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (2)
15
Кадр №7

16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Текущие результаты (3)
16Результат Михаила Ерофеева
для тестовой последовательности “CityBus”

17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Текущие результаты
Проблемы
 Неточность результатов Motion Estimation
 Некорректная обработка движущихся
объектов заднего плана
 Нехватка информации для восстановления
в выбранном временном окне
17

18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Coherent Occlusion Generation
 Background Inpainting
 Gradient Domain Video Editing
 Заключение
18

19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Coherent Occlusion
Generation
19R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009
 Дано:
 Исходное видео
 Карта глубины
 Требуется восстановить стабильные
во времени фон и карту глубины фона
в областях открытия для последующей
генерации многоракурсного видео

20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Краткая схема метода
20R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009

21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Краткая схема метода
Motion Assisted Forecasting Background
1. Вычисление векторов движения между текущим
кадром и кадрами из временной окрестности
2. Для каждого пикселя неизвестной области:
1) Поиск векторов-кандидатов
из пространственной окрестности
2) Вычисление весов пикселей-кандидатов,
соответствующих отобранному вектору
3) Взвешенное суммирование пикселей-
кандидатов
21R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009

22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Motion Assisted Forecasting
Поиск векторов-кандидатов

22R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009

23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Motion Assisted Forecasting
Результат заполнения
Если для p найдены кандидаты, то результат
заполнения r вычисляется по формулам:
23R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009

24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Occlusion Generation
Результаты (1)
24R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009
Исходный кадр Карта глубины

25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Occlusion Generation
Результаты (1)
25R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009
Восстановленный фон Карта глубины фона

26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Occlusion Generation
Результаты (2)
26R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009
Исходный кадр

27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Occlusion Generation
Результаты (2)
27R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and
temporal occlusion generation,” in Proc. of SPIE, 2009
Восстановленный фон

28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Occlusion Generation
Выводы
 Достоинства:
 Straight forward подход
 Стабильность во времени (по заявлениям
авторов)
 Недостатки:
 Результаты только на искусственных
последовательностях
 Размытие фона (вытекает из усреднения
по окрестности найденного кандидата)
28

29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Coherent Occlusion Generation
 Background Inpainting
 Gradient Domain Video Editing
 Заключение
29

30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Постановка задачи
 Дано:
 Исходное видео (статичный фон, камера
и объекты двигаются произвольно)
 Маска объектов, которые требуется удалить
 Маска объектов, которые требуется оставить
 На выход:
 Отретушированное видео без «ненужных»
объектов
30M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012

31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Краткий обзор
31M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012

32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Сопоставление кадров
32M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012


33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Множество преобразований
33M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012


34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
RANSAC
Краткий экскурс
34

http://en.wikipedia.org/wiki/RANSAC
Пример работы алгоритма
для поиска прямой на плоскости

35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Финальное преобразование (1)
35M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012


36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Финальное преобразование (2)
36M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
Веса функционала:

37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Background Inpainting
Заполнение областей (1)
37M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012

38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Заполнение областей (2)
38M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
Веса функционала:

39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Минимум находится из СЛАУ:
Background Inpainting
Финальная ретушь
39M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
С помощью метода Poisson Image Editing
подавляются швы заполнения и различия
в освещенности
Функционал:

40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Результаты
40M. Granados, et. al., “Background Inpainting for Videos with Dynamic
Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012

41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Background Inpainting
Выводы
 Достоинства:
 Качественные результаты
 Стабильность во времени
 Применим для нескалиброванной камеры
 Недостатки:
 Восстанавливает статичный фон
 Требуется качественная разметка данных
41

42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Coherent Occlusion Generation
 Background Inpainting
 Gradient Domain Video Editing
 Заключение
42

43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Poisson Image Editing
Задача ретуши изображения:
43G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Решение ищется в виде вариационной задачи
для уравнения Пуассона с граничными
условиями Дирихле

44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Poisson Image Editing
Результат
44
Исходные изображения Заполнение Результат
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,”
ACM SIGGRAPH, 2003.

45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain
Video Editing
Переформулировка задачи для случая видео:
45G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Иллюстрация пространственно-
временного домена

46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Минимизируемый функционал:
Вариационная задача
Производная по направлению
46G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011

47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Вариационная задача
Deblurring Convective Derivative (DCD)
47G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
DCD

48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Вариационная задача
DCD – сравнение
48G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011

49. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
49G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Source

50. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
50G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Estimated Optical Flow

51. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
51G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Result

52. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
52G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Source

53. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
53G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Mask

54. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (1)
54G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Result

55. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (2)
55G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Source

56. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (2)
56G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Mask

57. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (2)
57G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Result

58. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (3)
58G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Source

59. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (3)
59G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Mask

60. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient Domain Editing
Результаты (3)
60G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video
Editing,” in Proc. of EMM CVPR, 2011
Result

61. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Gradient-Domain Editing
Выводы
 Достоинства:
 Качественные результаты
 Стабильность во времени
 Применим для нескалиброванной камеры
 Недостатки:
 Высокая вычислительная сложность
 Требуется качественная оценка движения
61

62. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Заключение
 Рассматриваемая задача критична
в задачах качественной генерации
и коррекции стерео
 На данный момент нет решения,
качественно и напрямую решающего
поставленную задачу
 Наиболее интересны подходы:
 Кусочно-линейное проецирование кандидатов
 Обработка видео в градиентом домене
62

63. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. R. K. Gunnewiek, R.-P. M. Berretty, B. Barenbrug, and J. P. Magalhães,
“Coherent spatial and temporal occlusion generation,” in Proceedings of
SPIE, 2009.
2. M. Granados, K. L. Kim, J. Tompkin, J. Kautz, C. Theobalt, “Background
Inpainting for Videos with Dynamic Objects and a Free-Moving
Camera,” in Proceedings of ECCV, 2012, pp. 682-695.
3. B.D. Lucas, T. Kanade, “An Iterative Image Registration Technique with
an Application to Stereo Vision,” in Proceeding of IJCAI, 1981, pp. 674-
679.
4. J, Shi, C. Tomasi, “Good Features to Track,” in Proceedings of IEEE
CVPR, 1994, pp. 593-600.
63

64. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
5. H. Bay, A. Ess, T. Tuytelaars, L.J.V. Gool, “Speeded-Up Robust Features
(SURF), in Proceedings of Computer Vision and Image Understanding,
2008, 346-359.
6. G. Facciolo, R. Sadek, A. Bugeau, and V. Caselles, “Temporally
consistent gradient domain video editing,” in Proceedings of Energy
Minimization Methods in Computer Vision and Pattern Recognition,
2011, pp. 59-73.
7. T. Brox, A. Bruhn, N. Papenberg, J. Weickert, “High Accuracy Optical
Flow Estimation Based on a Theory for Warping,” in Proceedings of
European Conference on Computer Vision, 2004.
64

65. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
65