Построение карт глубины и сопоставление стерео

Построение карт глубины и
сопоставление стерео

Сергей Матюнин
Video Group
CS MSU Graphics & Media Lab

Only for
Maxus 

Содержание

 Введение
 Connectivity-slant
 AdaptingBP
 Cooperative Optimization
 Сравнение

2
CS MSU Graphics & Media Lab (Video Group)

Only for
Maxus 

Введение
 Вход: стерео-изображение
 Ищем функцию смещения d(x,y)
(disparity)
 d(x,y)~1/D(x,y), где D(x,y) – глубина
 Очищенное (rectificated) стерео

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame
stereo correspondence algorithms. IJCV 2002.
3

Only for

Введение
Maxus 

Схема алгоритма

 Вычисление функции стоимости
 Суммирование стоимости
 Вычисление/оптимизация карты
смещения
 Уточнение

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame
stereo correspondence algorithms. IJCV 2002.
4

Only for
Maxus 


 AdaptingBP

5

Only for

Connectivity-slant
Maxus 

Плоский мир

 Модель глубины:
кусочно-постоянная
функция
 Правильное смещение
максимизирует
площадь сегмента
сопоставления и
наоборот
 Сегментация и
сопоставление – только
совместное решение

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.
6

Only for

Connectivity-slant
Maxus 

Плоский мир

Распространение
связности через
горизонтальные
границы

7

Only for

Connectivity-slant
Maxus 

Однозначность и наложения

 Соответствие «один к одному» для
пикселей
 Если нашли соответствие (Ileft, Iright) то
пары (Ileft’, Iright) и (Ileft, Iright’)
отбрасываем
 Пиксели, которые не попали в какую-
либо пару, помечаем как наложение

8

Only for

Connectivity-slant
Maxus 

Алгоритм для плоского мира

 Построчная обработка
 Для всех возможных значений δx:
 Сдвигаем IL на δx. Полученное I'L
сопоставляем с IR
 Если есть горизонтальная граница,
разрываем связность с предыдущей строкой
 Строим связанные компоненты
 Находим веса
 Обновляем карту смещений, учитывая
ограничения единственности

9

Only for

Connectivity-slant
Maxus 

Алгоритм для не плоского мира

 N пикселей одного изображения
соответствуют M пикселям другого
 Нужно сопоставлять не точки, а интервалы
10

Only for

Connectivity-slant
Maxus 

Алгоритм для не плоского мира

Сначала растянуть изображение, потом
искать соответствие
11

Only for

Connectivity-slant
Maxus 

Горизонтальный наклон

 Рассматриваем линейную зависимость между точками
левого и правого изображений

 и характеризуют горизонтальный наклон
 Максимизируем длину сегмента, содержащего точку

12

Only for

Connectivity-slant
Maxus 

Birchfield and Tomasi method

1 1 1 1
I L(xL  ), I L(xL  ), I R(xR  ), I R(xR  )
2 2 2 2
1 1
I L  min {I L(xL  ),I L(xL ),I L(xL  )}
min

2 2
1 1
I L  max {I L(xL  ),I L(xL ),I L(xL  )}
max

2 2
I R , I R – аналогично
min max

d L  max { 0 ,I L(xL )  I R ,I R  I L(xL )}
max min

d R  max { 0 ,I R(xR )  I L ,I R  I R(xR )}
max min

d  min {d L ,d R }  разность между xL и xR
13

Only for

Connectivity-slant
Maxus 

Однозначность

14

Only for

Connectivity-slant
Maxus 

Горизонтальный наклон

 Построчное сопоставление
 Максимизация связности по строке
 Сопоставление интервалов
 Ограничения единственности и
наложений

15

Only for

Connectivity-slant
Maxus 

Алгоритм

 Для всех возможных коэффициентов
растяжения mL и смещений ΔL:
 Растянуть IL на mL. Получить I'L
 Найти dL по ΔL из уравнения
ΔL=( mL – 1 ) xL + dL
 Сопоставить I'L с IR, используя dL
 Найти связанные сегменты и их веса
 Обновить карту смещений, учитывая
ограничения единственности
 Аналогично для коэффициентов mL и ΔL
16

Only for

Connectivity-slant
Maxus 

Вертикальный наклон

 Изменения по горизонтали
 Есть наложение
 Нет горизонтального наклона

17

Only for

Connectivity-slant
Maxus 


 Изменения по горизонтали
 Нет наложения
 Есть горизонтальный наклон

18

Only for

Connectivity-slant
Maxus 


 Изменения по вертикали
 Есть вертикальный наклон или разрыв

19

Only for

Connectivity-slant
Maxus 


 Для надежности можно считать, что
горизонтальная граница всегда
признак разрыва
 Если нет границы, то разрыв тоже
может быть
 Нужно использовать восстановление
формы по текстуре, освещению и т. д.

20

Only for

Connectivity-slant
Maxus 

Реализация

 Скрипт для MATLAB
 CPU Celeron 1.8 GHz
 Cones – ~5 c

21

Only for

Connectivity-slant
Maxus 

Оригинал

22

Only for

Connectivity-slant
Maxus 

Ground truth

23

Only for

Connectivity-slant
Maxus 

Результат

24

Only for
Maxus 


 AdaptingBP

25

Only for

AdaptingBP
Maxus 

Схема метода

26

Only for

AdaptingBP
Maxus 

Color segmentation

 Mean shift color segmentation
 Излишняя сегментация предпочтительна

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.
27

Only for

AdaptingBP
Maxus 

Mean Shift

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.
28

Only for

AdaptingBP
Maxus 

Self-adapting dissimilarity measure

 N(x, y) – окно 3 × 3
 Nx(x, y) – окно без правого столбца
 Ny(x, y) – окно без нижней строки
A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using
belief propagation and a self-adapting dissimilarity measure. ICPR 2006.
29

Only for

AdaptingBP
Maxus 

Self-adapting dissimilarity measure

 Итоговая метрика

 определяется максимизацией
количества надежных соответствий
(проверка left-to-right и right-to-left)
 По надежным соответствиям можно
определить уровень шума
30

Only for

AdaptingBP
Maxus 

Аппроксимация плоскостями

 Используем только надежные соответствия
 Нужна устойчивость к выбросам
 Оценка проводится последовательно
 по горизонтальным линиям

 по вертикальным линиям

 для всего сегмента

31

Only for

AdaptingBP
Maxus 

Аппроксимация плоскостями

 Оценка горизонтального наклона:
 Надежные соответствия внутри одного
сегмента на одной горизонтальной линии
 Гистограмма δd/δx

 Сглаживание гистограммы

 Выбор максимума («голосование»)

 Оценка вертикального наклона
 Аналогично

 Используем наклон плоскости для
устойчивой оценки смещения сегмента
32

Only for

AdaptingBP
Maxus 

Уточнение

 Для каждого сегмента и плоскости вычисляем
стоимость:

d – смещение для плоскости P
 Для каждого сегмента выбираем плоскость с
наименьшей стоимостью
 Группируем сегменты по плоскостям
 Повторяем оценку плоскостей для полученных
групп
33

Only for

AdaptingBP
Maxus 

Устойчивая оценка плоскостей

 Ищем разметку сегментов

 – множество соседних сегментов
– штраф (длина общей границы и
похожесть цветов)
 Loopy Belief Propagation
34

Only for

AdaptingBP
Maxus 


 CPU Athlon64 2.21GHz
 14 – 25 с
 Большая часть – сегментация

35

Only for

AdaptingBP
Maxus 

Оригинал

36

Only for

AdaptingBP
Maxus 

Ground truth

37

Only for

AdaptingBP
Maxus 

Результат

38

Only for
Maxus 


 AdaptingBP

39

Only for

Cooperative Optimization
Maxus 

Схема алгоритма

Сегментация
Стерео
Mean Shift

Начальная оценка смещения
(Adaptive correlation window
matching)

Оценка плоскостей смещения

Кооперативная оптимизация Карта
(Cooperative Optimization) смещений

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using
Cooperative Optimization. CVPR 2008.
40

Only for

Maxus 

Начальное приближение

 Суммирование функции стоимости в
окрестности с весами
 Вес зависит от принадлежности к
текущему сегменту
 Для соседних сегментов вес
ненулевой

41

Only for

Maxus 

RANSAC

 Повторяем заданное количество раз:
 Выбираем k случайных элементов из n исходных
 Строим по ним модель
 Считаем количество элементов,
удовлетворяющих модели (inlier)
 Модель с наибольшим количеством inlier
будет результатом

42

Only for

Maxus 

Устойчивость к выбросам
Количество ошибок

RANSAC и
алгоритма
голосования
 Голосование
более
устойчиво

Эксперимент
43

Only for

Maxus 

Идея

 Разбиваем задачу на подзадачи
 Оптимизируем отдельно
 Поддерживаем постоянными общие
параметры
 Повторяем до сходимости

44

Only for

Maxus 

Представляем энергию в виде суммы по сегментам:
E ( x)  E1 ( x)  E2 ( x)  ...  En ( x)
Оптимизация ддл каждого сегмента
Ei( x)  min ((1  i )  Ei ( x)  i  wij E j ( x))
x
j i

45

Only for

Maxus 

Функционал энергии

и – множества видимых пикселей
q и p – сопоставленные пиксели

Если смещение не целочисленное, интерполируем

46

Only for

Maxus 

Наложения

– штраф за наложение
– количество пикселей с наложением

47

Only for

Maxus 

Гладкость

– множество пикселей границы
– соседний пиксель с
d(p) и d(q) – смещение p и q
– константа-штраф

48

Only for

Maxus 

Функционал энергии

 На каждой итерации
находим локальный
минимум
 Метод Пауэлла

49

Only for

Maxus 

Оригинал

50

Only for

Maxus 

1-я итерация: e=516622.0

51

Only for

Maxus 

4-я итерация: e=467576.0

52

Only for

Maxus 

Ground Truth

53

Only for

Maxus 


 VC8.0
 CPU PM1.6G
 Tsukuba – ~20 с
 4 итерации
 Сегментация – 8 с

54

Only for
Maxus 


 AdaptingBP

55

Only for

Сравнение
Maxus 

Оригинал

56

Only for

Сравнение
Maxus 

Ground truth

57

Only for

Сравнение
Maxus 

Connectivity-slant

58

Only for

Сравнение
Maxus 

AdaptingBP

59

Only for

Сравнение
Maxus 

CoopRegion

60

Only for

Сравнение
Maxus 

Ground truth

61

Only for

Сравнение
Maxus 

Ошибка
Алгоритм Время работы
Tsukuba Venus Teddy Cones Среднее
14–25 с (осн. –
AdaptingBP 1.11 0.10 4.22 2.48 4.23
сегментация)

20 с (8 с –
CoopRegion 0.87 0.11 5.16 2.79 4.41
сегментация)
DoubleBP 0.88 0.13 3.53 2.90 4.19
GC+occ 1.19 1.64 11.2 5.36 8.26
Connectivity-
1.77 3.00 - - - 5с
slant

http://vision.middlebury.edu/stereo/eval/
62

Only for
Maxus 

Список литературы
 Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm
Using Cooperative Optimization. CVPR 2008.
 A. S. Ogale, Y. Aloimonos. Shape and the stereo correspondence
problem. International Journal of Computer Vision, vol. 65, no.
3, 147-162, 2005.
 D. Scharstein and R. Szeliski. A taxonomy and evaluation of
dense two-frame stereo correspondence algorithms.
International Journal of Computer Vision, 2002.
 A. Klaus, M. Sormann and K. Karner. Segment-based stereo
matching using belief propagation and a self-adapting
dissimilarity measure. ICPR 2006.
 C.Yang et al. Mean-shift analysis using quasi-newton methods.
ICIP 2003.
 Scharstein and Szeliski. Middlebury Stereo Evaluation.
http://vision.middlebury.edu/stereo/eval/

63

Only for
Maxus 

Вопросы

?
64

Построение карт глубины и сопоставление стерео

Recommended

Recommended

More Related Content

More from MSU GML VideoGroup

More from MSU GML VideoGroup (20)

Построение карт глубины и сопоставление стерео