1. Основы 3D обработки
Сайт курса:
http://cvbeginner.blogspot.com/
1

2. Из предыдущих лекций
• Особые точки
• Аффинное преобразование
• Поиск лиц Viola-Jones
• Линейные преобразования
2

3. План лекции
• Решаемые задачи
• Модель камеры
• Фундаментальная матрица
• Поиск объекта с заданными
параметрами на изображении
• Kinect как работает
• Определение позы человека с
помощью Microsoft Kinect
3

4. Стерео реконструкция
Slide credit:Marc Pollefeys
Имея два изображения объекта сфотографированных с разных точек можно
оценить расстояние до объекта
4

5. Структура из движения
I1 I2 I10
Slide credit:Marc Pollefeys
5

6. Модель камеры
Вопрос: как вычислить x и y?
6

7. ,
Ответ
x fX / Z
y fY / Z
7

8. Координаты фотоприемника
fX
u x / w u0 u u0
wZ
fY
v y/h v0 v v0
hZ
8

9. Матрицы внутренних параметров камеры
Zv AM
f /w 0 u0
A 0 f / h v0
0 0 1
Вопрос: Как вычислить матрицу внутренних параметров камеры?
9

10. Калибровка по шахматной доске
10

11. Реализация калибровки в OpenCV
//Находим координаты углов
cv::findChessboardCorners(…);
//Уточняем положения углов
cv:: findCornerSubPix(…);
//Составляем список сопряженных
точек
cv::calibrateCamera(model, detected_corners,
imsize, cameraMatrix, distCoef, rvect, tvect,
CV_CALIB_FIX_K3);
11

12. Искажения
12

13. Причины искажения
13

14. Модель искажения
cv::undistort(src,dst,cameraMat,distCoef)
14

15. Коррекция дисторсии
15

16. Связь между различными системами
координат
M RM t
Поворот + перенос
Вопрос: размер матрицы
поворота
16

17. Основы стериометрии
(x x )
X b Зная внутренние параметры
2( x x ) каждой камеры и координаты
точки, то мы можем определить
(y y ) ее координаты в глобальной СК
Y b
2( x x ) Z fb /( x x)
17

18. Стереокалибровка камер
• cv::stereoCalibrate(model,_left.getC
orners(),_right.getCorners(),lcm,
ldk,rcm,rdk,imsize,R,T,E,F…);
M RM t
18

19. Ректификация изображений
• Задача выровнять
изображения, чтобы
сточки одного
изображения
совпадали со
строчками другого
19

20. Диспарантность
d x x
Вопрос: Как изменяется
диспарантность при удалении
объекта?
20

21. Пример
21

22. Диспарантность
22

23. Процесс стерео отождествления
Левая камера Правая камера
Исходное изображения
Коррекция дисторсии
Ректификация
Обрезание
23

24. Реконструкция рельефа
24

25. Реконструкция рельефа
25

26. Дополнительные возможности
• Поиск ориентации объекта с
известными параметрами,
относительно камеры
• cv::solvePnP(objectPoints, imagePoints,
cameraMatrix, distCoeffs, rvec, tvec);
26

27. Вопросы
27

28. Kinect
28

29. Типы дальностных камер
• Time of flight (камеры времени
пролета)
• Структурированное освещение
29

30. Time of Flight
• Pulsed light source with digital time
counters
– до 7 км разрешение до 128x128
• RF-modulated light sources with
phase detectors
– 10-60м 176x144
• Range gated image
– 1.5-2.5 метров 320x240
30

31. Устройство
31

32. Шаблон проектора
32

33. Процесс анализа
33

34. ИК проектор
34

35. OpenNI
35

36. Распознование позы человека
36

37. Исходные данные
37

38. Классы
38

39. Признаки
39

40. Деревья решений
40

41. Пример дерева решений
41

42. Оценка качества разбиения
42

43. Эффект переобучения
43

44. Свойства
• Плюсы • Минусы
– Просто и наглядно – Плохая
– Легко аппроксимация
анализируемо сложных
– Быстро работает поверхностей
– Легко пременим к – Тебует алгоритмы
задачам с контроля
множеством сложности
классов
44

45. Комитетные методы. Лес решений
45

46. Пример
46

47. Свойства
47

48. Возвращаясь к
классификации поз
48

49. Пример дерева для
классификации позы
49

50. Результаты
50

51. Другие применения MS Kinect
• Робототехника
• Психология
• Системы безопасности
51

52. Вопросы?
52