Presentation for ADD-2010 conference: "Augmented Reality for Programmers"

1. AUGMENTED REALITY
FOR PROGRAMMERS
Andrew Bibichev
2010, September

2. AR AR
AR
AR
AR
AR
AR
AR
AR
AR
AR

3. Link

4. Link

5. Link

8.  

10. Link

11.  

15. VIRTUAL REALITY
Real Life
Context
Generated
Content

16. AUGMENTED REALITY
Real Life
Context
Generated
Content

17. AR
Real Life
Context
Generated
Content
VR

18. INNOVATIONS IN
INPUT OUTPUT
Processing Rendering
device device
AR VR

20. EARLY 1970s:
FIRST ELECTRONIC KEYBOARD

21. 1977: TOUCH SCREEN

22. 1981: Xerox Star mouse

24. EARLY 1990s: WEBCAM

25. 1995: Genius EasyScroll mouse

27. 2007: multi touch (iPhone)

28. 2007: WII REMOTE (accelerometer)

29. JUNE, 2009: WII MOTION+ (gyro)

30. 2010: smart phones
with gyro, accel, GPS, video camera, …

33. SEP, 2010: SONY MOVE

36. NOV, 2010: MS KINECT

39. 1984: Apache

40. Link

42.  
 

43. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

49. MICROMECHANICAL GYROSCOPE

53. OUTPUT IS ANGULAR VELOCITY

55. ERROR ACCUMULATION =>
=> DRIFT == LOW-FREQUENCY NOISE

56. Link

60. a
g g-a
Output is (g-a) in coordinate system of device

61. Case: 1d, a 0
y

gx
gy
g x

62. Acceler
?
g x , gy
Angle

Gyro
Magic
Complementary
==
Filter
Kalman Filter

63. KALMAN FILTER IS BASED ON MODELS
Link

64. Link
C++ implementation

66. COMPLEMENTARY FILTER
amplitude
frequency
Link

67. HOW TO CHOOSE VALUE OF COEFF.?

71. Link

72. g
drift 

75. B
g
drift

77. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

78.  
W
H
d D
FOV
L

79. W
H
d D
FOV
L

83. HOW TO DETECT MARKER(S) ON IMAGE
Threshold

85. Link

86. N CAMERAS X M MARKERS

87. VICON

89. OPTITRACK

90. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

93. MICROSOFT SURFACE
Link

95. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

97. ROOTS OF NATAL == 3DV ZCAM
Link

102. ABOUT USING OF DATABASES
Link

103. Camera input Tiny image
Blended pose of
nearest neighbors
Database nearest neighbors
Link

105. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

106. ORGANIC MOTION
Link

109. IPISOFT DESKTOP MOCAP

111. markers
structured light
Cameras Z-cameras / Z-sensors
True Optical:
several cameras
True Optical:
one moving camera
Spec. GPS, accelerometer,
sensors gyro, magnetic compass

113. SOURCE CODE

115. AUGMENTED REALITY REVENUE
400
350
300
250
200
millions of USD
150
100
50
0
2008 2014 Link

117. robustness сущ.
общ. здоровье; сила; здравомыслие; трудность; эксплуатационная
надёжность; прочность
автом. надёжность
безоп. способность системы восстанавливать работоспособность при
возникновении ошибочных ситуаций
воен. жёсткость; защищённость
выч. устойчивость (к нарушениям исходных
предпосылок); "выносливость"; живучесть; устойчивость к
нарушениям исходных предпосылок
комп. ошибкоустойчивость
контр.кач. прочность (конструкции)
Макаров робастность (оценки в статистике); устойчивость (к
нежелательным, но возможным воздействиям)
матем. корректность (метода)
рбт. грубость (напр. системы управления)
редк. грубость
тех. выносливость (к нежелательным, но возможным
воздействиям); робастность