1. Распознавание образов и технологии
Augmented Reality в мобильных
приложениях
Степанов Александр
iOS Developer
пятница, 14 декабря 12 г.

2. What is AR ?
пятница, 14 декабря 12 г.

3. Iron
Man
пятница, 14 декабря 12 г.

4. Minority report
пятница, 14 декабря 12 г.

5. In real
пятница, 14 декабря 12 г.

6. Google Eyes
пятница, 14 декабря 12 г.

7. Juniper research, 2011
пятница, 14 декабря 12 г.

8. AR Types
‣ Location based
‣ Image recognition
‣ Face recognition
пятница, 14 декабря 12 г.

9. Location based
‣ Location (GPS)
‣ Accelerometr
‣ Magnetometr +
Gyroscope
‣ Mapkit
пятница, 14 декабря 12 г.

10. Location based
‣
‣
‣ ...
пятница, 14 декабря 12 г.

11. ARKit
• https://github.com/zac/iphonearkit/
• https://github.com/nielswh/iPhone-AR-Toolkit
✓ Free, open source (not GPL)
- Gyroscope support
- Different devices (iPhone, iPad, iPod)
support
пятница, 14 декабря 12 г.

12. • http://3dar.us/
✓ Gyroscope (CoreMotion)
✓ OpenGL 3D markers
- Free - branded
- 4 995 $ for unbranded
пятница, 14 декабря 12 г.

13. Image based
‣ Marker - based
‣ Markerless
пятница, 14 декабря 12 г.

14. Marker - based
• https://github.com/benlodotcom/VRToolKit
✓ Free Open source
- GPL
- Low performance
пятница, 14 декабря 12 г.

15. Marker - based
• https://github.com/jonmarimba/NyArToolkit-iOS
✓ Free Open source
✓ Good performance
✓ Unity3D
- GPL
пятница, 14 декабря 12 г.

16. ✓ Українці
✓ Geo-position SDK
- Licensing terms
пятница, 14 декабря 12 г.

17. ✓ Unity3D
✓ Marker is more flexible
- 485 € : 1year, 1 app, 1 marker, brandable
- 6 795 € : 1year, 1 app, no limits
пятница, 14 декабря 12 г.

18. Markerless
• Pattern recognition
• Tracking
• 3D pose estimation
пятница, 14 декабря 12 г.

19. OpenCV
пятница, 14 декабря 12 г.

20. OpenCV
• http://opencv.org/
• https://github.com/Itseez/opencv
✓ Standalone (MacOS, Linux, Windows)
✓ Mobile (Android, iOS from 2.3.1)
- No optimization for mobile (NEON)
пятница, 14 декабря 12 г.

21. OpenCV
Optimization
http://www.aorensoftware.com/blog/2011/03/31/bullet-
physics-optimization-for-ios/
✓ {opencv}/ios/cmake/Modules/Platform/iOS.cmake
#43 set (CMAKE_CXX_FLAGS_RELEASE "-DNDEBUG -O3 -fomit-frame-
pointer -ffast-math -mfpu=neon -mdynamic-no-pic")
✓ Compiler: Clang -> llvm-gcc4.2
пятница, 14 декабря 12 г.

22. OpenCV
Optimization
https://github.com/aptogo/OpenCVForiPhone
Version 2.2-2.3
More about NEON :
http://habrahabr.ru/post/156809/
пятница, 14 декабря 12 г.

23. Pattern recognition
1.Feature detection
•STAR
•MSER
•SURF
•GFTT
•FAST
http://computer-vision-talks.com/2011/07/comparison-of-the-opencvs-feature-detection-algorithms-ii/
пятница, 14 декабря 12 г.

24. Pattern recognition
2. Descriptor
•BRIEF
•SURF
•SIFT
пятница, 14 декабря 12 г.

25. Pattern recognition
2. Matching
пятница, 14 декабря 12 г.

26. Pattern recognition
• Brute force
• FLANN
• Find nearest
• dist < Eps
пятница, 14 декабря 12 г.

27. Pattern recognition
RANSAC
пятница, 14 декабря 12 г.

28. Tracking
Lucas-Kanade Optical Flow algorithm
• http://www.hatzlaha.co.il/150842/Lucas-Kanade-
Detection-for-the-iPhone
✓ Implemented in OpenCV
- Low performance
пятница, 14 декабря 12 г.

29. Tracking
Template matching based tracking
• http://cvlab.epfl.ch/~lepetit/
✓ Faster
✓ Accurate
- Require hard-computational learning
пятница, 14 декабря 12 г.

30. 3D Pose estimation
Frame
Model view matrix
Polygon 3D Projection matrix
Homography
http://habrahabr.ru/post/139429/
пятница, 14 декабря 12 г.

31. My experience
• Ferns http://cvlab.epfl.ch/research/completed/
surface/ferns/
• Template matching tracking
• http://isgl3d.com/
пятница, 14 декабря 12 г.

32. Demo
пятница, 14 декабря 12 г.

33. - Several markers
пятница, 14 декабря 12 г.

34. • http://www.qualcomm.com/solutions/augmented-
reality
✓ Free to use in commercial apps
✓ iOS & Android
✓ Unity3D extension
пятница, 14 декабря 12 г.

35. ✓ Fast and robust
пятница, 14 декабря 12 г.

36. ✓ Fast and robust
✓ Really fast and robust !
пятница, 14 декабря 12 г.

37. ✓ Image target
Up to 50 markers
пятница, 14 декабря 12 г.

38. ✓ Virtual Buttons
пятница, 14 декабря 12 г.

39. ✓ Multi Targets
пятница, 14 декабря 12 г.

40. ✓ Online tool: https://ar.qualcomm.at/sdk
Registration required
✓ NinevehGL supports Vuforia SDK
http://nineveh.gl/
пятница, 14 декабря 12 г.

41. Need Markerless AR ?
Use
http://socialcompare.com/en/comparison/augmented-
reality-sdks
пятница, 14 декабря 12 г.

42. Face tracking
✓ OpenCV Haar
classification
пятница, 14 декабря 12 г.

43. Face tracking
https://github.com/aptogo/FaceTracker
http://opencv.org/
✓ Not only face,
but face features too !
пятница, 14 декабря 12 г.

44. - Too slow
- 2D only
пятница, 14 декабря 12 г.

45. 3D Face contours tracking
пятница, 14 декабря 12 г.

46. 3D Face contours tracking
✓ Fast enough for 2 cores
Smartphones CPU
✓ Tracks contours in realtime
✓Emotions recognition
пятница, 14 декабря 12 г.

47. Demo
пятница, 14 декабря 12 г.

48. 3D Face contours tracking
✓ Licensing
✓ iOS/Android
App development partnership
пятница, 14 декабря 12 г.

49. Спасибо за
внимание !
Степанов Александр
yltastep@gmail.com
пятница, 14 декабря 12 г.