2015/11/22に開催されたVRまつりのセミナー資料になります。 未だ謎が多いHoloLensやMagic Leapですが、位置トラッキング技術について、現状で分かっている事をベースに、今後ARアプリを開発する際に注意するべき点を紹介します。 また、やや上級者向けになりますが、発表時には紹介していない、位置トラッキング技術についての最新の関連研究も併せて紹介しています。AR技術の未来予測の一助になれば幸いです。

1. ARグラス基礎講座：
AR位置トラッキングへの期待と注意
発表者：あるしおうね

2. あなた誰？
• あるしおうね と言います（twitter: AmadeusSVX）
• ニコニコ技術部（自称）で動画をアップしています
• 主にAR＋ミクさん方面で活動させてもらってます
• 転職したてで最近停滞気味です…頑張ります
ARミクさんと（物理的に）キス 触れるARミクさんフィギュアARミクさんと生活

3. 今日のお題は？
•謎の多いHololensやMagic Leap
• 光学系は？位置トラッキングは？開発環境は？応用事例は？
• 今回は、事前アンケート結果から…
AR位置トラッキングで出来る事、注意する事は？

4. 以前のARアプリといえば…
•マーカーの上にCGを重畳
• 例：ARtoolkit, ArUco等
マーカー1つでも マーカー沢山でも
出典：ARToolKitで初音ミクも『ｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ) 』
http://www.nicovideo.jp/watch/sm2300874
ArUco http://www.uco.es/investiga/grupos/ava/node/26

5. 以前のARアプリといえば…
•任意の画像の上にCGを重畳
• 例：Vuforia、SmartAR、旧Metaio等
Vuforia SmartAR
出典：Vuforia Developper Portal:https://goo.gl/XvPR6J
SmartAR：https://www.youtube.com/watch?v=XCEp7udJ2n4

6. 以前のARアプリといえば…
•良くある開発フロー
1. 使うマーカー、画像を登録する
2. マーカーを原点に再生するコンテンツを作る
マーカー画像 マーカーを原点にコンテンツ再生
出典：デジアイAR Live：http://jp.rohto.com/digieye/ar/

7. 以前のARアプリといえば…
•良くある開発フロー
1. 使うマーカー、画像を登録する
2. マーカーを原点に再生するコンテンツを作る
マーカー画像 マーカーを原点にコンテンツ再生
出典：デジアイAR Live：http://jp.rohto.com/digieye/ar/

8. 以前のARアプリといえば…
マーカーは開発側であらかじめ登録
•良くある開発フロー
1. 使うマーカー、画像を登録する
2. マーカーを原点に再生するコンテンツを作る

9. Magic Leapのイメージビデオ
•自分で開発するなら？という視点でどうぞ
出典：Magic Leap https://www.youtube.com/watch?v=kPMHcanq0xM

10. Magic Leapの場合…
•良くある開発フロー？
1. 使うマーカー、画像を登録する
2. マーカーを原点に再生するコンテンツを作る

11. Magic Leapの場合…
•良くある開発フロー？
1. 使うマーカー、画像を登録する マーカーが無い！
2. マーカーを原点に再生するコンテンツを作る

12. Magic Leapの場合…
•良くある開発フロー？
1. 使うマーカー、画像を登録する マーカーが無い！
2. マーカーを原点に再生するコンテンツを作る
原点もない！

13. （話を戻して）以前のARアプリの場合…
•遊ぶ側（使う側）は？
1. マーカーを準備して目の前にかざす
2. 出現するARコンテンツを楽しむ

14. じゃあMagic Leapでは？
•遊ぶ側（使う側）は？
1. マーカーを準備して目の前にかざす マーカーがない！
2. 出現するARコンテンツを楽しむ

15. じゃあMagic Leapでは？（予想）
•遊ぶ側（使う側）は？
1. 最初に部屋を動き回って環境を計測する
2. 出現するARコンテンツを楽しむ
出典：Temporally Enhanced 3D Capture of Room-sized Dynamic Scene with Commodity Depth Cameras
http://www.cs.unc.edu/~doums/

16. じゃあMagic Leapでは？（予想）
•遊ぶ側（使う側）は？
1. 最初に部屋を動き回って環境を計測する
2. 出現するARコンテンツを楽しむ
部屋全体＝マーカー

17. じゃあMagic Leapでは？(予想)
•遊ぶ側（使う側）は？
1. 最初に部屋を動き回って環境を計測する
2. 出現するARコンテンツを楽しむ
部屋全体＝マーカーを
ユーザーが登録する

18. （再掲）以前のARアプリといえば…
•良くある開発フロー
1. 使うマーカー、画像を登録する
2. マーカーを原点に再生するコンテンツを作る
マーカーは開発側であらかじめ登録

19. それの何が問題なの？
•どんな部屋＝マーカーが来るか分からない
• マーカーとして使える？
• 原点はどこ？そこに人は立てるの？
• 広い？狭い？
• 部屋の中に何が置いてあるの？
ありとあらゆる間取り

20. 問題１：部屋をマーカーとして使えるか？
• マーカーに使える十分な目印が必要
• 形が単純、壁模様が無地などは苦手かも？
• 「目印になる度メーター」みたいな物はあるのか？
• ユーザーが適切に部屋を計測してくれるのか？
※おそらく現状だと屋外は想定外
散らかっている十分な目印がある部屋の例

21. 問題2：原点をどこに設定するのか？
•部屋が千差万別＝原点も千差万別（RiftやViveと違う）
• コンテンツ再生時の最適な原点は？
• その原点に人は立てるか？
• 原点設定の補助手段はあるのか？

22. 問題2：原点をどこに設定するのか？
•部屋が千差万別＝原点も千差万別
• コンテンツ再生時の最適な原点は？
• その原点に人は立てるか？
• 原点設定の補助手段はあるのか？
×
×

23. 問題3：広い/狭い部屋に対応できるか？
• 部屋の大きさが違う＝コンテンツ再生時の空間が違う
• 十分な空間の有無の確認手段は？
• 想定より広い/狭い場合は？
• Windowsアプリみたいに、スペースの広さに
応じてコンテンツを可変にする必要がありそう
松竹梅

24. 問題4：部屋の配置を把握できるか？
• 部屋の物や配置に応じたコンテンツが必要
• 机、壁、天井などの「平面」程度は自動で認識？
• もしくは事前にユーザーが簡単な識別タグをつける？
• 十分な「平面」が無い場合はコンテンツ可変？
• 部屋の種類、家具や物の詳細な認識は不可？（※研究途上です）
例：台所、タンス、食器等々…
穴の開く天井破壊される壁武器の置かれた机

25. まとめ
• AR位置トラッキングは凄いハイテクです。が・・・
• どこでも使える訳ではない。限界を要確認
• 開発環境に限界評価機能がないかチェック
• 開始位置、エリア等が可変なコンテンツが必要
• 開発環境に領域可変向け補助ツールがないかチェック
• 部屋の中の物の詳細な種類はまだ認識できない
• 開発環境に、基本形状認識orタグ付与機能がないかチェック
• 逆に言うと、いつか自動認識できる日が来ます（5～10年の間？）
• 間違いなく世界が変わるので、今からアイデアを温める価値はあるかも

26. 補足資料
• まとまってませんが、参考までにどうぞ！

27. ARの位置トラッキングは何が違う？
•実視界とCGを重ねて見る：自然に見せるのが難しい
• ずれは許されない
• ジッタ＝ぷるぷるは許されない
• 遅れは許されない（特にHoloLens等）
•色んな環境で使われる
• 設置式のセンサは面倒
• 千差万別の環境でトラッキングできるか？

28. その他のAR位置トラッキングその1：機械式
•例：ダモクレスの剣
• 角度センサで位置トラッキング
• 高速で高精度（というか昔はこれしかなかった）
• デカくて重い
• 動き回れない

29. その他のAR位置トラッキングその2：光学式（Outside-In）
•例：VICON, OptiTrack等
•Oculus Rift/HTC Vive等と本質的に同じ
•広範囲対応は高価
•将来低価格化する可能性？
•設置が面倒

30. その他のAR位置トラッキングその3：立体物追跡式
• 例：Vuforia, 故Metaio等
• カメラだけで良い（必要に応じてジャイロ等も使用）
• 色んな立体物が使えて広い応用？
• （全周で立体物を取り込むのが面倒）
• 使用には注意が必要
• 使える立体物に制限がある（模様が必要）
• そんなにロバストではない
• そんなに皆同じ立体物を持ってない
出典：Vuforia https://www.youtube.com/watch?v=mXpr37pR34U

31. 最新研究紹介：特定物体追跡 LINE-MOD
• 高性能な三次元の特定物体認識アルゴリズム
• Kinect等のRGB-Dセンサ向け
• 事前登録した物体を認識できる
• 物体の得意、不得意がある
• 模様が少な目でも大丈夫（Vuforiaは少ないと厳しい）
• シルエットの形が特徴的な方が良い
• ROS向けに実装済
• ロボット系では既に色々使われています
出典：http://campar.in.tum.de/Main/StefanHinterstoisser

32. 最新研究紹介：一般物体認識 GoogLeNet
• 二次元画像の一般物体認識の最新研究
• 性能は説明不要なレベルに凄い＋今後まだ発展しそう
• 画像中の矩形領域内の種類を判定するだけなので、
三次元のARには完全な適用は難しい
• 各物体の三次元位置や向きまでは計測していない
• そこまで厳密にしなくても色々応用はありそう
出典：http://googleresearch.blogspot.jp/2014/09/building-
deeper-understanding-of-images.html

33. 最新研究紹介：三次元物体認識 PanoContext
• 部屋を対象にした全周囲カメラによる三次元一般物体認識の試み
• 部屋の中心を撮影して、壁、家具などを自動認識
• 全て長方形～直方体の仮定はあるが、三次元的な認識を行っている
• 本研究室では、RGB-Dセンサによる三次元一般物体認識も進めており、
最先端研究として要注目
出典：http://panocontext.cs.princeton.edu/paper.pdf

34. 最新研究紹介：位置トラッキング LSD-SLAM
• カメラ1台だけ（でも広角推奨）で行える高精度なSLAMの最新研究
• SLAM：位置トラッキングとそれ用の地図＝マーカーを同時作成
※HoloLensもMagic LeapもSLAMと言われている
• 本手法は2台＝ステレオカメラにもすぐ拡張可能
• 多すぎず、少なすぎず、中庸のアプローチ
• 面で高密度に風景を計測する：KinectFusion等＝重い
• 点で低密度に風景を計測する：PTAM等＝ロバスト性低
• エッジで中密度に風景を計測する＝軽くてロバスト性高い
• 軽くてロバスト性が高いので広い範囲で動き回れる
• ROS向けに実装がある
出典：https://vision.in.tum.de/research/vslam/lsdslam 超広い範囲をマップ化できてしまう

35. 最新研究紹介：動く風景向け DynamicFusion
• 周囲が完全静止しているとは限らない＝動く環境に対応
• 対象を、変形可能な物と定義してトラッキングが可能
• 大きく動いたり、大きく隠される（見えなくなる）部分が出るとまだ破綻する
• この部分も今後研究が進みそう
出典：http://grail.cs.washington.edu/projects/dynamicfusion/
手を動している人を基準に位置トラッキング

36. 最新研究紹介：モバイル環境向け MobileFusion
• モバイル環境向け位置トラッキング＋高密度三次元計測
• 既存のスマートフォンのカメラとCPUだけでSLAMを実現
• PTAM等と異なり、マッピング時に高密度な三次元計測を行う
• 画像特徴ベースのため、テクスチャの乏しい対象では破綻する
• ボクセルベースの空間定義を行っているため、現状ではGPU的に
広範囲のマップを作成できない制限がある。改善に期待
出典：http://www.robots.ox.ac.uk/~mobile/Papers/2015ISMAR_ondruska.pdf

37. 最新研究紹介：平面領域抽出 Dense Planar Mapping
• 被写体中の平面を検出して位置トラッキングに使用
• Kinect等のRGB-Dセンサで平面の部分を抽出
• 大面積の平面を計算に使うことで安定したトラッキング
• 平面にIDを振れるので、HoloLensやMagic Leapのデモ
のようなことが可能になる
• トラッキング方式は不明だが、平面抽出技術として
似たようなものが取り入れられるのでは？
出典：http://www.doc.ic.ac.uk/~rfs09/dps.html
壁いっぱいにFacebook

38. 最新研究紹介：タグ付け Semantic Paintbrush
• 今見ている対象を指定して、リアルタイムにタグ付け
• ステレオカメラによるSLAM（屋外計測可能）
• レーザーポインタで対象を指定してジェスチャ
• 同じ特徴を持つ領域を自動的に抽出してタグ付け
• 繰り返すと場所の意味を含む「Semantic Map」が出来上がる
出典：http://graphics.stanford.edu/~niessner/miksik2015chi.html