これまでのAR技術・コンテンツは、単眼カメラのキャプチャ画像にバーチャル情報、オブジェクトを重ねる程度で、現実感は薄く市場に定着していません。今回は、GoogleがAndroid向けにリリースしているAR/MR向けのTangoプラットフォームの三つのコアテクノロジー(奥行き知覚、モーショントラッキング及び領域学習)を活用してより現実と融合したARの体験、そして今までGPSが上手く行かない環境でのナビゲーション（屋内のナビゲーション等）を実現してみました。

1. 1
モバイルAR技術の最先端
Google Tangoを活用してバ
ーチャル案内スタッフを実現
してみた
GMOインターネット
次世代システム研究室
ブイ・ミン・クオン

2. 2
目次
1. 背景＆モチベーション
2. Google Tango についての紹介
3. 解決すべき課題
4. 課題解決方法とTangoの強みの活用
5. まとめ
6. デモ案内

3. 3
背景＆モティベーション
突然ですが
空港で国際線の乗り継ぎ時
道が迷ったことがありますか？

4. 4
背景＆モティベーション
展示会、博物館内で
旅館内で
地下町、駅内で
大きなショッピングモール内で

5. 5
背景＆モティベーション
言葉の壁
案内スタッフがいても案内してくれても言葉を通じない
手不足＆対応が苦労
人間スタッフの限られた人数ですべてのお客さんに対応ができません

6. 6
背景＆モティベーション
人間案内スタッフがいなくても
モバイルAR技術の最先端
Google Tangoで
バーチャル案内スタッフを作れ
ないのか？

7. 7
研究の目的
• モバイルAR技術の最先端 Google Tangoプラッ
トフォームを調査する
• 調査を踏まえて、Tango が提供した技術の実証実
験およびバーチャル案内スタッフの実現にTango
の強みを活用する方法の検討

8. 8
Google Tangoとは
マーカーレスAR/MRフラットーフォーム
奥行き知覚、モーショントラッキング、領
域学習の３つコア技術
屋内ナビゲーション向け
トータルソリューション

9. 9
屋内面白いゲーム

10. 10
Google Tangoの3つのコア技術
• 奥行き知覚（赤外線センサーなどを使用して物体ま
での距離奥行きを把握することができる機能)

11. 11
Google Tangoの3つのコア技術
• モーショントラッキング（Tango搭載デバイスを
持って移動するとデバイスがその動を追跡し理解す
ることができる機能)

12. 12
Google Tangoの3つのコア技術
• 領域学習（Tango搭載デバイスに空間の重要な視覚的徴を
覚えさせて、再びその領域を認識することができる機能）

13. 13
LENOVO PHAB 2 PRO
光の飛行時間で距離を計
測するToF
（Time of Flight）
カメラ
IRプロジェクター
魚眼カメラ
RGBカメラ
LED

14. 14
解決すべき課題 (1/2)
1. バーチャル案内スタッフを地面上に立つようにす
る（現実と高度融合精度）
2. バーチャル案内スタッフを動かす
3. バーチャル案内スタッフをしゃべらせる

15. 15
解決すべき課題 (2/2)
4. 実空間で実物と閉塞問題を処理する
5. デバイスの動き、位置及び向きを把握し、バーチ
ャル空間への反映（同期）
6. 案内先まで道と方向を覚えさせ、道案内ができる
ようにする

16. 16
デモビデオ

17. 17
開発環境
• Tango UnitySDK Caporales
• Unity 5.4.4 f1 Personal
• Android Studio 2.2.3
• Unity chan 3DModel
• MMD4Mecanim-LipSync-Plugin
• AITalk

18. 18
バーチャル案内スタッフを地面上に立つようにする
画面にタッチして、バーチャル案内スタッフを地面上に現れる

19. 19
奥行き知覚
光の飛行時間で距離を計測
する方法
赤外線（IR)カメラ
IRプロジェクター
ポイントクラウド
(x, y, z z：奥行き情報）

20. 20
奥行き情報を活用
タッチポジション情報
ポイントクラウド逆投影
最近隣補間法
①
② ③

21. 21
バーチャル案内スタッフを動かす

22. 22
バーチャル案内スタッフを動かす
• MecanimというUnity4からサポートしたアニメーション
システムを利用
• GameObjectにAnimatorコンポーネントを追加
• AnimatorにはAvatarと状態遷移を扱うワークフロー
• 各状態にアニメーションクリップ（Animation Clip)を付
ける
• パラメータ値の変更で状態遷移を制御

23. 23
Unityでの設定

24. 24
Animator (状態遷移を扱うワークフロー)
状態
パラメーター
状態遷移

25. 25
バーチャル案内スタッフをしゃべらせる

26. 26
バーチャル案内スタッフをしゃべらせる
• 音声合成（Text To Speech: テキスト読み上げ)
• 音声と同期して口を動かす（リップシンク）

27. 27
音声合成手段の選択
 音声合成（Text To Speech: テキスト読み上げ)
 IBM Watson
 AITalk
 比較
 AITalkの方がノイズが少ない
 綺麗な職人の自然な音声合成ができる

28. 28
音声と同期して口を動かす（リップシンク）
 WAVE データの音声に同期したリップシンク
 入力した日本語をテキスト読み上げながら、リップシンク
 マイク入力に合わせたリップシンク

29. 29
Unity上の設定
挨拶、会社の紹介、到着するときに
の音声ファイル

30. 30
実空間で実物と閉塞問題

31. 31
奥行き情報を活用、閉塞問題を解決
Z2
Z1
• Z-Buffering（深度バッファリング）
２次元配列

32. 32
デバイスの動きをバーチャル空間への反映（同期）

33. 33
モーショントラッキング
魚眼カメラ 慣性計測ユニット
• 魚眼カメラと慣性計測ユニット(IMU)からデータ
を収集

34. 34
モーショントラッキング
• カメラからの画像フレームの視覚的特徴を識別それに基づき画
像フレーム間の移動距離を計算（領域特徴ベーストレッキン
グ）
• Tangoサービスが開始でき
た時の画像フレームをスター
トフレームとする

35. 35
モーショントラッキング
• IMUは、加速度センサー + ジャイロスコープ
• デバイスがどれだけ速く加速されるか、どの方向に
回転するかをトレッキング

36. 36
モーショントラッキング
平行移動ベクトル(Vector3)
及び回転情報ベクトル（Vector4)
• アウトプット：
魚眼カメラ 慣性計測ユニット
GOOGLE TANGO API

37. 37
案内先まで道と方向を覚えさせて、案内を行う

38. 38
Tangoの領域学習
• 人間の空間認識と空間学習の仕組みと同じ
• カメラから見える特徴的な物体（ランドマーク）をいくつか記憶する
• ランドマークの位置情報
• ランドマークの特徴（数学的記述で記憶）
• カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい
• 領域記述ファイル(ADF)に保存する
• 再び同じ空間に行くと保存されたADFを読み込み、ランドマークの特徴を検索、
マッチングし、以前の空間として認識する

39. 39
Tangoの領域学習機能を活用
タッチでマーカーを追加
（マーカーの位置と向き情報
を保存）
マーカーの座標に基づきバー
チャルスタッフを動かす

40. 40
まとめ (1/2)
• Tangoの3つのコアテクノロジー（奥行き知覚、モーション
トラッキング、領域習）を活用して、バーチャル道案内スタ
ッフを実現してみた
• 学習速度及び空間認識の速度が速い
• モーショントラッキング及び屋内ナビゲーション精度が高い
• GPSがうまく行かない環境（ショッピングモール、展示会、
空港内、駅内などのうな場所）のナビゲーションに役に立つ

41. 41
まとめ（2/2)
• Tangoをサポートするコンシューマー端末はまだ少ないが（現時点で
Lenovo PhabPro2) これから他のメーカーもTangoサポート端末を
作り出すと（ASUSZenFone AR）Tango技術またTangoアプリがも
っと普及になるだろう

42. 42
以上になります。
ご清聴いただき
ありがとうございました