Mais conteúdo relacionado
Semelhante a Azure Spatial Anchors V2概要 ~空間情報の共有~ (20)
Mais de Takahiro Miyaura (20)
Azure Spatial Anchors V2概要 ~空間情報の共有~
- 2. 宮浦 恭弘 (Miyaura Takahiro)
大阪駆動開発コミュニティに生息
HoloLens日本販売してからXR系技術に取組む
HoloLens系技術Tipsを公開し続けた結果、よく知っている人扱いを受ける。
Mixed Reality Toolkit(以降MRTK)のTipsが比較的多めで、普段(?)からよく
(?)MRTKの調査などを行っているうちにMRTKに詳しい人扱いを受ける。
HoloLensを中心にXR系技術と相性のいい技術(機械学習、IOT)を組合せ
て日々遊びの中で知見を蓄えています。
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
Microsoft MVP for Windows Development 2018-2020
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
(貢献領域:Mixed Reality)
- 4. はじめに
~ ちょっと告知 ~
2019/12/4 Copyright © 2019 Takahiro Miyaura
1. ICT 技術で社会課題を解決する取組み ~ Mixed Reality と AI を活用した事例~
2. Azure Spatial Anchorsを活用したMR/ARアプリケーションの
クロスプラットフォーム開発
Ignite Tour Osaka登壇(2セション)
Kobe HoloLens Meetup! vol.2
1. MRTK V2におけるマルチデバイス対応
〜 Azure Spatial Anchorsとphotonによるシェアリングシステム構築の試み 〜
Azure Spatial Anchorsの技術解説
今日の内容とちょいかぶり
+
MRTK V2でクロスプラットフォームできる紹介
MRTK V2でクロスプラットフォームがどしてできるのかの解説
+
Azure Spatial AnchorsとPhotonでシェアリングした話
- 6. Azure Spatial Anchorsとは
素敵技術の1つ
2019/11/20 Copyright © 2019 Takahiro Miyaura
最近はGoogleも同じようなクラウド管理型のシステムがある
マルチデバイスで利用できる空間共有するための仕組み
コンセプト
現実世界にデジタルのコンテンツを永続的に存在させる
マルチユーザ、クロスプラットフォームでの体験
ウェイファインディング
1. 現実空間の特定の地点にデジタル的な原点となる「アンカー(錨)」を設置
2. クラウド上に「空間の特徴」+「アンカー情報」をセットで管理
3. クラウド上から取得した2つを情報を元にデジタルの情報を復元
- 7. Azure Spatial Anchors V2
ウェイファインディングとは
2019/12/4 Copyright © 2019 Takahiro Miyaura
目印を経路上に複数配置し移動時の補助に活用
アンカー位置を基準に周辺のアンカーを検出し誘導
- 8. Azure Spatial Anchorsとは
概念
2019/11/20 Copyright © 2019 Takahiro Miyaura
仮想の物体
空間解析による特徴点
「空間の特徴」+「デジタルの位置情報(=アンカー)」をクラウド管理
取得時
特徴が一致する空間を探す
空間にアンカー設置
空間の特徴=従来のAR技術でいう「マーカー」に相当
空間認識が可能なデバイス間でデジタルコンテンツの共有が可能
- 10. Azure Spatial Anchorsとは
実例
2019/11/20 Copyright © 2019 Takahiro Miyaura
どのあたりで?
ビルドプレート上で建築中
複数プレイヤーで同じプレートで建築
バーコードにはGUIDの情報がある
⇒ASAでは情報をGUIDで管理
共有したいユーザが設置したアンカーを
Azure Spatial Anchorsに登録
登録したGUIDをQRコード化して他ユーザと共有
- 11. Azure Spatial Anchors V2
V1からの変更点
2019/12/4 Copyright © 2019 Takahiro Miyaura
「空間の特徴」+「アンカー(錨)」+「GPS/Wifi/Bluetoothによる補正」= GUIDキーで管
理
格段に使い勝手がよくなった
Coarse relocalization(荒い局在化)
特にウェイファインディング等で活用できる
V1は最初にアンカーの取得が必要
☹ 最初にIDを把握していないといけない
☹ QRコード等IDを事前共有する仕組みが必要
V2は初回にアンカーの取得がなくても使える!
◎ センサー情報で周辺のアンカー取得が可能
- 12. Azure Spatial Anchors V2
センサー種別ごとの使いどころ
2019/12/4 Copyright © 2019 Takahiro Miyaura
センサー種別 屋内 屋外
GPS Off On
WiFi On On (optional)
BLE beacons
On (optional with
caveats, see below)
Off
- 13. Azure Spatial Anchors V2
センサーとは
2019/12/4 Copyright © 2019 Takahiro Miyaura
デバイスのGPS情報を基準にして周辺のアンカーを検索
GPS
利用する場合は、GPS信号が安定するまで
少し待ってから動作させることが望まれる。
具体的にセションを開いてから時間をかける。
非同期および低周波数(1 Hz未満)
信頼性が低い/ノイズが多い(平均で7 mの標準偏差)
検索空間の半径(概算) 20~30m
- 14. Azure Spatial Anchors V2
センサーとは
2019/12/4 Copyright © 2019 Takahiro Miyaura
Wifiの信号情報を基準にして周辺のアンカーを検索
Wifi
非同期および低周波数(0.1 Hz未満)
信頼性の低い/ノイズの多い(平均3 dBmの標準偏差)
OSレベルで潜在的に調整
検索空間の半径(概算) 50~100m
利用する場合は、Wifi信号が安定するまで
少し待ってから動作させることが望まれる。
具体的にセションを開いてから時間をかける。
- 15. Azure Spatial Anchors V2
センサーとは
2019/12/4 Copyright © 2019 Takahiro Miyaura
Bluetoothの信号情報を基準にして周辺のアンカーを検索
Bluetooth
ビーコンを活用(iBeacon,Eddystone)
ビーコンにはUUIDを指定
アプリケーションにハードコーディングでUUIDを実装
検索空間の半径(概算)70m
ビーコンのUUIDは可変設定にするとリスクが
あるのでできればハードコードで漏洩しないよ
うにするのが望ましい。
- 16. Azure Spatial Anchors V2
デバイス毎のサポート情報
2019/12/4 Copyright © 2019 Takahiro Miyaura
HoloLens Android iOS
GPS 該当なし APIでサポート API でサポート
WiFi 3 秒ごとに約 1 回
のスキャン
API レベル 28 以降スキャン
は 2 分毎に 4 回の呼出に調
整。 Android 10 からは、開
発者の設定メニューから調
整可能
なし
BLE Beacon Eddystoneと
iBeaconに制限
Eddystoneと
iBeaconに制限
Eddystoneと
iBeaconに制限
- 18. Azure Spatial Anchorsの惜しいところ
~ クロスプラットフォーム周り ~
2019/12/4 Copyright © 2019 Takahiro Miyaura
Android/iOS/HoloLensネイティブ用ライブラリ
Unity用ライブラリ
ライブラリはクロスプラットフォーム
ライブラリ「だけ」がクロスプラットフォーム
コンテンツは各デバイス毎に実装が必要
- 19. Azure Spatial Anchorsの惜しいところ
~ クロスプラットフォーム周り ~
2019/12/4 Copyright © 2019 Takahiro Miyaura
Android/iOSはそうですが、HoloLensとは実装方法が違う
今後AR対応デバイスが増えればAzure Spatial Anchorsに対応すべきものが増える可能性も
Unityはクロスプラットフォームだろ
コンテンツ開発もクロスプラットフォーム化したい。
Mixed Reality Toolkit V2はこれらの課題を解決できるOSSライブラリの1つ
- 20. 過去の経緯
Mixed Reality Toolkit V2になるまで
2019/11/20 Copyright © 2019 Takahiro Miyaura
HoloToolkit :
HoloLens用OSSライブラリとして提供開始
MixedRealityToolkit V1 :
HoloLens + WinMRデバイス対応
MixedRealityToolkit V2 :
HoloLens, HoloLens 2, WinMR, OpenVR対
応
構造が大きく変わる
- 21. Mixed Reality Toolkit V2
コンセプト
2019/12/4 Copyright © 2019 Takahiro Miyaura
Cross Platformでの開発可能
XRデバイスにおけるUnity開発の基本的な構成要素を提供
エディタ内シミュレーションを介してラピッドプロトタイピングを有効
開発者がコアコンポーネントを交換できるようにする拡張可能なフレームワーク
Unity向けOSSライブラリ
【幅広いPlatformに対応】
Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality HMD
OpenVR HMD(HTC Vive / Oculus Rift)
V2.2.0でARFoundation対応(試験的)
- 23. 移植した
Azure Spatial AnchorsのサンプルをMRTKで移植
一応できるけど
MRTK V2.2.0でついたAR Foundationは最小限で6Dof動作
つまり拡張が必要
Azure Spatial Anchors用拡張としてMRTK Devチームに提案予
定
具体的には・・・
Azure Spatial Anchorsで必要なコンポーネントの追加
AR空間とのRay衝突検知がAR Foundation専用Orz…
※実装はできるけど個別の配慮がいる
単純にRaycastでは無理でARRaycastManagerでないとだめ