Azure Object Anchors のQuick Startで理解を深めたい

takabrz1 大阪駆動開発 Takahiro Miyaura
Azure Object Anchors の
Quick Startで理解を深めたい

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 1
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です

Azure Object Anchors
2021/7/3 Copyright © 2021 Takahiro Miyaura

概要
空間をスキャンし学習済みの形状と照合
HoloLensで認識している空間情報
＝現実空間をスキャンし凹凸や奥行を把握
 Azure Services
学習済み形状モデル
HoloLens 2
①空間スキャン
②空間情報取得
③アンカー設置＆可視化
[オプション]診断情報送信
Runtime SDK
ou
ファイル
インポート取得
[事前作業]
現実の物体は要登録
APIで登録
3Dモデリング
ツール等で作成
3Dモデル
（参考）Azure Spatial Anchorsはスキャンし
た空間情報を学習済み形状として活用

概要
Dynamics 365 Guidesでも使えるようになる
https://cloudblogs.microsoft.com/dynamics365/bdm/2021/05/05/improve-on-the-job-guidance-with-dynamics-365-guides-and-azure-object-anchors/
 Point
Dynamics 365 Guides
HoloLens を活用して現実環境での作業を支援
手順等をガイダンスとして空間表示
ガイダンスの表示手段
QRコード
円形コード
ホログラフィック

概要
特徴
 検索する現実の物体は3Dモデルで同じ形状のものを用意
 3Dモデルは事前に登録し検索用の学習済みモデル（OUファイル)を取得
 実際の物体検索時にはOUファイルを使って称号を行う。
 つまり基本的にオフラインでの利用が可能

利用について
大きくは2段階の作業
 Azure Services
HoloLens 2
3Dモデル
APIで登録
3Dモデリング
Runtime SDK
ou
ファイル
[事前作業]
現実空間での利用モデルの登録
（事前作業）
[オプション]診断情報送信

利用について – 現実オブジェクトの登録
3DモデルとしてAzure Object Anchorsに登録
【現実オブジェクトは3Dモデルで用意】
 フォーマット .glb, .gltf, .ply, .fbx, .obj
 サイズは1m ～10m の範囲内がスイートスポット
 適切なスケールユニット
 センチメートル, デシメートル, フィート, インチ,
キロメートル, メートル, ミリメートル, ヤード,
 オブジェクトの重力方向
 例：オブジェクトの下向き-Y の場合は、(0, -1, 0)
【注意点】
サイズが大きく、LOD (詳細レベル) が高いモデルの処理には時間がかかる可能性あり。
Azure Object Anchorsの
オブジェクト変換サービスを利用
• 学習済みモデルはouファイルとして取得
• HoloLensにインポート（ファイルコピー）
 Azure Services
3Dモデル
APIで登録
3Dモデリング
Runtime SDK
ou
ファイル
[事前作業]

利用について – 現実のオブジェクトの検出と可視化
学習済みモデルと現実空間の情報を照合
HoloLens 2
Runtime SDK
ObjectSearchArea
 現実の物体を検出するエリア範囲
（動画の赤のボックス）
MinSurfaceCoverage
 現実の物体と一致したとみなす表面の
最小カバレッジ率
IsExpectedToBeStandingOnGroundPlane
 現実オブジェクト床面に設置しているかどうか
ExpectedMaxVerticalOrientationInDegrees
 認識可能な上方向と重力の最大角度
MaxScaleChange
 オブジェクトのスケールを調整(0~1)
検出時の主な調整項目

実装の話
 Quick Startのコードをちょっと紹介

実装の話
大きくは2つのアプリに分かれている。
https://github.com/Azure/azure-object-anchors
HoloLens アプリ
 HoloLensにデプロイ
 学習済みモデルと現実物体を照合&位置合わせ
3Dモデル登録アプリ
 現実物体を模した3DモデルをAzure Object Anchorsサービスに登録
 学習済みモデルファイル(.ou)の取得
quickstarts
├─apps //Hololens アプリ
│ ├─directx //DirectX版アプリ
│ └─unity
│ ├─basic //Unity版素のアプリ
│ └─mrtk //Unity版MRTK利用アプリ
└─conversion
└─ConversionQuickstart //3Dモデル登録アプリ
アプリ概要
←今日はこのサンプルの話を少し

実装の話 - 現実の物体との照合
 Quick Startのコードをちょっと紹介

実装の話 - 現実の物体との照合
ポイントになるクラスはこれ！
ObjectAnchorsServiceクラス
以下の手順で物体検出を実現する
1. サービスの初期化
2. 検索する物体に対応するOUファイルの格納
3. 物体検出時のイベントの設定
• ObjectAdded - 物体を検出した
• ObjectUpdate - 物体の状態が変わった
• ObjectRemoved - 物体をロストした
• RunningChanged –ステータス(一時停止/実行中)
が変更
4. 検出パラメータの調整
5. 物体検出の開始/一時停止
6. 物体検出時の条件（範囲や精度）の設定
7. 終了
TrackableObjectDataLoaderクラス
ObjectTrackerクラス
TrackableObjectMenuクラス

まとめ

まとめ
３Dモデル形状を登録
現実空間から学習済モデルと一致する現実の物体を検索
現実の物体位置、向きを推定しデジタル情報と位置合わせ
今日の詳細版は近日Qiitaにアップ予定！

参考
 Azure Object Anchors の公式ドキュメント
 https://docs.microsoft.com/ja-jp/azure/object-anchors/overview
 Azure Object AnchorsのGithub
 https://github.com/Azure/azure-object-anchors
 Azure Mixed Reality の新サービス「Azure Object Anchors」を使う
 機能概要などの解説
 https://qiita.com/miyaura/items/45f978f8833b3aad12dc
 Kobe HoloLens Meetup! vol.4 - Microsoft Ignite Recap
 今日説明していない3Dモデルを登録する方の実装を少し解説
 https://arkobe.connpass.com/event/210424/

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

Azure Object Anchors のQuick Startで理解を深めたい

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Azure Object Anchors のQuick Startで理解を深めたい

Semelhante a Azure Object Anchors のQuick Startで理解を深めたい (20)

Mais de Takahiro Miyaura

Mais de Takahiro Miyaura (17)

Último

Último (7)

Azure Object Anchors のQuick Startで理解を深めたい