xRLT vol.3 HoloMon LT

HoloLens2の視線追跡カメラセンサ
 本LTはHoloLens2の視線追跡
(アイトラッキング)の話。
 HoloLens2ではレンズ部分に
視線追跡用のカメラセンサが
追加されている。
 このカメラは視線追跡のほか、
光彩認証や瞳孔間距離の調整
のためにも利用される。

MRTKで視線追跡を利用する
 MRTKを利用すれば、
視線追跡を利用した
アプリケーションを
作成できる。
 基本設定の手順は以下を参照のこと。
 MRTK v2を使ってHoloLens1/HoloLens2/WindowsMR(VR)向けアプリを作
成するプロジェクト作成編（MRTK v2.3.0版）
 http://bluebirdofoz.hatenablog.com/entry/2019/12/12/004117

とにかくすぐに試したい人は……
 Exampleパッケージに6つのデ
モシーンが用意されている。
 RootSceneを最初のシーンに
して6つのシーンをビルドする
と、様々な視線追跡の活用例
が試せる
 ただし……
 実機(HoloLens2)で機能を利用するためには、後述の「視線入力(GazeInput)」機
能の有効化を行う必要がある

視線追跡を利用するための追加設定
 アイトラッキングの利用には以下の追加設定
や前提条件が必要になる。
 プロファイルにて「Eye Gaze Data
Provider」を追加する
 アプリケーションマニフェストで
「視線入力(GazeInput)」機能を有
効にする
 HoloLens2を装着するユーザがキャ
リブレーションを実施済みである

視線入力(GazeInput)の有効化
 Capabilityの許可が必要だが、Unityの
PlayerSettingsでは設定できない。
 Visual Studio のマニュフェストで
「視線入力(GazeInput)」機能を
チェックする
 MRTK の BuildWindow で「Gaze
Input Capability」にチェックを入
れてビルドする
 BuildWindow は Tools パッケージ
に含まれる

視線によるイベントを発生させる
 MRTK の EyeTrackingTarget スクリプトを利用
すると、視線によるイベントを設定できる。
 例えば、今回登録したイベントは
以下の２つ。
 OnLookAtStart()
 ユーザの視線がターゲットを見た
ときにイベントが発生する
 OnLookAway()
 ユーザの視線がターゲットから外
れたときにイベントが発生する

UnityEditor上で試す
 プロファイルの設定を行うことで UnityEditor
で視線追跡の動作確認を実施できる。
 プロファイルの「Input Simulation
Service」で「Simulation Eye
Position」をチェックする
 頭部からRayCastが視線代わりとな
り、視線追跡のイベント発火を試
すことができる

自己紹介（ホロモン）
 MRが楽しい
http://bluebirdofoz.hatenablog.com/
 Twitter:ホロモン(@HoloAdventure)
https://twitter.com/HoloAdventure
 デジモン大好き
 でもまだ今公開中の映画は
見に行ってない……

参考用記事
 MRTK v2を使ってHoloLens1/HoloLens2/WindowsMR(VR)向けアプリを作成するプロジェク
ト作成編（MRTK v2.3.0版）
 MRTK v2のドキュメントを少しずつ読み解く MRTKでアイトラッキングを開始する
 MRTK v2のドキュメントを少しずつ読み解く MRTKのアイトラッキングのデモシーン
 MRTK v2のドキュメントを少しずつ読み解く Eye-supported target selection その１

xRLT vol.3 HoloMon LT

Recommended

Recommended

More Related Content

More from Holo Mon

More from Holo Mon (13)

Recently uploaded

Recently uploaded (9)

xRLT vol.3 HoloMon LT