xTech ゆるっとLT: エンジニアカフェMaker's and AR Fukuokaの発表資料

1. Oculusの
Passthrough API
を使ってみた
@_tygoto
xTech ゆるっとLT: エンジニアカフェMaker's and AR Fukuoka
2021/10/22

2. Passthrough APIとは？
• Oculusに搭載されているカメラセンサの映像
自体を利用できるようにするAPI
• VRゴーグルでMRを実現
• ロボットにMRを活用したい！
• 見た目が豪華に！
• 物理的に触れる
• OculusのPassthrough APIを調査
• サンプルの動作確認程度ですが。。。

3. Augmented Objects
ガーディアン（移動可能範
囲）で設定した床面に影が
表示される
パススルー映像の中で仮想
オブジェクトを操作

4. Lighting
パススルー映像の明度を操作

5. Passthrough Styles
Passthrough
Handsは正しく動
作せず。。。
パススルー映像の操作
エッジレンダリング、エッジの色、コントラスト、明度、ポスタライズ、
色付け
Passthrough Styles Overlay Passthrough

6. Selective Passthrough
Surface-projected Passthrough
Selective Passthrough
コントローラを平面に押し付けています。
パススルー映像範囲の操作

7. Passthrough APIの制約
• パススルー映像自体をプログラムで取得できな
い
• パススルー映像の任意の加工ができない
• 課題
• 実体（映像）と仮想オブジェクトの位置合わせ
深度センサを組み合わせる？
ゴーグルに取り付け？

8. 録画方法
• 通常の方法だとパススルー映像が記録できない
• adb (Android Debug Bridge)を利用する必要がある
• デバイスに保存
• adb.exe shell screenrecord /sdcard/demo.mp4
• adb.exe pull /sdcard/demo.mp4
• PCへストリーム配信
• adb.exe exec-out "while true; do screenrecord --bit-rate=2m --
output-format=h264 --time-limit 180 -; done" | "C:¥Program
Files¥VideoLAN¥VLC¥vlc.exe" --demux h264 --h264-fps=60 --clock-
jitter=0 –
• 大きな遅延。。。
• https://developer.oculus.com/documentation/native/android/mobile-adb-mirroring/?locale=ja_JP

9. 買ってよかったもの
• JINS Short Temple Airframe
• こめかみが痛くない
• QUEST 2 ELITEストラップ
バッテリーおよび携帯用ケース付き
• ストラップは前後の重さの
バランスが重要
• コンパクトなケースに入る
https://www.jins.com/jp/airframe/shorttemple/
https://www.oculus.com/accessories/quest-2-
elite-strap-battery-case/?locale=ja_JP