ROS Japan UG #44 LT大会 にて発表した内容です。

1. Onomichi Hirokazu (Micchy)
2021.10.06 ROS Japan UG #44 オンラインROS勉強会

2. Onomichi Hirokazu ( Micchy )
@Dream_Drive
 お仕事
医療関連のソフトウェア開発・運用、etc…
ロボット/ROS のお仕事も受託します！
 メイカー系イベントやロボコンをうろうろ
 社会人ロボコニスト (ROBO-ONE)
 ROSCon JP2018からボチボチROSを使い始める
 2019 瀬戸内ROS勉強会 発足
 2020.10 VRChatをはじめる
自己紹介

3. VRChatとは・・・
「VRChat」は、VR空間内にアバターでログインし、
多人数でコミュニケーションできるソーシャVRアプリです。

4. VRChatとは
同時接続で、同じVR空間内で、コミュニケーションできる。
プログラム可能なワールドの中で遊べる。
VR二足歩行ロボットコンテストの様子

5. VRChatに必要な機材
VRChatで使えるのは最大6点トラッキングまで
• VRヘッドマウントディスプレイ
• VRジョイコントローラー
• ツヨツヨなゲーミングPC

6. VRChatで出来ること
Unityで自作するワールド
 思い思いの3Dモデリングソフトを駆
使し、Unity上で並べて、ワールド
を自由に作成できる。
 SDK2とSDK3がある。
 プログラミングも可能。
 Fusion 360から出力したFBX 、ロ
ボットの3D CADモデルの (100万ポ
リ超え)を、ロボット仲間で囲んで
見ると面白かった。

7. VRChatで出来ること
Unityで自作するアバター
 思い思いの3Dモデリングソフトを駆使
し、Unity上でアバt－アを自由に作成
できる。
 着せ替えや、さまざまなアニメーショ
ンを実装可能
 光を放つ魔法のエフェクトや銃を撃っ
たり・・・

8. ROSとVRChatをつなぐ目的
 Gazeboの中に入って、仮想のロボットとインタラクション出来ると面白そう
 「ロボットは実機なのでオンラインに向かない」をなんとかしたい。
 ロボットの展示会をVRで開催（シミュレーションではなく実機連動）などの要素技術…

9. ワールド(VRChat)とROSを繋ぐ
 使えそうな入出力・・・
 入力 ( 外部 ➡ VRChat )
 MIDIによる通信
 OSCによる通信
 Streamによる配信( 公開サーバーから… youtube libe / twitch 等 )
 画像入力( vrc_panorama )
 出力 ( VRChat ➡ 外部 )
 httpリクエスト(vrc_panorama）
 Output_log (デバッグ用のメッセージを出力して、ログをパース)
 映像（Steam Cameraはアバターのビューポイントと排他）

10. ワールドとROSを繋ぐ
 VRChat内のスイッチを触ると、ArduinoのLEDが
点灯・消灯
 Arduino の SWを押すと、VRChat内の仮想LEDが
光る

11. ワールド側の仕組み(VRChat → ROS)
 本来外部サーバーから画像を取ってきて表示する機能を応用 (VRC_Panorama)
 [BOOTHアセット] 触るとブラウザが開くシステム VRChat OpenBrowser (500円)
https://booth.pm/ja/items/2028769
 本来は、インタラクトするとローカルサーバーに埋め込みURLが引き渡され、ブラウザが立ち上がるアセット
 ワールド内のオブジェクトをインタラクト ➡ (httpリクエストが発生) ➡
➡ ROSマシンのflaskサーバー(ポート5000) ➡ URLを解析して、コマンドをStringで publish ➡
➡ subscribしてrosserialにLEDのON/OFFを publish ➡ ArduinoのLEDが点灯or消灯
 アセットの設定
Publishするコマンド (文字列)
ROSマシンのflask(http)サーバー：ポート

12. ワールド側の仕組み(ROS → VRChat)
 SDK2 の VRC_OSC Button & VRC_Triger の利用
 送れるのは、1bitのON/OFF (Bool)
 束ねて複数bitとして扱う技もある
 [参考] VRChatと外部世界を繋ぐインターフェース
https://qiita.com/jscmla1118/items/27e12a12ffc60e4617e4
 OSCは、oscpackを利用 (C++)
 Osc : OpenSound Control
 https://github.com/MariadeAnton/oscpack
 rososc パッケージはよく分からなかった

13. ワールド(VRChat)とROSを繋ぐ
Flask (http server)
OSC
http
Arduino

14. 複数bitを束ねて、VRChatに送り込む
（実測） 8bit x 8列 = 64bit を8Hzで送るのがやっとでした。💦 (512bps)

15. アバター(VRChat)とROSを繋ぐ
 入力
 仮想トラッカーでのアプローチ
 コントローラーへのボタン入力
 音声
 出力
 ビューポイントからのカメラ映像
 コント―ローラーへの振動（インタラクト時）
 音声

16. 仮想トラッカー : VirtualMotionTracker
 https://github.com/gpsnmeajp/VirtualMotionTracker
 仮想トラッカ
 OSCで座標を受けて、OpenVRでトラッカーを登録するゲートウェイソフト

17. VirtualMotionTrackerを動かしてみる

18. ゲートウェイノードをつくる
 (PoseStamped) ➡ ROS ➡ (OSC) ➡ Steam VR (OpenVR) ➡ VRChat
 ROSでOSCを話すには・・・
 rososc
 http://wiki.ros.org/rososc
 使い方がワカラナイ・・・
 oscpack を流用してゲートウェイノードを自作
 https://github.com/MariadeAnton/oscpack

19. さらに入力装置をつくる
 Dynamixel workbench ➡
➡ (jointstate) ➡ tf ➡
➡トラッカー位置のPoseStamped ➡
➡ ゲートウェイノードへ
 人間の関節自由度に合わせた設計１１軸使用

20. DynamixelからVMTへ

21. TFでトラッカー位置を計算
あらためて、TF最高！！
urdf書けば、勝手にやってくれる。

22. 動作の様子(下半身)
 仮想の人体(形状は違うが寸法は同じ)
のurdfにて、tfの計算がされている

23. 動作の様子(上半身)
 ここまでくると全身コントロールしたくなりますよね
って、ある人に言われました。(笑)

24. 自動動作の同期
 ロボットなので、自動でも動きます。
 ロボットの実測データを送っているので、ロボットに
外乱を与えると、アバターも影響を受けます

25. 映像でのアプローチ
 VRChat(ubuntu) → OBS Studio → 仮想カメラ → ros-noetic-usb-cam
 ハマリポイント
 OBSの仮想カメラを有効にする
https://qiita.com/tanutanup/items/ac3e67e2a27e007b8098
 ROSのusb-camノードが起動しない。
→ OBSの仮想カメラがYUV形式！
usb-camノード起動前におまじないを！
$ rparam set /usb_cam/pixel_format yuyv

26. VRChatのビューポイントをROSで処理

27. VRChat内での自動走行も可能！？
 VMTによるVRジョイコントローラのエミュレート
 Joy_nodeからVMTへのゲートウェイノード
 Joy_nodeをエミュレートすることで、VRChat内を自動運転可能
 インタラクトなども、自動化可能
 また、移動に関しては、トラッカーの座標だけでも実現
自動化

28. ご清聴ありがとうございました。
勇者技研の勇者ファイバリオンもVRで活動中…