2022/03/20 仮想創造機構のLT大会の資料になります。

1. Micchy
2022.03.20 仮想創造機構 LT大会

2. みっちー Micchy
@Dream_Drive
 社会人ロボコニスト
 メイカー系イベントや各種ロボコンをうろうろ
 2004 ロボットつくりはじめる
 2014 VR内視鏡をつくった
 2019 瀬戸内ROS勉強会 発足
 2020.10 VRChatをはじめる
 2021.04 「だみとら」公開
自己紹介

3. 2mの搭乗可能な変形ロボットを
VRと連動させて動かしたい！
2021 バーチャルマーケット 2022 国際ロボット展

4. VRChatとロボットが連動するには…
双方向で、
通信するしかない！

5. シリアル通信とは…
PCの背面パネル
RS-232C (Dsub-9pin)
最近は省略されることが多いが
実は自作PCの取説を見ると
M/Bに実装されていることも USB-RS232C変換機
注) USBもシリアル通信ですが、
本LTでは、RS-232CやUARTを用いた非同期シリアル通信を扱います。

6. シリアル通信(非同期)とは…
• １本の線でデータを送る通信
• ２本の線があれば、双方向でのデータ通信が出来る
• クロック線がないので、あらかじめ通信速度を決めておく
• タイミングがズレると通信が成立しない

7. 世の中にあるシリアル通信で繋がるモノたち

8. 課題
シリアル通信をVRChatで実現する・・・

9. シリアル通信を実現させる方法
com2
vrchat
Udon
Serial
Debag Log Text
MIDI
？
なんでも繋ごう！

10. 実装事例）
VRChat内のターミナルとRaspberryPiで通信
PCVR
Raspberry Pi
RS232C
<< VRChat内にハイパーターミナルを作りました。
踏み台にして、
クラウドとも通信可能

11. シリアル通信を実現させる方法
com2
vrchat
Udon
Serial
Debag Log Text
MIDI
(2) VRC World から外部への出力
(1) 外部からVRC Worldへの入力

12. シリアル通信を実現させる方法(1)
com2
vrchat
Udon
Serial
MIDI
(1) 外部からVRC Worldへの入力

13. 外部からWorldへのデータ入力 - MIDI
 VRChatに送れるMIDIのイベント
 NoteON – 鍵盤を押すイベント(チャンネル、強さ、音程)
 NoteOFF – 鍵盤を離すイベント(チャンネル、強さ、音程)
 Control Change -音量や音の性質などに関する制御
 本来は、キーを押す・離すなので、交互に送るものだけれど・・・
 キニシナイ！漢は黙って、ひたすら ノォォォオトッ！オンッッ！！

14. MIDI (Note On)とは・・・
チャンネル
1-16(4bit)
ノートナンバー(音の高さ)
0-127 (7bit)
ベロシティ (音の強さ)
0-127 (7bit)
MIDIのデータ (Note On)
20bit
音を伝送するための転送規格
• 音の種類（チャンネル）
• 音の強さ
• 音の高さ

15. MIDI (Note On)とは・・・
チャンネル
1-16(4bit)
ノートナンバー(音の高さ)
0-127 (7bit)
ベロシティ (音の強さ)
0-127 (7bit)
MIDIのデータ (Note On)
20bit
音を伝送するための転送規格
• 音の種類（チャンネル）
• 音の強さ
• 音の高さ
20bitのデータ

16. MIDI (Note On) を使ってデータを送る…
チャンネル
1-16(4bit)
ノートナンバー(音の高さ)
0-127 (7bit)
ベロシティ (音の強さ)
0-127 (7bit)
MIDIのデータ (Note On)
20bit
8bitのデータ
もったいないケド、
20bitの一部を8bitのデータとして使う

17. 外部からデータ(1byte)を受信出来た！
com2
vrchat
Udon
Serial
仮想MIDIドライバ
loopMIDI
8bitのデータ
エンコード
1byte -> MIDI
デコード
MIDI-> 1byte
1byte

18. シリアル通信を実現させる方法(2)
com2
vrchat
Udon
Serial
Debag Log Text
(2) VRC World から外部への出力

19. VRChatのログを読み取る
 VRChatログの場所
 C:¥Users¥(ユーザー名)¥AppData¥LocalLow¥VRChat¥VRChat¥output_log_XX-XX-XX.txt
 リードオンリーでファイルオープンすれば、リアルタイムにパース可能
Worldにjoinする度に、新しいログが生成される。
更新時間が一番新しいものが現行のログ

20. VRChatのログに情報を書き出す
 “Hello World”を出力するには…
 16進数に変換 1byte = 8 bit : 0-255 => 00-FF で表現可能
 48 65 6c 6c 6f 20 57 6f 72 6c 64 0d 0a
 前後に区切り文字をつけて、 Debug.Log関数で出力！
 OUTPUT_DATA[48656C6C6F20576F726C640D0A]
 アスキーだけじゃなく、バイナリも転送可能 (0x00-0xFF なんでも送れる)
H e l l o (スペース) W o r l d (復帰) (改行)
48 65 6c 6c 6f 20 57 6f 72 6c 64 0d 0a

21. VRChatのログに書き出されたデータ
 実際のログの様子

22. 外部へデータを送信出来た！
com2
vrchat
Udon
Serial
Debag Log Text
DATA
外部プログラム[com2vrchat]で再度デコード
• OUTPUT_DATA[]を見つけ出す
• 中身を抜き出す
• 16進数をバイナリに変換
• 変換済みのバイナリを仮想COMポートに流す

23. Udon Serial - Arduinoライクな関数実装
Arduino のSerial準拠
 Serial_write(byte send_data) – 1byte送信
 Serial_print(string send_data) – 文字列送信
 Serial_println(string send_data) – 文字列送信(改行付き)
 bool Serial_available() – 受信バッファの確認
 byte Serial_read() – 1byteデータ受信
 byte Serial_peek() – 1byteデータ受信
 void Serial_flush() – 受信バッファクリア

24. Udon Serial - Arduinoライクな関数実装
 受信データをそのままループバックするUdonのサンプルコード

25. GitHub公開しまーす。なう！
 https://github.com/dreamdrive/UdonSerial

26. 課題
 MIDIドライバ(loopMIDI)や、場合によって仮想シリアルドライバ com0comに加え、
com2vrchatなど、周りに用意するものが多く準備に手間がかかる
 MIDIドライバを書けるようになって組み込みたい…
 現状、ソースコードしか公開してないのでpythonが読める人しか対象になってない
 com2vrchatは自動でログを検出して、GUIで操作できるようにします。
 World OSCが来たらたぶん用済みになる ＼(>o<)／

27. 夢が広がるね！
ご清聴、ありがとうございました！