2019/3/26 Tokyo XR Meetup #28 今知りたい！ キャラクターVRライブ制作の最新事情 バーチャルキャストからVRライブへ ライブ体験を量子化する技術

1. ライブ体験を量子化する技術
株式会社バーチャルキャスト 取締役CTO 岩城進之介（MIRO）
バーチャルキャストからVRライブへ

2. 自己紹介
• 現株式会社バーチャルキャスト CTO
• これまでドワンゴでイベント演出・
AR・VRの開発全般を担当
• 個人では「携帯動画変換君」という
フリーウェアの作者として（一部
で）知られています
岩城 進之介
（ハンドル：MIRO / @MobileHackerz）

3. バーチャルキャストとは
• 2018年7月13日サービスイン
「VRライブ・コミュニケー
ションサービス」
• VR空間でキャラクターにな
りかわり、「スタジオ」で遠
隔コミュニケーションしたり
生放送をしたりできる
• 「VR空間の外」とのコミュ
ニケーションも可能なことが
特徴

4. バーチャルキャスト
クイズ！
突然ですが

5. Q1
「バーチャルキャスト」は
ニコニコ生放送をするための
ツールである

6. A1
ニコニコ生放送だけでなく
Youtubeなどさまざまなプラッ
トフォームが選べます！
SHOWROOMで活用している
かたもいらっしゃいます

7. Q2
「バーチャルキャスト」は
配信するためのツールなので
配信しない自分には関係ない

8. A2
「自分で配信しない」人も
使うことができます！
配信せずただコミュニケー
ションを楽しんだり、バー
チャルキャスト内のカメラで
写真や動画の撮影をしたり、
ひとりで黙々とVR空間内で遊
ぶこともできます

9. Q3
「バーチャルキャスト」は
コメント落ちてきたりするけど
VR空間でできることは限られている

10. A3
「VCI（Virtual Cast Interactive）」と
「THE SEED ONLINE」という技術基盤が
整備され非常に自由度が高くなりました
今日はこの話をします！

11. 「VRライブ」とはなんだろうか？
• HMDでライブステージを楽しむことがゴールなのか？
• ライブコンテンツをHMDで楽しめれば「実質的（Virtual）に」
「ライブ」体験を得られるのか？

12. 「ライブ体験」の要素とは？
チケット争奪戦
同士との
事前情報交換
当日までの
ドキドキ感
開場前の列
ワンドリンク
事前物販
限定グッズ
当日のファッション
現場でのファン交流
会場の音圧
演者との距離
会場の
におい・空気
演者の視線
コール＆レスポンス
声出し
他の客とのふれあい
MCや曲間の
ふとした仕草
PAや照明
アンコール
終了後ファミレスで
友達とだべる時間

13. 「ライブ体験」の要素とは？
チケット争奪戦
同士との
事前情報交換
当日までの
ドキドキ感
開場前の列
ワンドリンク
事前物販
限定グッズ
当日のファッション
現場でのファン交流
会場の音圧
演者との距離
におい・空気
演者の視線
コール＆レスポンス
声出し
他の客とのふれあい
MCや曲間の
ふとした仕草
PAや照明
アンコール
終了後の
ファミレス
これらの「要素」は
Virtualで「再現」するべきか？
それとも「拡張」するべきか？
はたまた「削除」するべきか？
要素のなかで
体験に重要なエッセンスはなにか？

14. 「VRライブ」を
ライブ演目（コンテンツ）
単体ではなく
「日常」から「非日常」への
遷移も含めた「体験」として
とらえてみると…

15. 「日常」と「ライブ会場」は
体験としては連続している

16. 本来体験としては連続しているが
すべてVRに置き換えようとすると
プラットフォームを横断する
VR
コミュニケーション
プラットフォーム
①
VR
ライブ
プラットフォーム
② VR
コミュニケーション
プラットフォーム
①
VR
データ販売サービス
③

17. プラットフォームを横断して
体験を連続させるための
技術開発が必要
…というのを
この１年コツコツ進めてきました
必要なので！

18. 自分の「からだ」でライブ会場に行くには？

19. 自分の「からだ」でライブ会場に行くには？
VR向け共通アバターフォーマット
「VRM」

20. ライブ会場から「グッズ」を持ち帰るには？

21. ライブ会場から「グッズ」を持ち帰るには？
インタラクティブアイテムフォーマット
「VCI」

22. プラットフォームを横断して
アイデンティティを保つには？

23. プラットフォームを横断して
アイデンティティを保つには？
THE SEED ONLINE

24. つまり…
• プラットフォームをまたいで「自分」
を「自分」のまま（自分自身の外見を
保って）移動できる下地
• アバターの3Dデータを共通化する
「VRM」
• VR空間内のアイテムやグッズ、ステー
ジなど「モノ」を定義しさまざまな世
界で使い回せる下地
• インタラクティブ3Dフォーマット
「VCI」
• これらの「所有権」やデータ、各個人
のアイデンティティ管理
• データ流通プラットフォーム
「THE SEED ONLINE」
これらの技術に相乗りすることで
「ライブ会場」の「外」に
VR体験がつながっていく！

25. 「VRM」とは何か

26. 「VRM」とは
「人型のキャラクターやアバター」において
細かいモデルデータの差違を吸収・統一し
アプリケーション側の取り扱いを簡単にする
プラットフォーム非依存・横断型の
3Dアバターファイルフォーマットです

27. VRMファイル（3Dアバター）
VRアバター
配信ツール
3Dキャラクター
作成ツール
VR空間
集会サービス
VRライブイベント
VRゲーム
（ゲーム実況）
バーチャルキャスト
各社・各プラットフォームをまたがって
同じ「自分」（アバター）で参加できる

28. 人型の「自分のアバター3Dモデル」を
さまざまなアプリケーションで
ランタイム（実行時）に
読み込むことができるようになります

29. ファイル自体の改変・再配布規定
だけでなく、VRアバター時代に適応した
「ライセンス」のファイル埋め込みに対応

30. そのモデルデータ（アバター）を使用して
「人格を演じる」ことについての許諾規定
という新時代の概念を提案しています

31. ほかにもVRで一人称表現を行う際
「どの部分を消す必要があるか」などの
情報もモデルデータに埋め込み可能

32. 「VRアバターをプラットフォーム間で共
用するための人型フォーマット」を定義
Unityで扱いやすいライブラリとともに
オープンソースで提供しています
（MITライセンス）

33. この規格をとりまとめるために
「VRMコンソーシアム」が
まもなく立ち上がります（手続中）
ご興味のある方はこちらへ
https://vrm-c.github.io/

34. ※補足
話の流れ上
VRMを「VRライブ来場者」文脈で紹介しましたが
もちろん
「VRライブ出演者」のための
フォーマットとしても超有用です

35. 「VCI」とは何か

36. 「VCI」とは
「人型のキャラクターやアバター」ではない
VR向けのアイテムや背景、ギミックなど
インタラクティブな要素を含む
3Dモデル・コードなどを取り扱う
プラットフォーム横断型を目指す
3Dアイテムファイルフォーマットです

37. VCIが生まれた背景
• 人型アバターはVRMで相互に行き来できるようになったが…
• 「アイテム」「背景」などといったアセットはプラットフォー
ム独立
• VRライブ会場でグッズを買って持ち帰りたい！！！
• プラットフォーム横断可能なアイテムの定義が要る
• glTFはこれまたうまくはまらない
• マテリアルの定義が…とか
• 物理は…とか、コライダーは…とか
• インタラクティブな要素はどうする？

38. 既存のVRサービスでは…
• 「アバター」や「背景」にアイテムやギミックが組み込まれて
おり、「自由なアイテムを所有する」ことや「アイテムを別会
場に持ち込む」といったことができなかったり
• アイテムの作成がUnity AssetBundleの仕組みを流用しており別
アプリケーションへの転用が難しかったり（ひとつの世界に閉
じている）
• 既存の3Dファイルフォーマットではギミック（インタラクティ
ブな動作）を作り込めなかったり
→新規に「必要な」フォーマットを再定義する必要があった

39. VCI＝「インタラクティブ」なアイテム
• アイテムと、その挙動を定義できる
• Lua言語によるスクリプティングが可能
• ネットワーク同期でVR空間内において複数人から触られることを前提
としたスクリプト定義
• ただ「持てる」「置ける」小道具でよければ、ノンスクリプト
で出力できる
• それに加えて、スクリプトで複雑な挙動も作り込める（ゲームなど）

40. VCIは「Virtual Cast Interactive」
• 「VRプラットフォーム中立のアイテムフォーマット」を目指し
て設計をはじめたが…
• なるべく中立的に設計はしているが、どうしても実装依存に
なってしまうところが出てきている
• ネットワーク同期の考え方など
• なのでいったんは「汎用フォーマット」を名乗らないことに
「Virtual Cast Interactive」→ VCI

41. 依存と汎用のバランスを調整中
現状バーチャルキャスト専用だが、
もうすこし仕様・実装が落ち着いたら
読み込み遊ぶことのできるライブラリも
将来提供したいと考えています！

42. THE SEED ONLINEとは何か

43. 流通とパーソナリティの基盤
• 「自分」がVR空間に何を持ち込むのか
• アバター（からだ）
• アイテム（持ち物）
• アイデンティティ
• 小説「ソードアートオンライン」上の
「ザ・シード」はゲームエンジン・
ワールドエンジンを含有する描写だっ
たが…
• 現実世界ではUnityがそのポジションに
https://seed.online/

44. THE SEED ONLINEは「流通基盤」
• さまざまなアプリからVRMやVCIな
どのリソース、ユーザアイデン
ティティにアクセスする
• アイテムの販売、所有権の管理
• サーバサイドでのデータ保護や最
適化のための機構

45. VRMサーバサイド自動ポリゴンリダクション
27000 22000 17000
12000 7000 3200

46. 接続SDKは
順次お渡ししています
（本格展開はデータ保護環境が整ったら）
ご興味のある方はこちらへ
https://virtualcast.jp/contact/?ContactGenre=genre005

47. VCI例

51. Let’s dive into VR
with
YOUR OWN avatar!