REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年

REALITY「なりたい自分で、生きていく」
リアルタイムライブでVTuberが活躍する
舞台を作る現場の1年
株式会社Wright Flyer Live Entertainment
Presence Technology Group
グリー株式会社
GREE VR Studio Lab
本講演の質問は Responで受付中

本日の講演内容
1. 数字で振り返るREALITY Studioの1年
2. スタジオのシステムの概要
3. モーキャプスタジオとしての1年
4. 音楽番組の開発
5. 音声収録と映像配信
6. 番組制作とディレクション
7. オペレーション開発と教育
8. 出演者へのリスペクト
9. なりたい自分になれる場所
10. 質疑応答（Respon）
白井暁彦博士(工学)
GREE VR Studio Lab
Director
現場とバーチャルをつなぐ
コミュニケーター
所属
本日の担当
名前

WFLE PT と GREE VR Studio Lab
プロダクション事業
研究開発部門
・長期スパンR&D
・知財創出
・アライアンス
新技術の調査選定
・国際展開
SIGGRAPH等でデモイベント
・普及啓蒙事業
ボイチェンサービス
「転声こえうらない」
など…
ソリューション事業
プロダクションチームソリューション事業部
VTuber技術 → 他産業展開
プラットフォーム事業
プラットフォーム事業部
Presence Technology Group
BizDev&Marketing チーム
プラットフォーム開発
VTuberコンテンツ制作
マーケティング支援
WFLE所属VTuberの支援
連
携

リアルタイムモーキャプ 3Dアセットを活用した番組ライブ配信
Voice Record
& Lip Sync
Motion Capture Finger Capture
Hair & Accessary
Face Capture
& Blend Shape
Body & Cloth
でやっていること
Presence Technology Group = VTuberのみなさんのプレゼンスを技術で支える集団

より生放送でお届け
たかはしやすかわはしもとわたなべ / Sara

もくじ
わたなべ / Sara
WFLE Presence Technology Group
シニアマネージャー
スタジオの統括
アバター表現拡張
所属
担当
名前

歌番組バラエティゲーム実況
数字で振り返るREALITY Studioの1年
数々のREALITY公式番組が誕生

音楽番組の総視聴時間 40,000時間以上

ゲーム実況番組の総視聴コメント数 246,357件

1年間の生配信回数は 400回以上！

1年間の収録回数は 200回以上！

1年間の出演者数 100名以上！

同時出演者数 8名以上

ギフトの最高熱量秒間最大89個！

2018年 1月 6月 12月
要件定義
プライオリティ
プリプロ
本開発
毎日生配信の運用
REALITY
リリース
REALITY Avatar
リリース
開発スケジュール（2018）

2019年 1月 6月 12月
毎日生配信の運用
開発スケジュール（2019）
生番組の開発と運用
VRM対応
ソリューション事業開始
アバター出演

スタジオのシステム
REALITY Studio Tokyo
エントランス控え室

● 1部屋最大4人の共演が可能
● 全身キャプチャー
○ MVN Xsens
○ Orion
● フェイスキャプチャー
○ iPhone X
○ 特殊表情コントローラー
● フィンガーキャプチャー
○ グローブ
○ ゲームコントローラー
● ギフト専用タブレット端末
● 複数の可動式大型モニター
● マイク
● イヤモニ
● 防音
● 空調
● アクターサポート機材多数
キャプチャールーム

● ディーリングデスク
○ 強固なモニターアーム
○ 整えられたエアフローと配線ダクト
● PC
○ UE4（Core i9 9900K + RTX2080 SLI）
○ カメラプレビュー
○ 映像配信&合成（OBS）
○ サイマル配信（Wirecast）
○ 出演者支援（カンペ、ギフト）
● 音響
○ デジタルミキサー（01V96i）
○ 効果音卓
● 27インチモニター 8枚
● 収録用機材
○ 高画質録画
○ パラ録音
コントロールルーム

REALITY Studio Roppongi
キャプチャールームコントロールルーム

もくじ
たかはし
エンジニア
キャプチャーシステムの検証と
現場導入、ライブソフトの開発
所属
担当
名前

各要件検証項目
単独配信（基本動作）
棒立ち、椅子に座る、揺れもの、手（指）の表現、背をそらす、前かがみ、
ジャンプ、胡坐をかく、手を振る、腕の可動域、腕組み
添い寝配信仰向け、うつ伏せ、横向き
コラボ配信手をつなぐ、タッチ、ハグ
ゲーム配信椅子に座る、ゲーム機を触る
ダンス配信ジャンプ、回転
モーキャプで何をしたいか？何ができるか？
モーキャプスタジオとしての1年

取り扱っているモーキャプシステム
スタジオ立ち上げ時～ 2018年末～最近
デバイス
【VIVE トラッカー】
HTC社などから販売されてい
る光学式デバイス。価格も手
頃で市販されている。VR デバ
イスなので応用もしやすい。
【Xsens MVN Link】
ゼロシーセブン社などから販
売されている慣性式モーショ
ンキャプチャーシステム。慣
性式であるにも関わらず磁場
の影響を受けない。
【Vicon Vero】
クレッセント社などから販売
されている非常に有名な光学
式モーションキャプチャーシ
ステムの 1 つ。
ソフトウェア
【IKinema Orion】
IKinema 社などから販売され
ているモーションキャプチャ
ーシステム。価格が手頃。
【MVN Animate Pro】
Xsens MVN のソフトウェア。
【Shogun】
Vicon のソフトウェア。

方式良い点課題
光学式
● 絶対座標を計測できる
● 誤差は蓄積しない
● 反射物や遮蔽物の影響を受ける
慣性式 ● 反射物や遮蔽物の影響を受けない
● 絶対座標を正確に計測できない
● 誤差が蓄積する
● 磁気センサーを用いる場合、磁気
の影響を受ける
キャプチャー方式の特徴

機材コスト安定性モーション品質スケーラビリティ
安い △ △ △
高い ○ ○ ◎
高い ◎ ◎ ○
モーキャプシステムの比較

良い点課題
● 機材は安い
● 絶対座標を取得できる
● モーキャプ以外の用途
● 反射物や遮蔽物にすごく弱い
● 電波干渉（2.4GHz帯）に弱い
● バッテリーが少し足りない
● キャリブレーションが厳しい
● デバイスが大きい
● データレートが高くない
● SteamVR に依存している
● スケールし辛い
VIVE トラッカー + IKinema Orion
● 遮蔽物を置かない
● 光拡散フィルムで反射を防ぐ
● USB ケーブルで有線接続する
● キャリブレーションは直立より A ポーズに近
い形の方が認識しやすい
対策

Xsens
良い点課題
● センサーが 17 個
● データレートが高め
● キャリブレーションは簡単
● 非常にスケールしやすい
● バッテリーが約 10 時間
● 機材は高い
● 位置ずれがおきる
● 座りや静止姿勢に弱い
● 電波干渉（2.4GHz/5.0GHz帯）に弱い
● LAN ケーブルで PC に直接つなぐ
● 高性能な Wi-Fi ルーターで 5GHz を使う
● 位置ずれは VIVE トラッカーで補正している
対策

Vicon
良い点課題
● 絶対座標を取得できる
● マーカーが 53 個もあある
● データレートが高め
● キャリブレーションが簡単ですごく安定
● 電波の影響を全く受けない
● バッテリー不要
● 多少隠れてもうまく補正してくれる
● スケールができる
● 機材が高い
● 遮蔽物はない方が良い
● 反射物には弱い
● 難易度が高い、まさにプロ仕様
● 遮蔽物を置かない
● 反射物は光拡散フィルムで反射
を防ぐ
対策

全身キャプチャーはミドルウェア
● 短期間で高品質
● 長期運用を見据える
IKinema LiveAction
● IKinema の製品は多くのゲーム会
社な映画会社などに導入された実
績あり
● IKinema Orion, Xsens, OptiTrack,
Vicon などに対応
Xsens MVNVIVE トラッカー x8
IKinema Orion
ミドルウェアとしてIKinema LiveActionを採用
Vicon Vero
Live Action
MVN Animate Pro Shogun

IKinema LiveAction設定の流れ
クリーニングパイプラインは色々あるが相性が
悪かったので使用していない
リターゲティングのみ
1.Skeleton から IKINEMA Rig を生成
2.不要なボーンを削除
3.モーキャプソフトの送信元を入力し、
アクター情報を取り込む
6.Hips, Spine3, Head, LeftFoot,
RightFoot にコンストレイントを設定
7.アクターに動いてもらい、動きが良く
なるまでスケルトンを調整する
4.モーキャプソフトの送信元を入力し、
アクター情報を取り込む
5.ボーンのマッピングを設定する

● VR Studioで実績あり（PCやPS4）
● アニメ調のキャラクター制作実績
● 社内の豊富なツール
ゲームエンジンの選定
● IKinema LiveActionに対応
● 機能が豊富で先行している
● WFSで本格的に取り組む

フェイスキャプチャーは iOS ARKit
● 特徴としては、BlendShapeで簡潔に実現可能
使い方
● ヘルメット（MOCAP Design カスタム品）
○ ざまざまな姿勢でキャプチャーできる、ただし装着者
への負担が大きい
● カメラ用三脚
○ 装着者の負担が低い、ただしキャプチャー可能なエリ
アが限られる、サポート担当が頑張る
● 間接撮影（ヘルメット+軽量カメラ）
○ 様々な姿勢でキャプチャーでき装着者への負担も小さ
く光学式システムへの影響もないが遅延は大きくなる、
小さくなるよう工夫しているところ
フェイスキャプチャー

● アニメーションカーブに値を代入
● ゲームパッドで操作
○ 安定した動作
○ 機材の調達が容易
● 指のキャプチャー
○ VR グローブの開発もの
■ StretchSense社のセンサー
■ Raspberry Pi
○ 人の手は千差万別
■ 小さな手にどう対応するか
フィンガーキャプチャー

VRMインポート
1. ボーン名と階層構造の修正
2. ギフトロケーターの追加
5. フェイシャルセットアップ
3. フィンガーセットアップ
4. iKinemaRig セットアップ
7. マテリアルのコンバート
基本表情特殊表情視線制御
6. 揺れものセットアップ
アウトライン
テクスチャ
色味、明度
シェーディング
スキニングボーン

VRMインポート
REALITYの出演に必要なモデルはコンバートが必要
松・竹・梅の3段階のグレード分け

もくじ
やすかわ
エンジニア
番組企画の実現性担当
ライブソフトの開発
所属
担当
名前

音楽番組の開発
ぶいおんの構成

番組企画は以下の通り
● トーク＋ライブ２部構成の音楽番組
● 『トーク → ライブ → トーク』と、ゲストがステージ間を移動する
● ライブではカメラレール・クレーンが使えること

トークライブ
既存システムの改造新規作成

クリアしなければいけない問題
● 設計が全く違うステージ間をキャラクターが移動
● 10個で設計されているカメラを32個に大拡張
● プレビューを見ながらスイッチング
● FPS操作しか出来ないカメラにレール移動を追加

２スタジオで同時キャプチャ＋同時番組再生
トークライブ
２番組を同時に撮
影し、切り替えて
１つの番組に構成

ぶいおんのシステム
10個で設計されているカメラを32個に大拡張
数字キー(10個)
USBキーボード
ボタンがいっぱい(64個↑)
AKAI Fire(USB MIDIパッド)
PCで使える多数ボタンを持つデバイスを探すと、MIDIパッドor鍵盤に行きつきます

※外部アプリから使えるならコレを使いたい
https://jp.newtek.com/products/control-surfaces/
TriCaster TC1LPコントロールパネル

プレビューを見ながらスイッチング
プレビュー専用機
レンダリング専用機
1台のPCで32カメラの
レンダリングは
負荷が高すぎる
ボタン入力
カメラ切り替え信号

プレビュー側をチューニング
● カリングを最低限の距離に縮小
● ライティング無し
● ポストエフェクトを削除
● SceneCapture2Dのレンダリング先を低解像度に

ステージMAP上にカメラレール用
のシーケンスを設置
詳細パラメーター
を編集
● レール番号
● 初期位置
● 速度
● ループ設定
● 自動注視目標
● オフセット
カメラレールと自動キャラ追従カメラ

演出は特効マンの手動操作による力技
● 出演者毎・歌毎に演出が変わるので、
毎回シーケンスに落とすのは無理
● 速度も曲で変わる
２軸＋ボタンの
コントローラーで
頑張って！

演出は特効マンの手動操作による力技
● 特効マンによって熟成された秘伝のコントローラー

背景スクリーン
● Blackmagic Designキャプチャ＋UE4向
けのPluginを使用
● ループバック・VJ・ビデオ素材など
を映像素材として入力

映像入力について
Roland V1-HD
絵素材
VJ
BMD DeckLink
1080p59.94に統一

キャプチャ活用事例
2Dと3Dの同時出演(ステージ内ビルボード)
©2017 Ichikara Inc.

Realityアバターと出演者で
ツーショット撮影タイム
DIVE機能とキャラクターの入退場本来は管理ダッシュボードから
入退出させる設計
MIDIパッドで入退場可能に

F>>VRの構成

F>>VRの構成
F>>VRはカラオケをメインとした音楽番組
● カラオケルーム内でゲストがキャッキャウフフする
● ホストはスタッフルームからカメラでそれを見る
● ホストがカラオケルームまで移動するシーンがある
● 座りから立って移動してステージで歌うを繰り返す

F>>VRのシステム
テーブル
モニタ
モニタ
モニタ
小上がりステージ
目線
目線
目線
バーチャル空間内キャプチャエリア内
キャプチャエリア設計と同時にステージを設計

アーティストによるステージ提案
スタッフルームカラオケルーム

スタジオ内の導線設計
モニタ
演者
正面
4m
4m
モニタ
モニタ
PGM/カンペ
PGM
モ
ニ
タ
モニタ
演者
正面
4m
4m
移動演
技用に
80cm
確保
PGM/カンペ
PGM/カンペ

現実のキャプチャ位置を仮想空間内の位置に合わせる
モニタ
演者正
面
4m
4m
モニタ
演者正
面
4m
4m
モニタ
モニタ
モ
ニ
タ

180度振り返ってからスタンバイ
カラオケルーム側の番組でキャラクターを
表示するとドアの所に立っている状態に
ステージ内のキャラ位置をオフセットして移動を表現
モニタ
4m
4m
立ち上がって左に２歩移動したのち、
キャラクターを非表示に
モニタ
演者
正面
4m
4m
移動演
技用に
80cm確
保

OSC経由でのコントロール
TouchOSCを使用
マイク装着時はフィンガーキャプチャ
の上書き処理を行っている
番組コントロールの装着物

ギフトで埋もれてしまう問題について
想定していた以上にギフトが降ってきたため、
部屋がギフトで埋まってしまう事故が発生
カメラの前にカプセルコリジョンを追加
ギフトにのみ反応するコリジョン設定
FOVに合わせて長さが変化

もくじ
3. モーションキャプチャー
はしもと
番組ディレクター
REALITY Studioの番組制作
制作テクニカルディレクション
所属
担当
名前

音声収録と映像配信
REALITY Studioの配信機材構成

REALITY Studioの配信機材構成

REALITY STUDIOの配信機材構成

REALITY Studioのマイク周り
https://www.shure.co.jp/products/microphones/sm35
主に単一指向性のヘッドセットマイクを使用

ピンマイクを使わない理由
- スタジオ内のノイズ源が多い
- カメラがないので絵うつりを気にしなくてよい
REALITY Studioのマイク周り

ハンドマイクを使わない理由
- 口元が隠れるためフェイシャルトラッキングに干渉する。
REALITY Studioのミキサー周り
- 認識出来ず

- YAMAHA製のデジタルミキサー(o1v96i) を使用

メリットデメリット
アナログミキサー
安い！
わかりやすい！
・機能が少ない
・やりたいことが増えると外部コン
ソールが増えていき場所が塞がる
DAW
デジタル・オーディオ・ワークステ
ーション
(プロツールスなど)
プラグインが豊富！・直感的な対応が難しい
・放送系・配信系の方々が生放送で
あまり使っていない
デジタルミキサー
・放送系、配信系の方々が生放送で
よく使っている→依頼先が豊富
・ある程度の加工ができる。
・高い
・素人の習熟が難しい

REALITY STUDIOの音量管理
OBS
(ライブ配信するためのソフト）
フリー・オープンソース
Youlean LOUDNESS METER 2
(ラウドネス測定プラグイン)

REALITY Studioの音量管理
2018年11月配信番組の音量感（ラウドネス）を計測
→ 大きくばらつきが見受けられた
音量感の観測
最大値 -11 LUFS （音割れ多数あり）
最小値 -40 LUFS （小さすぎ）
※地上波テレビの基準は-24±2LUFS

REALITY Studioの音量管理
12/8 配信の番組にてテスト運用を行った結果
- 数値
- -18.2LUFS
- 目標であった-20±2LUFSにおさまる
- 感想
- 特段問題ないむしろ普段より聞きやすい
- 直前までYoutubeでDA PUMPのUSAを聞いていたが、
スマホのボリュームを変えることなく番組が聞けた
テスト運用結果

選定のポリシー
運用しているオペレーター、
番組視聴者がストレスを感じないこと

リアルイベント対応

もくじ
はしもと
番組ディレクター
REALITY Studioの番組制作
制作テクニカルディレクション
所属
担当
名前

番組制作とディレクション
VTuberの番組作りの特色
■通常の番組
出演者がいて
カメラとマイクがあれば成立はする。

■通常の番組のざっくりスケジュール
1. 技術打ち合わせ
2. 機材仕込み
3. テクニカルリハーサル
4. 出演者打ち合わせ
5. リハーサル
6. なおし
7. 本番

フルトラッキングの
VTuberの番組
は
工程が多く大変

キャリブレーション
×
モデルチェック

-キャリブレーション-
出演者の身体情報を
キャプチャーのシステム
に読み込ませること

-モデルチェック-
キャプチャーシステムから
UE4にデータを持ってきて
キャラクターに合わせた際に
意図したように
キャラクターが動くように
3Dモデルを調整すること

スーツ装着
キャリブレーション
モデルチェック
：15分
：15分
：15分〜∞
15分 + 15分 + 15~∞分 = 45分〜∞

2. 機材仕込み
4. スーツの装着
5. キャリブレーション
6. モデルチェック
7. リハーサル
8. 出演者は休憩制作技術は直し
9. 本番前の再キャリブレーション
10.本番
2. 機材仕込み
5. リハーサル
6. なおし
7. 本番

2. 機材仕込み
4. スーツの装着
5. キャリブレーション
6. モデルチェック
7. リハーサル
8. 出演者は休憩制作技術は直し
9. 本番前の再キャリブレーション
10.本番
2. 機材仕込み
5. リハーサル
6. なおし
7. 本番
並行作業しないと
間に合わない
演出と制作兼任は
難しい！

REALITY Studioの場合、演出とは別のポジションである
フロアディレクターが担っていること
● 技打ち
● キャリブレーション
● 本番時のトラブルシューティング
※映像制作でいうフロアディレクターはスタジオの演出進行だが、
REALITY Studioの場合、舞台監督の役割に近い

VTuberの番組演出
VTuberの番組で面白いところ
- キャラクターがそのままバラエティができること
- リアクションができるところ
→なので、
できるだけ生のリアクションが出るような番組になるように
意識している

生放送でハプニングのタネをおいておき、リアクションの効果を最大化する。
VTuberの番組作りの1例
VTRを全部見せないで
リアクションを最後にとっておく。
コメントやギフトの
リアクションを見る。

まとめると
●制作進行はかっちりと
●演出は余白をもって

オペレーション開発と教育
REALITY Studio オペレーション

スタジオ内観のアップデート：初期

スタジオ内観のアップデート：中期

スタジオ内観のアップデート：後期

スタジオ内観のアップデート：完成

初期
費用
6ヶ月
コスト
12ヶ月
コスト
モーションキャプチャーの運用コストイメージ
※地代家賃を含まず、2人共演、毎日生放送を行う前提
ケースバイケース

もくじ
しらいはかせ
GREE VR Studio Lab
Director
特許取得・学術研究・国際
普及展開活動・社会実装
所属
担当
名前

出演者へのリスペクト
まずは自分でやってみるの大事

（5分）出演者へのリスペクト「出演者さん」に選ばれるスタジオ
遠慮はNG 配慮はOK
お
出
迎
え
お
見
送
り
打
ち
合
わ
せ
装
着
リハーサル
脱
替
本番
収録・配信スタジオルームスタジオ待機エリア・控室
着
替
スタジオ待機エリア・控室
挨拶（第一印象）挨拶・雰囲気作り・演者目線での会話・身体表現挨拶（最終印象）
応対
フロー
● 応対と対応の違い
応対＝相手となって受け答えに応じる
対応＝状況に応じて処置、行動すること
● 挨拶や自己紹介は自分から！何度でもOK！
自身の役割、名前を覚えてもらう。笑顔は忘れずに
● 楽しい会話は待ち時間の軽減にも
アプローチとして質問する際は理由付けする。
質問にて状況やニーズの把握、深堀り、意思確認する
挨拶
a) 笑顔を欠かさない
b) 大きくはっきりとワントーン高い声で
c) 相手の目を見る
d) 自ら進んで挨拶
コミュニ
ケーション
a) 名前で呼ぶ
b) アイコンタクト
c) ジェスチャーで共通認識を持たせる
d) 感謝の気持ち、共感の言葉を伝える
e) 相手に寄り添ったヒアリング

バーチャル化するための入り口
ルミナテキスタイルアバターサイネージ

共演者が集うてぇてぇ空間

スタジオの外でも活動できる手段を提供

なりたい自分になれる場所
アプリで作ったアバターで出演可能

なりたい自分になれる場所
推しのVTuberと同じ空間にいられる

質疑応答（Respon）

公式番組は「REALITY Studio」で視聴できます

REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Mais de gree_tech

Mais de gree_tech (20)

REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年