CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
•
4 gostaram•4,437 visualizações
CEDEC 2018 「一万人規模音楽ライブからトークイベントまで バーチャルキャラクターをリアルイベントへ召還する技術」 講演資料
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
Semelhante a CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術 (20)
CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
- 4. というわけで… • 現株式会社バーチャルキャスト CTO • これまでドワンゴでイベント演出・ AR・VRの開発全般を担当 • 個人では「携帯動画変換君」という フリーウェアの作者として（一部 で）知られています 岩城 進之介 （ハンドル：MIRO / @MobileHackerz）
- 8. 超歌舞伎 (2016～)
- 19. 体の動き（モーション）のキャプチャ HTC ViveなどのVR機器利用 （HTC Vive, Oculus Rift） Kinectや画像処理など （Kinect, iPhone X, Live2D, FaceRig…） ジャイロ・加速度センサ式 モーションキャプチャ （Perception Neuron, Xsens MVN） 光学式モーションキャプチャ （OptiTrack, VICON） モーションキャプチャに銀の弾丸はまだない 技術によって一長一短。場面によって適したものを選ぶ おもに手軽さと正確性、コストと安定性のトレードオフ。 民生品は「会社では動いたがイベント現場では動かない」と いうことが普通に発生する。逆に高価な機材を持っていても、 現場設営環境に適応するためあえて安い機材を使うことも。
- 20. 表情（フェイシャル）の実現 画像処理によるキャプチャ （iPhone X, FaceRig…） 声や動きによる自動適応 コントローラによる 外部オペレータ操作 （Xbox, nanoKontrol, StreamDeck…） コントローラによる 出演者自身による操作 アニメ調キャラクタの場合はコントローラ操作が現状最適解 フェイシャルキャプチャは、そのために作られたモデルに対 してはうまくいくが、極端な・多彩な表情を持つアニメ調 キャラクタへはそのまま適用できない 外部オペレータが表情を操作する場合は、該当出演者の既存 （慣れた）システムにいかに近づけるか、を考慮する
- 22. リアルタイムなのか事前収録なのか • 「バーチャルキャラクターをリアルイベントへ召喚する」のであれ ば、できればすべてをリアルタイムに処理し、イベントとしてキャ ラクターと来場者の間のコミュニケーションを成立させたい • しかしリアルタイムだけではできないことをしたい場合、事前に収 録した「完パケ」の動きを用意することもある • 「完パケ」は映像完パケ（動画として用意し、尺の調整などもまっ たくない場合）とモーション完パケ（モーションのみ用意し、レン ダリングはその場で行う）とどちらのパターンもありえる • モーション完パケの場合は、リアルタイム（キャプチャ）と完パケ パートを途中モーションブレンドして行き来することも可能 • 「決め」のポーズをきめておいて、そのポーズですっと事前収録データに移 行する（正確には「決めのポーズに移ろうとしている最中」にするとよい）
- 26. 透過表示 透過スクリーン＋プロジェクター （DILADボード, アミッド, ポリッド…） 透過ディスプレイ表示 （透明有機EL, 透過液晶, 透過LED） ハーフミラー／ペッパーズゴースト （Eyelinerなど） 透過表示にも銀の弾丸はない。透過スクリーンが汎用性大 透過スクリーンは選択肢も多いがリアプロジェクション必須 （のものが多い）でスクリーン背後に別の演者が入れないな どの制約もある。ハーフミラー式は設置位置に奥行きが必要 でコストも高く、透過ディスプレイはそれぞれ一長一短があ りステージの条件によって手段を選択する必要がある。
- 29. 召喚の世界観をどうつくるか • キャラクターを表示する、のではなく、そのキャラクターはそこに「存在する」。 あらゆる技術は「その存在を生身では知覚できないあわれな 我々が、存在を感じ取れるようにするための手段」である。 • 技術選択は冷徹に現場の条件から判断する必要があるが、技術の上に構築する 「世界観」は上記の心構えが大事。 • 表示は等身大なのか、それよりディティールを見せるのか。ディスプレイの背景 はどうするのか。キャラクターと同じレイヤ（奥行き）に別の演出は表示するの かしないのか。演者の出ハケ（登場と退出）は演出するのか、それとも生身とし て立ち去るのか、など。 • 足はきちんと地面に接しているか、影は、照明は？「そこに存在する」というの はどういうことなのか？
- 31. Voca Nico Night Live Stage in nicofarre (2012)
- 32. koyori (電ポルP) Live「World on Color」(2013)
- 33. IA生誕3周年LIVE We gotta run | IAxJumicchi (2015)
- 37. ボイスアクターとモーションアクター • ボイスアクターとモーションアクターは同一か、それとも分担され ているか。分担されている場合はおたがいの意思疎通は大丈夫か。 モーションアクターのうごきを見て声をあてるのか、声にモーショ ンアクターがうごきをつけるのか。どちらがどちらを見ている状態 が良いのか（配置の問題） • 表情はだれがつけるのか、ボイスアクターが話す内容（アドリブ） はアクターが決めるのかほかに指示者が必要なのか、指示者とボイ スアクターはどう（マイクに声が入らないよう）連絡するのか • 舞台監督、進行、ディレクターからの指示はどこから誰へ？ • など「意思が流れる経路」を意識して現場の配置を行う必要がある
- 38. キャラクターの動きや会場の様子 • リアルタイムにキャラクターと来場者のコミュニケーションが 行われる場合は、会場の様子をアクターに伝える必要がある • そのために「客席を撮影するためのカメラ」を増設する必要が あるかもしれないことに注意 • アクターからは、キャラクターの動きを常時確認できるモニタ （左右反転）・会場の様子を確認できるモニタ・ 番組があれば そのスイッチングアウト・カンペといった情報を返す • アクターが混乱しないよう、必要なものは左右反転（鏡表示） して提示する。そのためにレンダラに左右反転出力モードをつ けたり、カメラ用左右反転機材を用意するなどが必要
- 39. 会場内か遠隔出演か • 会場へ光学式モーションキャプチャなど大規模な機材を設営す る時間的・空間的余裕があるか • アクターが会場の雰囲気を肌で感じ取る必要があるか • 高度に同期した演目（生バンドにあわせて歌うなど）があるか • 安定し高速なネット回線が手配できるか • アクターのスケジュールは、会場の地理的問題はあるか • 遠隔の場合、舞台進行にかかわるスタッフなども手配できるか
- 41. それはどういうイベントなのか？ • バーチャルキャラクターを出演させる「だけ」なのか • ほかの演目との兼ね合いがあると難易度が上がる • 舞台上機材の出ハケの問題 • リハーサルや設営などの段取りの問題 • 照明などの制約が増える • 機材構成が複雑化する（映像や音声の経路など） • 事前にステージ進行にあわせて綿密に指示系統・映像・音声の経路を確認する • イベントの要件によって技術を妥協することも大事 • 設営スケジュールの制約により「1点トラッキング」で実施した事例 • 観客にとって新鮮なおどろきが提供できれば正義。技術視点はいったん忘れよう
- 42. 最適な技術は条件によって違う • 放送（配信）をメインに見せたいのか？それとも会場にいる観 客が満足することが最優先なのか？ • キャラクターの何を見せたいのか？ • 実在感？世界観？ • ひとつの技術で解決しない場合はハイブリッドで拡張する • LED＋AR • 透過スクリーン＋AR • LED＋単純合成 • 加速度センサ・ジャイロ式モーションキャプチャ＋Tracker
- 43. イベントにはイベントの設計がある • 映像・音響・照明・ステージ進行それぞれ専門職のプロがいる • どれも大規模な会場では繊細な調整が必要、専門の機材もある • ソフトウェアエンジニア視点ではPCで代替可能に見えることも 多いが、やはりプロ向け機材はたいへんよくできている •餅は餅屋、現場ではそれぞれプロにまかせよう
- 44. 「プロにまかせる」とは • 映像・音響・照明・ステージ進行など、舞台のプロたちはお互 いに共通言語と仕事のプロトコルを持っているので意思疎通が とてもはやい • 素人が無理にプロにあわせる必要はない。が、何をしたいのか、 何が必要なのかは正確に過不足なく伝える努力をしよう • その上で、プロの判断・調整にはあまり細かく口を挟まないこ とをおすすめ（プロはプロなりの経験をもとに考えている） • 演出や構成で「どうしても譲れない一線」は決めて、そこだけ はプロに理解・妥協してもらうのがよい • IT業界的には「SIerとユーザー企業」のようなイメージ
- 45. イベント会場は魔物！ • 赤外線式のトラッキング • 赤外線ワイヤレスマイク、西日、窓ガラスや壁の反射など • 磁気・加速度センサ・ジャイロ式のトラッキング • 電源ケーブルやトラスなどの構造材、鉄筋などと干渉 • WiFi, Bluetooth • 2.4GHz帯の無線はまず繋がらないものだとおもったほうがよい • 5GHz帯も最近は結構混んでいる • ケーブル • 抜ける。ちぎれる。断線する。 バックアッププランは必ず用意しよう！
- 51. にじさんじの部屋～でろ～んとおしゃべり編！～ in ニコぶくろスタジオ (2018) 視点用カメラ 透過有機ELディスプレイは裏側からは透けて見えるので 演者が「正しく自分から見た視点」を得られる
- 52. Reload / IA & ONE (2017)
- 56. イベント演出基盤の汎用化 • モデルデータフォーマットを定義（VRM）することで、モデル データと演出システムの分離・一般化が可能になった • イベントに活用できる基盤の汎用化 • 「バーチャルキャストを使った」イベントだけでなく、イベン トの演出基盤としてバーチャルキャストを利用する、という手 段も選択できるように • イベント現場で必要な機能の拡張も随時進めていきます • 「VRM」でキャラクターモデルにポータビリティができた • 他キャラクターとのコラボレーションなど「システム間の移動」が促 進される