XR Tech Tokyo #15で発表したLTの発表資料です。

1. VRアバターを
モバイルARでより⾝近に!
Vismuth
伊藤匠@t5ujiri
XR Tech Tokyo #15

2. 伊藤 匠
https://github.com/t5ujiri
twitter: t5ujiri
株式会社GATARI CTO
⼤学院⽣(M2(休学中))
2

3. ↑2017年IVRC予選に出展された「Mosquitoon」
電気触覚⽤の⾼電圧定電流回路の製作を担当
↑東京⼤学先端科学技術研究センター
・檜⼭研究室と熊本県の合同プロジェクト
VR空間内でくまモンと触れ合える展⽰コンテンツの制作
3
くまモンVR VR ×電気触覚

4. ↑HoloLens × GPS ナビゲーションサービスのプロトタイプ
https://github.com/Dennou-Coil/HoloSightseeing
4
MRナビゲーション

5. ↑M5Stackでリフロートースター
https://github.com/t5ujiri/M5Stack-Reflow-Toaster
→⾳のARコンセプトのための
ハードウェアプロトタイプ
Maker Faire Tokyo 2018に出展
(開放型スピーカー・九軸センサ・Bluetooth)
5
3D⾳響ARデバイスのプロトタイプ
いろいろやってます

6. 6
⾃分のVRMアバターを
お持ちの⽅・作る予定の⽅
3Dモデルを眺めるのが好きな⽅

7. 7
お気にのアバターでかっこいい写真、
撮りたくないですか…?

8. 8
イトッポイド / バーチャル販売員モード
＠秋葉原

9. 9
千駄ヶ⾕ 渋/ ダークネスバージョン ヴィクトリア・ルービン
＠⼩倉 ＠⽩⼭神社

10. 10
＠後楽園 ⿂雷 ＠渋⾕

11. 11

12. 12
Vismuth なら⼀分で出来ます

13. 13
Twitterで流れてきたVRoid Hubのリンクで❤して
そのまま他の⼈のモデルも召喚できる最強UX

14. 14
レビューで⾼い評価を頂いてます 🙏

15. 15
⬆VRoid Hub連携サービス掲載
➡コンプティーク5⽉号にて紹介
頂いてます

16. もくじ
• 背景：みんなVRアバター持ってる未来
• Vismuth のコンセプト
• 「ARポートレート撮影」とは？
16

17. かつてない3Dモデル制作の敷居の低さ
クリエイターの熱量の⾼まり
ØVRMフォーマット(https://dwango.github.io/vrm/)
ØVRoid Studioなどのヒューマノイドモデル制作ツール出現
ØVRoid Hubのサービス開始
Øメタバース界隈の盛り上がり
ØARKit/ARCore対応の端末が増えてきた
• https://developers.google.com/ar/discover/supported-devices
Background
17

18. 3Dアバターのある世界の草の根的な広がり
〜⾃⼰完結しない体験作り〜
• ⾃分のアバターを作る
• アバターを共有される体験に
持ち出す
• それをみた他の⼈が
⾃分のアバターを
作りたい/持ちたいと思う
アバター
を作る
アバター
の露出
動機付け
アバター作りの循環図18

19. 1. スマホでいつでも気軽に
2. VRアバターのかわいい・かっこいい写真・動画を
3. さくっと楽しく撮って共有してエモさを分かち合う
Vismuthのコンセプト
現実世界に滲み出すVR
アバターをみんなにアピールするために写真を撮ろう！
19

20. リファレンス：鳩⽻つぐ
20
こんなストーリーある画をスマホでもっと気軽につくれるようにしたい…！

21. Vismuthのスコープ
1. ポートレートAR撮影体験
1. カメラワーク
2. ポージング
3. 視線の操作
4. ライト設定
2. SNSに共有可能なメディアの⽣成
3. VRMアバターの管理
21

22. • 被写体
• 構図
• ポーズ
• 視線
• ライティング
• キーライト
• アンビエントライト
ポートレート写真を
構成する要素
※Pinterestで収集した画像の⼀部
22

23. • 構図決定
• ポージング
• 視線
• ライティング
リアル⼈物ポートレート vs ARポートレート
• ARトラッキング
• アニメーション適⽤
• IK/アニメーションの⼀部
• シェーダー・ライト設定
リアルのポートレート ARポートレート
23

24. 撮影体験への没⼊感のためのARKit/ARCore
24
本当にそこにいる感じが撮影への没⼊感を⽣み出す
• カメラ移動に対するモデル表⽰の整合性
• 地⾯・壁の認識と影のレンダリング

25. ポーズの選択
既存のプリセットから選択して適⽤する
• 現在約100種類のポーズを選択可能
• タグによるおおまかな分類
• これから男性⽤のポーズも追加予定
25

26. ポーズの⾃由度とカメラアプリとしての
扱いやすさのジレンマ
ポーズ⾃由変形型
• ⾃分で四肢を操作してモデルに好きなポーズをとらせる
• 慣れればどんなポーズでもつけられる
• 慣れないと破綻したり時間がかかる
ポーズプリセット型
• あらかじめ⽤意されたポーズの⼀覧から選んで適⽤する
• ⾃由度は低いのでポーズの数が⼤事
• 選ぶだけなので簡単かつ早い
26

27. IKでカメラ⽬線
⽬線外し状態とカメラ⽬線の
切り替え機能
将来的には任意の⽅向へ⽬線
を操作できるように
27 IK ONIK OFF

28. ライティング設定
• 光の強さ
• ⽔平⽅向の向き
• 垂直⽅向の⾼さ
• 影の濃さ
• 光の⾊
を設定可能
光源⾃動検出はあてにならないので⼿動で設定
28

29. • 情報量の増⼤
• トイカメラのような
特殊な写りによる
ストーリー性の付与
• 現実とアプリ上での
ライティングの不⼀致を
ある程度曖昧にできる
Post-Processingによる質感演出/実在感
29

30. 30
インスタントカメラ⾵にしたり⬇
コラージュ作ったり➡
Vismuth で
アバターの写真を撮ろう！
#Vismuth で写真をTwitterでつぶやくと開発陣が喜びます

31. 31
公式ツイッターやってます