東工大グローバル理工人育成コース 集中講義 Global Awareness for Technology Implementation(#GATI6) http://ghrd.titech.ac.jp/2021/08/gati6/ XRメタバース時代における触覚の役割について 山崎 勇祐 Hapbeat合同会社代表・東工大博士程・GREE VR Studio Lab インターン

1. XRメタバース時代における
触覚の役割について
山崎 勇祐
Hapbeat合同会社代表・東工大博士程・GREE VR Studio Lab インターン

2. 講義の流れ
● 自己紹介
● 触覚とは
● 触覚の効果
● Hapbeatの紹介
● 触覚体験デモ
● 触覚の応用
● まとめ
目的：触覚がXRメタバースで担う役割ついて、考えるきっかけを得る

3. 首にかけるだけでライブや映画館で音圧を感じるような、没入感のある体験が楽しめます！
音楽
VR/ゲーム 動画
e.g.
山崎 勇祐：触覚研究者 & Hapbeat開発者
東工大で発明した「モーターと糸を用いた振動生成機構」を活用して
Hapbeat の開発製造販売を行いながら、GREE VR Studio Laboratoryで研究活動。
目標：力触覚による表現が、
音声や映像のように「当たり前」になること
▼振動生成機構発明 (2015) ▼Hapbeat合同会社設立 (2017) ▼VR Studio Lab インターン (2019~ )
@yus988
学術：博士学生
起業：会社代表
R&D ：インター
ン

4. 触覚とは？
身の周りの「触覚」について少し考えてみてください。

6. 触覚の効果
● 音楽・動画視聴体験の臨場感向上
● VR空間内インタラクションでの臨場感を向上
● 情報伝達への活用

7. 触覚の効果：音楽・動画視聴体験の臨場感向上
音圧（聴覚）
音圧
（力触覚）
空気から
床や椅子から
音は耳だけでなく、全身で感じている（体感音響）

8. 触覚の効果：VR空間内インタラクションでの臨場感を向上
バーチャル肩たたき バーチャル波動拳
● 肩のコライダーに触れた時に振動提示
● 触れる直前の手の速さに応じて出力音量を
調整
● 発射時に強力な低周波振動を出すことで、波動
拳を放った反動を体感
● 派手なエフェクト＋派手な振動＝没入体験
・実装はゲームの効果音と同じで容易（コリジョンなどのイベン
ト駆動で音声ファイルを再生する）
・エフェクトや音として鳴らす効果音などの視聴覚要素も重要。
それらとの兼ね合いで触覚音源を作成する。
https://youtu.b
e/MIW78v-4pK4
紹介動画

9. 視覚
・ワールド（背景）
・オブジェクト
・各種UI、etc...
聴覚 ・BGM、効果音
・ボイス、通話etc
・情報に気付けない
→視聴者とのインタラクティブ性の喪失
・既存情報にとってノイズとなる
→邪魔に感じ、使わなくなる
・まだチャネルとして使われていない
・刺激に対する応答性が早く、確実に気付ける
触覚
触覚の効果：情報伝達への活用
引用：
https://youtu.be/BFNE5w1jnhc

10. [基礎研究]首への触覚による距離方向提示「Haptic Minesweeper」
VR版の体験の様子：
HMDを被っていても方向が知覚できる
IEEE World Haptics Conferene 2019
DM1.01 Haptic Minesweeper
VR学会大会2019 首の触知覚を用いたナビゲーションシステムの提案 1B-01
Neck Strap Haptics: Algorithm for Non-visible VR inoformation
Using Perceptual Characteristic on Neck (SIGGRAPH 2019)

11. Hapbeat の紹介

12. Hapbeat とは
低周波帯域で激しく振動
⇨音楽や花火の再生に最適
Hapbeat-Duo
ECサイトで好評販売中
簡単に装着可能
⇨イベントでの利用や貸出が容易
東工大で発明した「モーターと糸を用いた振動生成機構」を元に作られた振動デバイス
特徴：小型・軽量かつ高出力な低周波振動を身体の広範囲に伝達可能

13. おもりの動き→振動
出力＝おもりの重さ×動ける距離
小型では弱い振動
（装置の大きさに比例）
搭載例： スマホ スピーカー
（直線状）
課題：従来の振動生成機構

14. モータの回転によって糸自体を振動
出力＝モータのパワー
小型でも強い振動
サイズ的な制約が無く、
従来のものよりも高効率
→モータがどんな大きさでも回転角は無限大
提案：モーターと糸を組み合わせた振動生成機構

15. 従来装置
直動型振動子
Hapbeat
モーターと糸の組み合わせ
おもりの重さと
移動距離に制限される
（原理的には）
制限なし
振動出力：
提案：二つの振動生成機構の比較

16. 実験：Hapbeatが低周波を広範囲に伝達できていることを確認
Yamazaki, Yusuke, Hironori Mitake, and Shoichi Hasegawa. "Tension-based wearable vibroacoustic device for music appreciation." International conference on
human haptic sensing and touch enabled computer applications. Springer, Cham, 2016.
● 電力消費： 1 W
● 測定：加速度センサ

17. 付録：Hapbeatの歴史

18. 触覚体験デモ

19. 本日のデモ一覧
アバターインタラクション
デモの体験を通して考えて欲しいこと：
● 素直にどう感じたか
● どうすればもっと良くなると思うか
● どうしたらビジネスにつながるか
● どういうことに使えそうか
音楽・動画鑑賞
HapticMinesweeper VibeShare::Performe
r
VRゲーム×触覚

20. Emoji（赤枠）をタップすることでEmojiを出演者に送れます。
ポイントが足りなくなったら緑枠のボタンを押して追加してください。
スマホ画面
（※動画のシークバーは無効）
お手持ちのスマホで
アクセス
規約に同意していただけまし
たら、こちらをタップし次に
進んでください。
💰が送られるとHapbeatが振動します。
https://vibeshare-
open.herokuapp.com/
PC画面（下部）
Emojiが送られると
画面上に表示されます。
👏が送られると
拍手音が鳴ります。
デモ：VibeShare

21. 応用例

22. 日本花火推進協力会【視聴覚障がい者のための花火】への参画（大曲、2018/10/13）
応用：視聴覚障がい者の花火鑑賞体験の拡張
目的：Hapbeatによる触覚刺激で、視聴覚障がい者の花火鑑賞体験を豊かにする
結果：聴覚障がい者の方には好評だったが、視覚障がい者の方の反応はいまいち

23. 応用：VRクラブイベントへの利用
ベースの響きが振動加わるだけでより奥深く感じられる
ので本当この機会に試してみて…！！
Hapbeatがよすぎてお酒を飲んでる暇がない。
equalizerAPOとかでブーストかけると振動がなおよい
hapbeatと暴力的なキックは相性がいいですね 首～胸あたり
が箱のスピーカー前で音を浴びてるときと一緒の感覚です
参加者の反応（Twitter で “Hapbeat #vr_ize” 検索してみてください）
VR chat 内で開催されたVRクラブイベント、VR_izeとコラボ（2020年5月）
コロナでクラブに行けない中、家でも音を浴びる体験を実現

24. 多様な表現への活用
観客からの拍手と
声援をLEDに反映
エモートを
振動で体験
😂
高速(1秒以下)で伝送
声援
拍手
表情
タップ 振る
😃
👏
オンラインライブの観客
😍
様々な方法で [想い] を届ける
映像や音声に合わせた触覚体験
観客の声援に反応、コール＆レス
ポンスがオンラインでも可能に
👍
ZoomやYouTubeと融合して利用可能
『配信者と視聴者の間にある非言語エモーション』
を共有するライブエンタメ技術
応用：観客の思いを出演者に伝えるVibeShareでの利用

25. 応用：観客の思いを出演者に伝えるVibeShareでの利用

26. 応用：オンライン音楽ライブで観客のYELLを出演者に伝達
Real Diva's 春フェス Day3
https://www.youtube.com/
watch?v=RFvXFXpcypw
© Hibino Entertainment Corporation / REAL DIVA’S アーティスト：Progressive Instrumental Band『寿司ドミナント』

27. まとめ（現状の触覚応用について、山崎の私見）
しかし現状、触覚応用が単体で継続的に成立させるのは難しく、以下の取り組みが
今後ますます必要になる。
● 触覚による付加価値の向上
○ 「触覚が無いとコンテンツを体験する気が起きなくなる」状態が理想
■ すでに山崎はBeat Saberのプレイについてその状態
● より利用しやすい形に落とし込む
○ コントローラーの振動子のように、触覚が自然とついてくるのが理想
○ VR HMD や ヘッドホンなどを装着したら同時に着用できるようにしたい
XRメタバースにおける触覚の価値・役割は確実にあります！
皆さんの専門分野に触覚がどう関係してきそうか、ぜひ考えてみてください！

28. 白井暁彦 GREE VR Studio Laboratory, Director
VRエンターテインメントシステムの研究者であり、グリーグループのREALITY株式会社/GREE VR Studio Laboratoryのデ
ィレクター。世界初の産業用ゲームエンジンRenderWare、NHK-ES、ENSAM Presence & Innovation Laboratory（フラン
ス）、日本科学未来館 科学コミュニケーター/展示プランナー、大学教員などを経験し、2018年よりVRライブエンターテ
インメントやXRメタバースのUX開発および国際発信・人材発掘に長年貢献している。日本VR学会上級VR技術者。IVRC実行
委員。芸術科学会副会長。Laval Virtual評議員。デジタルハリウッド大学・大学院客員教授。
Akihiko SHIRAI, Ph.D
Director of GREE VR Studio Laboratory
A researcher in VR entertainment systems and Director of GREE VR Studio in
REALITY, Inc. and invited professor in Digital Hollywood university, graduate
school. He had experienced various posts in this domain (Criterion
RenderWare, NHK-ES, ENSAM Presence & Innovation Laboratory in France, a
science communicator and exhibition planner in Miraikan) and currently
contributing exploring VR live entertainment and XR metaverse in academic
research.
次回予告：10/13, 20, 11/24 講師紹介

29. GREE VR Studio Laboratory / REALITY株式会社 に情報あり
https://vr.gree.net/lab/ http://j.mp/VRSYT
https://vr.gree.net/lab/live/kws2021/
https://note.com/reality_eng/ https://reality.app
[note] XRメタバースのプロトタイプを設計して、
子供たちをバーチャル世界旅行に連れて行った話
次回の講義内での体験で使いたいアバター＆
プレイヤーネームがあればお伝えください