More Related Content
Similar to CREST「共生インタラクション」共創型音メディア機能拡張プロジェクト (20)
More from NU_I_TODALAB (15)
CREST「共生インタラクション」共創型音メディア機能拡張プロジェクト
- 2. 本講演の内容
• プロジェクトの概要
• 何をどう解くのか?どこを⽬指すのか?
• 研究内容の例
• 具体的に何をやっているのか?
JST CREST「⼈間と情報環境の共⽣インタラクション基盤技術の
創出と展開」領域の研究課題「⾳メディアコミュニケーションに
おける共創型機能拡張技術の創出」(2019年10⽉〜2025年3⽉)
についてご紹介します.
研究代表者:⼾⽥ 智基 研究分担者:⼩野 順貴 研究分担者:⻲岡 弘和
はじめに
- 5. ⽬的:⾝体機能を拡張する技術の創出
• 機械学習を活⽤した機能拡張
• 解くべき課題は?
• データ駆動型システムを⾝体器官の⼀部として使いこなせるか?
• システムの挙動を如何に把握するか?
• どのように解くか?
• インタラクションを活⽤したユーザとシステムの共働創出
即時インタラクション
による意識的制御と
⻑期インタラクション
による技術習得を経て
無意識的制御
の実現へ
通常出せない⾳声・歌声
&通常聞けない聴取⾳
低遅延リアルタイム
⾳声変換・⾳源分離
既存機能による
⾳声・歌声&聴取⾳
概要:2
- 7. • マイルストーン
⽬標:具体的な応⽤技術の構築
障碍者・⾼齢者向け応⽤技術
• 発声・歌唱⽀援システム実⽤化
• 喉頭摘出者向け通話・歌唱
(カラオケ)⽤途
• 聴取⽀援システム実⽤化
• 分離機能付きワイヤレス型
補聴器
• プロトタイプシステム構築
• プロトタイプシステム構築
• 実現可能性の検証
5年後
3年後
発声・歌唱/聴覚機能の回復
• 表情豊かな発声・歌唱補助器
• 注⽬した⾳が聴ける補聴器
健常者向け応⽤技術
発声・歌唱/聴覚機能の増強
• 発声法習得や歌唱表現獲得
• 外国語⾳声の聞き取り⽀援
⾼精度な即時インタラクションを実現する基盤技術構築
⻑期インタラクションを活⽤する基盤技術構築
概要:4
- 18. Quasi-Periodic Parallel WaveGAN: QPPWG
• 準周期信号に特化したネットワーク構造の考案
• 基本周波数に応じてDilationサイズが動的に変化する畳み込み層
• ⾮⾃⼰回帰型ニューラルボコーダParallel WaveGAN[Yamamoto; 2020]に導⼊
雑⾳波形
F0適応型
Dilated CNNs
固定型
Dilated CNNs
⾳声波形
発声拡張G:9
- 31. まとめ
• ⽬的:⾝体的制約を超える共創型発声機能・聴覚機能拡張
• 将来展望
• 新たな研究分野の開拓
• 共創型データ駆動⽅式を⼀般化して,様々な⾝体機能の拡張に関する
研究課題を創出
• 即時インタラクションと⻑期インタラクションを経て無意識的制御を
習得する過程の解明
• 社会への貢献および科学技術イノベーションと新産業の創出
• 発声・歌唱/聴取⽀援技術の実⽤化による障碍者・⾼齢者のQoL向上
• 能⼒増強技術を活⽤した新たな⾳メディアコミュニケーションの創造
• ⾳メディアによる伝達情報および認知情報の拡⼤
• 技術の有効性および危険性に関する周知活動を通した社会的認知の形成,
および,社会的承認の獲得(⇒CREST⼭岸プロジェクトと深く関連)
(既存機能 + 機械学習) + インタラクション = 共創型機能拡張
おわりに