1. 下斗米 貴之
KLab株式会社 機械学習G
市川 恵津子
サウンドG
Dreamtonics株式会社 山田 雅史
2023-07-27 AWS Startup Loft Tokyo
生成AIが切り拓く新しいゲー
ムの創り方・遊び方
事例① 生成AIで制作フローを加速
事例② 全社員のAI活用を加速させるAIタスクフォース
事例③ 未来のゲーム体験を開拓するAIチャットゲーム

2. 2
サウンドアセットの制作・実装・管理全般を担当
近年はサウンドでより面白い体験を創出するため、機会学習グループや社
内ゲームAIコミュニティと連携
市川 恵津子
グループリーダー / サウンドディレクター
クリエイティブ部 サウンドグループ
人工知能学会正会員・人工知能学会大会優秀賞受賞(2022)
下斗米 貴之 博士（工学）
エンジニアリング本部 機械学習グループ
グループリーダー
KLab株式会社
KLab株式会社
画像
グループリーダーとして、機械学習を活用した部署横断の業務効率化や大学と
の共同研究の業務を推進

3. 3
音声合成(TTS)、歌声合成の法人向けSDKサポート及び
ソフトウェア開発を担当
山田 雅史
開発エンジニア
法人サービス担当
Dreamtonics株式会社

4. 4
生成AIが切り拓く新しいゲームの創り方・遊び方
本日お伝えしたいこと
第1部：創り方「ゲームでAI/MLって何に使えるの？」
業務支援と横展開、研究開発スプリント
チャットボット・APIの社内提供でAI活用促進
第2部：遊び方「これからのゲームをどう変えていくの？」
１０％の将来投資
エモーショナルAI-NPCと会話するチャットゲーム

5. 5
第1部：創り方編
①生成AIで制作フローを加速

6. 6
KLab機械学習グループの活動
未来を見据え，最新の技術で開発現場の今に応える
BERTによる迷惑チャットの検出
(Google Cloud Day: Digital ’22 等)
画像認識によるUIテストの自動化
(JSAI2022全国大会優秀賞 )
自己教師ありViTによる3Dモーション検索
(IBIS2022)
深層生成モデルによるリズムゲームの譜面制作支援
(CEDEC2021, SIGGRAPH Asia 2021 , AAAI-23等)
などなど…

7. 7
● 削減効果＞機械学習コスト？
● 削減効果よりも手間がかかることも多い
→ 横展開・汎用化・共同研究
コ
ス
ト
案件A
機
械
学
習
削
減
効
果
業務効率化：削減効果 × 適用件数
案件B 案件C

8. 8
リズムゲームの譜面生成
当時KLabのフラッグシップタイトル。
楽曲リリース速度が計画に追いつかないため効率化が必要に。
譜面
時間

9. 9
リズムゲームの譜面生成
制作者は譜面の
高クオリティ化に集中
本システムの導入により譜面制作のスピードを2倍に
KLabでは毎月
3タイトル x 5曲 x 4難易度
程度を配信

10. 10
譜面生成AI
楽曲の音声データやゲームの難易度などを入力すること
により、楽曲のリズムにあわせた適切な難易度の譜面を
生成する
既存手法では生成譜面の品質が不十分
だったため、KLab独自の生成AIを開発
Takada, A., Yamazaki, D., Yoshida, Y., Ganbat, N., Shimotomai, T., Hamada, N., Likun, L., Yamamoto, T. & Sakurai, D. (2023 June). GenéLive! Generating Rhythm Actions in Love Live!. In
Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 4, pp. 5266-5275).

11. 11
Takada, A., Yamazaki, D., Yoshida, Y., Ganbat, N., Shimotomai, T., Hamada, N., Likun, L., Yamamoto, T. & Sakurai, D. (2023 June). GenéLive! Generating Rhythm Actions in Love Live!. In
Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 4, pp. 5266-5275).
九州大学との共同研究
2021年3月 九州大学と共同研究を開始 譜面生成AIを研究
2023年2月 アメリカ人工知能学会AAAI-23で発表(WashingtonDC)

12. 12
研究開発体制 ResDevOps = Research Sprint + DevOps (MLOps)

13. 13
譜面制作支援システムとその効果
● 提案モデル導入で譜面制作時間50%削減（-20時間/曲）
音源アップロード
譜面確認

14. 14
● 生成モデルによる譜面制作支援システムを開発
● 制作支援システムで譜面制作スピードを2倍に
成功の秘訣：
人が手直ししやすいコンテンツに適用
複数タイトルへ展開する。
共同研究・研究スプリントで研究開発効率化
まとめ ①生成AIで制作フローを加速

15. 15
第1部：創り方編
②全社員のAI活用を加速させる
AIタスクフォース

16. 社内での対応
● AIタスクフォースの立ち上げ
● 生成AIガイドライン整備
● API提供
● チャットボット
○ 社内向けAPI提供
○ チャットボットを社内提供
○ 業務Q＆Aボットを社内提供
…
● AI賞新設！
16

17. 社内API提供
● 目的：
○ 利用促進・業務効率化
● 方法：
○ Azure OpenAI Service API(Microsoft社) を利用
■ メリット
● モデルをデプロイ（漏洩しない・学習に使われない）
● ファインチューニング（微調整） → 今回はしない
● エンタープライズ契約
○ KLab OpenAI Proxy 実装
■ 認証付きproxy
■ 個人毎使用量管理
申請受付 → エンジニアだけでなくクリエイターも利用
17

18. チャットボットを社内提供
目的：
利用促進・業務効率化
方法：
Slack上で使えるチャットボッ
トを社内へ提供
ただし、社内情報は答えら
れない
→ 気軽に利用
→ 文章・コード改善
→ コツの共有 18

19. 業務Q＆Aボット開発
業務の問い合わせ
課題： 〇〇はどのコード番号をつけたらいいのか？そもそも誰に聞けば？
● 分散したExcel・マニュアル・議事録・仕様書
● 検索しても見つからない・「検索ワード」のコツがいる
● 問い合わせにフォーム・Excel入力、謎の障壁
→ 必要な情報を業務専用のAIボットで問い合わせしてもらう
19
マニュア
ル
Excel
?
仕様書
?

20. 業務Q＆Aボット開発
しかし、生成AIは独自データに関する情報については回答してくれない
● 方法：
○ プロンプトエンジニアリング
■ In context learning 説明・入出力例から回答させる
○ 社内での利用ルールの策定
→ 業務効率化
→ LLM利用の技術的な蓄積
20
業務Q＆Aボット
マニュア
ル
Excel 仕様書

21. プロンプトエンジニアリング
- 文脈情報
- データ（検索結果・DB・文書）
- 社内文書DB ナレッジストア vector store
- 制約事項
- 回答例／出力形式
あの人ってどこの部署だっけ？
（組織情報文書）
（前の文脈）
LLM
API
プロンプト＝AIに渡す入力文
マニュア
ル
Excel 仕様書
21

22. 社内文書DB ナレッジストア
VectorStore + ChatGPTによる質問応答
回答の精度は、テキスト、検索、ChatGPTの三者に依存する。
● 適切なテキストを準備できたか?
● VectorStore 検索で適切な箇所をピックアップできたか?
● ChatGPTの回答が質問にあっているか?
プロンプトのコツ：
●ハルシネーション（尤もらしい嘘）対策
かなり試行錯誤やノウハウが必要。

23. 第１部まとめ：「ゲームでAI/MLって何に使えるの？」
● 業務支援をお勧めします
○ ただし、横展開の視点を忘れずに
○ うまく共同研究で技術・リソースを補うことも可能
● AIチャットボットを社内展開
○ チャットボット・API提供・AI賞 → 利用促進
○ 社内での利用ルールの策定 → 共通認識
→ AI関連の社内情報共有/勉強会 急増
（エンジニア＆クリエイター）
23

24. 24
第2部：遊び方編
未来のゲーム体験を開拓するAIチャットゲーム

25. 25
AIはユーザ体験を改善してこそ高い価値を生む
ユーザー1人1人に
違ったゲーム体験！
SNSで共有したくなる
ゲーム内で機械学習を活用し
新しいゲーム体験を創出
ユーザ体験が向上
ユーザが増える
データが溜まる
データ駆動で
ゲームを改善
好循環により
加速度的に急成長
ゲームにおけるデータフライホイール戦略

26. 26
なぜチャットゲームの研究開発をするのか？
- ゲームのキャラクターと自由におしゃべりがしたい！
- そのゲームキャラが登場人物のストーリーであれば、よりゲーム世界にの
めりこめるはず！
- 自由会話 ➡ KLab機械学習G
- 感情表現 ➡ KLab機械学習G
- リアルタイム音声応答 ➡ AHS様/Dreamtonics様のSyllaflow
会社や立場は違えど、
リアリティのある会話が色んなキャラクターと出来るようになったら面白そう！
３社で共同デモ制作へ

27. 27
どぶろく制度
どぶろく制度で進行⇒リスクを抑えつつ果敢に挑戦
● 培った技術を実際のプロジェクトに展開
● 事前検証しておくことでリスクを低減できる
● エンジニアに限らず社員が興味のあることを自由に研究出来る！
※どぶろく制度＝KLabの独自ルール10%の業務時間を自由に使える

28. confidential Copyright KLab Inc. All rights reserved.
マイページ画面では
ユーザーが
自由入力
チャットのストーリーを踏まえての会話が
展開
マイページでAIキャラとおしゃべり（自由音声会話） したり
マイぺのキャラとチャットでストーリーを進められるゲームです
チャット画面では
マイページで仲良くなったキャラと
ストーリーを展開
「AI・チャットノベル」とは？

29. ● 新技術「エモーショナル(⋈◍＞◡＜◍)。✧♡AI」が生み出す自然で多彩なコミュニケーション
confidential Copyright KLab Inc. All rights reserved.
ゲームの特徴
29
複数の生成AIをパイプライン化して
セリフ・音声・表情・モーションを生成
話しかけるたびに
異なるリアクション
チャットAIで
感情やストーリーを認識
感情＝うれしい
感情＝ちょっと憂うつ
子猫を拾ったよ！
ふふっ
優しいですね
話題選択
STRIPS
会話生成
ChatGPT
音声合成
Syllaflow
表情合成
Live2D
会話理解
ChatGPT
感情変化
Russellの円環

30. 30

31. 音声合成エンジン『Syllaflow』
31
Syllaflow はDreamtonics社が開発した高品質なAI音声合成エンジンです。
AHSとDreamtonicsで共同開発したVOICEPEAKという音声合成ソフトにも採用されています。
Syllaflow はオフラインで動作することができ、サーバーにつながなくても、
高品質な音声合成を実現できます。
Syllaflow とは？
Syllaflow が 実現 する 未来
あらゆる『モノ』が人と区別できないほどリアルに、感情を伴って話す世界
人と区別がつかないほどリアルに リアルタイムで
いつでも、どんなデバイスでも
● 深層学習による音声合成
● 複雑な感情も表現
● ストリーム処理による
リアルタイム合成
● Raspberry Pi 4 でも
● Windows/macOS/
Android/iOS/Linuxに対応
● スタンドアロンで動作
AI音声合成 ×

32. 32
第2章まとめ
機械学習の勝ちパターン データフライホイール
ゲームの中で使うことによってより良い体験を
→人気が出る→データが溜まる→学習してより良く
没入感のあるエモーショナル(⋈◍＞◡＜◍)。✧♡AIでもっとゲームを面
白く
技術の育成：１０％の技術検証で将来投資

33. 33
終