デジタルゲームにおける品質保証のための人工知能

1. デジタルゲームの調整・デバッグ・品質管理における人工知能技術の応用三宅陽一郎 @miyayou （日本デジタルゲーム学会理事） 2020.8.19 https://www.facebook.com/youichiro.miyake http://www.slideshare.net/youichiromiyake y.m.4160@gmail.com

2. 近著

3. • 第一章序論 • 第二章さまざまな学習事例 • 第三章品質保証におけるAI① • 第四章品質保証におけるAI② • 第五章品質保証におけるAI③ • 第六章品質保証における強化学習 • 第七章チート検出におけるディープラーニング • 第八章パラメータ調整におけるディープラーニング • 第九章レベル設計におけるディープラーニング • 第十章古典的なゲームにおける強化学習 • 第十一章 eSportsとディープラーニング • 第十二章オンラインゲームにおけるAI • 第十三章 3Dエンジンとディープラーニング • 第十四章言語解析とゲームAI • 第十五章 MINECRAFTとディープラーニング • 第十六章 Project: paidia • 第十七章各種AIコンテスト • 第十八章これからのゲームAI 目次

4. 第一章序論

5. ゲームの中、ゲームの外ゲーム周辺（外＝開発、現実）ゲーム（中＝コンテンツ）

6. フィールド３つのＡＩの連携の例ナビゲーション AI メタAI キャラクターAI 状況を監視し、キーとなる役割を適切なタイミングでエージェントに指示する。自律的な判断。仲間同士の協調地形を解析する目的に応じた点を見つけ出す目的地までのパスを計算する Support エージェントが自律的に戦闘・協調しつつ、ナビゲーションAIが戦術的ポイントを教え、メタAIは、全体の戦闘の流れを作る。

7. ゲームの中、ゲームの外ゲーム周辺AI （外＝開発、現実）ゲームAI （中＝コンテンツ）メタAI キャラクター AI ナビゲーション AI

8. ゲーム外AI • 開発工程を助けるAI プロシージャル機能 • バランス調整するAI 遺伝的アルゴリズム、ニューラルネット • QAのためのAI QA-AI • メタAI バランス調整、ゲームメーキング • インターフェース上のAI 音声解析、言語解析、ゼスチャー認識 • データマイニングするAI ロギング＆アナライジング • シミュレーション技術パラメーター生成 • データビジュアリゼーションゲームを可視化する

9. ゲームの中、ゲームの外ゲーム周辺AI （外＝開発、現実）ゲームAI （中＝コンテンツ）メタAI キャラクター AI ナビゲーション AI 開発支援 AI QA-AI 自動バランス AI インターフェース上のAI データマイニングシミュレーション技術ゲーム可視化ユーザーの生体信号プロシージャルAI

12. 歴史キャラクターAI 1995 2000 ナビゲーションAI 2007 メタAI 2015 ゲームの外のAI

14. ゲーム外AI • 開発工程を助けるAI プロシージャル機能 • バランス調整するAI 遺伝的アルゴリズム、ニューラルネット • QAのためのAI QA-AI • メタAI バランス調整、ゲームメーキング • インターフェース上のAI 音声解析、言語解析、ゼスチャー認識 • データマイニングするAI ロギング＆アナライジング • シミュレーション技術パラメーター生成 • データビジュアリゼーションゲームを可視化する

16. テスターをAIに置き換える AI https://www.irasutoya.com

17. ゲームAI （中＝コンテンツ）ゲーム周辺AI （外＝開発、現実）人力（All Script）人力

18. ゲームAI （中＝コンテンツ）ゲーム周辺AI （外＝開発、現実） AI技術人力人力

19. ゲームAI （中＝コンテンツ）ゲーム周辺AI （外＝開発、現実） AI技術人力 AI技術人力

20. 人工知能全域機械学習ディープラーニング統計学習コネクショニズムシンボリズムデジタルゲームAI ゲームAIはシンボリックAIから機械学習へ今後10年かけて徐々にシフトする現在、社内でも研究中。

21. 品質保証のための人工知能事例

22. 開発会社システム詳細参照 Ubi 2018 Assassin’s Creed Origin のレベルアセット自動検証スクリプトによるオブジェクト同士の干渉テストキャラクターの生成ポイントと配置オブジェクトの干渉テスト / スクリプトによるテスト ‘Assassin’s Creed Origins‘: Monitoring and Validation of World Design Data Nicholas Routhier Ubisoft Montreal http://www.gdcvault.com/play/1025054/-Assassin-s-Creed-Origins Guerrilla 2018 Horizon Zero Down の自動プレイ毎晩、自動的にAIキャラクターがゲームをプレイ ‘Horizon Zero Dawn’: A QA Open World Case Study Ana Barbuta https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A EA 2018 Battlefield1における模倣学習による自動プレイ模倣学習によるキャラクターがゲーム内で戦い合う https://www.ea.com/seed/news/seed-imitation-learning-concurrent- actions https://www.ea.com/seed/news/self-learning-agents-play-bf1 SEGA 2018 「龍が如く」～「北斗が如く」における自動プレイログからの自動リプレイシステム無料で始める！「龍が如く」を面白くするための高速デバッグログ分析と自動化https://cedil.cesa.or.jp/cedil_sessions/view/1621 RARE 2017 Thief における Unreal Engine 上のキャラクタービヘイビアの自動テストテストがクエリーの形でリスト化されて、毎晩テストされる AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES ROBERT MASELLA RARE — MICROSOFT GAME STUDIOS http://gameainorth.com/2017/ DELiGHT WORKS 2017 Fate/Grand Orderにおける自動リプレイサーバーを経由したログの収集とコマンド関数列の再現 Fate/Grand Orderにおける自動リプレイを用いたQA改善への挑戦 http://cedil.cesa.or.jp/cedil_sessions/view/1716 DeNA 2017 「逆転オセロニア」における自動ゲームプレイ強化学習を用いて機械学習させる DeNA TechCon2018 ゲーム体験を支えるための強化学習 https://www.slideshare.net/juneokumura/dena-techcon2018 SQUARE ENIX 2017 「グリムノーツ」における自動ゲームバランス遺伝的アルゴリズムを用いてプレイヤーAI群を進化させてゲームバランスを調査する遺伝的アルゴリズムによる人工知能を用いたゲームバランス調整 http://cedil.cesa.or.jp/cedil_sessions/view/1655 DeNA 「FINAL FANTASY Record Keeper」における自動プレイニューロエボリューションによるプレイヤーAIの作成 AIによるゲームアプリ運用の課題解決へのアプローチ https://cedil.cesa.or.jp/cedil_sessions/view/1511 強化学習を利用した自律型GameAIの取り組み ~高速自動プレイによるステージ設計支援

23. コンシューマモバイルゲームの外からゲームの中からゲーム自動プレイングゲームバランシング Grimm’s Note の例オセロニア AIプレイヤー DOOM 自動プレイ龍が如くリプレイ FFRK ゲーム自動プレイ Horizon の自動プレイ例 Sea of Thieves の例 Assassin ’s Creed の例 Battlefiel d 1リプレイ FGO リプレイ

25. 第一章さまざまな学習事例

26. キャラクターにおける様々な学習・進化 (1) ニューラルネットワークの応用 (2) 機械学習の応用 (3) 強化学習の応用 (4) 遺伝的アルゴリズムの応用

28. Neural Networks in Supreme Commander 2 (GDC 2012) Michael Robbins (Gas Powered Games) http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non ニューラルネットワークの応用

31. Belief – Desire – Intention モデル Desire (Perceptrons) Opinions (Decision Trees) Beliefs (Attribute List) Richard Evans, “Varieties of Learning”, 11.2, AI Programming Wisdom Low Energy Source =0.2 Weight =0.8 Value = Source*Weight = 0.16 Tasty Food Source =0.4 Weight =0.2 Value = Source*Weight = 0.08 Unhappiness Source =0.7 Weight =0.2 Value = Source*Weight = 0.14 ∑ 0.16+0.08+0.14 Threshold （0～1の値に変換） hunger Desire（お腹すいた度）欲求を決定する対象を決定するそれぞれの対象の固有の情報他にもいろいろな欲求を計算 Hunger Compassion Attack（戦いたい） Help ニューラルネットワークの応用 Black & White （Lionhead,2000）

32. ニューラルネットワークの応用 Black & White （Lionhead,2000）クリーチャーを育てていくゲーム。クリーチャーは自律的に行動するが、訓練によって学習させることができる。 http://www.youtube.com/watch?v=2t9ULyYGN-s http://www.lionhead.com/games/black-white/

34. 世界五感身体言語知識表現型知識生成 Knowledge Making 意思決定 Decision Making 身体運動生成 Motion Making インフォメーション・フロー（情報回廊）記憶キャラクターにおける学習の原理行動の表現結果の表現意思決定

35. 強化学習（例）強化学習（例）格闘ゲームキックパンチ波動 R_0 : 報酬＝ダメージ http://piposozai.blog76.fc2.com/ http://dear-croa.d.dooo.jp/download/illust.html

36. 強化学習（例）格闘ゲームTaoFeng におけるキャラクター学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx Microsoft Research Playing Machines: Machine Learning Applications in Computer Games http://research.microsoft.com/en-us/projects/mlgames2008/ Video Games and Artificial Intelligence http://research.microsoft.com/en-us/projects/ijcaiigames/

38. 遺伝的アルゴリズムの応用集団を一定の方向に進化させる方法最初の世代新世代（１００～世代後） … 世代を経て進化させる 1つの世代が次の世代を交配によって産み出す

39. 遺伝的アルゴリズムの仕組み遺伝子遺伝子次世代親① 親② 母集団から優秀な親を２体ピックアップ遺伝子を掛け合わせる次世代の子供を産み出す (selection) (crossover) (production) 現世代このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す遺伝子遺伝子

40. （例）① GA Racer 遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。最初はここまでしかたどり着けないが… だんだんと遠くまで、たどりつけるようにする。 Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2 （CD-ROMにソースコードと実行ファイルがあります）最初の世代新世代（１００～世代後）

41. 森川幸人, 「テレビゲームへの人工知能技術の利用」, 人工知能学会誌vol.14 No.2 1999-3 http://www.ai-gakkai.or.jp/jsai/whatsai/PDF/article-iapp-7.pdf http://www.1101.com/morikawa/1999-04-10.html に準拠します。以下の解説は詳細は以下の資料へ

42. （例）④アストロノーカ最初はすぐに罠にかかるが、だんだんと罠にかからないようになる MuuMuu, PlayStation®用ソフト「アストロノーカ」（Enix, 1998） http://dlgames.square-enix.com/jp/psga/2008/astronoka/ http://www.muumuu.com/product.html 新世代（５～世代後）最初の世代野菜食べたい世界最高峰の遺伝的アルゴリズムを使ったゲーム（ＡＩをどうゲームに使うか、という手本のようなゲーム）

43. 全体の流れトラップを配置する１日の始まりトラップバトル開始トラップバトル終了トラップ成績算出各個体の成績算出順位を決定下位２体を削除適応度に応じて親を選択子供２体を生成新しい世代を生成規定世代に達した？１日の終了世代交代数を修正突然変異率を修正

44. ４－① 初期の個体集合を生成個体を多数（GAにはある程度の母数が必要）用意し、各NPCに遺伝子コードを設定し、初期値を設定する。５６ｘ８＝４４８ビット遺伝子身長耐性_快光線腕力脚力耐性_かかし体重 1.87 6.85 16.25 25.03 25.03 16.25 6.85 1.87 0 1 2 3 4 5 6 7 [各ビットの重み] [バブーの属性（総計５６）]

46. ゲームシステムとしての工夫全体の適応度の平均値１日の適応度の伸び世代交代数工夫その① 遺伝的アルゴリズムは集団に対するアルゴリズム一体のトラップバトルの裏で他の２０体も同じトラップバトルをして、全体として世代交代をさせている。工夫その② 遺伝的アルゴリズムは進化のスピードがプレイヤーに体感させるには遅いプレイヤーには「１世代の変化」と言っているが、実はだいたい１日５世代分進化させている。工夫その③ プレイヤーから見て毎日、同じ適応度の上昇になるように、世代交代数を調整している

47. NEAT 回路の構成を遺伝子コードで表現する。 Weight: 1.2 From: 1 To: 3 Enabled: Y Recurrent: N Innovation: 1 Weight: -3 From: 1 To: 4 Enabled: Y Recurrent: N Innovation: 6 Weight: 0.7 From: 2 To: 4 Enabled: Y Recurrent: N Innovation: 2 Weight: -2.1 From: 3 To: 4 Enabled: Y Recurrent: N Innovation: 6 Weight: 1.1 From: 3 To: 5 Enabled: N Recurrent: N Innovation: 3 Weight: 0.8 From: 4 To: 5 Enabled: Y Recurrent: N Innovation: 4 Weight: -1 From: 5 To: 3 Enabled: Y Recurrent: Y Innovation: 7 ID: 1 Type: Input ID: 2 Type: Input ID: 3 Type: hidden ID: 4 Type: hidden ID: 5 Type: Output 2 1 4 3 5 つなぎ方を定義する遺伝子ニューロンを定義する遺伝子入力出力

48. NEAT 回路の構成を遺伝子コードで表現する。 Weight: 1.2 From: 1 To: 3 Enabled: Y Recurrent: N Innovation: 1 Weight: -3 From: 1 To: 4 Enabled: Y Recurrent: N Innovation: 6 Weight: 0.7 From: 2 To: 4 Enabled: Y Recurrent: N Innovation: 2 Weight: -2.1 From: 3 To: 4 Enabled: Y Recurrent: N Innovation: 6 Weight: 1.1 From: 3 To: 5 Enabled: N Recurrent: N Innovation: 3 Weight: 0.8 From: 4 To: 5 Enabled: Y Recurrent: N Innovation: 4 Weight: -1 From: 5 To: 3 Enabled: Y Recurrent: Y Innovation: 7 ID: 1 Type: Input ID: 2 Type: Input ID: 3 Type: hidden ID: 4 Type: hidden ID: 5 Type: Output 2 1 4 3 5 リンク（つなぎ方）を定義する遺伝子ニューロンを定義する遺伝子 Innovation ID によってリンク、ニューロンを全遺伝子共通の管理する。無効入力出力

49. NEATにおける交叉親１ 2 1 7 3 4 1 1->4 2 2->4 3 3->4 6 3->7 7 7->4 12 1->7 1 1->4 2 2->4 3 3->4 4 2->5 5 5->4 8 5->9 9 9->4 15 3->9 親２ 2 1 3 95 4 Innovation ID ID順に並べます。 1 1->4 2 2->4 3 3->4 1 1->4 2 2->4 3 3->4 4 2->5 5 5->4 6 3->7 7 7->4 8 5->9 9 9->4 12 1->7 15 3->9 交叉 4 2->5 5 5->4 8 5->9 9 9->4 15 3->9 1 1->4 2 2->4 3 3->4

50. NEATにおける交叉親１ 2 1 7 3 4 1 1->4 2 2->4 3 3->4 6 3->7 7 7->4 12 1->7 1 1->4 2 2->4 3 3->4 4 2->5 5 5->4 8 5->9 9 9->4 15 3->9 親２ 2 1 3 95 4 Innovation ID 交叉 2 1 3 95 4 4 2->5 5 5->4 8 5->9 9 9->4 15 3->9 1 1->4 2 2->4 3 3->4 子供＝新しいニューラルネットワーク

51. エージェント・アーキテクチャー身体センサーエフェクターＮＰＣの知能部分ゲーム世界相互作用時間時間知覚する行動する機体制御交配の中で発展して行く

52. 第３世代第９２９世代第１３６８世代左は俯瞰図（赤は衝突してしまっている）右は適応度ベスト４のニューラルネット

53. https://arxiv.org/pdf/1410.7326.pdf

54. 弾幕自動生成 • Applying Evolutionary Algorithms to the Galactic Arms Race • http://aigamedev.com/open/interviews/galactic-arms-race/ https://www.youtube.com/watch?v=N8q2uOwWcFc

55. 強化学習とは？行動選択＝ポリシー（π）環境(Env) 行動（a）状態（Ｓ）報酬報酬関数環境のモデルはよくわからない。でも、行動をして、それに対する結果（＝報酬）が環境から返って来る。その報酬から、現在の状態と行動の評価を見直して、行動選択の方針を変えて行くことを強化学習という。

56. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

57. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

58. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 • 揺らぎ • ライン – コーナーやそのコンビネーションに対して、どれぐらいスムーズに車をガイドするか。 • コーナーへの突入スピードとブレーキを踏むタイミングと。保守的か過激か。 • コーナーの頂点にどれぐらい近づくか、どれぐらいの速度でそこを抜けるか？ • コーナーを抜ける時のスピードとコーナーを回る時のスピード。 Drivatar がプレイヤーのコントロールから学習するもの Microsoft Research Drivatar™ in Forza Motorsport http://research.microsoft.com/en-us/projects/drivatar/forza.aspx

59. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx プレイヤーの特性を解析する特徴となる数値をドライブモデルに渡す

60. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。

61. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。

62. 機械学習（例）FORZA MOTORSPORT におけるドライビング学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx レーシングラインに沿わせるのではなく、理想とする位置とスピードからコントローラーの制御を計算して、物理制御によって車を運転する。

63. Forza motorsports (EA) Jeffrey Schlimmer, "Drivatar and Machine Learning Racing Skills in the Forza Series" http://archives.nucl.ai/recording/drivatar-and-machine-learning-racing-skills-in-the-forza-series/

66. 第三章品質保証におけるAI①

67. Assassin’s Creed Origin の事例 • スクリプトによるオブジェクト同士の干渉テスト • キャラクターの生成ポイントと配置オブジェクトの干渉テスト • スクリプトによるテスト 'Assassin's Creed Origins': Monitoring and Validation of World Design Data Nicholas Routhier Ubisoft Montreal http://www.gdcvault.com/play/1025054/-Assassin-s-Creed-Origins

68. Assassin’s Creed Origin の事例

71. 配置テスト項目

72. スクリプトによるテスト

73. データ解析によるテスト

77. メタAIの活用事例 • メタAI ＝ゲーム全体を制御する人工知能＝夜中にゲームとキャラクターを動かして負荷などのテスト Virtual Insanity: Meta AI on 'Assassin's Creed: Origins' Charles Lefebvre Ubisoft Montreal http://www.gdcvault.com/play/1025410/Virtual-Insanity-Meta-AI-on

83. 第四章品質保証におけるAI②

84. Thief における Unreal Engine 上の自動テスト • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA • RARE — MICROSOFT GAME STUDIOS • http://gameainorth.com/2017/

85. Sea of Thieves • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

86. Testing AI • Automated testing not widely used in game development • AI Unique challenges for testing AI • Multiplayer • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

87. Test Types • Unit • Integration • Behaviour Tree • Multiplayer Integration • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

88. Running Tests • Run tests in Unreal Editor Automation window • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

89. Unit Tests • Run without creating or ticking world • Unit tests can have test fixture for boilerplate code #define IMPLEMENT_AIENTITY_TEST( TestName ) IMPLEMENT_UNIT_TEST( TestName, "AIEntity", AIEntityTestFixture ) IMPLEMENT_AIENTITY_TEST( UpdateTarget_OneEnemyEntitySeen_TargetSetToEntity ) { auto* AIEntity = SpawnTestAIEntity(); auto* EnemyEntity = SpawnEnemyEntity(); AIEntity->AddSeenEntity( EnemyEntity ); AIEntity->UpdateTarget(); TestEqual( AIEntity->GetTargetEntity(), EnemyEntity ); } • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

90. Integration Tests • Mostly used Unreal Blueprint system: • https://docs.unrealengine.com/latest/INT/Engine/Blueprints/ • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

91. Integration Tests • Levels with limited game scenario • Most look for success criteria, or time out and fail • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

92. Line of Sight integration test • SkeletonAI_WhenLosesLineOfSightToTarget_MovesToPositionToRegainLineOfSight • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

93. Line of Sight integration test • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

94. Line of Sight integration test • Failing version • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

95. Line of Sight integration test

96. Line of Sight integration test • Failing version • Assertion: Test Timed Out • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

97. Line of Sight integration test • Passing version • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

98. Line of Sight integration test • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

99. Line of Sight integration test • Passing version • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

100. Example Behaviour Tree Node • Node that triggers an input • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

101. Behaviour Tree Node Testing • Add node to a minimal behaviour tree created in code • Created environment required for coded behaviour tree in fixture • Also created helper functions for adding nodes virtual void OnBeforeTest() override { BehaviorTree = CreateTreeRootWithSequence(); } UBTTask_TriggerInput* CreateTriggerInputTaskNodeAttachedToNode( UBTCompositeNode* ParentNode, UNotificationInputId NotificationId ) { auto* TestTask = NewObject< UBTTask_TriggerInput >(); TestTask->NotificationId = NotificationId; ParentNode->AddChild( TestTask ); return TestTask; } • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

102. Node Testing II • Test that checks that decorator fails if health is lower than expected • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

103. ‘Walking Dead’ Multiplayer Integration Test • SkeletonAI_Dies_DoesNotMoveDuringDeathOnClient_MP1 • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

104. ‘Walking Dead’ Multiplayer Integration Test • Failing version • Assertion failed: ‘check velocity is low in dead state’ • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

105. ‘Walking Dead’ Multiplayer Integration Test • Passing version • AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES • ROBERT MASELLA (RARE — MICROSOFT GAME STUDIOS) http://gameainorth.com/2017/

108. 第五章品質保証におけるAI③

109. Test Strategy Goals • Adaptable to new iterations • Scalable with unexpected factors • Relevant to new methodologies • Efficient with a small team 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

110. Session-based exploratory testing 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

111. Not just testing • QA as playtesters • Qualitative feedback • Competitor research • QA reviews • Seeker Team 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

112. Tools – In Engine • Debug views • Debug tools 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

113. Examples of debug views and tools 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

114. External Tools • Interactive bug map • DecimaEd (game editor) • Game analytics 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

115. Interactive bug map demo 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

116. 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

117. Test Automation 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

118. Apollo – Autonomous Automated Autobots

119. Trophy Unlocked! • 45 hours of play time (average) • 57 quests • ~500 unique combat encounters – Spawning almost 1500 combat scenarios • 44 unique enemies • 10 hours of cinematic sequences • Over 480 000 words of dialogue 'Horizon Zero Dawn': A QA Open World Case Study Ana Barbuta (Guerrilla Games) https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A

121. 第六章品質保証における強化学習

122. Deep Learning: Beyond the Hype, Magnus Nordin Electronic Arts https://www.gdcvault.com/play/1025098/Deep-Learning-Beyond-the EA SEED https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1 AIエージェントに「バトルフィールド 1」のプレイを教えるには？ https://www.ea.com/ja-jp/news/teaching-ai-agents-battlefield-1 Experimental Self-Learning AI in Battlefield 1 https://www.youtube.com/watch?v=ZZsSx6kAi6Y Deep Learning in Battlefield One

123. Deep Learning: Beyond the Hype, Magnus Nordin Electronic Arts https://www.gdcvault.com/play/1025098/Deep-Learning-Beyond-the EA SEED https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1

125. Deep Learning in Battlefield One https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1 https://www.youtube.com/watch?v=ZZsSx6kAi6Y Deep Learning: Beyond the Hype, Magnus Nordin Electronic Arts https://www.gdcvault.com/play/1025098/Deep-Learning-Beyond-the EA SEED https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1

126. © 2020 SQUARE ENIX CO., LTD. All Rights Reserved. Deep Learning in Battlefield One https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1 https://www.youtube.com/watch?v=ZZsSx6kAi6Y Deep Learning: Beyond the Hype, Magnus Nordin Electronic Arts https://www.gdcvault.com/play/1025098/Deep-Learning-Beyond-the EA SEED https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1

127. © 2020 SQUARE ENIX CO., LTD. All Rights Reserved. Deep Learning in Battlefield One https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1 https://www.youtube.com/watch?v=ZZsSx6kAi6Y Deep Learning: Beyond the Hype, Magnus Nordin Electronic Arts https://www.gdcvault.com/play/1025098/Deep-Learning-Beyond-the EA SEED https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions https://www.ea.com/seed/news/self-learning-agents-play-bf1

129. Deep Learning in Ubisoft © 2020 SQUARE ENIX CO., LTD. All Rights Reserved. https://gdcvault.com/play/1025653/The-Alchemy-and-Science-of The Alchemy and Science of Machine Learning for Games Yves Jacquier （Ubisoft Montreal）

130. Deep Learning in Ubisoft © 2020 SQUARE ENIX CO., LTD. All Rights Reserved. https://gdcvault.com/play/1025653/The-Alchemy-and-Science-of The Alchemy and Science of Machine Learning for Games Yves Jacquier （Ubisoft Montreal）

131. https://gdcvault.com/play/1025653/The-Alchemy-and-Science-of 35:00- Deep Learning in Ubisoft The Alchemy and Science of Machine Learning for Games Yves Jacquier （Ubisoft Montreal）

132. https://gdcvault.com/play/1025653/The-Alchemy-and-Science-of 35:00- Deep Learning in Ubisoft © 2020 SQUARE ENIX CO., LTD. All Rights Reserved. The Alchemy and Science of Machine Learning for Games Yves Jacquier （Ubisoft Montreal）

134. 第七章チート検出におけるディープラーニング

135. Sudden Attack case: DL for hacking check ML Tutorial Day: Beating Wallhacks using Deep Learning with Limited Resources Junsik Hwang （GDC2019）

145. 第八章パラメータ調整におけるディープラーニング

146. NCSoft Learning によるAI Reinforcement Learning in Action: Creating Arena Battle AI for 'Blade & Soul' Jinyun Chung, Seungeun Rho, NCSOFT, （GDC2019） https://www.gdcvault.com/play/1026406/Reinforcement-Learning-in-Action-Creating

147. Reinforcement Learning in Action: Creating Arena Battle AI for 'Blade & Soul' Jinyun Chung, Seungeun Rho, NCSOFT, （GDC2019） https://www.gdcvault.com/play/1026406/Reinforcement-Learning-in-Action-Creating

156. 第九章レベル設計におけるディープラーニング

157. Unity3D ML (Machine Learning) • Unity上のマシンラーニングのライブラリ • ブログ上でいくつかのデモを見られる。 • 勢いよく始まって、ゆっくりと広まっている。 • https://unity3d.com/jp/machine-learning

158. Unity Machine Learning • https://blogs.unity3d.com/jp/2018/03/15/ml-agents-v0-3- beta-released-imitation-learning-feedback-driven-features- and-more/

159. Obstacle Tower Environment • AIによるテスト環境 • ML-Agents toolkit を使って、AIにクリアさせる • https://blogs.unity3d.com/jp/2019/02/18/the-obstacle- tower-challenge-is-live/

160. Puzzle ゲームの事例 • AWS re:Invent 2019: How CAPCOM builds fun games fast with containers, data, and ML (GAM302) • https://www.youtube.com/watch?v=IlB3xfMXn0w&t=2543s （19:00-45:00ぐらい）

162. 第十章古典的なゲームにおける強化学習

163. ディープラーニングによるパックマンの目コピー Learning to Simulate Dynamic Environments with GameGAN https://nv-tlabs.github.io/gameGAN/

164. ディープラーニングによるパックマンの目コピー Learning to Simulate Dynamic Environments with GameGAN https://nv-tlabs.github.io/gameGAN/

165. ArcadeLearningEnvironment • 古いアーケードゲームを題材として、学習させることができるプラットフォーム（研究環境として良く使われる） • 現在は、github上にしかない • https://github.com/mgbellemare/Arcade-Learning- Environment • Julia言語によるラッパー • https://github.com/nowozin/ArcadeLearningEnvironment.jl

166. DQNによるアタリゲーム学習過程 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies) Playing Atari with Deep Reinforcement Learning http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf https://www.youtube.com/watch?v=5WXVJ1A0k6Q

167. • Pπ ロールアウトポリシー（ロールアウトで討つ手を決める。Pπ（a|s） sという状態でaを討つ確率） • Pσ Supervised Learning Network プロの討つ手からその手を討つ確率を決める。Pσ（a|s）sという状態でaを討つ確率。 • Pρ 強化学習ネットワーク。Pρ（学習済み）に初期化。 • Vθ(s’) 局面の状態 S’ を見たときに、勝敗の確率を予測する関数。つまり、勝つか、負けるかを返します。 Mastering the game of Go with deep neural networks and tree search http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html https://deepmind.com/research/alphago/ DEEP MIND社：DQNによるアタリゲーム学習過程

168. Mastering the game of Go with deep neural networks and tree search http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html https://deepmind.com/research/alphago/

169. Deep Mind社「Agent 57」 • Atariの古典的なゲーム57個を人間よりうまくプレイできるようになった Deep Mind社のAI • https://deepmind.com/blog/article/Agent57-Outperforming- the-human-Atari-benchmark

170. DQNのさらなる発展 • 最後までスコアに苦しんだゲーム • Montezuma’s Revenge • Pitfall • Solaris • Skiing Agent57: Outperforming the human Atari benchmark （DeepMind）

172. 第十一章 ESPORTSとディープラーニング

173. eSportsとゲームAI • eSprotsで人気になる • 人類最強のプレイヤー或いはチームが登場 • AIと戦わせてAIの性能を知りたい

174. 日本におけるゲームセンターの対戦文化の流れ（1980年代～）アメリカを中心とするFPS対戦の流れ（2000年前後～）韓国におけるeスポーツ文化の流れ（1997年～）世界的なMOBAスタイルのチーム対戦の流れ（2010年～） 1985 1990 1995 2007 ⅬＡＮゲームセンターの対戦台インターネット高速インターネット・動画配信実際の現場でギャラリー観戦テレビなどで観戦インターネットで観戦ゲーム聴衆の誕生

175. StarCraft as eSports • https://www.youtube.com/watch?v=-AWDfDXsdh4

176. 人間とAIの戦い

177. 最近の動向 • OpenAI Five: Dota Gameplay • https://www.youtube.com/watch?v=UZHTNBMAfAA • 解説：『Dota 2』における人間側のチャンピオンチームとAIチームの戦い • またAlphaGOなどで人間のプロに囲碁で勝利したAIを作り出しDeepMind社は、『StarCraft 2』でプロプレイヤーと対戦し勝利しました。そこでも、人間が考えるような戦略を取ることが重要な点でした。 • それぞれのゲームに特化した人工知能とはいえ、戦術的・戦略的な次元の思考を身に着けた人工知能が、人類の意思決定に介入する日も遠くありません。 • DeepMind StarCraft II Demonstration • https://www.youtube.com/watch?v=cUTMhmVh1qs • 解説：『StarCraft 2』における人間側のチャンピオンチームとAIチームの戦い

178. OpenAI • AI開発をオープンで進めるためのNPO https://openai.com https://qiita.com/ishizakiiii/items/75bc2176a1e0b65bdd16 • OpenAI Gym ＝フレームワークを提供 https://github.com/openai/gym

179. Dota2 eSportsで大人気 • https://www.gamespark.jp/article/2014/03/14/47039.html • https://www.theverge.com/2018/8/6/17655086/dota2- openai-bots-professional-gaming-ai

180. OpenAI Five • Dota２を12000コアで学習。180年分？ • https://gigazine.net/news/20180719-openai-five- benchmark/ • https://blog.openai.com/openai-five-benchmark/ • https://www.youtube.com/watch?time_continue=6&v=UZHT NBMAfAA • https://www.youtube.com/watch?v=TChVnGHUxOw

182. 第十二章オンラインゲームにおける調整AI

183. データ解析・学習によるオンラインゲームのサポート井澤正志株式会社gloops（グループス）データマイニングによって変わった「大熱狂!!プロ野球カード」のKey Performance Indicatorの事例研究 http://cedec.cesa.or.jp/2012/program/BM/C12_P0156.html

184. A Brief History of Matchmaking in Heroes of the Storm Alex Zook, Blizzard Entertainment https://archives.nucl.ai/recording/a-brief-history-of-matchmaking-in-heroes-of-the-storm/

187. HALO4 TELEMETRY Tom Mathews Making "Big Data" Work for 'Halo': A Case Study http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

188. Tom Mathews Making "Big Data" Work for 'Halo': A Case Study http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

189. Tom Mathews Making "Big Data" Work for 'Halo': A Case Study http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

190. Gameplay Data Analysis: Asking the Right Questions Ian Thomas (Epic Games) http://www.gdcvault.com/play/1015482/Gameplay-Data-Analysis-Asking-the

193. 第十三章 3Dエンジンとディープラーニング

194. オープンソースな商業ゲーム • 無料で241種類ものPCゲームのソースコードを見ることができる「Game Source Code Collection」 • https://gigazine.net/news/20190727-game-source-code-colection/ • Open Source Game Clones - オープンソースのクローンゲームのリンク集 • https://www.softantenna.com/wp/webservice/open-source-game-clones/ • https://www.moongift.jp/tag/%E3%82%B2%E3%83%BC%E3%83%A0

195. 3Dエンジンの歴史 • 『DOOM』シリーズ（1993～・id Software/米国）を開発してきたid Software社が、なんとオープンソースにして、全部ソースコードをインターネットで公開してしまったのですね。すると、米国の開発者はみんなでソースコードを読み漁り、それぞれが思い思いのFPSを作り始めました。 • https://news.denfaminicogamer.jp/interview/game ai_miyake/2

196. VizDoom • Doom は最古の3Dゲームで大ヒットゲーム • Doom の画面ビジュアル情報を提供するプラットフォーム • ビジュアルからゲームを学習するAIを育てる http://vizdoom.cs.put.edu.pl/

197. Deep Mind: Capture the flag • Deep Mind社が行っている「旗取りゲーム」のプラットフォーム • 現在は人間よりも圧倒的に強くなってしまった • 人間が見つけた戦略を、ＡＩがみつけている • Quake III のエンジンを使用 • マップは自動生成 Deep Mind: Capture the Flag: the emergence of complex cooperative agents https://deepmind.com/blog/article/capture-the-flag-science

198. • https://deepmind.com/blog /capture-the-flag/ • Multi agnet learning Deep Mind: Capture the Flag: the emergence of complex cooperative agents https://deepmind.com/blog/article/capture-the-flag-science Deep Mind: Capture the flag

199. Two Agent Cooperation by DeepMind Deep Mind: Capture the Flag: the emergence of complex cooperative agents https://deepmind.com/blog/article/capture-the-flag-science

200. Deep Mind: Capture the flag Deep Mind: Capture the Flag: the emergence of complex cooperative agents https://deepmind.com/blog/article/capture-the-flag-science

202. 第十四章言語解析とゲームAI

203. 生起コスト「けものをのけものにしない」の形態素解析の例けものをのけものにけもののけものしないけのにししないもの 28 名詞：毛 44 名詞：物 48 名詞：獣 57 助詞：を 8 名詞：獣 57 のけもの助詞：の 27 名詞：のけもの 77 動詞：のけ 17 名詞：物 37 名詞：野 27 名詞：毛 31 名詞：藻 67 助詞：の 8 助詞：に 7 名詞：竹刀 97 名詞：西 22 動詞：する変形 11 助動詞：ない 5 10 10 51 71 11 11 27 27 20 35 15 9 32 17 17 17 32 45 23 13 5 17 連接コスト品詞推定

204. Mecab フリーの形態素解析ツール • 品詞分解を行う • https://taku910.github.io/mecab/ • https://tech-lab.sios.jp/archives/jtp-mecab-20161024

205. WORD2VEC • 単語に分散表現（ベクトル）を与える • https://qiita.com/g-k/items/69afa87c73654af49d36

206. 言葉言葉言葉言葉（数値ベクトル）

207. ケホイルゲケホイルサンダルマサンダル魔法進化ケホイルゲケホイルサンダルマサンダル魔法進化 W_00 W_10 W_01 W_11 W_50 W_51 W_41 W_40 W_31 W_30 W_20 W_21 Skip-gram アーキテクチャ

208. ケホイルゲケホイルサンダルマサンダル進化進化 W_X W_Y （ゲケホイル）ー（ケホイル）＋（サンダル）＝（マサンダル）（ゲケホイル）ー（ケホイル）＝（マサンダル）ー（サンダル）＝（進化）

209. Pythonでつくる対話システム • Pythonでつくる対話システム • ソースコードも豊富でおすすめ

210. 対話システムライブコンペティション２ • 人工知能学会におけるコンテスト • https://dialog-system-live-competition.github.io/dslc2/

211. 人狼知能 • 「人狼」ゲームを研究するためのプラットフォーム • Java で書かれている（Java で書く） • 会話、自然言語処理の研究のプラットフォーム • 定期的に大会がある • http://aiwolf.org/

212. Microsoft: TextWorld • マイクロソフトが構築したテキストアドベンチャーの学習環境 • 50ほどのテキストアドベンチャーを内包している • TextWorld: A Learning Environment for Text-based Games • https://arxiv.org/abs/1806.11532 • • TextWorld: A learning environment for training reinforcement learning agents, inspired by text-based games • https://www.microsoft.com/en-us/research/blog/textworld-a-learning- environment-for-training-reinforcement-learning-agents-inspired-by-text- based-games/ • • Getting Started with TextWorld • https://www.youtube.com/watch?v=WVIIigrPUJs

213. Microsoft: TextWorld TextWorld: A Learning Environment for Text-based Games https://arxiv.org/abs/1806.11532

214. 三宅：TRPGとメタAI • 三宅の研究プロジェクト • メタAI＝ゲームマスター（TRPG） • しかしアクションゲームでは、ゲームの調整とセットアップまで • 物語を作り出すメタAIへ向けて研究を進めたい • ゲームマスターの機能をヒアリングから聞き出す • メタAIの要件としてそれをまとめる。 • 段階的に簡単なものから難しいものまでランク分けする • 簡単なものから実現して行く

216. 第十五章 MINECRAFTとディープラーニング

217. 「MineCraft」を利用する学習 • MineCraftは、プレイヤーキャラクターが行う行動がとてもシンプル • 集める、組み合わせる、組み立てる • 人工知能の基礎研究に適切 • ゲーム性がきつくない、というのが良い

218. facebook:「CraftAssist」 • マインクラフトでプレイヤーと共同作業可能なAIを実装するためのオープンソースプラットフォーム https://gigazine.net/news/20190719-craftassist- collaborative-ai-minecraft/ • テキスト会話によって、エージェント（キャラクター）に意味を解釈させる。「青い家を建てろ」など。 CraftAssist: A Framework for Dialogue-enabled Interactive Agents - Facebook Research https://research.fb.com/publications/craftassist-a-framework-for-dialogue-enabled-interactive-agents/ Open-sourcing CraftAssist, a platform for studying collaborative AI bots in Minecraft https://ai.facebook.com/blog/craftassist-platform-for-collaborative-minecraft-bots/

219. カーネギーメロン大学「MineRL」 • カーネギーメロン大学が NeurIPSで主催するマインクラフトを題材にした強化学習コンテストのフレームワーク • https://ai-scholar.tech/articles/treatise/minerl-ai-353 • https://minerl.io/competition/ • https://www.aicrowd.com/challenges/neurips-2020-minerl-competition 論文 • https://arxiv.org/pdf/1907.13440.pdf • https://arxiv.org/abs/1904.10079 • https://www.microsoft.com/en-us/research/project/project-malmo/ • https://minerl.io/docs/ • https://slideslive.at/38922880/the-minerl-competition?ref=search

220. MineRL: A Large-Scale Dataset of Minecraft Demonstrations https://arxiv.org/pdf/1907.13440.pdf

221. MineRL: A Large-Scale Dataset of Minecraft Demonstrations https://arxiv.org/pdf/1907.13440.pdf

222. Microsoft：Malmo • エージェントを学習させる環境を提供 • https://www.microsoft.com/en-us/research/project/project-malmo/ • https://blogs.microsoft.com/ai/project-malmo-using-minecraft-build- intelligent-technology/ • チュートリアル • https://techcommunity.microsoft.com/t5/azure-ai/introducing- reinforcement-learning-on-azure-machine-learning/ba-p/1403028

223. Ubisoft: HashCraft • Ubi が作っているブロックチェーンを基本技術としたゲーム • それぞれの島の特産物をブロックチェーンで交換する。 • マインクラフトをブロックチェイン技術で超えようとするゲーム

224. ブロックチェインゲーム

225. Blockchain技術とは？

226. Blockchain技術とは？生成の記録が記録される

227. Blockchain技術とは？

228. Blockchain技術とは？交換の記録が記録される

229. Ubisoft blockchain 主任のインタビュー • https://blockchaingamer.net/exclusive-interview-with-mr- nicolas-pouard-blockchain-initiative-manager-at-ubisoft/ • https://www.blockchaingamer.biz/news/5026/video-ubisoft- blockchain-games/

231. 自動生成して、それを自動管理できる

232. ユーザーが作り出したものを公開すると、それは他のユーザーのネットワーク上で記録される。それはUbiでさえ消去できない財産となる。しかも、そういうことにUbiは報酬を出す

233. ユーザーによるユーザー自身のためのユーザーが所有する世界を作り出すことができる

234. • https://www.youtube.com/watch?v=tdrrC6fhyRk • 35分ぐらいから

235. Ubisoft主催第一回 BC Gaming Summit http://blockchaingamesummit.com/

236. • Ubi のブロックチェインがエーム『Hash Craft』 • Robert Falce & Pierre Armand Nicq - Ubisoft - Blockchain Game Summit - Hash Craft • https://www.youtube.com/watch?v=Dz_fWHJeLY0 • Blockchain game summit • http://blockchaingamesummit.com/ • Blockchain game summit 動画 • https://www.youtube.com/channel/UCGlS2iVA29yBw81W75H7t2A/videos • Ubisoft reveals HashCraft, a secret new blockchain game • https://www.finder.com.au/hashcraft-ubisoft-blockchain-game

238. 第十六章 PROJECT: PAIDIA

239. Project PAIDIA • マイクロソフトは、「ゲームインテリジェンスグループ」 • https://www.microsoft.com/en-us/research/theme/game-intelligence/ • を設置して３０人程の研究者でゲームAIの研究をしています。 • https://www.microsoft.com/en-us/research/project/project-paidia/#!people • これまでは、チェスや囲碁、そして最近ではマインクラフトを題材にしてエージェントの知能を作る「Project Malmo」などを推進してきましたが、 • GDC2020で「プロジェクト PAIDIA」を発表しました。 • https://innovation.microsoft.com/en-us/exploring-project-paidia • これは、Ninja Theory 社と一緒にアクションゲームでプレイヤーと強調するキャラクターの知能を作るプロジェクトです。

240. • ３つの研究を柱として（かなり専門的ですが）推進しています。 • https://www.microsoft.com/en-us/research/blog/three-new-reinforcement- learning-methods-aim-to-improve-ai-in-gaming-and-beyond/ 不確定な状況下での意思決定 • https://www.microsoft.com/en-us/research/publication/conservative- uncertainty-estimation-by-fitting-prior-networks/ リアルタイムで蓄積される記憶の整備 • https://www.microsoft.com/en-us/research/publication/amrl-aggregated- memory-for-reinforcement-learning/ 不確定な状況下での強化学習 • https://www.microsoft.com/en-us/research/publication/varibad-a-very- good-method-for-bayes-adaptive-deep-rl-via-meta-learning/ Project PAIDIA

242. 第十七章各種AIコンテスト

243. 各種ＡＩコンテスト • 人工知能学会誌（2020年5月に掲載） • https://www.ai-gakkai.or.jp/vol35_no3/

244. IEEE Competitions • IEEE と ACM は世界最大の学会の一つ • 各分科会ごとにコンテスト（Competitions）がある • 研究分野を推進するため • ベンチマーク（測定基準）として機能させるため • https://cis.ieee.org/conferences/competitions • 終わったものもあるので注意

245. IEEE Competitions https://agrishchenko.wixsite.com/snakesai

246. Hearthstone AI Competition • Hearthstone は世界的に人間のあるカードゲーム • 大会では何千万という賞金が出る

248. 第十八章これからのゲームAI

249. 人工知能全域機械学習ディープラーニング統計学習コネクショニズムシンボリズムデジタルゲームAI ゲームAIはシンボリックAIから機械学習へ今後10年かけて徐々にシフトする現在、社内でも研究中。

250. 人工知能全域機械学習ディープラーニング統計学習コネクショニズムシンボリズムデジタルゲームAI 機械学習の導入には土台となるシミュレーション（物理、仕組み）が必要シミュレーション技術

251. 技術の変わり目ビックデータｘディープラーニングシミュレーションｘディープラーニングデータが貯まるところでディープラーニングを行い特徴抽出を行うシミュレーションでデータを貯めてディープラーニングを行う

252. シミュレーションこれからの人工知能のフレームワーク現実機械学習（ディープラーニング）シミュレーション技術は、ゲーム産業と実験物理学がリードして来た。ところが、様々な人工知能の企業が参入してきている。

253. シミュレーションこれからの人工知能のフレームワーク現実機械学習（ディープラーニング）シミュレーション技術は、ゲーム産業と実験物理学がリードして来た。ところが、様々な人工知能の企業が参入してきている。

254. Google 「サッカーシミュレーター」による強化学習の研究 https://automaton-media.com/articles/newsjp/20190613-95002/ シミュレーション現実機械学習（ディープラーニング） https://ai.googleblog.com/2019/06/introducing-google-research-football.html

255. シミュレーション現実機械学習（ディープラーニング） DeepMind社「Capture the flag」によるディープラーニング学習 https://deepmind.com/blog/article/capture-the-flag-science

256. AnyLogic「シミュレーションｘ機械学習」サービスシミュレーション現実機械学習（ディープラーニング） https://www.anylogic.com/warehouse-operations/

257. Microsoft 「AirSim」による強化学習の研究シミュレーション現実機械学習（ディープラーニング） https://microsoft.github.io/AirSim/

258. Nvidia「ドライビングシミュレーター」による強化学習の研究シミュレーション現実機械学習（ディープラーニング） https://www.nvidia.com/en-us/self-driving-cars/drive-constellation

259. シミュレーションこれからの人工知能のフレームワーク現実機械学習（ディープラーニング）この２つの技術の結びつきが、現実においても、仮想空間においても、これからの協力な技術コアとなる。

260. ゲームの外の研究の問題点 • 先行研究が少ない • アカデミックな知識を援用する場合が多い。 • 個別課題が多い • 統一的に解決したいが、研究期間が必要 • 共通フレームワークがない

261. コミュニティアカデミック産業間ゲームの外のAI 共同研究しやすい（対象としてのゲーム）品質保証なので、直接は競合しないゲームの中のAI 難しい点がある（商品であること、機密情報が多い）商品なので競合

262. コミュニティアカデミック産業間ゲームの外のAI 共同研究しやすい（対象としてのゲーム）品質保証なので、直接は競合しないゲームの中のAI 難しい点がある（商品であること、機密情報が多い）商品なので競合産業・アカデミックで皆で連携して推進したい

263. ゲーム周辺AI （外＝開発、現実）ゲームAI （中＝コンテンツ）ゲームの中、ゲームの外ゲームはより動的なものになる（自律型AI,動的コンテンツ先生）

264. ゲーム周辺AI （外＝開発、現実）ゲームAI （中＝コンテンツ）ゲームの中、ゲームの外メタAI キャラクター AI ナビゲーション AI インターフェース上のAI データマイニングシミュレーション技術ゲーム可視化開発支援 AI QA-AI 自動バランス AI ゲーム（内）：人工知能によってより自律的、より動的なコンテンツへゲーム開発（外）：より科学的（分析、検証）、アルゴリズムによる調整へ

265. ご質問 • y.m.4160@gmail.com • Twitter: @miyayou • Facebook: https://www.facebook.com/youichiro.miyake

デジタルゲームにおける品質保証のための人工知能

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to デジタルゲームにおける品質保証のための人工知能

Similar to デジタルゲームにおける品質保証のための人工知能 (8)

More from Youichiro Miyake

More from Youichiro Miyake (20)

デジタルゲームにおける品質保証のための人工知能