2014年4月5日に開催された、GDC報告会2014の「QAエンジニアリング関連セッションまとめ」講演資料です。

1. QAエンジニアリング
関連セッションまとめ
2014/4/5
株式会社セガ
粉川 貴至

2. 今回のキーワードを
わかり易く図にしてみました

3. キーワード
インテグレーションテスト
手動テスト
ユニットテスト
自動ビルド
バージョン管理ツール
UIテスト
正常パス
異常系テスト
リグレッションテスト
通しプレイテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
コードカバレッジ
（c0,c1,c2）
仕様
組織
テスト計画・テスト仕様
カバレッジ
コードレビュー
バグトラッカー
エンベデッドテスター
アートアセット
ローカライゼー
ションアセット
境界テストソースコード
アセットビルドシステム パフォーマンステスト
セキュリティテスト
開発（個人） 開発（チーム） テスター
ロードテスト
自動テスト用データ
テストハーネス
プロファイラー

4. もう少しわかり易く色をつけ
てみました

5. キーワード
インテグレーションテスト
手動テスト
ユニットテスト
自動ビルド
バージョン管理ツール
UIテスト
正常パス
異常系テスト
リグレッションテスト
通しプレイテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
コードカバレッジ
（c0,c1,c2）
仕様
組織
テスト計画・テスト仕様
カバレッジ
コードレビュー
バグトラッカー
エンベデッドテスター
アートアセット
ローカライゼー
ションアセット
境界テストソースコード
アセットビルドシステム パフォーマンステスト
セキュリティテスト
開発（個人） 開発（チーム） テスター
ロードテスト
自動テスト用データ
テストハーネス
プロファイラー

6. ひとつづつ説明します

7. 組織・テスト計画
組織
テスト計画
エンベデッドテスター
開発（個人） 開発（チーム） テスター
アートアセット
ローカライゼー
ションアセット
ソースコード

8. 組織・テスト計画
• 何をテストするか
• 何をテストしないか
• それぞれのテストカテゴリーに対してどうテス
トを実行するか
• 製品がリリースできるかどうかをどうやって判
断するか
http://www.gdcvault.com/play/1020008/A-Survey-of-the-Modern

9. 組織（例）
「Leveraging External Programming for Forza Motorsport 5」より

10. テスト計画（例）
「Leveraging External Programming for Forza Motorsport 5」より

11. テスト計画（例）
「Leveraging External Programming for Forza Motorsport 5」より

12. 組織（例）
「Leveraging External Programming for Forza Motorsport 5」より

13. 外注コード管理の例
インテグレーションテスト
組織
テスト計画
コードレビュー
エンベデッドテスター
外注からの
ソースコード
開発（個人） 開発（チーム） テスター
受け入れテスト
ソースコード
TLD
スクラム
バックログ

14. テスト仕様
• テストカテゴリーごとの実際のテスト
• 優先度
• 可視化するもの
http://www.gdcvault.com/play/1020008/A-Survey-of-the-Modern

15. テスト仕様（例）
「Leveraging External Programming for Forza Motorsport 5」より

16. テストの種類
http://www.gdcvault.com/play/1020008/A-Survey-of-the-Modern
テストの種類 説明
正常パス 動作の確認
異常系テスト 失敗時の挙動の確認
インテグレーションテスト サブシステムが正常に統合されているか
リグレッションテスト バグの再発チェック
通しプレイテスト 一通りのゲームを完了できるか
境界テスト あやしい挙動が無いか探索する（探索的テスト）

17. 役割
• QAE – Quality Assurance Engineer
• SDET – Software Development Engineer in Test
http://www.gdcvault.com/play/1020008/A-Survey-of-the-Modern
QAE採用に良い質問：「ルンバをどうテストしますか？」

18. インテグレーションテスト
手動テスト
ユニットテスト
自動ビルド
バージョン管理ツール
UIテスト
正常パス
異常系テスト
リグレッションテスト
通しプレイテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
コードカバレッジ
（c0,c1,c2）
テスト仕様
カバレッジ
コードレビュー
バグトラッカー
エンベデッドテスター
境界テストソースコード
パフォーマンステスト
セキュリティテスト
開発（個人） 開発（チーム） テスター
ロードテスト
プロファイラー

19. テスト自動化の考え方
• ユニットテスト
• インテグレーションテスト
• UIテスト

20. テスト自動化の考え方
ツール例：Unity Test Tools
UI
Integration
Unit
UI
Integration
Unit
「Unity Test Tools」ブース内セッションより
テスト自動化ピラミッド テストの抽象レベル
↑Unity Test Toolsではここをカバー

21. テスト自動化
インテグレーションテスト
手動テスト
ユニットテスト
UIテスト
エンベデッドテスター
開発（個人） 開発（チーム） テスター
仕様

22. テスト手法
インテグレーションテスト
手動テスト
ユニットテスト
UIテスト
正常パス
異常系テスト
リグレッションテスト（シナリオ）
通しプレイテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
仕様
エンベデッドテスター
境界テスト
パフォーマンステスト
セキュリティテスト
開発（個人） 開発（チーム） テスター
ロードテスト
リグレッションテスト（単体）

23. アジャイルテストの4象限
にあてはめてみる
参考：実践アジャイルテスト（翔泳社、2009）
インテグレーションテスト
UIテスト
成功パス、異常系テスト
リグレッションテスト（シナリオ）
ユニットテスト
リグレッションテスト（単体）
通しプレイテスト
境界テスト（探索的テスト）
パフォーマンステスト
セキュリティテスト
ロードテスト
エンジニアリング
ビジネス
チ
ー
ム
に
対
し
て
製
品
に
対
し
て
自動
自動と手動 手動
ツール

24. テスト手法
インテグレーションテスト
手動テスト
ユニットテスト
UIテスト
正常パス
異常系テスト
リグレッションテスト（シナリオ）
通しプレイテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
コードカバレッジ
（c0,c1,c2）
仕様
エンベデッドテスター
境界テスト
パフォーマンステスト
セキュリティテスト
開発（個人） 開発（チーム） テスター
ロードテスト
リグレッションテスト（単体）

25. ここまでの全体像をとらえた上で
具体例なトピックを紹介していきます

26. ローカライゼーションテスト
LAMS: Building a Localization Tool for Everyone : http://www.gdcvault.com/play/1020073/LAMS-Building-a-Localization-Tool
The Future of Localization Testing : http://www.gdcvault.com/play/1020088/The-Future-of-Localization
通しプレイテスト
を機能テスター
が行う
TTY出力に応じ
てアセットがキャ
プチャーされる
静止画、ビデオが正
しい訳テキストと共に
LAMSにアップされる
ローカライゼー
ションテスター
はLAMS上でア
セットを確認
ローカライゼー
ションテスト
リードが機能テ
スターに指示

27. ローカライゼーションテスト
手動テスト
ローカライゼーション
アセット管理ツール
翻訳テキスト
チェック
組織
テスト計画・テスト仕様
ローカライゼーションアセット
開発（個人） 開発（チーム） テスター
テスト用データ
テストハーネス
機能テスター
通しプレイテスト
翻訳テスター

28. アセットビルドシステム
Technical Artist Bootcamp: Asset Build Systems : http://www.gdcvault.com/play/1020084/Technical-Artist-Bootcamp-Asset-Build
Sources, Processing, Targets

29. アセットビルドシステム
Technical Artist Bootcamp: Asset Build Systems : http://www.gdcvault.com/play/1020084/Technical-Artist-Bootcamp-Asset-Build
SConsサイコ―！アセットの依存関係書けるし、バッチでできる事は全部できるし、
psd→tga→textureもできるし、マルチコアも使えるし、ビルドキャッシュも設定できるし、
IncrediBuildとも連携できるし、アセットのチェックにも使えるし、DB生成しても良いし、
企画データのチェックもできるし、スモークテストとユニットテストも自動化できるし、
ツールインストールも自動化できるし、なんならコードのビルドも任せちゃっていいし、
なんたってこれだけの事全部が Pythonで書けちゃうんだぜ！！！
ほら今はもう2014年なんだからさ、なにかビルドシステムくらい使おうよ。あなたの
チームのビルド・デプロイ担当の人に話してみなよ（はーと

30. アセットビルドシステム
インテグレーションテストユニットテスト
アセットチェック 自動ビルド
テスト仕様
アートアセット
アセットビルドシステム
開発（個人） 開発（チーム） テスター
SCons！

31. 世界をまたいでのCIワークフロー
「How to Build Nightly When There is No Night」より
・いかにソースコントールを速くするか
・こういうケースにPerforceが活きるようだ
・バグが混入して他の拠点の作業に影響が出ない
ように、拠点でのCIも回す（ローカル環境でも）
・プロファイリングや（静的）解析、統合など時間を
かけるものは、後（専用のCI環境）で

32. インテグレーションテスト
ユニットテスト
自動ビルド
UIテスト
リグレッションテスト
SDET(Software Development Engineer in Test) QAE(Quality Assurance Engineer)
仕様
ワールドワイド
エンベデッドテスター
アートアセット
ローカライゼー
ションアセット
ソースコード
でっかくて
速い
CIシステム
開発（個人） 開発（チーム） テスター
テストハーネス
プロファイラー

33. Google Play Games での事例
投資：低 投資：中 投資：可変
コードレビュー 自動ビルド テスト設計にエンジニアを参
加させる
設計フィードバック 自動テスト リアルユーザーテスト
バグ潰し テストケースをツールに
組み込み
通しプレイの自動化
ロギング（Androidだと
Volleyとか）
ファジング
モンキーテスト レイテンシーLab
ポストモーテム
バグを早く見つける方法
「Making Every Crash Count Effective Mobile Game Testing」より

34. Unit Test の実践
• Practical Unit Tests
– http://andrewfray.wordpress.com/2014/03/21/pr
actical-unit-tests-gdc-2014/
– 「Practical Unit Tests GDC2014」で検索！

35. Technical Issues in Tools
Development Roundtable
• IGDA Tools SIG により毎年開催されている
• 今年は議事録が上がっています
– http://thetoolsmiths.org/2014/03/19/technical-issues-in-tools-day-1/
– http://thetoolsmiths.org/2014/03/23/technical-issues-in-tools-day-2/
– http://thetoolsmiths.org/2014/03/23/technical-issues-in-tools-day-3/
• ポッドキャストも
– http://thetoolsmiths.org/podcast/
• キーワード
–Automation, Perforce, Asset Repository,
Build Tools, Tools Usability

36. まとめ
全体最適化
と
エンジニアリング

37. ありがとうございました！