「Press Button, Drink Coffee」 UE4におけるビルドパイプラインとメンテナンスの全体像

「Press Button, Drink Coffee」
UE4における
ビルドパイプラインとメンテナンスの全体像

#UE4 | @UNREALENGINE
自己紹介
Axel Riffard アクセルリファール
Epic Games Japan / Support Engineer
● Twitter : @AxRiff
● 趣味はPerfume、ベイスターズ、ウイスキー
● 今プレイしてるゲーム： Control (Remedy大好き)

序文
ゲームを作るのはもちろん楽しいですが、自動化と最適化はさらに楽しいと思い
ます。
幸せといえば、書いたスクリプトのロードバーの進行を見ることです。(変なフェチかも)
UE4における、毎日の作業を楽にする機能を紹介します。

免責条項
完璧なパイプラインなんて存在しない。
会社の文化、チームのスキル、社内のインフラ、プロジェクトの予算、使いたい
技術、ターゲットプラットフォームによって、一番良い選択が変わってしまう。
一番頼れるのは、今までの経験です。これから紹介する技術と伝えるアドバイス
は、個人の経験のまとめとエピック内のワークフローだけです。自分の経験を信
用するのが一番です。

目次
●CIとは
●UnrealAutomationTool
●エンジンとプロジェクトビルドの作業
●その他のビルド作業
●The Unreal Way

どうしてこんな恐ろしいことが起きるのか
Dev
2
Dev
1
Dev
3
バージョン管理
しすてむ

● 更新したら、ローカルでエラーが出ていてビルド出来ない
● そのエラーを解決しようとしたら、遡りづらい
● 喧嘩したり、チーム内のコミュニケーションが複雑になる
● コミットすることでビルドを壊すかどうか不安になる
● ゲームのビルドを作ろうとしたら、時間かかって、その間は仕事できない
どうしてこんな恐ろしいことが起きるのか

CIソフトウェア
CI = Continuous Integration、継続実装
ソフトウエアとハードウエアの組み合わせで、
毎日のソースとアセットの実装と更新を管理してくれるソリューション

ソフトウェア

今の世代で、悪い選択がないでしょう。
過去に、TeamCityとJenkinsも利用したことがあって、どっちも満足しました。

Jenkins TeamCity

Jenkins
メリット：
● Free Open Source
● ドキュメンテーションとプラグインがいっぱい
● コミュニティーがデカい
デメリット：
● 公式サポートがない
● プラグインのクオリティはバラバラ

TeamCity
メリット
● パイプラインを作るの速い
● 公式サポートがある
デメリット
● 無料版だと機能が限られている

CIソフトウエア
日本のゲーム業界でジェンキンスが一番人気があると思うから、これからの話は
ジェンキンス中心になる。
ただ、全アドバイスとコマンドはどんなCIソフトウエアでも使える。
似てるから、ジェンキンスおじさんの変わりに、この猫を使わせていただきます。

ハードウェア

ビルドマシン
マスター → 作業を管理しているマシン、サーバー
スレーブ → 実際の作業を行うマシン

ビルドマシン
バージョン
管理DEV PC
CI Server
Master
Slack
Commit
Slave 1 Slave 2 Slave 3
Company
Server
Poll
Distribute
バージョン
管理

ビルドマシン - マシン数
プロトタイプ中：
マスターのみに1台
開発中：
マスター1台
リリースプラットフォームごとにスレーブが1台

ビルドマシン - OS
マスター：Win64かLinux
スレーブ：Win64（プラットフォームのSDKのため）、りんご系の場合はMacOS

ビルドマシン - Windows
ストレージ：SSD
メモリ：32GB～
CPU：AMD Threadripperはライセンシーにおすすめされた。
１５分でフルリコンパイルできる。

ビルドマシン - MacOS
Macでコンパイルの分散が出来ないので、
シェーダーのコンパイルを考えると、
できるだけCPUのコアを多く。そろそろ発売するMacプロがいいかもしれない。
予算があまりなければ、個人的には６コアのMacミニで行けると思います。

UE4のビルド
● エンジンとエンジンエディター
● ゲームのソース
● ゲームのアセット（ライト、シェーダー、etc）
● ツール

ビルドコマンド
これからCI用のビルドコマンドをいくつか紹介する。
メモしづらいと思うから、gitHubでも公開するぞ！
https://github.com/AxRiff/UnrealEngineJenkins

UnrealAutomationTool
UnrealAutomationToolは、ゲームのテストやビルドなどのプロセスを自動化す
るために使用される一般的なシステム。
UE4は主にC++で作られているが、UnrealAutomationToolは主にC#。
UnrealAutomationToolを使って、CIソフトウエアでコマンドラインをビルドす
ることができる。

UnrealAutomationTool
会社、プロジェクトの種類、そしてワークフローによって、ビルドする選択肢が
三つある。
● BuildGraphのカスタムスクリプト
● BuildGraphのInstalledBuildScript
● BuildCookRunのコマンドラインツール

BuildGraph

BuildGraph
BuildGraphはUnrealAutomationToolの中のスクリプトベースのビルド自動化シ
ステム。
● XMLでビルドスクリプトを書く
● 日本語のドキュメンテーションがちゃんとしてる
● エピックのプロジェクトのためにエピックが作ったツール。今でもよく使って
おる
● 他のビルドツールとは異なり、BuildGraphはmakefileのようなスクリプティン
グ言語とビルドマシンのコンフィギュレーションスクリプトとを合わせたアプ
ローチ

BuildGraph
サンプルコードがいっぱいで、分かりやすい
Engine/Build/Graph/Examples/

BuildGraph
メリット
● CIフレームワークへの依存を減らす。
● ローカルでテストと編集可能 → CI達人に頼らなくてもいい
● XMLベースなので読みやすい
● プラットフォームに不可知的
● いろんなプロジェクトで共有できる
デメリット
● なれるまで時間がかかる

BuildGraph
● Agents: 同じマシンで実行される複数のノードのグループ
● Nodes: タスクのシーケンス
● Tasks: ビルドプロセスの一部として実行されるアクション (コンパイル、
クックなど)

BuildGraph
<Agent Name="Default Agent" Type="CompileWin64">

<Node Name="Update Version Files">
<SetVersion Change="$(Change)" Branch="$(EscapedBranch)" Licensee="$(Licensee)" If="$(Versioned)"/>
</Node>

<Node Name="Compile Tools Win64" Requires="Update Version Files" Produces="#ToolBinaries">
<Compile Target="UnrealHeaderTool" Platform="Win64" Configuration="Development" Tag="#ToolBinaries"/>
</Node>

<Node Name="Compile $(EditorTarget) Win64" Requires="Compile Tools Win64" Produces="#EditorBinaries">
<Compile Target="$(EditorTarget)" Platform="Win64" Configuration="Development" Tag="#EditorBinaries"/>
</Node>

<Property Name="GameBinaries" Value=""/>
<ForEach Name="GameTarget" Values="$(GameTargets)">
<ForEach Name="TargetPlatform" Values="$(TargetPlatforms)">
<Node Name="Compile $(GameTarget) $(TargetPlatform)" Requires="Compile Tools Win64" Produces="#GameBinaries_$(GameTarget)_$(TargetPlatform)">
<Compile Target="$(GameTarget)" Platform="$(TargetPlatform)" Configuration="Development" Tag="#GameBinaries_$(GameTarget)_$(TargetPlatform)"/>
</Node>
<Property Name="GameBinaries" Value="$(GameBinaries)#GameBinaries_$(GameTarget)_$(TargetPlatform);"/>
</ForEach>
</ForEach>
</Agent>

BuildGraph
</Node>
</Node>
</Node>
<Node Name="Compile $(GameTarget) $(TargetPlatform)" Requires="Compile Tools Win64"
Produces="#GameBinaries_$(GameTarget)_$(TargetPlatform)">
<Compile Target="$(GameTarget)" Platform="$(TargetPlatform)"
Configuration="Development" Tag="#GameBinaries_$(GameTarget)_$(TargetPlatform)"/>
</Node>
</ForEach>
</ForEach>
</Agent>

BuildGraph
</Node>
</Node>
</Node>
</Node>
</ForEach>
</ForEach>
</Agent>
<SetVersion Change="$(Change)" Branch="$(EscapedBranch)"
Licensee="$(Licensee)" If="$(Versioned)"/>
</Node>

BuildGraph
</Node>
</Node>
</Node>
</Node>
</ForEach>
</ForEach>
</Agent>
<Node Name="Compile Tools Win64" Requires="Update Version Files"
Produces="#ToolBinaries">
<Compile Target="UnrealHeaderTool" Platform="Win64"
Configuration="Development" Tag="#ToolBinaries"/>
</Node>

BuildGraph
</Node>
</Node>
</Node>
</Node>
</ForEach>
</ForEach>
</Agent>
<Node Name="Compile $(EditorTarget) Win64" Requires="Compile Tools Win64"
Produces="#EditorBinaries">
<Compile Target="$(EditorTarget)" Platform="Win64"
Configuration="Development" Tag="#EditorBinaries"/>
</Node>

BuildGraph
</Node>
</Node>
</Node>
</Node>
</ForEach>
</ForEach>
</Agent>
<Node Name="Compile $(GameTarget) $(TargetPlatform)"
Requires="Compile Tools Win64"
Configuration="Development"
Tag="#GameBinaries_$(GameTarget)_$(TargetPlatform)"/>
</Node>
<Property Name="GameBinaries"
Value="$(GameBinaries)#GameBinaries_$(GameTarget)_$(TargetPlatform);"/>
</ForEach>
</ForEach>

InstalledBuild

InstalledBuild
● 皆様の会社のアンリアルランチャーだと思って下さい
● エンジンを提供するためエピックが作ったBuildGraphのスクリプト
Engine/Build/InstalledEngineBuild.xml
● デザイナーとアーティストに優しい
● エンジンビルドのみ。プロジェクトをビルドしない

Installed Build
Installed Buildの主なステップ
1. Update Version File
2. Compile UnrealHeaderTool Win64
3. Compile UE4Editor Win64
4. Compile UE4Game Win64
5. Compile UE4Game (Platform)
6. Build Tools Win64
7. Build Tools CS
8. Make Feature Packs
9. Build DDC Win64

InstalledBuild
Engine/Build/BatchFiles/RunUAT.bat BuildGraph
-target”Make Installed Build Win64”
-script=/Engine/Build/InstalledEngineBuild.xml
-clean

BuildCookRun

BuildCookRun
● /Engine/Build/BatchFiles/ にあるスクリプト
● ビルドから、パッケージまで、何でもできる
● カスタムしやすい
● 使用の際にLinux/UNIX感の懐かしくて温かい気持ちになる

BuildCookRun, BuildGraph, InstalledBuild
● 状況によって、一番合ってるやり方が変わる
● 個人的に、ゲーム開発の場合は、柔軟性と変更可能な技術が重要かと思うか
ら、BuildCookRunが一番仕事しやすい
● これから紹介するコマンドラインでBuildCookRunで実行する。でも全ての
コマンドがBuildGraphでもできる

コマンドライン

エンジンDLLビルド
エンジンの編集が少なかったら、手動でビルドするCIの作業
多かったら、一日一回でいいと思います。ただそれは夜ではなく、朝か昼にす
るのがおすすめ

ビルドマシン
Jenkins Build
Commit to
Source Control
Update
Notify

%ENGINE_ROOT%/Engine/Build/BatchFiles/RunUAT.bat BuildCookRun -
project=Samples/StarterContent/StarterContent.uproject -
platform=%ENGINE_PLATFORM_TARGET% -
clientconfig=%ENGINE_COMPILATION_TARGET% -build
ENGINE_ROOT=EngineRoot
ENGINE_COMPILATION_TARGET=Development
ENGINE_PLATFORM_TARGET=Win64
大分読みづらいにゃ、ちょっと読
みやすくしよう

Engine/Build/BatchFiles/RunUAT.bat BuildCookRun
-project=Samples/StarterContent/StarterContent.uproject
-platform=Win64
-clientconfig=Development
-build

-project=Samples/StarterContent/StarterContent.uproject
-platform=Win64
-build
RunUATを使うには、uprojectファイルが必要
なので、テンプレートか空っぽのプロジェクト
にしにゃしょう。

プロジェクトDLLビルド
１０分ごとにバージョン管理しすてむを確認して、自動でビルド。
Jenkins Build
Commit to
Source Control
Update
Notify

%ENGINE_ROOT%/Engine/Build/BatchFiles/RunUAT.bat BuildCookRun
-project= project=%GAME_SUB_PATH%/%GAME_NAME%.uproject -
clientconfig=%ENGINE_COMPILATION_TARGET% -build
ENGINE_ROOT=EngineRoot
ENGINE_COMPILATION_TARGET=Development
ENGINE_PLATFORM_TARGET=Win64
GAME_SUB_PATH=C:/GamePath
GAME_NAME=GameName

-project=C:/PathToTheGame/GameName.uproject
-platform=Win64
-build

パッケージ

Nightly Build
● 毎晩走らせるパッケージ
● Development、Test（プロファイルとるため）、そしてShipping (販売版に近い
バージョン)、ターゲットごとに作る
時間がかかっても大丈夫なので、クリーン、フルリビルドがおすすめ

Nightly Build フロー
ZipJenkins Build
Copy to
Shared Folder
Update
Notify

%ENGINE_ROOT%/Engine/Build/BatchFiles/RunUAT.bat BuildCookRun -
project=%GAME_SUB_PATH%/%GAME_NAME%.uproject -noP4 -
clientconfig=%ENGINE_COMPILATION_TARGET% -cook -allmaps -build -stage
-pak -archive -archivedirectory=%TEMP_DIR%
ENGINE_ROOT=PathToYourEngine
GAME_SUB_PATH=PathToYourProject
GAME_NAME=UprojectFileWithoutTheExtension
ENGINE_COMPILATION_TARGET=Development|Shipping|etc
ENGINE_PLATFORM_TARGET=Win64|etc

-project=GamePath/GameName.uproject
-noP4
-platform=Win64
-cook
-allmaps
-build
-stage
-pak
-archive
-archivedirectory=C:/TempDirectory/

-noP4
-platform=Win64
-cook
-allmaps
-build
-stage
-pak
-archive
各ファイル全てをコピーする代わりに、全アセットを単一「.pak」フ
ァイルに格納する。プロジェクトにたくさんのアセットファイルがあ
る場合、Pak ファイルを使用した方が配布が容易になる場合がある。

robocopy %ARCHIVE_DIR%/latest %ARCHIVE_DIR%/%ENGINE_PLATF
ORM_TARGET%/archive /E /IS /MOV
set PATH=%PATH%;C:/Program Files/7-Zip/
7z.exe a -tzip -mmt -
mx1 %ARCHIVE_DIR%/latest/%BUILD_NUMBER%.zip %TEMP_DIR%/
exit 0

ちょっと待ったにゃ！！

https://github.com/electronicarts/EACopy
Twitter : @honk_dice
EAさんのhigh endスタジオ、DICEが、robocopyよりさらに速い、ビルドマ
シン用のコピーツールをオープンソースにした！
EACopy
ちょっとしか試していないけど、凄く速いです！

Incremental Build
● 手動起動
● 「ごめん、一時間後パブリッシャー/社長に会議でビルドを見せなきゃいけな
いから、何とかして」というときに
● Nightly Buildと違って、時間がないから…
● -partialgcを付ける
● クリーンビルドじゃなくてもいい

Incremental Build フロー
Jenkins Build
Send to
DevKit
Update
Notify
開発機までの接続は、各メーカーのSDKを確認してください。
また、エディターからdeployするときにエンジン内でも同じことするので、
/Engine/Source/Programs/AutomationTool/PlatformName/PlatformNamePlatfo
rm.Automation.csを見てね

-noP4
-platform=Win64
-cook
-allmaps
-build
-stage
-pak
-archive
-partialgc
クック中に、メモリがなくなったときにすべてをクリーンするのではなく、
パッケージで完了したときにクリーンアップする。

Jenkins Plugins

Plugins
Build Pipeline Plugin
https://wiki.jenkins.io/display/JENKINS/Build+Pipeline+Plugin

Plugins
Jenkins Slack Plugin
https://github.com/jenkinsci/slack-plugin

Plugins
Retaliation
https://github.com/codedance/Retaliation

その他のビルドCI Jobs

Commandlet
Command Line Applet → コマンドレットとは、Unreal Engineの環境内で
作動するコマンドラインプログラム

Shared DDC
Derived Data Cache (DDC) は、エンジンとターゲットプラットフォームが使
用するフォーマットでアセットのバージョンを保存する機能
簡単にいうと、みんなが利用しているアセットをキャッシュする

Shared DDC
Shared
FolderDev PC 1
Copy Built Asset
Build Assets on
1st launch

Shared DDC
Shared
Folder
Dev PC 5Dev PC 4
Dev PC 3Dev PC 2
Copy Built Asset

Shared DDC
Shared
FolderDev PC 4
Modify / Add
Asset
Copy Built Asset

Shared DDC
https://docs.unrealengine.com/en-
US/Engine/Basics/DerivedDataCache/index.html
BaseEngine.ini
[InstalledDerivedDataBackendGraph]
MinimumDaysToKeepFile=7
Root=(Type=KeyLength, Length=120, Inner=AsyncPut)
AsyncPut=(Type=AsyncPut, Inner=Hierarchy)
Hierarchy=(Type=Hierarchical, Inner=Boot, Inner=Pak, Inner=EnginePak, Inner=Local, Inner=Shared)
Boot=(Type=Boot, Filename=%GAMEDIR%DerivedDataCache/Boot.ddc, MaxCacheSize=256)
Local=(Type=FileSystem, ReadOnly=false, Clean=false, Flush=false, PurgeTransient=true, DeleteUnused=true,
UnusedFileAge=17, FoldersToClean=-1, Path=../../../Engine/DerivedDataCache)
Shared=(Type=FileSystem, ReadOnly=false, Clean=false, Flush=false, DeleteUnused=true, UnusedFileAge=19,
FoldersToClean=-1, Path=//mystudio.net/DDC, EnvPathOverride=UE-SharedDataCachePath)
AltShared=(Type=FileSystem, ReadOnly=true, Clean=false, Flush=false, DeleteUnused=true, UnusedFileAge=19,
FoldersToClean=-1, Path=//mystudio.net/DDC2, EnvPathOverride=UE-SharedDataCachePath2)
Pak=(Type=ReadPak, Filename=%GAMEDIR%DerivedDataCache/DDC.ddp)
EnginePak=(Type=ReadPak, Filename=../../../Engine/DerivedDataCache/DDC.ddp)

Shared DDC

Shared DDC
// Flush and Clean argument DerivedDataBackends.cpp:553
if( bFlush )
{
IFileManager::Get().DeleteDirectory( *(Path / TEXT(“”)), false, true );
}
else if( bClean )
{
DeleteOldFiles( *Path );
}
/** Delete the old files in a directory **/
void DeleteOldFiles(const TCHAR* Directory)
{
float MinimumDaysToKeepFile = 7;
GConfig->GetFloat( *GraphName, TEXT("MinimumDaysToKeepFile"), MinimumDaysToKeepFile, GEngineIni );
check(MinimumDaysToKeepFile > 0.0f); // sanity
//@todo
}

Shared DDC
//@todo

Shared DDC
UE4Editor-cmd.exe ProjectName –run=DerivedDataCache -fill
del /s /q c:/ServerShareDDCPath/*

Lighting Build
● リアルタイムライト以外の照明は、クックしなきゃいけない。
● もちろん、エピックがクックするためのツールを提供している。
ただ…

Lighting Build

遅い。とても
なので夜間にCIソフトウエアに任せるのが正しい
毎晩、自動で、このJobを走らせましょう
Lighting Build

Lighting Build
UE4Editor-cmd.exe ProjectName -run=resavepackages
-buildlighting -allowcommandletrendering

Lighting Build
Editorで作業して、ライトを確認したいときに、
ローカルでライトビルドするのは現実的
そのプロセスを早くするため、Swarmがある

Lighting Build - Swarm
Swarmは、UE4の高品質なスタティックグローバルイ
ルミネーションソルバである Unreal のライトマスを
含むタスク分散システム
Coordinatorは、ジェンキンスマスターでいいと思う
https://wiki.unrealengine.com/Swarm_Agent_Trou
bleshooting

Engine/Binaries/DotNET/SwarmCoordinator.exe
Engine/Binaries/DotNET/SwarmAgent.exe
Startupに追加する :
ショートカットを作成して、
%APPDATA%/Microsoft/Windows/Start Menu/Programs/Startupまでコピーする

Redirectors
● Redirectorは、UE4 でアセットを移動したり名前の変更をするとき、変更先を検
出するためのもので、元の位置に‘Redirector’が残される
● 残し方によっては、バグりやすくなるから、綺麗にする必要がある
● 大体、月一回でいいと思います。危ないとき（エンジンのマージあと、アルファ版
かベータ版のリリースの後）、週一回にしましょう！
https://docs.unrealengine.com/en-US/Engine/Basics/Redirectors/index.html

Redirectors
UE4Editor-cmd.exe ProjectName -run=fixupredirects

The Unreal Way :
Fortnite

Fortnite
● エンジニアしかVisualStudioを持たない
● ElectricCommanderとBuildGraphを利用している
● UnrealGameSyncを使用している

イテレーション
VSがなかったら、難しそうですね？
実は、そうでもない。覚悟が必要ですけど
● PIEを出来るだけ使おう
● CIソフトウエアのビルドを上手く使おう

デバイスで今のレベルを試したいときに…
キャラクターの髪の毛の色を変更して、コミットする前に端末のディスプレイ
で確認したいけど、VSがないから、ビルド出来ないというシナリオだと…
まずは、
CIソフトウエアでincremental buildの作業を作って、
Project/Binaries/各プラットフォームのフォルダーでビルドマシンにコミット
させる

Custom Launch Profile
そしてエディターのLaunchボタンの右の三角形
をクリック、
Project LauncherのCustom Launch Profileが
追加されたファイルを編集する
プロファイルはプロジェクト側ではなく、
/Engine/Programs/UnrealFrontend/Profiles
に保存される
プロファイルからBuildのステップを外してパソ
コンに繋がっているデバイスにdeployしたら、
誰でもいつでも、VisualStudioを持たずに、タ
ーゲットプラットフォームでプレイが出来る

ビルドマシンまとめ
UE4のパイプラインにあるはずのJobs :
● エンジンビルド
● プロジェクトビルド
● 夜プロジェクトパッケージ
● Incrementalプロジェクトパッケージ
● InstalledBuildを使わない場合は、Project Launcher用ビルド
● ライトマップビルド
● Fixup Redirectorsコマンドレット
● SharedDDCクリーンアップ
● SharedDDCのfill

バージョン管理しすてむ
● エピックはPerforceを使用しているため、使ったらエピック環境に一番近く
なるが、有料ソフトウエアである
● SVNがちょっとだけ遅いかもしれないが、長く使われていて頼れる
● GITは無料で、モバイルとソシャゲで良く使われている
SVNとPerforceはエディターでサポートします！GITにも対応しているけど、ま
だExperimental！

UnrealGameSync
Fortniteなどのエピック内のプロジェクトのためにエピックが作ったツール
Perforceのみだが、P4Vの代わりに使えるUI。ノンテクニカルの開発者におすすめ

UnrealGameSync

UnrealGameSync
P4サーバー
Sync
Get
Engine
(コードあり)
Local Builds
(Binary Engine)
生成
ビルドマシン

UnrealGameSync
最新版はPerforceとGitHubでいつでも。
UE4と関係がないので、エンジンのバージョンにロックをかけていてもUGSの最
新版をゲットしよう
https://docs.unrealengine.com/latest/ja/Programming/Deployment/Unrea
lGameSync/Reference/

https://github.com/gpageot/JenkinsUE4
Twitter : @GregoryPAGEOT
https://github.com/AxRiff/UnrealEngineJenkins
Twitter : @AxRiff
https://github.com/electronicarts/EACopy
Twitter : @honk_dice
Manga by @shiba_zushi。まいど！
Links

Unreal Fes t Eas t 2019
2019 / 10 / 6
パシフィコ横浜

「Press Button, Drink Coffee」 UE4におけるビルドパイプラインとメンテナンスの全体像

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a 「Press Button, Drink Coffee」 UE4におけるビルドパイプラインとメンテナンスの全体像

Semelhante a 「Press Button, Drink Coffee」 UE4におけるビルドパイプラインとメンテナンスの全体像 (20)

Mais de エピック・ゲームズ・ジャパン Epic Games Japan

Mais de エピック・ゲームズ・ジャパン Epic Games Japan (20)

Último

Último (11)