1.
論文紹介
“Dealing with Interdependencies and
Uncertainty in Multi-Channel Advertising
Campaigns Optimization”
CyberAgent アドテク本部
宮西 一徳

2.
論文について
The Web Conference 2019 の投稿論文(Demo)
ミラノ工科大学の人たちの研究
先行研究もあり、この論文はそれの拡張
“Dealing with Interdependencies and Uncertainty in Multi-Channel Advertising
Campaigns Optimization”
“A Combinatorial-Bandit Algorithm for the Online Joint
Bid/Budget Optimization of Pay-per-Click Advertising Campaigns” (AAAI-18) [25]

3.
研究のモチベーション
オンライン広告の収益は、アメリカで880億ドル、全世界で2090億ドル(2017年)
全体の40%が検索広告
キャンペーンは大量のサブキャンペーンからなる
→ それぞれ (広告、ターゲティング、入札額、日予算) などの設定を持ってる
特に入札額と日予算は重要なので毎日最適化して収益最大化したい
人手では現実的ではないので、自動化できれば（部分的にでも^^;）

4.
研究のモチベーション（さらに）
チャンネルが複数あり、相互に影響することも考える必要がある
複数のチャンネル（検索・ソーシャル・ディスプレイなど）
相互の依存関係がある
例、ディスプレイ広告で認知させることで、検索広告のimp数やCV数を増やすことになる。
関連研究
・ディスプレイ広告を表示した数日後に検索件数が増える [21]
・グレンジャー因果検定を使ってディスプレイ広告と検索広告の間で類似性がある [19]

5.
論文で提案していること
チャンネル間の相互依存を考慮した予算配分アルゴリズム
・相互依存関係グラフ作成フェーズ
→ グレンジャー因果検定を使って相互依存性の高いサブキャンペーンを特定
・推定・最適化フェーズ
→ ガウス過程で推定、動的計画法で予算配分

6.
最適化問題の定式化

7.
最適化問題の定式化
CVR CTR 予測imp数
サブキャンペーン
のインデックス: j
日にち: t
予算制約
収益最大化
入札額の
上限下限
予算の
上限下限
サブキャンペーン について

8.
最適化問題の定式化
入札額 予算 influence index
imp数予測の引数たち
サブキャンペーン の
他のサブキャンペーンが
に与える影響
こちらでいじるのは、サブキャンペーンの入札額と予算だけ

9.
全体図
DAG（非巡回有向グラフ）作成
imp予測モデル作成
サブキャンペーン間の
相互依存関係を
明らかにする
IDILアルゴリズム
ガウス過程の予測モデル
予算配分最適化
動的計画法の要領で
小分けにした予算を
サブキャンペーンに配分していく

10.
DAGについて
グレンジャー因果検定を使って、依存関係のあるサブキャンペーンをつないだ
非巡回有向グラフ(DAG)を作る。
グレンジャー因果とは、
YをXで説明することを試みる。この Xが変化した際にYもまた変化していればグレンジャー因果を持つと
呼ぶ。なおグレンジャー因果は通常の意味での因果性を意味しない。たとえば落雷時には雷光の後に
雷鳴が響くが、雷光が雷鳴を生じさせているわけではない（落雷を原因として、雷光・雷鳴という結果が
生じている）。あくまで予測のために利用する概念である。
(Wikipediaより)
サブキャンペーンの各指標(imp, click, cv)の依存関係をDAGで表現する。
（提案手法ではimpだけ。。）

11.
DAGの例
p値が有意水準5%以下でグレンジャー因果があるとする
→ 矢印でつながっているところ
（青: ディスプレイ、黄: ソーシャル、赤: 検索）
退職者にターゲティングした広告の場合
ソーシャルのimp数から検索
のimp数へのエッジは
どちらにも含まれるので強い
関連性がありそう
添字の数字はサブキャンペーンのインデックス

12.
DAGの例
p値が有意水準5%以下でグレンジャー因果があるとする
→ 矢印でつながっているところ
（黄: ソーシャル、赤: 検索(ブランディング)、橙: 検索(その他)）
imp数のみのDAG
→ 異なるサブキャンペーン間で関連性が
見られる

13.
IDILアルゴリズム

14.
IDILアルゴリズム
DAG作成部分
推定・最適化部分

15.
IDILアルゴリズム(DAG作成部分)
: DAGを隣接行列で表したもの
p値と信頼区間から関係があれば1、な
ければ0の行列
サブキャンペーンのペアごとで
imp数に関するグレンジャー因果検定のp値を計算

16.
IDILアルゴリズム(DAG作成部分)
各サブキャンペーンの日次のimp数データについて
ADF(拡張ディッキー-フラー検定)を使って
単位根が最もありそうなラグ次数を求める。
拡張ディッキー-フラー検定とは、
時系列標本が単位根を持つかどうかの仮説検定である。これ
は大きくより複雑な時系列モデルに対する ディッキー–フラー
検定の拡張版となっている。検定で用いられる拡張ディッキー
–フラー検定統計量は負の値を取る。より大きな負の値を取れ
ば取るほど、ある有意水準の下で単位根が存在するという仮
説を棄却する可能性が強くなる
(Wikipediaより)

17.
IDILアルゴリズム(DAG作成部分)
サブキャンペーン のimp数
imp数のVAR的な推定モデルを作ってみる
全てのサブキャンペーンの
過去のimp数
最大ラグ次数 係数
はデータから推定するラグ次数([26]にて)
↓の仮説を考えてみる
サブキャンペーン
の過去のimp数の係数が全て0
を棄却すると、
のimp数が のimp数に影響を与えているといえる。
→ GCTのところは、この手順で検定しているもよう。

18.
IDILアルゴリズム(推定・最適化部分)
imp数はGaussian Processで推定する
CVRとCTRは実績から計算するだけ
最適化の手順はこのあと

19.
最適化手順
他のサブキャンペーンからの影響を受けない
順に並べて、順番に処理していく。
最適化は動的計画法的な手順で最適解を求める
予算は均等に分割して、
サブキャンペーンに割り当てる。

20.
最適化手順
1つ目のサブキャンペーンに
小分けにした予算を割り当てた場合の指標を計算
（初期化）
割り当て済み予算のベクトル
収益
のinfluence indexの値ベクトル 〜
指標

21.
最適化手順
influence indexの計算方法
DAGの該当要素 × 予測imp数
に対する影響度を数値化

22.
最適化手順
サブキャンペーンを1つずつ対象に加えていき、
都度ベストな配分の候補を保存しておく。
（パレート効率的な...
「収益」と「未対象のサブキャンペーンへの影響」を
考慮すると、途中で最善の配分が1つに決められないため）
サブキャンペーンを追加したときに、
前回のベストな配分候補に対して、
予算の一部を新たなサブキャンペーンに割り当て直したときの
指標を計算して、よくなっていれば更新する。

23.
実験
実データと人工データを使って評価

24.
実験（実データ）
2018年7月20日〜10月20日の14個のサブキャンペーン（ソーシャルと検索広告）で学習
2018年10月21日〜11月4日の15日間で評価
AdComB-Meanという既存手法のポリシーと比較

25.
実験（実データ）
influence indexの変動に対して予測imp数の変動を見ると
入札額と予算は固定で、influence indexを大きくすると、予測
imp数も増加。
このデータのDAGは↓
左のサブキャンペーン
サブキャンペーン2や3のimp数と
正の相関がありそうなことがわかる

26.
実験（実データ）
総予算を変えたときの期待収益の比較
AdComB-Meanに対して
13%増加

27.
実験（人工データ）
データ生成
ユーザセット
の広告が表示されるユーザ
の広告が表示された後に の広告が表示されるユーザ
クリック率: CV率:
クリック率: CV率:
それぞれ適当な分布からサンプリングして実験に使う

28.
実験（人工データ） setting1
サブキャンペーン数: 4
予算: 500
予算分割数: 10
← 訓練データのうち一様ランダムにデータ収集する日数
DAGはこんな感じ→
（青: ディスプレイ、赤: 検索）

29.
実験（人工データ） setting1の結果
DA-IDILはDAGの構造（隣接行列D）を知っている状態でIDILを回したやつ
120日分くらいシミュレートして収益を比較
で固定して実験
IDILの収益が高い
DA-IDILとIDILの差が小さい
→ グレンジャー因果検定がうまく
いってる
AdComB-Meanは と
だけに配分した(greedyに)
↔ IDILはバランス良く配分
どれも配分開始日に跳ねて、6日程度で収束している。

30.
実験（人工データ） setting1の結果
IDILが高い
を増やすと収益も上がる
AdComB-Meanは変化なし
（サブキャンペーン間の相互関係を
無視したため）
を変えたときの収束してからの平均収益の比較

31.
実験（人工データ） setting2
設定
サブキャンペーン数: 5
予算: 500
予算分割数: 100
← 訓練データのうち一様ランダムにデータ収集する日数
DAGはこんな感じ→
（青: ディスプレイ、黄: ソーシャル、赤: 検索）
←広くリーチさせたい系
（低コスト・低CVR）

32.
実験（人工データ） setting1の結果
IDILが高い
を増やすと収益も上がる
AdComB-Meanは悪化するし、
ランダムに配分した点線よりも悪い。
（サブキャンペーン間の相互関係があるとこう
なるらしい）
を変えたときの収束してからの平均収益の比較

33.
実験（人工データ）の結果
お手軽な学習期間で大幅な性能UPが確認できた。
→ 学習期間という点で実用可能なのは大切
複雑なモデルにすると、もっと長い学習期間が必要になるので
現実的ではなくなる可能性もある。

34.
結論
ネット広告のサブキャンペーン間の相互関係を考慮した最適化問題に焦点を当てた。
IDILアルゴリズムを提案し、既存手法との比較で良い結果が得られた。
今後は、オンラインな枠組みへの拡張と現実世界への適用ができれば。