O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

35.992 visualizações

Publicada em

ABテストにおける統計の重要性が語られ始めてきております。データアーティスト社内教育用に使っている資料でございます。
少しでも皆様のお役にたちますと幸いです。

Publicada em: Tecnologia
  • Seja o primeiro a comentar

ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

  1. 1. DLPOチーム内セミナー LPOのための統計 DLPOチーム バイトリーダー 山本覚 社外秘!!公開用資料
  2. 2. 本セミナーの目的とスコープ LPOに必要な基礎統計を理解する。 →営業:自社サービスの強みをより正確に理解することで、セールストーク・シートの質向上。 →コンサル:測定可能な提案の作成。提案の効果を正確に把握。 →開発:統計にかかわる開発の効率向上。 →オペサポ:お客様への正確な対応。 ※数学ⅠA・ⅡBまでは勉強していることを前提とし話を進めますので、不安のある方は復習をお願いします。 [目的] MVT誤差 User Modeling 統計 クリエイティブ作成 Web マクロな キャンペーン設計 LPOツール [スコープ] A/Bテスト
  3. 3. 今日言ってるLPOの基礎統計とは? A/B テスト MVT Full-F Parametric MVT Full-F Non-Parametric
  4. 4. なぜ統計が重要か? True Value Observed Value 次に何が 起こるか 法則の発見
  5. 5. 参考図書 [統計学入門] DLPOプロジェクトに入ったときに購入し、現在まで現役でレギュラーな本です。 ぱっと見とっつきやすくは無いですが、ズルをせず、かつなるべくシンプルな方法で式変形をしています。 他の本と読み比べることなくこの本の中だけで完結しているのも魅力的です。 DLPOにでてくる基礎統計はこの本にほぼ全て書いてあります。ぜひぜひ一度手を動かしながら、 頭からお尻まで読破することをお勧めいたします。 [Landing Page Optimization] 英語なんでしんどいですが、多変量解析の章がLPOの視点から非常によく書かれています。 その章だけでも読んだら良いと思います。 [実験計画法] 全件テストに関するイメージがつかみやすい。見開きでぱっとわかる。 http://www.qmss.jp/qmss/related/stat02.htm
  6. 6. 1.統計学の基礎 1.1 統計学とは 1.2 統計データと統計手法 1.3 統計データの分析プロセス 2.1次元のデータ 2.1 度数分布とヒストグラム 2.2 代表値 2.3 散らばりの尺度 3.2次元のデータ 3.1 2次元のデータとは 3.2 散布図と分割表 3.3 相関係数 3.4 直線および平面のあてはめ 4.確率 4.1 ランダムネスと確率 4.2 標本空間と事象 4.3 確率の定義 4.4 加法定理 4.5 条件付確率と独立性 5.確率変数 5.1 確率変数と確率分布 5.2 確率変数の期待値と分散 5.3 モーメントとモーメント母関数 5.4 チェビシェフの不等式 5.5 確率変数の変換 6.確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8 ガンマ分布 6.9 ベータ分布と一様分布 6.10 コーシー分布 6.11 対数正規分布 6.12 パレート分布 6.13 ワイブル分布 付.モーメント母関数による証明 11.推定 11.1 点推定と区間推定 11.2 点推定の考え方とその手順 11.3 点推定の基準 11.4 点推定の例 11.5 区間推定 12.仮説検定 12.1 検定の考え方 12.2 正規母集団に対する仮説検定 12.3 いろいろのχ2検定 12.4 中心極限定理を用いる検定 12.5 検出力 13.回帰分析 13.1 回帰分析 13.2 回帰係数の推定 13.3 偏回帰係数の統計的推測 13.4 重回帰分析 付.ガウス・マルコフの定理の証明 統計学入門の関連事項 ハイライトされた項目は 今回のセミナーの誤差論と 深く関係があります。 6.確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8 ガンマ分布 6.9 ベータ分布と一様分布 6.10 コーシー分布 6.11 対数正規分布 6.12 パレート分布 6.13 ワイブル分布 付.モーメント母関数による証明 7.多次元の確率分布 7.1 同時確率分布と周辺確率分布 7.2 条件付確率分布と独立な確率変数 7.3 多次元正規分布 7.4 独立な確率変数の和 付.数学的証明 8.大数の法則と中心極限定理 8.1 大数の法則 8.2 中心極限定理 8.3 中心極限定理の応用 9.標本分布 9.1 母集団と標本 9.2 母数と統計量 9.3 統計量の標本分布 9.4 有限母集団と有限母集団修正 10.正規分布からの標本 10.1 正規分布の性質 10.2 分散が既知のときの標本平均の標本分布 10.3 標本分散の標本分布 10.4 分散が未知のときの標本平均の標本分布 10.5 2標本問題 10.6 標本相関係数の標本分布
  7. 7. シミュレーションしましょう→統計ツール紹介 R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです.さまざまなプラットフォーム (OS)に対応しており,誰でも自由にダウンロードすることができます.それにも関わらず,世界中の専門家が開発に携 わっており,日々新しい手法・アルゴリズムが付け加えられていますので,機能的にはあの有名な『 S-plus 』を凌駕し ているといっても過言ではありません.とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持っ てこいです(インタープリタなんですが、長い計算ではCのサブルーチンが動くので早いです). http://cse.naro.affrc.go.jp/takezawa/r-tips/r.htmlR-Tips http://aoki2.si.gunma-u.ac.jp/R/Rによる統計処理 http://www1.doshisha.ac.jp/~mjin/R/Rで学ぶデータサイエンス Rの操作方法全般。辞書代わりに使う。 統計をやる際のコードがいろいろ載ってます。 概念だけ理解して実装しきるという視点から書かれています。相当良いサイトです。 百聞は 一見にしかず!! →シミュレーションしよう。 想定しているモデルは、自分が考えているよりもダイナミックです。 Ex:悪いクリエイティブから切っていく。実際どんな感じで得をするの?
  8. 8. アジェンダ 1 A/Bテスト 誤差論~得られたCVRを正しく解釈するために~ ・分散・標準偏差とは ・真値から実測値の推定 ・実測値からの真値の推定 2 MVT ・多変量解析とは ・多変量解析の分類 ・一部実施で目指していること ・完全実施パラメトリック 3 最適化 トラフィックの無駄遣いをしちゃダメだよ。 守る 攻める
  9. 9. 1 A/Bテスト~ 誤差論を中心に~
  10. 10. どうして誤差が重要か? LP1 LP2 UU:3000 UU:3000 CV:941 CV:912 CVR1>CVR2といっていいのか? 以下の質問に答えられる人は今回のゼミの誤差論については聞かなくても平気です。 LP LP UU:100,000 UU:1000 CV:10,000 CV:95 ~2011/4/3 2011/4/4 Q. 1 Q. 2 下がってしまったんですが。。。 ? ? A/Bテスト、こんな疑問が良く出ます。ちゃんとこたえられるだろうか??
  11. 11. 平均・分散・標準偏差 母集団 x n 平均:   n i ix n 1 1  不偏分散: 母集団の中からn回サンプリングした場合の平均、不偏分散、不偏標準偏差は以下の式になります。     n i ix n 1 22 )( 1 1  不偏標準偏差:  イカサマの無いサイコロを 50回振った場合。 ※xiはi回目のサンプリングの実測値 0123456 μ σ σ 振った番号 サイコロの値 自由度で割っている。 計算上便利 データの解釈上便利 )( ix偏差: サンプリング
  12. 12. 母平均、平均 母平均:統計量の期待値     m j jj XpXE 1   5.3 6 6 1 5 6 1 4 6 1 3 6 1 2 6 1 1 6 1   XE サイコロの場合 平均はnが増えていくと母平均に漸近していく。 期待値:
  13. 13. 母分散、不偏分散 母分散: (偏差:観測値と平均の差)統計量の偏差の2乗の期待値       m j jj XpXE 1 22     2.916667 )5.36( 6 1 )5.35( 6 1 )5.34( 6 1 )5.33( 6 1 )5.32( 6 1 )5.31( 6 1 222 222 2     XE 不偏分散はnが増えていくと母分散に漸近していく。
  14. 14. 母数とは?
  15. 15. 統計量の和の分散 ],[2][][ )])([(2])[(])[( )])((2)()[( ])[(][ 22 22 2 YXCovYVXV YXEYEXE YXYXE YXEYXV yxyx yxyx yx        共分散=相関係数2 ・X,Yが独立のとき、Cov[X,Y]=0 ][][][ YVXVYXV  ・X=Yのとき、Cov[X,Y]=V[X] ][2]2[ 2 XVXV  同様に ][][ 2 XVaaXV  0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) ハイライトの二つの式を覚えてください!! 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 元の フィルム 男性の 体重 女性の 体重 カップルの 体重 スクリーン
  16. 16. 平均のばらつき nn n n nn n XXX VXV n i n 2 2 2 1 2 2 2 2 2 2 21 ][                平均値の分散は?X1, X2, ・・・ ,Xnが互いに独立に分散σ2の分布にしたがうとき √V[X]
  17. 17. CVの考察のために LP CVする:X=1 (確率p) CVしない:X=0 (確率 1-p) 複数CVが無い時のみ! CVR=pとわかっている場合 )1()1()1(][ 0)1(1][ 22 ppppppXV pppXE   n人がLPに来て独立に行動するとわかっている場合。 )1(][ ][ pnpCVV npCVE   nppCVRV pCVRE /)1(][ ][   0.0 0.2 0.4 0.6 0.8 1.0 0.000.100.20 p V[X] 一回のランディング(CVの有無)はベルヌーイ試行です。 √V[X]
  18. 18. ベルヌーイ試行と二項分布 ベルヌーイ試行であるランディングをn回繰り返した場合CVがk回ある確率は   knk kn ppCkCVP   1][ p=0.3の場合
  19. 19. 二項分布と正規分布 二項分布の確率密度関数は同じ母数(平均と分散)を持つ正規分布で良く近似できます。 n>100のとき、 二項分布で正規分布を 近似してもほぼ問題ない。 中心極限定理
  20. 20. 正規分布             2 2 2 exp 2 1 )(:),(     x xfN +σ +2σ +3σ +4σ+2σ+3σ+4σ +σ 68.26 % 95.44% 99.74% 99.994% 母数をどのように選択しても 面積は常に1になる。 平均値の付近に集積するようなデータの 分布を表した連続的な変数に関する確率 分布である。中心極限定理により、独立な 多数の因子の和として表される確率変数 は正規分布に従う。
  21. 21. 正規分布からの標本 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 真のCVRが0.3の場合、 そこから100人サンプリングして CVRを測定値とする。 これを10万回繰り返した場合。 平均: 0.3000641 不偏標準偏差: 0.04591629 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 真のCVRが0.3の場合、 そこから10000人サンプリングして CVRを測定値とする。 これを10万回繰り返した場合。 真の値が分かっていても、標本数が少ない場合、その平均は真の値からずれる。 拡大 平均: 0.299985 不偏標準偏差: 0.004599207 690.04582575][ 5.0 XV 5690.00458257][ 5.0 XV
  22. 22. Q1:すごいUU集めた値がすぐにずれました? LP1 LP1 UU:100,000 UU:1000 CV:10,000 CVR:0.1 (ほぼ真値) CV:95 CVR:0.095 ~2011/4/3 2011/4/1 Q. 1 下がってしまったんですが。。。 0.094868][ 5.0 XV 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density CVR=0.1で1000人サンプリング 観測される値の確率密度関数
  23. 23. Histogram of sample.0.4.cv.v - sample.0.3.cv.v sample.0.4.cv.v - sample.0.3.cv.v Frequency -0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0100020003000400050006000Histogram of sample.0.3.cv.v sample.0.3.cv.v Frequency 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02000400060008000 Histogram of sample.0.4.cv.v 正規分布からの標本 真のCVRが0.3、0.4の場合、 そこから100人ずつサンプリングして CVRの差を測定値とする。 これを10万回繰り返した場合。 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) LP1 LP2 平均:0.0998328 不偏標準偏差: 0.06723252 930.06708203][ 100 )4.01(4.0 100 )3.01(3.0 ][][][      YXV YVXVYXV
  24. 24. 標本からの真値の推定 npp ppp ppp ppp p pp pp pp /)ˆ1(ˆˆ ˆˆˆˆ ˆˆˆ ˆ         pppp  ˆˆ  Pが0.3のときσpは0.4582 その実測値は0.4439~0.4702 実測値から真値を区間推定できる。 pの真値 標本数n pの実測値 実測値のばらつき pの真値 標本数n pの真値 真値のばらつき True Value Observed Value 同じ
  25. 25. 標本からの真値の推定 実測値から真値を区間推定できる。 +σ +2σ +3σ +4σ+2σ+3σ+4σ +σ 68.26 % 95.44% 99.74% 99.994% 014491.01000/)3.01(3.0ˆ 1000 3.0ˆ    p n p  この場合、pの真値は 99.994%で0.3±4×0.0144191に 収まる。
  26. 26. 測定値からの真値の幅とnの依存性 神様CVRを発生 CVR=10+10*乱数→10~20のCVRを作る。 まだ未知。30000UUまで待ってみる。 答え合わせ CVR=0.1120388 0.1119 32%以下のことは起きている。 0.1900 0.1140 0.1120
  27. 27. 例1:0.3±2.52*0.014491 にpの真値がある確率。 0.491なので両サイドでは 0.984で収まる。 例1:0.3±Z*0.014491に90%収まると 言える、Zの値。 量サイドで0.9なので、 片方で0.45となるZを探す。 左図よりZ=1.65のときとなる。 標本正規分布表の使い方 http://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm DLPOで出力しているもの。
  28. 28. Q2:二つのクリエイティブのCVRの差の真値の推定 LP1 LP2 UU:3000 UU:3000 CVR:941 CVR:912 CVR1>CVR2といっていいのか? V[X-Y]=V[X]+V[Y] V[CVR]=CVR(1-CVR)/UU 0. 967±1.19% -0.10 -0.05 0.00 0.05 0.10 051015202530 x dnorm(x,cvr.d,sd.d) 0.967=0.81σ 0.291 0.209 CVR1<CVR2となる確率が20.9%もある。 統計的には有意水準5%でCVR1<CVR2となることを 否定しきれない。
  29. 29. おまけ:誤差の伝搬 f(x)=axやf(x1,x2)=x1+x2の分散の求め方はここまででわかりました。 微積分の知識を使うことで分散の計算可能な範囲を近似的に拡張することができます。 となります。この式を理解するには大学1年の数学が必要になりますので、今すぐわからなくても問題ありませんが、 そこから得られる式は覚えておいて損はありません。 2 2 2 1 2 1 2 2 2 1 2 2 1 21 , xxy xxx x y x x y xxy          2 2 2 1 2 1 2 24 2 2 2 2 1 221 2 1 1 , 1 xxy xx xx x x y xx y x x y         積の分散:CVRにも分散があり、商材の値段にも分散がある場合。 商の分散:CVRの改善率を求めたい場合。 http://www.infra.kochi-tech.ac.jp/takagi/Survey1/3Error.pdf
  30. 30. 2 多変量解析
  31. 31. 多変量解析とは? 多次元のX:独立変数(説明変数)とY:従属変数(被説明変数)の間の関連性を解析すること。 Xの値が離散的である場合、X:因子、Xの値:水準と呼びます。 Sepal Petal 説明変数:Irisの各部位の大きさ 被説明変数:Irisの種類 (setosa,versicolor,virginica)
  32. 32. 多変量解析の一般的なテーマ 一般的な多変量解析のテーマとLPOでいう多変量解析のテーマとは結構乖離があります。 普通の多変量解析の本を買ってきても ちょっとスコープがずれてます! 第1章 統計学の基礎 第2章 Rの基礎 第3章 線形回帰モデル 第4章 判別分析 第5章 ロジスティック回帰モデル 第6章 主成分法 第7章 対応分析分析法 第8章 因子分析法 第9章 正準相関分析法 第10章 多次元尺度法 第11章 クラスター分析法 複数の説明変数間 の関係性を分析する。 一般的な多変量解析の教科書で学ぶことと、 DLPOで用いる多変量解析で使う技術はか なり異なります。一部のことに慣れてしまえ ば、ここまでの誤差論で用いた考え方のみ でほぼ説明することができます。 これは一般的な多変量解析では、独立変 数間の出現頻度の関係性の解析に多くの 力を注いでいますが、LPOでは各クリエイ ティブは独立に配信されるため以下の技術 を用いないことによります。LPOにタグが付 き、クリエイティブをまたいだ属性間の分析 を行う場合に下記の技術が用いられます。 ※ターゲティングセグメントを因子とみなし た場合は下の技術はかなり役立ちますが、 LPのクリエイティブ を変数とみなす限りは下の技術の多くは本 質的に用いられることはありません。 被説明変数 説明変数 ターゲティングの無い LPOではここだけ
  33. 33. LPOにおける多変量解析 LPOのMVTの場合、因子(factor)はエリア、水準(level)は登録されているクリエイティブに なります。 複数のエリアがある場合に多変量解析となります。 LP [アクセス解析] 1因子、1水準 LP_1 LP_2 [A/Bテスト] 1因子、多水準 1 2 12 1 2 [MVT] 多因子、多水準 ※一つのLPのCVRを複数のターゲティングセグメントごとに解析していくことも多変量解析ですが、LPOでは慣習的 にエリアを複数にした場合にMVTと呼んでいます。
  34. 34. 探索空間(Search Space)の拡張|MVTをやる理由 A/B 訴求軸 MVT 訴求軸 ビジュアル わかりやすさ 探索空間の拡張
  35. 35. 実際はLPOではきれいなMVTは難しいとき 3次元の中の2次元多様体に答えが集中している。 2.5次元を考えればいい。 →ベイズ統計を駆使して頑張らなくてはならない。 を読むとちょっとわかるが、 しんどい。 金利 即日審査 金利詳細A 金利詳細B 即日詳細A 即日詳細B 芸能人A 芸能人B 芸能人C 訴求軸 ビジュアル わかりやすさ インタラクションが強いところは 始めからまとめてしまってください。 ↓ 今のA/Bテストにエリアがあるの はその名残。 Ex:消費者金融の場合
  36. 36. MVTはデータ収集、データ解析の二つの視点で分類することができます。 データ取得 完全実施要因計画法 一部実施要因計画法 データ解析 パラメトリック GWO,DLPO 種主のDOE,DLPO,T&T ノンパラメトリック Site Tuner,DLPO 実現不可能 多変量解析の分類 完全・ノンパラ 完全・パラ 一部・パラ Advantage 一番良いパターンが見つか る。 全体の傾向を早くつかめる。 柔軟にモデルを作れる。 簡単なモデルであれば少な いサンプル数で正確にパラ メーターを測定できる。 複数のパターンを表示して はいけないときに使える。 Disadvantage サンプル数がパターン数と 比例して必要。 パターンの単独の実測値の 誤差が大きい。 交互作用の計算に制限が ある。 後からクリエイティブを追加 しづらい。 それぞれのアドバンテージ、ディスアドバンテージ LPOでは完全実施要因計画法でお願いします。
  37. 37. データの取得について [データ取得] [データ解析] B M S 1 2 12 1 2 個別に 比較 交互作用を 比較 一部実施要因計画法: 探索空間の一部の点に おけるデータを取得する。 完全実施要因計画法: 探索空間の全ての点に おけるデータを取得する。 パラメトリック: モデルを作成し、 そこで用いられる係数を推定する。 ノンパラメトリック: パターンごとのCVRを実測する。 M S B A/Bテストと基本一緒
  38. 38. 今日言ってるLPOの基礎統計とは? A/B テスト MVT Full-F Parametric MVT Full-F Non-Parametric
  39. 39. 主効果モデル|パラメトリック Y= μ + α + β + ε β α A1 A2 A3 A4 B主効果 B1 5.53 2.2 4.23 3.65 -1.5906 B2 8.2 6 7.32 6.67 1.55544 B3 6.7 3.63 5.36 4.16 -0.5302 B4 7.86 4.32 6.15 5.9 0.56534 A主効果 1.58 -1.5 0.27 -0.4 5.49304 μ ε:残差 Y= fA(vA) + fB(vB)と書けるときは 完全に主効果モデルが成り立つ。 まずは主効果だけに絞って話をします。
  40. 40. 一部実施要因計画法 ここでは例としてエリアをメインエリア、サブエリア、バ ナーエリアと区切り、メインエリアにM1とM2、サブエリ アにS1とS2、バナーエリアにB1とB2が登録されて いるとします。 全てのクリエイティブの組合せは2^3=8通りになります。 一方各クリエイティブがCVRに与える個別の効果(これを主効果と呼びます) のみを測定することで実際に測定するパターンは4通りまで減らすことが可能です。 しかしここで無作為に選んだ4通りのパターンでは交互作用の効果を最大限主効果に 持たせることができない、もしくは全く主効果を計算できないことがあります。 →実験計画法を用いてきちんとテストパターンを設計する。 B M S 1 2 12 1 2
  41. 41. テストするパターン設計の話に入る前にCVRの分解の話をします。 あるパターンのCVRは、そのパターンの各エリアのクリエイティブがパターン全体のCVRに 影響を与えて求まっていると考えることができます。 たとえばM1,S1,B1を出した場合には CVR=μ +M1+S1+B1 +M1S1+S1B1+B1M1 +err と書くことができます。ここでM1等は主効果、M1S1等は2因子の主効果、errは3因子以上の 主効果とテスト上の誤差になります。 ここで、平均と主効果のみを求めるのであれば、求める値はμ,M1,M2,S1,S2,B1,B2になります。 ただし、各因子の主効果の平均を取ると0なるので、M1+M2=0, S1+S2=0, B1+B2=0となり、 結果求める値はμ,M1,S1,B1の4つになります。 求める値が4つの場合は方程式が4つあれば基本的には解くことができます。つまり、 四つのパターンの測定をすれば済むことになります。 一般的に、N個の因子がある場合、パターン数は 1+1個目の因子の水準数+2個目の因子の水準数+ ・・・+N個目の因子の水準数-N となります。初めの1は平均の分、最後にNを引いているのは主効果の平均は0になるので、 変数を減らせる分になります。 一部実施要因計画法 平均 主効果 2因子間交互作用
  42. 42. メイン サブ バナー パターン1 1 1 1 パターン2 2 1 1 パターン3 1 2 2 パターン4 2 2 2 前ページで、4つのパターンで基本的には答えが求まると書きました。 このようにパターンを組んだ場合は、主効果を求めることができません。 後で個別の効果がわからない形でいっぺんに複数のパターンを 変更してしまったことに寄ります。これは、 y=2x+4 3y=6x+2 といった連立方程式に解がないことに対応しています。 パターン設計1|一部実施 Not 直行表
  43. 43. メイン サブ バナー パターン1 1 1 1 パターン2 2 1 1 パターン3 1 2 1 パターン4 1 1 2 続いて上の様にパターン1に対して2、3、4では各エリアを別々に変更した場合 は個別の効果を測定することは可能になります。一方ここで求まる主効果には 問題があります。上記の4パターンを分解式に直しますと、 パターン1:μ+M1+S1+B1+M1S1+S1B1+B1M1+err パターン2:μ+M2+S1+B1+M2S1+S1B1+B1M2+err パターン3:μ+M1+S2+B1+M1S2+S2B1+B1M1+err パターン4:μ+M1+S1+B2+M1S1+S1B2+B2M1+err ハイライトした、交互作用にはオーバラップがある一方、M2S2,S2B2,B2M2の 交互作用は全くテストに反映されていないことが分かります。これではもし 上記の三つの交互作用が大きな値であった場合に対応することができません。 パターン設計2|一部実施 Not 直行表
  44. 44. メイン サブ バナー パターン1 1 1 1 パターン2 1 2 2 パターン3 2 1 2 パターン4 2 2 1 一方左の様にした場合は、平均と主効果は パターン1:μ+M1+S1+B1+M1S1+S1B1+B1M1+err パターン2:μ+M1+S2+B2+M1S2+S2B2+B2M1+err パターン3:μ+M2+S1+B2+M2S1+S1B2+B2M2+err パターン4:μ+M2+S2+B1+M2S2+S2B1+B1M2+err 各パターンには交互作用にオーバーラップがなく網羅出来ていることが分かります。 つまり、求まった主効果には交互作用の効果が含まれておりこの主効果だけから、 全パターンを予測したとしても、交互作用を加味して予測を行っていることになります。 μ=-0.5Pt1+0.5Pt2+0.5Pt3+0.5Pt4 M1=0.5Pt1+0.5Pt2-0.5Pt3-0.5Pt4 S1=0.5Pt1-0.5Pt2+0.5Pt3-0.5Pt4 B1=0.5Pt1-0.5Pt2-0.5Pt3+0.5Pt4 の様に求まり、 与えられたパターン数の中で交互作用を最大限含むようにパターンを生成しています。 一部実施(デザイン3)
  45. 45. M S B デザイン1 デザイン2 デザイン3 S B B M M S S B B M M S 含まれる二因子間交互作用の直感的イメージ S B B M M S
  46. 46. デザイン3 一部実施から完全実施へ S B B M M S 完全実施 S B B M M S 一か所の色を 薄めて、全体を 塗ればいいんじゃ? それぞれの精度は 下がる?? 完全実施要因計画法 二因子間交互作用で 見ると色の濃さは 変わってない。 ↓ 三因子以上の交互作用も 全て均一に求められる。 ↓ パラメトリックで見ても 完全実施の方が良い!
  47. 47. とはいえ交互作用はそんなに重要なのか?
  48. 48. キッコロ モリゾー CVR= MEキッコロ + MEモリゾー 交互作用も重要だから考えよう
  49. 49. モリゾー キッコロ CVR= MEモリゾー+ MEキッコロ 二人がちょっと離れているが、 言われなければ気付かない。 交互作用
  50. 50. ゾー コロ CVR= MEゾー+ MEモリ+ MEコロ + MEキッ = MEモリ+ MEゾー+ MEキッ+ MEコロ ≒ MEモリゾー+ MEキッコロ モリ キッ だいぶ印象が違うが “そういうデザインなのかな?”と思える。 交互作用
  51. 51. CVR= MEゾー+ MEモリ+ MEコロ + MEキッ = MEモリ+ MEゾー+ MEキッ+ MEコロ ≒ MEモリゾー+ MEキッコロ + Interaction悪意 悪意を感じる。 ゾーコロモリ キッヲ タラ ス 交互作用
  52. 52. いきなりですがちょっとユーザーセグメントの話 ゾーコロモリ キッヲ タラ ス
  53. 53. ゾーコロモリ キッヲ タラ ス いきなりですがちょっとユーザーセグメントの話
  54. 54. 完全実施要因計画法|パラメトリック A1 A2 A3 A4 B主効果 B1 5.53 2.2 4.23 3.65 -1.5906 B2 8.2 6 7.32 6.67 1.55544 B3 6.7 3.63 5.36 4.16 -0.5302 B4 7.86 4.32 6.15 5.9 0.56534 A主効果 1.58 -1.5 0.27 -0.4 5.49304 μ β α αβ       ji ji i BjAiCVP CVPBjCVPAiCVPBjAiCVP AiCVPCVPAiCVP )|( )()|()|()|( )|()()|( C,D・・・もあるが、A,Bのみに注目
  55. 55. CVR=f(A,B,C) 真値を自由に定義 パラメトリックな予測の精度 A:1~4,B:1~4,C:1~4の3つがある。 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density n個サンプリングしてくる。 モデルの作成、真値の予測 観測
  56. 56. 0.06 0.08 0.10 0.12 0.14 0.16 0.080.100.120.140.16 ノンパラメトリック,推定値 真値 0.06 0.08 0.10 0.12 0.14 0.080.100.120.140.16 主効果モデル、推定値 真値 0.06 0.08 0.10 0.12 0.14 0.16 0.080.100.120.140.16 主効果・2因子間交互作用モデル、推定値 真値 2因子間交互作用を含めてCVRを生成した場合
  57. 57. 相関係数 相関係数(そうかんけいすう、correlation coefficient)とは、2 つの確率変数の間の相 関(類似性の度合い)を示す統計学的指標 である。原則、単位は無く、-1 から 1 の間 の実数値をとり、1 に近いときは2 つの確率 変数には正の相関があるといい、-1 に近け れば負の相関があるという。0 に近いとき はもとの確率変数の相関は弱い。因みに 1 もしくは -1 となる場合は 2 つの確率変数は 線形従属の関係にある。
  58. 58. 交互作用 真値は主効果のみ p=μ+α+β+γ
  59. 59. 交互作用 真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα
  60. 60. 真値は主効果と2,3因子間交互作用 交互作用 p=μ+α+β+γ+αβ+βγ+γα+αβγ
  61. 61. 真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα+αβγ
  62. 62. 0th Order Polynomial 1st Order Polynomial 3rd Order Polynomial 9th Order Polynomial 過学習について
  63. 63. Root-Mean-Square (RMS) Error: 過学習とモデルの選択
  64. 64. おまけ:α1-α2 これまでの話だと二つの主効果の差の分散は )()()( jiji VVV   )|()|( )}()|({)}()|({ AjCVPAiCVP CVPAjCVPCVPAiCVPji   となりそうですが、実際はもっと小さな値になります。これは 本来計算すると0になる値の分散をそのまま足してしまっていることに起因します。 ],[2][][ )])([(2])[(])[( )])((2)()[( ])[(][ 22 22 2 YXCovYVXV YXEYEXE YXYXE YXEYXV yxyx yxyx yx        下の式のように統計量の分散の和を計算する場合は、二つの値が独立であるかに 十分注意する必要があります。 なお、Aiを出している場合と、A2を出している場合のCVRに相関は無く は独立となります。))|(())|(()( AjCVPVAiCVPVV ji 
  65. 65. 3 マクロなテスト設計
  66. 66. キャンペーンを通したテスト設計 A/B テスト MVT Parametric MVT Non-Parametric
  67. 67. A/Bテスト、MVT-Non-Parametricの足切り 足切り、選抜をどのように行えばいいか??Q. 3 LP2 LP2 LP2 LP2 LP LP2 LP2 LP2 LP LP2 LP2 LP LP Q.どう変化するのか? A.わからん。 悪いパターンをどんどん切ってCVRを上げないと、 マーケッターさんが切られちゃうよ!!
  68. 68. #初期登録 max.cvr=0.2 min.cvr=0.12 default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 max.test.day=100 #テスト期間 day.uu=10000 #日ごとのUU signif.level=0.01 #有意水準(0.05,0.01,0.001で実験) 0.2 0.12 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density B A A-B 0 [シミュレーションのConfig] [足切の条件] BがAに勝つ確率が有意水準以下なら切ってしまう。 このプロセスを毎日やった場合。
  69. 69. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.1 #有意水準(0.1,0.05,0.01で実験)
  70. 70. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.05 #有意水準(0.05,0.01,0.001で実験) 縦CVR,横Day 縦Pt数,横Day 縦CV数(赤最適化、黒全体) 横Day
  71. 71. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.01 #有意水準(0.05,0.01,0.001で実験) 縦CVR,横Day 縦Pt数,横Day 縦CV数(赤最適化、黒全体) 横Day
  72. 72. default.position=0.5 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.1 #有意水準(0.05,0.01,0.001で実験)
  73. 73. default.position=0.5 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.05 #有意水準(0.05,0.01,0.001で実験)
  74. 74. default.position=0.5 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.01 #有意水準(0.05,0.01,0.001で実験)
  75. 75. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.1 #有意水準(0.1,0.05,0.01で実験)
  76. 76. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.1 #有意水準(0.1,0.05,0.01で実験)
  77. 77. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.01 #有意水準(0.1,0.05,0.01で実験)
  78. 78. default.position=0.9 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.1 #有意水準(0.1,0.05,0.01で実験)
  79. 79. 0 20 40 60 80 100 0.160.170.180.190.20 Index apply(pttrn.cv.mat,2,sum)/apply(pttrn.uu.mat,2,sum) 0 20 40 60 80 100 0100200300400500 Index active.craetive.num.v 0 20 40 60 80 100 050000100000150000200000 Index cumsum(rep(pttrn.cvr.v[default.num]*day.uu,max.test.day)) 0 20 40 60 80 100 050000100000150000200000 Index cumsum(apply(pttrn.cv.mat,2,sum)) default.position=0.9 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.01 #有意水準(0.1,0.05,0.01で実験)
  80. 80. default.position=0.9 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.001 #有意水準(0.1,0.05,0.01で実験)
  81. 81. 1 2 3 4 5 4 1 2 3 4 5 4 1 2 3 4 5 4 主効果のチャンピオンを発見する。 A B C 6エリア10クリエイティブ(1,000,000パターン) を用意してみる。 CVRが0.16の周りで、±0.04でばらつくようにする。 3因子の交互作用までは入るようにする。
  82. 82. 0 5 10 15 20 25 30 0.160.220.28 Index test.average.cvr.v 0 5 10 15 20 25 30 103050 Index deg.free.v 0 5 10 15 20 25 30 0e+006e+05 Index seach.space.size.v 6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.001)とき 黄色い本にがんばれば100万~1000万でもいけると書いてあったので、参考までに増やしてみる。 パターン数240 ここからノンパラメトリックな 最適化を行う。
  83. 83. 0 5 10 15 20 25 30 0.160.220.28 Index test.average.cvr.v 0 5 10 15 20 25 30 02040 Index deg.free.v 0 5 10 15 20 25 30 0e+006e+05 Index seach.space.size.v 6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.05)とき
  84. 84. 早い分最適化の 値が下がった
  85. 85. 多変量解析のためには 再急降下法(今回のに一番近い) 山登り法 シミュレイテッドアニーリング 進化的アルゴリズム などなどいろいろあります。なかにはかなり効率的に交互作用を考えながら 最適化を行っているアルゴリズムもあります。 が、どんな状況でもうまくいく究極のアルゴリズムなんてもんはありません。 誰かがただ飯をおごってくれると言ったら大体裏があるものです。 終わりに(No Free Lunch Theorem) 基本的には等価交換はいつも成り立ちます。 私が尊敬する錬金術師はそれで体が 半分持ってかれてました。 計算コスト、足りないUUを自分たちの知恵で 補い、LPOに関して言えばなんか うまくいくアルゴリズムを作っていきましょう!!

×