1. A/Bテストノススメ
株式会社VOYAGE GROUP / UIO戦略室 榎本 徹
2013/2/23 HDIfes

2. 自己紹介
✤ 榎本 徹（えのもと とおる）
✤ １９７６年生まれ ３６歳
✤ いまの仕事
✤ ポイントサイト「ECナビ」の企画運営。
✤ ウェブサイト最適化の手技法を全社に浸透させる。

3. お話する内容
✤ WebサイトのA/Bテストは、誰でも簡単に行うことができます。
これまでの経験から、実施にあたってのポイントを紹介します。
1. A/Bテストとは？
2. 何がいいの？
3. A/Bテストツールとは？
4. 誰がどのようなときに使うのがよい？
5. どうすすめる？
6. まとめ

4. 1. A/Bテストとは？

5. +93.9%
A オリジナル
B テストパターン１
C テストパターン２

6. どっち？ アンケートサイトの会員募集バナー
A オリジナル
B テスト
パターン

7. こっち！ アンケートサイトの会員登録バナー
40.0%
B テスト
パターン

8. どっち？
A オリジナル
B テスト
パターン

9. こっち！
A オリジナル
14.2%

10. 勝ち負けを決める
✤ どのクリエイティブが良い結果を生み出すか？
仮説を検証する方法。

11. スプリット・ランで行う
✤ 時間の影響をうけない
前後テスト
✤ 季節・曜日
✤ イベント
スプリット・ラン テスト
✤ プロモーション
✤ 経験の影響をうけない
（割り振られたパター
ンだけ見える）

12. 2. なにがいいの？

13. オバマ大統領は
A/Bテストで
選挙に勝った ？
http://www.flickr.com/photos/barackobamadotcom/8156768393/in/set-72157631931822826/

14. 結果
✤ 登録者 ２８８万人 UP
✤ 献金額 ５４億円 UP
✤ ボランティア ２８万人 UP
http://www.flickr.com/photos/barackobamadotcom/8167784426/in/photostream

15. 3. A/Bテストツールとは？

16. ツールがしてくれること
1.実装
2.集計
3.判定
Optimizelyの例

17. 4. どのようなときに使うのがよい？

18. Pros & Cons
A/Bテスト ラボテスト
事実を知りたい 「なぜ」を知りたい
微細な差を知りたい 全体像を知りたい
低コスト・多頻度・大規模 短時間で大きな学び
数値根拠で人を動かす リアリティで人を動かす

19. 5. どのようにすすめる？

20. LIVESENSEでの事例

21. LIVESENSEでの事例

22. A/Bテストの
何が成功？何が失敗？
✤ 成功：A/Bで差が出ること しかも早く
＝仮説が検証（Yes/No）できること
✤ 失敗：差が出るテストができないこと
精神的にもつらい。
✤ テストパターンが負けるのは失敗ではない！
「なぜ？」の包囲網が狭まっているはず

23. なぜいいテストができないの？
✤ 仮説の精度が低いから。
✤ なぜ仮説の精度が低い？ → 調査不足ね。

24. 調べよう
✤ アクセスログから
✤ 前後にどんなページを見ている？
✤ 検索キーワードは？（サイト内検索／流入キーワード）
✤ どんな人？（はじめて／リピーター、地域、デバイス、OS、画面サイ
ズ・・・）
✤ ユーザーテスト／インタビュー
✤ どこでエラー？
✤ 心理モデル？（よく使うウェブサイトは？ 使っている言葉？・・・）

25. 6. まとめ

26. A/Bテストをやってみよう
✤ ツールが充実。楽チン。やるなら今。
✤ ツール紹介
✤ Optimizely
https://www.optimizely.com
✤ Google Analytics (ウェブテスト機能）
http://www.google.co.jp/intl/ja/analytics/
✤ 情報源
✤ Which Test Won?
http://whichtestwon.com
✤ UIO戦略室ブログ
http://uio.voyagegroup.com

27. Thank You!