Выступление Михаила Иванкова в рамках конференции RIW 2015. Компания Plarin продолжает делиться новыми исследованиями, в этот раз - в области тестирования креативов и применении магии на примере "Метода Тагучи", который позволяет оценивать эффективность сочетаний заголовков, текстов и картинок в креативах за меньший срок и меньший бюджет. Тот самый доклад, который вызвал бурную реакцию и обсуждение в сообществах специалистов таргетированной рекламы сразу же после презентации. Многие специалисты приступили к применению "Метода Тагучи" незамедлительно и уже получают отличные результаты.

1. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Наука
в таргетированной
рекламе
Иванков Михаил
Product Director & CTO
Plarin

2. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Плохие менеджеры
Не тестируют, размещают один баннер - уверены в себе и своей интуиции
Статистика:
CTR: 0,182%
CPA: 290 руб.

3. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Просто менеджеры
Немного менее уверены, надо попробовать…
CTR: 0,182%
CPA: 290 руб.
Такой подход дает уже возможность А/Б тестирования.
CTR: 0,205%
CPA: 282 руб.
Вариант А Вариант Б

4. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Просто менеджеры
Пример А/Б тестирования
Минусы
• Нужно много повторов тестирования
• Высокие расходы (при 5% конверсий это 200 кликов)
• Поочередное сравнение всех элементов
• Неочевидный результат
Вывод
Не самый лучший подход в таргетированной рекламе!
CTR CPA
Заголовок 1 0,182% 290 руб.
Заголовок 2 0,205% 282 руб.
Заголовок 3 0,237% 301 руб.
Заголовок 4 0,193% 270 руб.
Плюсы
• Отлично подходит для «слива» всего
бюджета рекламной кампании во время
тестирования

5. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Хорошие менеджеры
Ни в чем не уверены! Чем больше знают - тем больше сомневаются

6. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Есть еще и самые лучшие менеджеры…
Они точно знают, что им нужно!

7. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Есть еще и самые лучшие менеджеры…
Пример расчета шансов при бюджете 10 000 руб., CPC 5 руб., CR 5%
Тестирование бесполезно при кликах или конверсиях меньше 10 – на набирается показателей.
Тестирование огромного количества вариантов тоже не имеет смысла, как и ведение 300
кампаний. Но об этом расскажут другие.
Заголовков Текстов Картинок Вариантов Бюджет на баннер Кликов на баннер Конверсий на баннер
2 2 2 8 1 250,00 руб. 250 12,5
3 3 3 27 370,37 руб. 74 3,7
4 4 4 64 156,25 руб. 31 1,6
5 5 5 125 80,00 руб. 16 0,8
6 6 6 216 46,30 руб. 9 0,5
7 7 7 343 29,15 руб. 6 0,3
8 8 8 512 19,53 руб. 4 0,2
9 9 9 729 13,72 руб. 3 0,1
10 10 10 1000 10,00 руб. 2 0,1

8. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Хорошие менеджеры
Не сарказм и не ирония, это правильный подход
Мультивариативное
тестирование предполагает
тест всех сочетаний
Заголовки
1. Как накачать пресс в {{age}}
2. Как похудеть лентяю в {{age}}
Изображения
1. 2.
Тексты
1. Ab Gymnic пояс для пресса,
накачает за Вас. Только сегодня
скидка 50% для {{age}}-летних
2. Акция! Пояс "Ab Gymnic" для
похудения {{age}}-летним мужчинам
со скидкой 50%. Оформить заказ
Можно добавить таргетинги
• География, пол, возраст, интересы
• Но не забываем о расчете необходимого бюджета для
тестирования

9. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Хорошие менеджеры
Реальный пример, реального клиента (с разрешения клиента)
Заголовок 1
Текст 1
Картинка 1
Заголовок 1
Текст 2
Картинка 1
Заголовок 1
Текст 1
Картинка 2
Заголовок 1
Текст 2
Картинка 2
Заголовок 2
Текст 1
Картинка 1
Заголовок 2
Текст 2
Картинка 1
Заголовок 2
Текст 1
Картинка 2
Заголовок 2
Текст 2
Картинка 2
CTR: 0,182% CTR: 0,235%
CTR: 0,267%CTR: 0,254%
CTR: 0,255% CTR: 0,283%
CTR: 0,197% CTR: 0,208%
CR: 0% CR: 5,556% CR: 5,369% CR: 0%
CR: 0% CR: 6,286% CR: 5,556% CR: 6,937%
Клиент тестировал сочетания 2х2х2

10. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Мультивариативное тестирование
Долго, дорого, но надежно!
Теперь можно выбирать победителя и продолжать рекламную кампанию.
Но… мог ли менеджер знать о таких результатах ранее? Мог бы он при том же расходе
заработать больше и получить показатели всей рекламной кампании лучше?
Расход 26 450,05 руб.
Средний CTR 0,235%
Средний CR 6,321%
Всего конверсий 110
Средний CPA 240,45 руб.
Выручка 55 000 руб.
Прибыль 28 549,95 руб.
Итог тестирования (цель – 100 конверсий)
Заголовок 1
Текст 1
Картинка 2
CTR: 0,283%
CR: 5,369%
Заголовок 2
Текст 2
Картинка 2
CTR: 0,208%
CR: 6,937%
Победитель CTR Победитель CR

11. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Тагучи Гэнъити
Родился в Японии, инженер-статистик
Тагучи разработал статистическую экспериментальную модель
известную как «Метод Тагучи». Изначально модель была придумана
для улучшения качества производства товаров, которая позволяла
находить более эффективные сочетания комбинаций из элементов
для лучших результатов.
Во время тестирования специфических комбинаций с другими
специфическими комбинациями маркетологи могут сравнить
результат каждой комбинации и определить, какая же из комбинаций
в сравнении лучше. Этот метод используют в таких крупных
кампаниях, как: Ford Motor Company, Boeing, Xerox и другие.
Более подробно:
https://en.wikipedia.org/wiki/Genichi_Taguchi
https://en.wikipedia.org/wiki/Taguchi_methods

12. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Тестирование меньшего количества сочетаний
Тагучи использует ортогональные матрицы и немного математики
Для выявления лучшего
сочетания из 8 вариантов
(2х2х2) требуется
проведение всего 4-х
экспериментов с разными
сочетаниями вариантов.
Для выявления лучшего из
81 варианта (3х3х3х3)
требуется 9 сочетаний
(экспериментов).

13. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Пример матрицы для 8 вариантов, требуется протестировать только 4 варианта
По достижении клиентской РК расхода около 7 000 руб. при 23 конверсиях с CR 4,460% и CPA 295,96
руб., мы предложили клиенту провести тест.
Заголовок 1
Текст 1
Картинка 1
CTR: 0,197%
CR: 0%
Заголовок 1
Текст 2
Картинка 2
CTR: 0,205%
CR: 6,080%
Заголовок 2
Текст 2
Картинка 1
CTR: 0,163%
CR: 6,250%
Заголовок 2
Текст 1
Картинка 2
CTR: 0,230%
CR: 5,545%
Заголовок Текст Картинка CTR (%)
Объявление 1 1 1 1 0,197
Объявление 2 1 2 2 0,205
Объявление 3 2 1 2 0,230
Объявление 4 2 2 1 0,163
Объявление 1 Объявление 2
Объявление 4Объявление 3
Кто победитель по CTR?

14. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Пример матрицы для 8 вариантов, требуется протестировать только 4
Результат теста по CTR
Заголовок 1
Текст 1
Картинка 1
CTR: 0,197%
CR: 0%
Заголовок 1
Текст 2
Картинка 2
CTR: 0,205%
CR: 6,080%
Заголовок 2
Текст 2
Картинка 1
CTR: 0,163%
CR: 6,250%
Заголовок 2
Текст 1
Картинка 2
CTR: 0,230%
CR: 5,545%
Заголовок Текст Картинка CTR (%)
Объявление 1 1 1 1 0,197
Объявление 2 1 2 2 0,205
Объявление 3 2 1 2 0,230
Объявление 4 2 2 1 0,163
Лучшая
комбинация
1 1 2
Разница 0,009 0,059 0,075
Влияние 6% 41% 52%
Объявление 1 Объявление 2
Объявление 4Объявление 3
Победила комбинация 1-1-2, а не
2-1-2, т.к. не cодержит в себе
заголовок 2 из комбинации с
самым низким CTR
Заголовок 1
Текст 1
Картинка 2
Победитель

15. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Пример матрицы для 8 вариантов, требуется протестировать только 4
Теперь то же самое, но тест по CR
Заголовок 1
Текст 1
Картинка 1
CTR: 0,197%
CR: 0%
Заголовок 1
Текст 2
Картинка 2
CTR: 0,205%
CR: 6,080%
Заголовок 2
Текст 2
Картинка 1
CTR: 0,163%
CR: 6,250%
Заголовок 2
Текст 1
Картинка 2
CTR: 0,230%
CR: 5,545%
Заголовок Текст Картинка CR (%)
Объявление 1 1 1 1 0
Объявление 2 1 2 2 6,080
Объявление 3 2 1 2 5,545
Объявление 4 2 2 1 6,250
Объявление 1 Объявление 2
Объявление 4Объявление 3
Кто победитель по CR?

16. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Пример матрицы для 8 вариантов, требуется протестировать только 4
Результат теста по CR
Заголовок 1
Текст 1
Картинка 1
CTR: 0,197%
CR: 0%
Заголовок 1
Текст 2
Картинка 2
CTR: 0,205%
CR: 6,080%
Заголовок 2
Текст 2
Картинка 1
CTR: 0,163%
CR: 6,250%
Заголовок 2
Текст 1
Картинка 2
CTR: 0,230%
CR: 5,545%
Заголовок Текст Картинка CR (%)
Объявление 1 1 1 1 0
Объявление 2 1 2 2 6,080
Объявление 3 2 1 2 5,545
Объявление 4 2 2 1 6,250
Лучшая
комбинация
2 2 2
Разница 0,009 0,059 0,075
Влияние 6% 41% 52%
Объявление 1 Объявление 2
Объявление 4Объявление 3
Победила комбинация 2-2-2, а не
2-2-1, т.к. не содержит в себе
картинку 1 из комбинации с самым
низким CR
Заголовок 2
Текст 2
Картинка 2
Победитель

17. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Вспомним результаты
Мультивариативный тест 8-ми вариантов
Заголовок 1
Текст 1
Картинка 2
CTR: 0,283%
CR: 5,369%
Заголовок 2
Текст 2
Картинка 2
CTR: 0,208%
CR: 6,937%
Победитель CTR Победитель CR
Заголовок 1
Текст 1
Картинка 2
Заголовок 2
Текст 2
Картинка 2
Победитель CTR Победитель CR
Метод Тагучи (тест всего 4-х вариантов)
Получается, можно предвидеть будущее?

18. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Как работает Тагучи?
Какие преимущества? Расчет виртуальный, но куда без него
Тестирование Методом Тагучи потребовало в этом примере всего 7 000 руб., когда же тестирование всех
вариантов - 26 450,05 руб, при этом средний CR составил CR 6,321%.
Можно ли было, используя метод Тагучи, заработать больше и достигнуть лучших результатов при том же
расходе, если принять решение заранее? Посмотрим виртуально, на примере CR победившего
объявления в обоих тестах.
Мультивариативное Метод Тагучи
Расход 26 450,05 руб. 26 450,05 руб.
Средний CR 6,321% 6,937%
Всего конверсий 110 122 (+12)
Средний CPA 240,45 руб. 216,80 (-23,65) руб.
Выручка 55 000 руб. 61 000 (+6000) руб.
Прибыль 28 549,95 руб. 34 549,95(+6000) руб.

19. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Несколько советов о тестировании
Очевидных и не очень
• Не тестируйте огромное количество вариантов, каждое новое свойство дает удвоение
вариантов, а значит, вам потребуется больше затрат на трафик для адекватной оценки.
• Проверяйте варианты объявлений на совместимость сочетания элементов заранее.
Указание в заголовке «Скидка до 30%» и надпись на картинке «Подпишись бесплатно» – не
совместимы. Исключайте такие варианты до тестирования.
• Во время тестирования не все составляющие идентично влияют на CR. Например,
«Призывающий заголовок» может иметь больше влияние на CR, чем призыв в тексте.
• Для адекватной оценки трафика требуется адекватное его количество. Мы встречали коллег,
которые тестируют сотни вариантов всего на 100 кликах в день, тогда как для адекватной
оценки такого количества вариантов требуется значительно больше времени
и кликов.

20. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Инструменты в помощь!
Пробуйте, делитесь впечатлениями
При подготовке к этой презентации мы сделали простой калькулятор оценки
вариантов объявлений на основе «Метода Тагучи» для сочетаний из 2-х
заголовков, 2-х текстов, 2-х картинок.
http://www.plarin.net/tools/taguchi/
Основной сайт-то у нас так себе, зато инструменты отличные!

21. Plarin – единая система управления рекламой ВКонтакте и myTarget Михаил Иванков, 2015
Спасибо за внимание
Иванков Михаил
Product Director & CTO, Plarin
Plarin
Единая система управления таргетированной рекламой
ВКонтакте и myTarget
Калькулятор Тагучи (2х2х2)
http://www.plarin.net/tools/taguchi/
Все презентации Plarin в Facebook
https://www.facebook.com/plarin.net