Возможности новых экспериментов
- Делит аудиторию на случайные непересекающиеся сегменты.
- Размер сегмента может быть от 1% до 99%.
- Можно тестировать более 2х сегментов.
- Можно привязать к 0,1,2.. рекламным кампаниям.
- Результаты видны в Я.Директе и Я.Метрике.
Как запустить
- Написать менеджеру Яндекса с просьбой открыть доступ к экспериментам на аккаунт (аккаунт должен быть клиентским).
- Далее заходим в Яндекс Аудитории → Эксперименты → Создать эксперимент → Заполняем поля как нам нужно.
- В Я.Директе делаем 2 копии рекламной кампании, на которую хотим настроить эксперимент (важно, что в текущей рк эксперимент настраивать не нужно — у кампаний должен быть одинаковый старт и данные).
- Делаем в копиях нужные настройки в зависимости от того что тестируем.
- Ставим дату запуска на завтра.
- Дату окончания исходной кампании ставим на сегодня.
- В копиях рк настраиваем таргетинг на эксперименты → Изменить → Выбираем нужный сегмент.
Как собрать результаты
Результаты можно собирать как по окончанию эксперимента, так и промежуточные.- Мастер отчетов Я.Директа → Фильтрация → Эксперименты → Нужный эксперимент.
- Выписываем расходы.
- Выписываем рк.
- Выписываем даты начала и окончания.
- Я.Метрика → Аудитории → Группировки → Эксперименты → Нужный эксперимент → Конверсии → Отфильтровать нужные рк (фильтр по визитам) → Настроить даты.
Анализ результатов
- Для релевантной выборки и получения достоверных результатов в каждом сегменте должно набраться от 100 конверсий.
- Добавляем погрешность конверсии (берем √ из количества конверсий). Про погрешность читайте отдельно где-нибудь.
- Если интервалы результатов пересекаются и нет достоверной разницы даже с учетом погрешности то выбор делать нельзя и нужно продолжать эксперимент.
- Выводы делаем на основе наших целей и стоимости лида. Выбираем самый ВЫГОДНЫЙ результат.
Что можно тестировать
- Возраст (корректировки, без, определенные сегменты).
- Устройства.
- Разные объявления и креативы.
- Разные посадки (но на них должен стоять одинаковый счетчик Метрики).
- Ставки, стратегии назначения ставок.
- Что выгоднее — поднять ставки на текущих рк или запустить новую (для этого нужно соединить все рк в сегмент и на уровне эксперимента поднять на них ставки, во втором сегменте соединить все рк + новая, ставки не поднимать. Это можно делать без копирования рк).
- Проверить нужны ли брендовые рк и не оттягивают ли они органический трафик.
- Проверить два разных медиаплана, стратегии или подрядчика (в 1 сегменте старые рк, во 2 новые).
Условия для теста
- Необходимое количество конверсий.
- В эксперимент можно брать несколько рк или все, если на одной не хватает конверсий.
- Нужны макро, а не микроконверсии.
После теста
- Отвязать рк от эксперимента.
- Остановить проигравший вариант.
Удачи с А/Б тестами, да прибудет с вами Сила!
Следующая статья:
Про книгу Барбары Оакли «Думай как математик» →
Первая сказка из раздела Нечто большее:
