За последнее время Яндекс поменял возможности и принцип настройки экспериментов, и они стали удобнее и понятнее. Посмотрела вебинар от Яндекса по настройке А/Б тестов. Законспектировала ключевые моменты, чтобы в случае необходимости была шпаргалка. Возможно это еще кому-то будет полезно. Ссылка на справку для самых любопытных.
Возможности новых экспериментов
Делит аудиторию на случайные непересекающиеся сегменты.
Размер сегмента может быть от 1% до 99%.
Можно тестировать более 2х сегментов.
Можно привязать к 0,1,2.. рекламным кампаниям.
Результаты видны в Я.Директе и Я.Метрике.
Как запустить
Написать менеджеру Яндекса с просьбой открыть доступ к экспериментам на аккаунт (аккаунт должен быть клиентским).
Далее заходим в Яндекс Аудитории → Эксперименты → Создать эксперимент → Заполняем поля как нам нужно.
В Я.Директе делаем 2 копии рекламной кампании, на которую хотим настроить эксперимент (важно, что в текущей рк эксперимент настраивать не нужно — у кампаний должен быть одинаковый старт и данные).
Делаем в копиях нужные настройки в зависимости от того что тестируем.
Ставим дату запуска на завтра.
Дату окончания исходной кампании ставим на сегодня.
В копиях рк настраиваем таргетинг на эксперименты → Изменить → Выбираем нужный сегмент.
Как собрать результаты
Результаты можно собирать как по окончанию эксперимента, так и промежуточные.
Мастер отчетов Я.Директа → Фильтрация → Эксперименты → Нужный эксперимент.
Для релевантной выборки и получения достоверных результатов в каждом сегменте должно набраться от 100 конверсий.
Добавляем погрешность конверсии (берем √ из количества конверсий). Про погрешность читайте отдельно где-нибудь.
Если интервалы результатов пересекаются и нет достоверной разницы даже с учетом погрешности то выбор делать нельзя и нужно продолжать эксперимент.
Выводы делаем на основе наших целей и стоимости лида. Выбираем самый ВЫГОДНЫЙ результат.
Что можно тестировать
Возраст (корректировки, без, определенные сегменты).
Устройства.
Разные объявления и креативы.
Разные посадки (но на них должен стоять одинаковый счетчик Метрики).
Ставки, стратегии назначения ставок.
Что выгоднее — поднять ставки на текущих рк или запустить новую (для этого нужно соединить все рк в сегмент и на уровне эксперимента поднять на них ставки, во втором сегменте соединить все рк + новая, ставки не поднимать. Это можно делать без копирования рк).
Проверить нужны ли брендовые рк и не оттягивают ли они органический трафик.
Проверить два разных медиаплана, стратегии или подрядчика (в 1 сегменте старые рк, во 2 новые).
Условия для теста
Необходимое количество конверсий.
В эксперимент можно брать несколько рк или все, если на одной не хватает конверсий.