Интернет-маркетинг

А/Б тесты в Яндекс Директе — настраиваемые эксперименты Яндекс Аудиторий

2022-09-04 23:18 Технологии и инструменты Яндекс.Директ Обучение
За последнее время Яндекс поменял возможности и принцип настройки экспериментов, и они стали удобнее и понятнее. Посмотрела вебинар от Яндекса по настройке А/Б тестов. Законспектировала ключевые моменты, чтобы в случае необходимости была шпаргалка. Возможно это еще кому-то будет полезно. Ссылка на справку для самых любопытных.

Возможности новых экспериментов

  • Делит аудиторию на случайные непересекающиеся сегменты.
  • Размер сегмента может быть от 1% до 99%.
  • Можно тестировать более 2х сегментов.
  • Можно привязать к 0,1,2.. рекламным кампаниям.
  • Результаты видны в Я.Директе и Я.Метрике.

Как запустить

  • Написать менеджеру Яндекса с просьбой открыть доступ к экспериментам на аккаунт (аккаунт должен быть клиентским).
  • Далее заходим в Яндекс Аудитории → Эксперименты → Создать эксперимент → Заполняем поля как нам нужно.
  • В Я.Директе делаем 2 копии рекламной кампании, на которую хотим настроить эксперимент (важно, что в текущей рк эксперимент настраивать не нужно — у кампаний должен быть одинаковый старт и данные).
  • Делаем в копиях нужные настройки в зависимости от того что тестируем.
  • Ставим дату запуска на завтра.
  • Дату окончания исходной кампании ставим на сегодня.
  • В копиях рк настраиваем таргетинг на эксперименты → Изменить → Выбираем нужный сегмент.

Как собрать результаты

Результаты можно собирать как по окончанию эксперимента, так и промежуточные.
  • Мастер отчетов Я.Директа → Фильтрация → Эксперименты → Нужный эксперимент.
  • Выписываем расходы.
  • Выписываем рк.
  • Выписываем даты начала и окончания.
  • Я.Метрика → Аудитории → Группировки → Эксперименты → Нужный эксперимент → Конверсии → Отфильтровать нужные рк (фильтр по визитам) → Настроить даты.

Анализ результатов

  • Для релевантной выборки и получения достоверных результатов в каждом сегменте должно набраться от 100 конверсий.
  • Добавляем погрешность конверсии (берем √ из количества конверсий). Про погрешность читайте отдельно где-нибудь.
  • Если интервалы результатов пересекаются и нет достоверной разницы даже с учетом погрешности то выбор делать нельзя и нужно продолжать эксперимент.
  • Выводы делаем на основе наших целей и стоимости лида. Выбираем самый ВЫГОДНЫЙ результат.

Что можно тестировать

  • Возраст (корректировки, без, определенные сегменты).
  • Устройства.
  • Разные объявления и креативы.
  • Разные посадки (но на них должен стоять одинаковый счетчик Метрики).
  • Ставки, стратегии назначения ставок.
  • Что выгоднее — поднять ставки на текущих рк или запустить новую (для этого нужно соединить все рк в сегмент и на уровне эксперимента поднять на них ставки, во втором сегменте соединить все рк + новая, ставки не поднимать. Это можно делать без копирования рк).
  • Проверить нужны ли брендовые рк и не оттягивают ли они органический трафик.
  • Проверить два разных медиаплана, стратегии или подрядчика (в 1 сегменте старые рк, во 2 новые).

Условия для теста

  • Необходимое количество конверсий.
  • В эксперимент можно брать несколько рк или все, если на одной не хватает конверсий.
  • Нужны макро, а не микроконверсии.

После теста

  • Отвязать рк от эксперимента.
  • Остановить проигравший вариант.

Удачи с А/Б тестами, да прибудет с вами Сила!


Следующая статья:

Про книгу Барбары Оакли «Думай как математик» →


Первая сказка из раздела Нечто большее:

Я живу в ожидании чуда →