A/B-тестирование

    A/B-тестирование для аукционов

    Чтобы оценить последствия перехода на новое решение по сравнению с водопадом, проведите A/B-тестирование, разбив свою аудиторию на два сегмента. Это позволяет эффективно оценить внесенные изменения и не полагаться на предварительное и последующее тестирование с потенциально разными показателями CPM из-за разницы в количестве пользователей, обновлений приложений и других факторов.

    Оценить успешность перехода на аукционы, сравнив показатели до и после него, непросто из-за невозможности полностью изолировать другие факторы, однако A/B-тестирование явно демонстрирует более высокую эффективность аукционов. Ценность аукционов определяется не только показателями результативности. Переход на это решение также дает выгоды операционного характера.

    Тестирование на платформах агрегации

    По возможности проведите A/B-тестирование на своей платформе агрегации или аналитики, так как она позволяет эффективно контролировать соответствующие факторы и обеспечивает точные результаты. Инструкции по настройке тестирования см. в документации к своей платформе.

    Если ваша платформа агрегации или аналитики не поддерживает возможность A/B-тестирования, воспользуйтесь приведенными ниже инструкциями и рекомендациями, которые помогут оценить различия между аукционом и водопадом.

    Настройка A/B-тестирования

    Рекомендации

    • Проводите тестирование для всего трафика в одном приложении одновременно, включая все форматы рекламы. Если вы не хотите тестировать приложение полностью, можно провести тест только для iOS или Android при наличии достаточного трафика.
    • Проводите тестирование при наличии по меньшей мере 30 000 показов за день в каждой группе (т. е. всего 60 000 показов за день). При меньшем объеме результаты могут быть недостаточно точными.
    • Для полноценного сравнения показателей тестирование должно длиться не менее 14 дней, так как в первые две недели возможны колебания метрик.
    • Переведите на аукционы одновременно как можно больше рекламных сетей, работающих в режиме водопада. Однако не добавляйте на этом этапе новые рекламные сети, поскольку в этом случае повышение доходности может быть связано с появлением нового спроса. Впоследствии для оценки эффекта от добавления новых сетей можно провести дополнительное тестирование.
    • Включите в тестирование источники спроса от нескольких рекламных сетей, чтобы увеличить конкуренцию.
    • Прежде чем приступать к измерению результативности, убедитесь, что интеграция проведена без ошибок.

    Конфигурация A/B-тестирования

    Чтобы повышение дохода от перехода на аукционы можно было оценить, все прочие параметры тестирования для групп в режиме аукциона и водопада должны совпадать.

    A/B-тестирование проводится для двух групп:

    • контрольная группа — традиционный водопад;
    • тестовая группа — проверенное сочетание водопада и аукционов.

    Конфигурация платформы агрегации

    Контрольная группа

    Настройте водопад для мест размещения обычным образом.

    Тестовая группа

    Для агрегации с поддержкой аукционов

    • Для платформы Audience Network используйте существующее место размещения водопада с максимальным доходом (для ОС и формата рекламы), если платформа агрегации позволяет сделать это. Если на платформе агрегации нельзя использовать один и тот же ID места размещения в тестовой и контрольной группе, создайте новый ID места размещения Audience Network.
    • Единственной настройкой места размещения, которая важна с точки зрения аукциона, является формат рекламы. Например, целевые показатели цены водопада на уровне места размещения в режиме аукциона не применяются.
    • Возможность использования существующего места размещения вместо создания нового для других рекламных сетей можно уточнить в документации к этим сетям. Рекомендуется по возможности сохранить существующее место размещения, так как для него имеется стабилизированная история результативности.

    Для рекламных сетей, которые не поддерживают аукционы

    • Продублируйте места размещения, которые используются для водопада, чтобы в тестовой и контрольной группах были разные ID места размещения. Сохраните все прочие параметры конфигурации, такие как минимальная цена. Это позволит оценить разницу дохода отдельно для тестовой и контрольной группы.
    • На некоторых платформах агрегации можно автоматически скопировать текущие параметры водопада, чтобы не настраивать их для используемых рекламных сетей вручную.

    Измерение результатов A/B-тестирования

    • Основной метрикой результативности аукциона является средний доход на активного пользователя в день (Average Revenue Per Daily Active User, ARPDAU): этот показатель позволяет оценить доход целиком вместо результативности по отдельным сетям. В этом заключается отличие от водопада, где основной метрикой успешности является CPM сети, в то время как заполняемость и общий коэффициент выплат вторичны.
    • При переходе на аукцион показатели CPM сети должны измениться. Это связано с тем, что рекламным сетям становятся доступны более широкие возможности с большим количеством показов. В режиме водопада их результативность ограничена определенной позицией, но в условиях аукциона рекламные сети могут демонстрировать дополнительные показы с более высоким или низким уровнем CPM, что влияет на общие показатели CPM. Вместо того чтобы отслеживать колебания CPM, стоит обратить более пристальное внимание на ARPDAU.
    • Также может незначительно колебаться число показов на активного пользователя в день (Impressions Per Daily Active User, IMP/DAU). Это может происходить по двум основным причинам:
      • Уменьшение задержки при переходе на аукционы, особенно если у вас несколько значений минимальной цены для Audience Network Facebook.
      • IMP/DAU может увеличиться, если в режиме водопада отсутствует обратное заполнение. Показы, которые ранее не демонстрировались в режиме водопада, так как не достигали минимальной цены, теперь заполняются участниками аукциона.
      • Если вас беспокоит повышение IMP/DAU, установите минимальную цену для всего аукциона на уровне самой низкой минимальной цены, которая используется в режиме водопада. Обратите внимание, что это не приведет к улучшению результативности, так как участник аукциона Audience Network будет игнорировать минимальные цены на своем аукционе.