Инкрементальность в ремаркетинге: ключевые методы
Определение инкрементальности и важность для ремаркетинга
Инкрементальность (incrementality) в маркетинге – это показатель того, какой дополнительный эффект приносят рекламные кампании сверх того, что произошло бы без рекламы. Проще говоря, инкрементальный подход пытается ответить на вопрос: сколько продаж или конверсий случилось именно благодаря рекламе, а не произошли бы сами по себе?
Маркетологи часто замечают, что простые модели атрибуции не доказывают причинность – корреляция не равна причинности. Инкрементальность же измеряется путем A/B-теста: аудиторию случайно делят на тестовую группу (ей показывают ремаркетинговую рекламу) и контрольную группу (ей рекламу не показывают), после чего сравнивают результаты. Такой тест еще называют uplift-тестом (тест прироста).
Почему это важно для ремаркетинга? В кампаниях по ремаркетингу (повторному привлечению пользователей) часто сложно понять, вернулись ли клиенты благодаря показанной им рекламе или же самостоятельно. Инкрементальный тест изолирует эффект рекламы и показывает ее реальную добавленную ценность. Это помогает оценить истинный возврат на рекламу и отсечь «бесплатные» конверсии, которые произошли бы без наших объявлений.
Зная реальный uplift от кампании (процентный прирост ключевых метрик в тестовой группе по сравнению с контрольной ), маркетинговая команда может оптимизировать бюджеты и стратегии на основе доказанной эффективности, более точно прогнозировать результаты и избегать неэффективных трат.
Основные методы измерения инкрементальности
Существует несколько методик проведения таких A/B-тестов в ремаркетинге. Главным образом они различаются тем, как обращаются с контрольной группой и какой компромисс между точностью измерений и затратами приходится принимать. Рассмотрим четыре основных подхода: Intent-to-Treat (ITT), PSA, Ghost Ads и Ghost Bids – их суть, плюсы и минусы.
Метод Intent-to-Treat (ITT)
Intent-to-Treat (с англ. «намерение лечить») – базовый метод измерения инкрементальности, заимствованный из медицины. Его иногда называют holdout-тестом. Суть его проста: мы отмечаем определенный процент пользователей как контроль и совсем не показываем им нашу рекламу, а остальным (тестовой группе) реклама показывается как обычно. В итоге сравниваем всю тестовую группу (включая тех, кто фактически увидел рекламу, и тех, кто по каким-то причинам не увидел) с контрольной группой, которая рекламу не видела.
• Метод максимально простой в реализации и понимании. Его легко настроить: достаточно случайно разделить аудиторию и удержать часть пользователей от показов рекламы. Также результаты легко проверить: контрольная группа не контактировала с рекламой, что упрощает анализ.
• Отсутствие дополнительных затрат на контрольную группу. Поскольку контролю мы просто не показываем объявления, нам не нужно тратить бюджет на эту группу (в отличие от некоторых других методов). Это делает ITT относительно недорогим способом тестирования инкрементальности.
• Главная проблема – «шум» данных (noise) из-за неэкспонированных пользователей в тестовой группе. Не все пользователи тестовой группы реально увидят рекламу (например, некоторые могут не заходить в приложения с показами или мы проиграли аукцион за показ). Эти неэкспонированные пользователи размывают разницу между тестом и контролем, затрудняя измерение эффекта . Аналогия: если бросить маленький камень в ведро воды и такой же – в большой бассейн, то изменение уровня воды в ведре заметить гораздо легче . Здесь “камень” – эффект рекламы, а “бассейн” – большая масса пользователей, не видевших объявлений, создающих статистический шум.
• Для достоверного результата нужен достаточный охват в тестовой группе. Исследования показывают, что требуется порядка 40–50% пользователей тестовой группы реально показать объявления, иначе вклад рекламы утонет в шуме . Добиться такого процента показа зачастую сложно и дорого, особенно для больших аудиторий – нужен серьезный бюджет, чтобы охватить рекламой почти половину тестовой выборки.
• Возможен соблазн сравнивать только пользователей, которые увидели рекламу, с контролем, чтобы снизить шум. Однако такое исключение неэкспонированных пользователей приводит к смещению выборки – мы начинаем сравнивать “самых активных” из теста с средним контролем, что искажает результат . Поэтому корректно сравнивать именно всю тестовую группу целиком (несмотря на шум), либо применять более изощренные методы снижения шума.
Метод PSA (Public Service Ads)
PSA (Public Service Ads) – метод «плацебо-рекламы» для контроля. Вместо того чтобы оставлять контрольную группу вообще без объявлений, ей показывают постороннюю рекламу, не связанную с нашим продуктом. Чаще всего это социальная реклама общего характера – например, баннеры Красного Креста, призывы «не садись пьяным за руль» и т.п. . Тестовая же группа по-прежнему видит нашу ремаркетинговую рекламу. Таким образом, обе группы получают показы, просто у контроля это нерелевантные объявления.
• Полное устранение шума. Поскольку и тест, и контроль получают определенные показы, мы можем исключить из рассмотрения тех, кто не видел ни одного объявления. Сравнение ведется между реально экспонированными пользователями в обеих группах . Фактически мы измеряем разницу между воздействием нашей рекламы и воздействием нейтральной «плацебо»-рекламы, убирая фактор неэкспонированных вовсе пользователей. Это сводит шум к нулю, делая тест максимально чувствительным .
• Простота реализации на уровне кампаний. Технически настроить PSA-тест несложно: создаются две кампании с идентичными настройками и аудиторией – одна показывает наши баннеры (тест), другая – случайные PSA-баннеры (контроль). Нужно лишь подготовить креативы для контрольной группы . Многие рекламные платформы поддерживают библиотеку готовых PSA-объявлений, что упрощает запуск. Таким образом, реализовать такой тест почти так же легко, как обычный сплит-кампаний.
• Высокая стоимость и отсутствие окупаемости. Рекламодатель фактически тратит бюджет на показы в контрольной группе, не получая от них прямой выгоды . Эти средства «сгорают» на социальную рекламу. Для разового эксперимента такие затраты еще можно заложить, но проводить PSA-тесты на постоянной основе экономически тяжело – прибыль кампании будет уменьшаться за счет затрат на контроль . В долгосрочной перспективе выделять значимый процент бюджета на нерелевантные показы мало кто готов.
• Риск некорректного сравнения из-за различий в рекламе. Если подход реализован неправильно, можно сравнить «теплое с мягким». Алгоритмы показа рекламы будут оптимизировать две кампании по-разному, ведь объявления в тесте и контроле принципиально различаются . К примеру, система может подбирать в тестовой кампании аудиторию, склонную к конверсии на коммерческий оффер, а в контрольной – просто людей, реагирующих на социальные сообщения. В результате мы получим несопоставимые группы пользователей (условно, любители спортивных товаров vs. сочувствующие благотворительности), и тест исказится . Исследователи отмечают, что PSA-тест может привести к неверным выводам – от излишнего оптимизма до ложных отрицательных результатов .
• Нет учета конкурентного эффекта. Когда мы показываем тестовой группе свою рекламу, мы не только стимулируем ее, но и перекрываем возможность конкурентам показать этим же пользователям свою рекламу. В классическом holdout-тесте (ITT) контрольная группа могла видеть объявления конкурентов, в то время как тестовая – нет, и эффект нашего кампании включает этот «оборонительный» компонент . В PSA-контроле же место конкурента занимает наше PSA-объявление, поэтому мы как бы не даем конкуренту показать рекламу и контрольной группе. Это искажает реальность – ведь в обычной ситуации без нашей кампании эти пользователи могли увидеть рекламу конкурентов и уйти к ним. PSA-метод не измеряет защитный эффект нашей рекламы от перетекания аудитории к соперникам , из-за чего вклад кампании может выглядеть менее значительным, чем в действительности.
• Не подходит для «умных» авто-оптимизируемых кампаний. Современные рекламные платформы с автоматическим управлением ставками и бюджетами могут мешать чистоте PSA-эксперимента. К примеру, если использовать две параллельные кампании (тестовую и контрольную) на одной платформе, алгоритм может распределять ресурсы неравномерно. В худшем случае система начнет оптимизировать контрольную PSA-кампанию под клики/показы, отвлекая бюджет от тестовой, или наоборот. Это делает результаты непредсказуемыми. В целом, любые автоматические оптимизации нужно отключать ради чистоты эксперимента, что не всегда возможно.
(Примечание: Несмотря на перечисленные сложности, PSA-метод ценен тем, что полностью устраняет статистический шум. Его можно применять для единоразовых измерений инкрементальности, если бюджет позволяет покрыть расходы на контрольную группу и если тщательно проконтролировать, чтобы обе группы были сопоставимы.)
Метод Ghost Ads ("Призрачные объявления")
Ghost Ads – продвинутый метод, часто называемый «магическим трюком» инкрементальности . Он стремится объединить плюсы ITT и PSA, устранив их минусы. Идея в том, что контрольная группа не остается пустой и при этом не требует расходов со стороны рекламодателя. Как же так? Вместо того чтобы искусственно показывать контролю наше «плацебо»-объявление, платформа отмечает, какие пользователи из контрольной группы могли бы увидеть наш баннер, если бы мы его показали . Реализуется это на уровне рекламных аукционов: при каждом появлении пользователя из контрольной группы в рекламном слоте, система симулирует ставку (как будто пытается показать ему наше объявление) – но реального показа не происходит . Затем фиксируется результат этой «призрачной ставки»: если бы она выиграла аукцион, то пользователь получил бы наш показ, и мы помечаем такого пользователя как «условно экспонированного» (ghost impression) в контрольной группе . Если же призрачная ставка не превысила реальную ставку победившего в аукционе конкурента, значит, этот пользователь и так не увидел бы нашу рекламу – он остается среди неэкспонированных контроля. Таким образом, в контрольной группе нет реальных показов наших объявлений и, соответственно, нулевые затраты, но мы получаем данные о том, кто из контроля гипотетически получил бы показ, окажись он в тесте.
• Отсутствие затрат на контроль и отсутствие шума. Метод Ghost Ads дает, по сути, идеальный эксперимент без стоимости для рекламодателя . Контрольная группа видит обычные для нее чужие объявления, оплаченные другими рекламодателями, поэтому мы не тратим бюджет, как в PSA . При этом мы знаем, кто в контроле мог бы быть охвачен нашей кампанией, то есть можем отфильтровать неэкспонированных, аналогично PSA, и убрать шум из сравнения . Выходим на сравнение «показы vs. отсутствие показов» в чистом виде, но не платим за пустые показы – в теории, идеальная ситуация .
• Минимизация bias (систематических искажений). Благодаря рандомизации и отсутствию вмешательства в естественный аукцион, Ghost Ads снижает проблему selection bias, присущую наивному ITT. Мы не исключаем пользователей вручную – контрольная группа формируется случайно, и отмеченные в ней «призрачные показы» также определяются случайными условиями аукционов. Таким образом, сравнение остается честным и беспристрастным, приближаясь к идеалу RCT (рандомизированного контролируемого эксперимента) в рекламе.
• Сложность проверки и зависимость от технологий. Для рекламодателя метод Ghost Ads — во многом “черный ящик”. Чтобы определить, кто из контроля получил бы наш показ, нужна глубокая интеграция с системой показа рекламы и данными рекламных аукционов. Чаще всего самостоятельно воспроизвести и верифицировать такой тест почти невозможно . Платформы зачастую не раскрывают полные данные аукциона (например, ценовые пороги и ставки победителей) , поэтому проверить, действительно ли та или иная призрачная ставка выиграла бы показ, рекламодатель не может. Приходится доверять отчету рекламной платформы на слово . Очевидно, если эта же платформа заинтересована показать хороший результат (например, внутри walled garden вроде Facebook/Google), возникают конфликты интересов. Встает вопрос: готовы ли мы верить, скажем, Facebook на слово в оценке воздействия его же рекламы? Это вызывает сомнения у многих рекламодателей.
• Ограниченная применимость в узких сегментах ремаркетинга. В модели Ghost Ads есть скрытое требование: чтобы корректно отметить призрачный показ, нужна альтернатива в виде другого рекламодателя, заинтересованного в том же пользователе. В user acquisition (привлечение новых пользователей) это обычно выполняется – каждый потребитель видит тонны разной рекламы от разных брендов, и если не мы, то кто-то другой покажет ему объявление . Но в узкой ремаркетинговой кампании бывает, что на пользователя претендуем практически только мы. Например, если это пользователь нашего приложения с редким платящим поведением, в данный момент кроме наших объявлений ему мало кто таргетирует рекламу. Если у пользователя нет других показов, метод Ghost Ads теряет смысл – некому «подхватить» пользователя в контроле, аукционы могут просто не случаться. В итоге мы не сможем пометить достаточно «призрачно экспонированных» в контрольной группе, и сравнение станет малоинформативным. Поэтому считается, что классическая схема Ghost Ads хорошо работает для широкого программатиκ-баинга и привлечения пользователей, но хуже подходит для узкоцелевого ремаркетинга .
• Сложность внедрения. Даже технически продвинутые рекламные партнеры не всегда предлагают Ghost Ads. Метод требует реализации на уровне SSP/DSP (платформы продажи или покупки трафика), и далеко не каждая площадка поддерживает функционал призрачных ставок. На практике такую методику полноценно реализовали лишь крупнейшие игроки рынка и отдельные специализированные платформы. Для рекламодателя это означает ограниченный выбор – либо работать с тем, кто предоставляет Ghost Ads измерения, либо искать альтернативу.
Метод Ghost Bids ("Призрачные ставки")
Ghost Bids – это методика, разработанная специально для инкрементальности в ремаркетинге, во многом навеянная идеей Ghost Ads, но адаптированная под ограничения узких аудиторий. Термин вошел в обиход благодаря компании Remerge, которая предложила данный подход в 2019 году . Основная цель Ghost Bids – максимально убрать шум и не тратить бюджет на контрольную группу, сделав при этом метод пригодным для небольших сегментов аудитории.
Как работает Ghost Bids: сначала из выборки исключают всех пользователей, до которых в принципе нельзя дотянуться рекламой (например, они давно не выходят в сеть, не пользуются приложениями с рекламой, или у них новые устройства без наших трекеров) . Остаются только «достижимые» пользователи – те, кого мы видим на рекламных площадках и можем теоретически закупить для них показ . Эти оставшиеся пользователи случайно делятся на тест и контроль. Далее тестовая группа получает обычные показы (реальные ставки в аукционах, баннеры нашей кампании – как в ITT) . А вот контрольная группа вообще не видит нашу рекламу, но для целей измерения система отмечает, когда пользователь контроля был бы достигнут. Проще говоря, при каждом появлении пользователя из контрольной группы на рекламной бирже система фиксирует «призрачную ставку» – факт, что мы могли бы показать ему объявление (но не показываем намеренно) . Важно: если пользователь вообще не появлялся в рекламной сети за период кампании, он изначально был отфильтрован и не входит ни в тест, ни в контроль – то есть полностью устранены «мертвые души», создающие шум . В итоге по завершении теста у нас есть:
• Тестовая группа: пользователи, которые были доступны и получали наши показы (некоторая их часть реально увидела баннер хотя бы раз, некоторая – могла появиться, но мы не выиграли аукцион или не успели показать).
• Контрольная группа: сопоставимые пользователи, которые были доступны на тех же площадках, но не получили наши показы (при этом для части из них зафиксированы «призрачные ставки», означающие, что если бы они были в тесте, им бы показали баннер) .
Далее сравниваются результаты (конверсии, доходы и т.д.) между этими группами, аналогично другим методам. Благодаря фильтрации шум значительно ниже, чем в классическом ITT, ведь мы не разбавляем тест пользователями, которые все равно никогда не увидели бы рекламу . Контрольная группа тоже очищена от полностью недосягаемых, что делает ее поведение более релевантным для сравнения. Метод остается бесплатным в плане контроля – мы не закупаем показы специально, просто отслеживаем доступность пользователей . По сути, Ghost Bids – это улучшенная версия ITT, где контроль более «чистый», а тест фокусируется на реальной адресной аудитории.
• Практически нулевые дополнительные затраты. Как и ITT, данный метод не требует платить за показы для контроля – контрольная группа просто не получает рекламу. Все расходы идут только на тестовую кампанию (как и должно быть). Для маркетолога это значит, что инкрементальность можно измерять на постоянной основе, не «съедая» бюджет холостыми показами, что было бы нереально с PSA .
• Существенно более чистый сигнал (меньше шума). Отфильтровав недостижимых пользователей, мы получаем ситуацию, близкую к PSA по точности: сравниваем пользователей, которые действительно могли видеть рекламу . Шум от неэкспонированных заметно сокращается – «ведро» вместо «бассейна» в терминах нашей analogии. Это повышает статистическую значимость теста и позволяет уловить даже небольшой прирост от кампании.
• Пригоден для узких аудиторий ретаргетинга. В отличие от классического Ghost Ads, метод Ghost Bids не требует наличия сторонних показов для контрольной группы – нам достаточно факта появления пользователя на бирже. Даже если кроме нас никто не хочет показывать объявление этому пользователю, он все равно участвует в тесте (при условии, что мы его видим в рекламной сети). Таким образом, метод хорошо работает именно в ремаркетинге, с узкими сегментами и специфичными пользователями . Это подтверждается практикой: Ghost Bids внедрен специализированными платформами ремаркетинга и показал эффективность на реальных кампаниях.
• Баланс между простотой ITT и точностью PSA/Ghost Ads. По сути, Ghost Bids – компромиссное решение, взявшее лучшее от других методов. Оно сохраняет простоту эксперимента ITT (рандомизировали пользователей, контроль ничего не получает) и близкую к PSA точность измерения (минимум «пустых» пользователей в выборках) . При этом метод не требует сложных манипуляций с двумя разными кампаниями или оплаты контроля, что делает его удобным для постоянного мониторинга инкрементальности.
• Требует технической реализации на стороне рекламной платформы. Самостоятельно рекламодателю провести точный Ghost Bids-тест затруднительно – нужна поддержка со стороны программатик-партнера. Требуется инструмент, который будет отслеживать появление пользователей контроля на бирже и помечать «призрачные ставки». Как правило, такие решения предлагаются продвинутыми партнерами по ремаркетингу (например, Remerge). Если же платформа не поддерживает Ghost Bids, то реализовать метод вручную невозможно, и придется ограничиваться ITT или PSA.
• Небольшой остаточный шум и допущения. Хотя Ghost Bids и сокращает шум, он не устраняет его на 100%. В контрольной группе все равно остаются пользователи, которые были доступны, но не получили бы показ даже будучи в тесте (например, мы участвовали бы в аукционе, но проиграли, или показ технически не отобразился) . Их поведение включается в общую статистику контроля и может слегка смазывать эффект. Теоретически можно попытаться предсказать, кто из контроля точно получил бы показ, но любое предсказание может внести смещение и нарушить чистоту эксперимента . Поэтому принимается компромисс: небольшой «хвост» неэкспонированных всё же остается, но он значительно меньше, чем в классическом ITT. Это ограничение означает, что при очень малом инкрементальном эффекте результаты все еще могут быть статистически незначимыми – однако на практике Ghost Bids показал себя достаточно чувствительным для большинства задач ретаргетинга.
• Сложность коммуникации результатов. Отчет по Ghost Bids-тесту может быть чуть труднее объяснить бизнес-стейкхолдерам, незнакомым с терминологией. В отличие от наглядного PSA (где контроль «видел другую рекламу») или простого ITT («контроль ничего не видел»), здесь приходится объяснять понятие «призрачных показов» и почему контроль очищался от части пользователей. Это скорее организационный минус: команде важно единообразно понимать метод, чтобы доверять выводам.
Выводы и рекомендации
Инкрементальное тестирование – необходимый инструмент для понимания реальной эффективности ремаркетинга. Оно позволяет перейти от простого подсчета приписанных конверсий к научному подходу, определяя, какая доля результатов действительно вызвана нашими рекламными усилиями . Рассмотренные методы предлагают разный баланс между простотой, ценой и точностью, поэтому маркетинговой команде важно правильно выбрать подход под свои цели и ресурсы.
• Когда использовать ITT: если вы только начинаете измерять инкрементальность или у вас ограниченный бюджет/инфраструктура, метод Intent-to-Treat – отправная точка. Он легко реализуем и не требует ничего, кроме как выделить контрольную группу и не показывать ей рекламу . ITT даст общее представление о приросте от кампании. Однако помните, что для надежных результатов нужно обеспечить достаточно показов в тесте; если охват невысок, эффект может скрыться в шуме . ITT хорошо подходит для разовых «замеров температуры» – например, понять, стоит ли вообще вкладываться в ремаркетинг, если отключить его на 10-20% пользователей.
• Когда использовать PSA: если точность критически важна (например, нужно отчитаться перед руководством с максимально чистыми данными) и есть готовность пожертвовать частью бюджета на эксперимент, PSA-метод даст наиболее однозначный результат. Он полностью устраняет шум, позволяя выявить даже небольшой uplift с высокой статистической значимостью . PSA-тест может быть полезен как разовое мероприятие – например, при калибровке нового канала или проверке работы нового партнера по ремаркетингу. Но помните о его ограничениях: такие тесты дорого обходятся и их сложно поддерживать постоянно . Кроме того, тщательно следите за корректностью настройки – убедитесь, что контрольная реклама достаточно нейтральна и алгоритмы не перекосили аудиторию . PSA лучше проводить на коротком промежутке и с помощью опытных аналитиков, чтобы избежать методологических ловушек.
• Когда использовать Ghost Ads: классический метод Ghost Ads скорее теоретический идеал, чем повседневный инструмент для ремаркетолога. Он пригоден в тех случаях, когда у вас есть техническая возможность и партнер, способный прозрачно эмулировать призрачные показы. Это чаще встречается при работе с крупными экосистемами или специализированными DSP, где есть доступ к логам аукционов. Для широких рекламных кампаний (особенно на привлечение новых пользователей) Ghost Ads – отличное решение, дающее точный результат без лишних затрат. Однако в узких ремаркетинговых кампаниях его применение ограничено – если ваша аудитория уникальна и кроме вас ей мало кто показывает рекламу, толку от Ghost Ads не будет . В целом, рядовой маркетинговой команде стоит знать про Ghost Ads как про «золотой стандарт» измерения инкрементальности, но реализовать его самостоятельно почти нереально . Если у вашего рекламного партнера есть такая услуга – отлично, можно ею воспользоваться для важного эксперимента. Но будьте готовы доверять провайдеру, так как проверить самостоятельно корректность данных практически невозможно.
• Когда использовать Ghost Bids: для регулярного измерения инкрементальности ремаркетинга Ghost Bids – наиболее практичный подход на сегодняшний день. Если вы сотрудничаете с платформой, предлагающей такой функционал (например, Adikteev, Remerge и др., у которых метод встроен под разными названиями), имеет смысл задействовать его на постоянной основе. Ghost Bids позволяет отслеживать uplift континуально, без пауз, и оперативно замечать изменения эффективности кампаний. Этот метод особенно хорош, когда вы оптимизируете бюджет между разными каналами и нужно регулярно получать сигнал, дает ли ремаркетинг дополнительный доход или же начинает каннибализировать органику. Имейте в виду, что внедрение Ghost Bids требует определенной подготовки (обсудить сегменты, долю контроля, техническую интеграцию) – обычно партнер берет эти задачи на себя. По результатам отраслевых обзоров, грамотное использование Ghost Bids делает мобильный ремаркетинг более прозрачным и меряемым каналом, с правильно выстроенными стимулами для всех участников . Поэтому, если доступен, Ghost Bids можно рекомендовать как «best practice» для продвинутых команд.
В заключение, любая инкрементальность лучше, чем ее отсутствие. Даже простой holdout-тест лучше, чем слепо доверять последнему клику или интуиции. Начните с базового метода, оцените, есть ли ощутимый прирост, и по мере роста экспертизы переходите к более точным методам.