<?xml version="1.0" encoding="utf-8" ?><feed xmlns="http://www.w3.org/2005/Atom" xmlns:tt="http://teletype.in/" xmlns:opensearch="http://a9.com/-/spec/opensearch/1.1/"><title>Alexander</title><author><name>Alexander</name></author><id>https://teletype.in/atom/ffrnk</id><link rel="self" type="application/atom+xml" href="https://teletype.in/atom/ffrnk?offset=0"></link><link rel="alternate" type="text/html" href="https://blog.ffrnk.com/?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=ffrnk"></link><link rel="next" type="application/rss+xml" href="https://teletype.in/atom/ffrnk?offset=10"></link><link rel="search" type="application/opensearchdescription+xml" title="Teletype" href="https://teletype.in/opensearch.xml"></link><updated>2026-04-30T07:16:06.173Z</updated><entry><id>ffrnk:QU1erOOetTu</id><link rel="alternate" type="text/html" href="https://blog.ffrnk.com/QU1erOOetTu?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=ffrnk"></link><title>Incrementality in Remarketing: Key Methods  </title><published>2025-03-20T19:38:41.038Z</published><updated>2025-03-20T19:51:59.268Z</updated><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://img2.teletype.in/files/97/09/97095b95-56fa-484e-aa5b-3b5f3de38ea4.png"></media:thumbnail><summary type="html">&lt;img src=&quot;https://img3.teletype.in/files/a4/24/a424ffb7-0087-4df2-b610-7ec958de8180.png&quot;&gt;Defining Incrementality and Its Importance for Remarketing</summary><content type="html">
  &lt;p id=&quot;wdfU&quot;&gt;&lt;strong&gt;Defining Incrementality and Its Importance for Remarketing&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;Ys4u&quot;&gt;Incrementality in marketing measures the additional effect advertising campaigns generate beyond what would occur without advertising. Simply put, incrementality answers the question: How many sales or conversions occurred precisely due to advertising, rather than naturally?&lt;/p&gt;
  &lt;p id=&quot;QRvP&quot;&gt;Marketers often notice that simple attribution models don’t prove causality—correlation doesn’t equal causation. Incrementality, however, is measured through A/B testing: audiences are randomly divided into a &lt;strong&gt;test group&lt;/strong&gt; (which sees remarketing ads) and a &lt;strong&gt;control group&lt;/strong&gt; (which doesn’t see ads), and then outcomes are compared. Such tests are also known as &lt;strong&gt;uplift tests&lt;/strong&gt;.&lt;/p&gt;
  &lt;p id=&quot;iAXd&quot;&gt;Why is this crucial for remarketing?&lt;/p&gt;
  &lt;p id=&quot;tAN3&quot;&gt;In remarketing campaigns (targeting previous users), it’s often hard to discern if customers returned because of ads or spontaneously. Incrementality testing isolates the true ad effect, showing real added value. It helps evaluate true ad ROI and excludes “free” conversions that would occur regardless of ads.&lt;/p&gt;
  &lt;p id=&quot;jHEK&quot;&gt;Understanding real &lt;strong&gt;campaign uplift&lt;/strong&gt; (the percent increase of key metrics in the test group vs. control) allows marketing teams to optimize budgets and strategies based on proven effectiveness, accurately forecast results, and avoid ineffective spending.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;MRyS&quot;&gt;&lt;strong&gt;Main Methods of Measuring Incrementality&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;JBK1&quot;&gt;Several methodologies exist for running remarketing incrementality A/B tests. They differ mainly in handling the control group and balancing measurement accuracy against cost. We’ll cover four primary methods: &lt;strong&gt;Intent-to-Treat (ITT)&lt;/strong&gt;, &lt;strong&gt;PSA&lt;/strong&gt;, &lt;strong&gt;Ghost Ads&lt;/strong&gt;, and &lt;strong&gt;Ghost Bids&lt;/strong&gt;, their essence, pros, and cons.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;8SMW&quot;&gt;&lt;strong&gt;Intent-to-Treat (ITT) Method&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;n6Jf&quot;&gt;Intent-to-Treat (ITT)—borrowed from medicine and sometimes called a holdout test—is a basic incrementality method. It’s simple: we randomly tag a percentage of users as control (no ads shown), while the test group sees ads as usual. Results from the entire test group (including both exposed and unexposed users) are compared against the ad-free control group.&lt;/p&gt;
  &lt;p id=&quot;D7Gg&quot;&gt;&lt;strong&gt;Pros:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;owU8&quot;&gt;• Easy to implement and understand. Simply divide and withhold ads from part of the audience.&lt;/p&gt;
  &lt;p id=&quot;BrLv&quot;&gt;• No additional costs for the control group, making ITT relatively inexpensive.&lt;/p&gt;
  &lt;p id=&quot;wbgY&quot;&gt;&lt;strong&gt;Cons:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;ljTQ&quot;&gt;• &lt;strong&gt;Noise&lt;/strong&gt; from unexposed users within the test group: Not all test-group users actually see ads (due to losing auctions or low activity). This dilutes differences between groups, complicating accurate effect measurement.&lt;/p&gt;
  &lt;p id=&quot;uZy4&quot;&gt;• Requires sufficient coverage (about 40-50% exposure) in the test group for statistically significant results, which can be challenging or costly.&lt;/p&gt;
  &lt;p id=&quot;n1TE&quot;&gt;• Temptation to compare only exposed users versus control leads to selection bias, distorting results.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;e4iw&quot;&gt;&lt;strong&gt;Public Service Ads (PSA) Method&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;Wuhu&quot;&gt;PSA (Public Service Ads)—the placebo approach—shows unrelated neutral ads (e.g., Red Cross banners) to the control group, while the test group receives targeted remarketing ads. Thus, both groups are exposed, but the control sees irrelevant content.&lt;/p&gt;
  &lt;p id=&quot;lh2t&quot;&gt;&lt;strong&gt;Pros:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;q1yB&quot;&gt;• Completely eliminates noise by comparing only truly exposed users from both groups.&lt;/p&gt;
  &lt;p id=&quot;QaCn&quot;&gt;• Easy to implement technically, using existing ad platform tools.&lt;/p&gt;
  &lt;p id=&quot;JzUE&quot;&gt;&lt;strong&gt;Cons:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;pcfw&quot;&gt;• High costs with no ROI from control-group spending on irrelevant ads.&lt;/p&gt;
  &lt;p id=&quot;1mTo&quot;&gt;• Risk of incorrect comparisons due to optimization differences between PSA and remarketing ads, potentially skewing audience segments.&lt;/p&gt;
  &lt;p id=&quot;qCSk&quot;&gt;• Doesn’t measure competitive displacement effects (competitors’ ads potentially influencing the control group).&lt;/p&gt;
  &lt;p id=&quot;JiwJ&quot;&gt;&lt;em&gt;Note:&lt;/em&gt; PSA tests are excellent for one-time high-precision incrementality measurement, if budgets allow.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;0CFP&quot;&gt;&lt;strong&gt;Ghost Ads Method&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;UUSE&quot;&gt;Ghost Ads—a sophisticated “magic trick”—combines ITT and PSA strengths. The control group doesn’t see actual ads, yet incurs zero costs. Instead, the platform tracks users who &lt;strong&gt;would have seen&lt;/strong&gt; ads if they were in the test group by simulating auctions without real impressions. Users in control groups who hypothetically win auctions are marked as “ghost-impressions”.&lt;/p&gt;
  &lt;p id=&quot;RVwa&quot;&gt;&lt;strong&gt;Pros:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;HzgJ&quot;&gt;• Zero control-group costs and minimal noise, effectively providing perfect experimental conditions.&lt;/p&gt;
  &lt;p id=&quot;1Gge&quot;&gt;• Reduced selection bias due to natural randomized auction dynamics.&lt;/p&gt;
  &lt;p id=&quot;YGZ9&quot;&gt;&lt;strong&gt;Cons:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;5NNM&quot;&gt;• Technical complexity and opacity (“black box”) for advertisers. Deep platform integration required, with advertisers forced to trust the platform’s auction-based reporting.&lt;/p&gt;
  &lt;p id=&quot;rB0L&quot;&gt;• Limited applicability in niche remarketing segments lacking competing bids, making ghost impressions challenging.&lt;/p&gt;
  &lt;p id=&quot;MB5C&quot;&gt;• Difficulty of independent verification: advertisers must trust platforms fully.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;2u8Z&quot;&gt;&lt;strong&gt;Ghost Bids Method&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;HJLL&quot;&gt;Ghost Bids, developed explicitly for remarketing incrementality (popularized by Remerge in 2019), adapts Ghost Ads principles specifically for narrow audience segments. Unreachable users (those not appearing in advertising channels) are first filtered out. Remaining reachable users are split randomly into test and control groups. The test group receives ads normally, while control users don’t see ads but have their potential impressions (“ghost bids”) recorded.&lt;/p&gt;
  &lt;p id=&quot;FZ3u&quot;&gt;&lt;strong&gt;Pros:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;ZOM1&quot;&gt;• Practically no additional control-group costs—no ad spending for the control group.&lt;/p&gt;
  &lt;p id=&quot;fZAv&quot;&gt;• Significant noise reduction through pre-filtering unreachable users.&lt;/p&gt;
  &lt;p id=&quot;2RmM&quot;&gt;• Well-suited for narrow remarketing audiences, not reliant on competing advertiser presence.&lt;/p&gt;
  &lt;p id=&quot;I5WI&quot;&gt;• Ideal compromise between ITT’s simplicity and PSA/Ghost Ads’ accuracy, making it suitable for ongoing incrementality tracking.&lt;/p&gt;
  &lt;p id=&quot;HPmP&quot;&gt;&lt;strong&gt;Cons:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;7Hzl&quot;&gt;• Requires specialized technology or platform support (e.g., Remerge) to monitor ghost bids.&lt;/p&gt;
  &lt;p id=&quot;yLkH&quot;&gt;• Slight residual noise: some control users still wouldn’t have seen ads even if in the test group, slightly diluting effect measurement.&lt;/p&gt;
  &lt;p id=&quot;dxI3&quot;&gt;• Communication complexity to non-technical stakeholders unfamiliar with ghost bidding concepts.&lt;/p&gt;
  &lt;hr /&gt;
  &lt;p id=&quot;coB4&quot;&gt;&lt;strong&gt;Conclusions and Recommendations&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;jqbm&quot;&gt;Incrementality testing is essential for understanding remarketing’s true effectiveness, shifting from simplistic attribution toward scientific measurement. Methods vary significantly in complexity, cost, and accuracy, making careful method selection crucial:&lt;/p&gt;
  &lt;p id=&quot;LV9Q&quot;&gt;• &lt;strong&gt;ITT&lt;/strong&gt;: Ideal for initial, inexpensive incrementality checks or limited budgets. Provides general insights but risks statistical noise.&lt;/p&gt;
  &lt;p id=&quot;Yjzd&quot;&gt;• &lt;strong&gt;PSA&lt;/strong&gt;: Best for maximum precision when budget allows a one-time high-quality measurement; difficult for long-term use due to high costs.&lt;/p&gt;
  &lt;p id=&quot;SXIR&quot;&gt;• &lt;strong&gt;Ghost Ads&lt;/strong&gt;: Theoretically ideal, practical only when working with large platforms capable of simulation. Perfect for broad campaigns, less so for narrow remarketing.&lt;/p&gt;
  &lt;p id=&quot;9Al9&quot;&gt;• &lt;strong&gt;Ghost Bids&lt;/strong&gt;: Currently the most practical choice for consistent, accurate incrementality measurement in remarketing. Suitable for specialized platforms and narrow segments.&lt;/p&gt;
  &lt;p id=&quot;6pjl&quot;&gt;In summary, using any incrementality measurement surpasses none. Start simple, verify if your campaigns create uplift, then progressively adopt more precise techniques as your expertise and budgets allow.&lt;/p&gt;
  &lt;hr /&gt;

</content></entry><entry><id>ffrnk:wOAu7UyMvWz</id><link rel="alternate" type="text/html" href="https://blog.ffrnk.com/wOAu7UyMvWz?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=ffrnk"></link><title>Инкрементальность в ремаркетинге: ключевые методы</title><published>2025-03-11T15:19:40.869Z</published><updated>2025-03-20T19:53:07.716Z</updated><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://img2.teletype.in/files/97/21/97218177-bee5-4ccf-802f-bdceabe22610.png"></media:thumbnail><summary type="html">&lt;img src=&quot;https://img1.teletype.in/files/02/1d/021dc4da-00eb-477a-bf69-4514f3b2725a.png&quot;&gt;Инкрементальность (incrementality) в маркетинге – это показатель того, какой дополнительный эффект приносят рекламные кампании сверх того, что произошло бы без рекламы. Проще говоря, инкрементальный подход пытается ответить на вопрос: сколько продаж или конверсий случилось именно благодаря рекламе, а не произошли бы сами по себе?</summary><content type="html">
  &lt;h2 id=&quot;pGxI&quot;&gt;&lt;strong&gt;Определение инкрементальности и важность для ремаркетинга&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;hA4u&quot;&gt;&lt;strong&gt;Инкрементальность&lt;/strong&gt; (incrementality) в маркетинге – это показатель того, какой дополнительный эффект приносят рекламные кампании сверх того, что произошло бы без рекламы. Проще говоря, инкрементальный подход пытается ответить на вопрос: &lt;strong&gt;&lt;em&gt;сколько продаж или конверсий случилось именно благодаря рекламе, а не произошли бы сами по себе?&lt;/em&gt; &lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;SgJm&quot;&gt;Маркетологи часто замечают, что простые модели атрибуции не доказывают причинность – корреляция не равна причинности. Инкрементальность же измеряется путем &lt;strong&gt;A/B-теста&lt;/strong&gt;: аудиторию случайно делят на &lt;strong&gt;тестовую группу&lt;/strong&gt; (ей показывают ремаркетинговую рекламу) и &lt;strong&gt;контрольную группу&lt;/strong&gt; (ей рекламу не показывают), после чего сравнивают результаты. Такой тест еще называют &lt;em&gt;uplift&lt;/em&gt;-тестом (тест прироста).&lt;/p&gt;
  &lt;p id=&quot;LNxl&quot;&gt;Почему это важно для ремаркетинга? В кампаниях по ремаркетингу (повторному привлечению пользователей) часто сложно понять, вернулись ли клиенты благодаря показанной им рекламе или же самостоятельно. Инкрементальный тест изолирует эффект рекламы и показывает ее реальную добавленную ценность. Это помогает оценить &lt;strong&gt;истинный возврат на рекламу&lt;/strong&gt; и отсечь «бесплатные» конверсии, которые произошли бы без наших объявлений. &lt;/p&gt;
  &lt;p id=&quot;MFNN&quot;&gt;Зная реальный &lt;em&gt;uplift&lt;/em&gt; от кампании (процентный прирост ключевых метрик в тестовой группе по сравнению с контрольной ), маркетинговая команда может оптимизировать бюджеты и стратегии на основе доказанной эффективности, более точно прогнозировать результаты и избегать неэффективных трат.&lt;/p&gt;
  &lt;h2 id=&quot;YfTy&quot;&gt;&lt;strong&gt;Основные методы измерения инкрементальности&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;X3lT&quot;&gt;Существует несколько методик проведения таких A/B-тестов в ремаркетинге. Главным образом они различаются тем, &lt;strong&gt;как обращаются с контрольной группой&lt;/strong&gt; и какой компромисс между точностью измерений и затратами приходится принимать. Рассмотрим четыре основных подхода: &lt;strong&gt;Intent-to-Treat (ITT)&lt;/strong&gt;, &lt;strong&gt;PSA&lt;/strong&gt;, &lt;strong&gt;Ghost Ads&lt;/strong&gt; и &lt;strong&gt;Ghost Bids&lt;/strong&gt; – их суть, плюсы и минусы.&lt;/p&gt;
  &lt;figure id=&quot;DDlV&quot; class=&quot;m_retina&quot;&gt;
    &lt;img src=&quot;https://img1.teletype.in/files/c8/01/c801994f-07c4-4a54-8e89-3e8c37165872.png&quot; width=&quot;1213&quot; /&gt;
  &lt;/figure&gt;
  &lt;h2 id=&quot;x7xa&quot;&gt;&lt;strong&gt;Метод Intent-to-Treat (ITT)&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;4BFY&quot;&gt;&lt;strong&gt;Intent-to-Treat&lt;/strong&gt; (с англ. &lt;em&gt;«намерение лечить»&lt;/em&gt;) – базовый метод измерения инкрементальности, заимствованный из медицины. Его иногда называют &lt;em&gt;holdout&lt;/em&gt;-тестом. Суть его проста: мы отмечаем определенный процент пользователей как контроль и &lt;strong&gt;совсем не показываем им нашу рекламу&lt;/strong&gt;, а остальным (тестовой группе) реклама показывается как обычно. В итоге сравниваем всю тестовую группу (включая тех, кто фактически увидел рекламу, и тех, кто по каким-то причинам не увидел) с контрольной группой, которая рекламу не видела.&lt;/p&gt;
  &lt;p id=&quot;SE5k&quot;&gt;&lt;strong&gt;Плюсы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;cNcc&quot;&gt;• Метод максимально &lt;strong&gt;простой в реализации и понимании&lt;/strong&gt;. Его легко настроить: достаточно случайно разделить аудиторию и удержать часть пользователей от показов рекламы. Также результаты легко проверить: контрольная группа не контактировала с рекламой, что упрощает анализ.&lt;/p&gt;
  &lt;p id=&quot;a5EB&quot;&gt;• &lt;strong&gt;Отсутствие дополнительных затрат&lt;/strong&gt; на контрольную группу. Поскольку контролю мы просто не показываем объявления, нам не нужно тратить бюджет на эту группу (в отличие от некоторых других методов). Это делает ITT относительно недорогим способом тестирования инкрементальности.&lt;/p&gt;
  &lt;p id=&quot;Vq5G&quot;&gt;&lt;strong&gt;Минусы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;Oi7t&quot;&gt;• Главная проблема – &lt;strong&gt;«шум» данных (noise)&lt;/strong&gt; из-за неэкспонированных пользователей в тестовой группе. Не все пользователи тестовой группы реально увидят рекламу (например, некоторые могут не заходить в приложения с показами или мы проиграли аукцион за показ). Эти &lt;strong&gt;неэкспонированные пользователи размывают разницу&lt;/strong&gt; между тестом и контролем, затрудняя измерение эффекта  . Аналогия: если бросить маленький камень в ведро воды и такой же – в большой бассейн, то изменение уровня воды в ведре заметить гораздо легче . Здесь “камень” – эффект рекламы, а “бассейн” – большая масса пользователей, не видевших объявлений, создающих статистический шум.&lt;/p&gt;
  &lt;p id=&quot;lZZG&quot;&gt;• Для достоверного результата &lt;strong&gt;нужен достаточный охват&lt;/strong&gt; в тестовой группе. Исследования показывают, что требуется порядка &lt;em&gt;40–50% пользователей тестовой группы реально показать объявления&lt;/em&gt;, иначе вклад рекламы утонет в шуме . Добиться такого процента показа зачастую сложно и дорого, особенно для больших аудиторий – нужен серьезный бюджет, чтобы охватить рекламой почти половину тестовой выборки.&lt;/p&gt;
  &lt;p id=&quot;B4yf&quot;&gt;• Возможен соблазн сравнивать только пользователей, которые увидели рекламу, с контролем, чтобы снизить шум. Однако такое &lt;strong&gt;исключение неэкспонированных пользователей приводит к смещению выборки&lt;/strong&gt; – мы начинаем сравнивать “самых активных” из теста с средним контролем, что искажает результат  . Поэтому корректно сравнивать именно всю тестовую группу целиком (несмотря на шум), либо применять более изощренные методы снижения шума.&lt;/p&gt;
  &lt;h2 id=&quot;jWrS&quot;&gt;&lt;strong&gt;Метод PSA (Public Service Ads)&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;97qW&quot;&gt;&lt;strong&gt;PSA (Public Service Ads)&lt;/strong&gt; – метод «плацебо-рекламы» для контроля. Вместо того чтобы оставлять контрольную группу вообще без объявлений, ей показывают &lt;strong&gt;постороннюю рекламу, не связанную с нашим продуктом&lt;/strong&gt;. Чаще всего это социальная реклама общего характера – например, баннеры Красного Креста, призывы «не садись пьяным за руль» и т.п. . Тестовая же группа по-прежнему видит нашу ремаркетинговую рекламу. Таким образом, &lt;strong&gt;обе группы получают показы&lt;/strong&gt;, просто у контроля это нерелевантные объявления.&lt;/p&gt;
  &lt;p id=&quot;tA1q&quot;&gt;&lt;strong&gt;Плюсы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;cq4t&quot;&gt;• &lt;strong&gt;Полное устранение шума.&lt;/strong&gt; Поскольку и тест, и контроль получают определенные показы, мы можем исключить из рассмотрения тех, кто не видел ни одного объявления. Сравнение ведется между &lt;strong&gt;реально экспонированными пользователями&lt;/strong&gt; в обеих группах . Фактически мы измеряем разницу между воздействием нашей рекламы и воздействием нейтральной «плацебо»-рекламы, убирая фактор неэкспонированных вовсе пользователей. Это сводит шум к нулю, делая тест максимально чувствительным .&lt;/p&gt;
  &lt;p id=&quot;aNhf&quot;&gt;• &lt;strong&gt;Простота реализации на уровне кампаний.&lt;/strong&gt; Технически настроить PSA-тест несложно: создаются две кампании с идентичными настройками и аудиторией – одна показывает наши баннеры (тест), другая – случайные PSA-баннеры (контроль). Нужно лишь подготовить креативы для контрольной группы . Многие рекламные платформы поддерживают библиотеку готовых PSA-объявлений, что упрощает запуск. Таким образом, реализовать такой тест почти так же легко, как обычный сплит-кампаний.&lt;/p&gt;
  &lt;p id=&quot;f2Ny&quot;&gt;&lt;strong&gt;Минусы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;xa8B&quot;&gt;• &lt;strong&gt;Высокая стоимость и отсутствие окупаемости.&lt;/strong&gt; Рекламодатель фактически тратит бюджет на показы в контрольной группе, не получая от них прямой выгоды . Эти средства «сгорают» на социальную рекламу. Для разового эксперимента такие затраты еще можно заложить, но проводить &lt;em&gt;PSA&lt;/em&gt;-тесты на постоянной основе экономически тяжело – прибыль кампании будет уменьшаться за счет затрат на контроль . В долгосрочной перспективе выделять значимый процент бюджета на нерелевантные показы мало кто готов.&lt;/p&gt;
  &lt;p id=&quot;I9oo&quot;&gt;• &lt;strong&gt;Риск некорректного сравнения из-за различий в рекламе.&lt;/strong&gt; Если подход реализован неправильно, можно сравнить «теплое с мягким». Алгоритмы показа рекламы будут оптимизировать две кампании по-разному, ведь объявления в тесте и контроле принципиально различаются . К примеру, система может подбирать в тестовой кампании аудиторию, склонную к конверсии на коммерческий оффер, а в контрольной – просто людей, реагирующих на социальные сообщения. В результате мы получим несопоставимые группы пользователей (условно, любители спортивных товаров vs. сочувствующие благотворительности), и тест исказится . Исследователи отмечают, что PSA-тест может привести к неверным выводам – от излишнего оптимизма до ложных отрицательных результатов .&lt;/p&gt;
  &lt;p id=&quot;NlOc&quot;&gt;• &lt;strong&gt;Нет учета конкурентного эффекта.&lt;/strong&gt; Когда мы показываем тестовой группе свою рекламу, мы не только стимулируем ее, но и &lt;strong&gt;перекрываем возможность конкурентам показать этим же пользователям свою рекламу&lt;/strong&gt;. В классическом holdout-тесте (ITT) контрольная группа могла видеть объявления конкурентов, в то время как тестовая – нет, и эффект нашего кампании включает этот «оборонительный» компонент . В PSA-контроле же место конкурента занимает наше PSA-объявление, поэтому мы как бы не даем конкуренту показать рекламу и контрольной группе. Это искажает реальность – ведь в обычной ситуации без нашей кампании эти пользователи могли увидеть рекламу конкурентов и уйти к ним. PSA-метод &lt;strong&gt;не измеряет защитный эффект&lt;/strong&gt; нашей рекламы от перетекания аудитории к соперникам , из-за чего вклад кампании может выглядеть менее значительным, чем в действительности.&lt;/p&gt;
  &lt;p id=&quot;qbcK&quot;&gt;• &lt;strong&gt;Не подходит для «умных» авто-оптимизируемых кампаний.&lt;/strong&gt; Современные рекламные платформы с автоматическим управлением ставками и бюджетами могут мешать чистоте PSA-эксперимента. К примеру, если использовать две параллельные кампании (тестовую и контрольную) на одной платформе, алгоритм может распределять ресурсы неравномерно. В худшем случае система начнет &lt;strong&gt;оптимизировать контрольную PSA-кампанию под клики/показы&lt;/strong&gt;, отвлекая бюджет от тестовой, или наоборот. Это делает результаты непредсказуемыми. В целом, любые автоматические оптимизации нужно отключать ради чистоты эксперимента, что не всегда возможно.&lt;/p&gt;
  &lt;p id=&quot;rWbm&quot;&gt;&lt;em&gt;(Примечание: Несмотря на перечисленные сложности, PSA-метод ценен тем, что полностью устраняет статистический шум. Его можно применять для единоразовых измерений инкрементальности, если бюджет позволяет покрыть расходы на контрольную группу и если тщательно проконтролировать, чтобы обе группы были сопоставимы.)&lt;/em&gt;&lt;/p&gt;
  &lt;h2 id=&quot;fOBU&quot;&gt;&lt;strong&gt;Метод Ghost Ads (&amp;quot;Призрачные объявления&amp;quot;)&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;5U9h&quot;&gt;&lt;strong&gt;Ghost Ads&lt;/strong&gt; – продвинутый метод, часто называемый «магическим трюком» инкрементальности . Он стремится объединить плюсы ITT и PSA, устранив их минусы. Идея в том, что &lt;strong&gt;контрольная группа не остается пустой и при этом не требует расходов со стороны рекламодателя&lt;/strong&gt;. Как же так? Вместо того чтобы искусственно показывать контролю наше «плацебо»-объявление, платформа отмечает, &lt;strong&gt;какие пользователи из контрольной группы могли бы увидеть наш баннер&lt;/strong&gt;, если бы мы его показали . Реализуется это на уровне рекламных аукционов: при каждом появлении пользователя из контрольной группы в рекламном слоте, система &lt;em&gt;симулирует ставку&lt;/em&gt; (как будто пытается показать ему наше объявление) – но реального показа не происходит . Затем фиксируется результат этой «призрачной ставки»: если бы она выиграла аукцион, то пользователь получил бы наш показ, и мы помечаем такого пользователя как &lt;strong&gt;«условно экспонированного»&lt;/strong&gt; (ghost impression) в контрольной группе . Если же призрачная ставка не превысила реальную ставку победившего в аукционе конкурента, значит, этот пользователь и так не увидел бы нашу рекламу – он остается среди неэкспонированных контроля. Таким образом, в контрольной группе &lt;strong&gt;нет реальных показов наших объявлений и, соответственно, нулевые затраты&lt;/strong&gt;, но мы получаем данные о том, кто из контроля &lt;strong&gt;гипотетически получил бы показ&lt;/strong&gt;, окажись он в тесте.&lt;/p&gt;
  &lt;p id=&quot;vWfL&quot;&gt;&lt;strong&gt;Плюсы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;SkTn&quot;&gt;• &lt;strong&gt;Отсутствие затрат на контроль и отсутствие шума.&lt;/strong&gt; Метод Ghost Ads дает, по сути, идеальный эксперимент &lt;em&gt;без стоимости&lt;/em&gt; для рекламодателя . Контрольная группа видит обычные для нее чужие объявления, оплаченные другими рекламодателями, поэтому мы не тратим бюджет, как в PSA . При этом мы знаем, кто в контроле &lt;em&gt;мог бы&lt;/em&gt; быть охвачен нашей кампанией, то есть можем отфильтровать неэкспонированных, аналогично PSA, и убрать шум из сравнения . Выходим на сравнение «показы vs. отсутствие показов» в чистом виде, но не платим за пустые показы – в теории, идеальная ситуация .&lt;/p&gt;
  &lt;p id=&quot;HxGy&quot;&gt;• &lt;strong&gt;Минимизация bias (систематических искажений).&lt;/strong&gt; Благодаря рандомизации и отсутствию вмешательства в естественный аукцион, Ghost Ads снижает проблему &lt;em&gt;selection bias&lt;/em&gt;, присущую наивному ITT. Мы не исключаем пользователей вручную – контрольная группа формируется случайно, и отмеченные в ней «призрачные показы» также определяются случайными условиями аукционов. Таким образом, сравнение остается честным и беспристрастным, приближаясь к идеалу RCT (рандомизированного контролируемого эксперимента) в рекламе.&lt;/p&gt;
  &lt;p id=&quot;ip6W&quot;&gt;&lt;strong&gt;Минусы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;zpkY&quot;&gt;• &lt;strong&gt;Сложность проверки и зависимость от технологий.&lt;/strong&gt; Для рекламодателя метод Ghost Ads — во многом “черный ящик”. Чтобы определить, кто из контроля &lt;em&gt;получил бы&lt;/em&gt; наш показ, нужна глубокая интеграция с системой показа рекламы и данными рекламных аукционов. Чаще всего &lt;strong&gt;самостоятельно воспроизвести и верифицировать такой тест почти невозможно&lt;/strong&gt; . Платформы зачастую не раскрывают полные данные аукциона (например, ценовые пороги и ставки победителей) , поэтому проверить, действительно ли та или иная призрачная ставка выиграла бы показ, рекламодатель не может. Приходится &lt;strong&gt;доверять отчету рекламной платформы на слово&lt;/strong&gt; . Очевидно, если эта же платформа заинтересована показать хороший результат (например, внутри walled garden вроде Facebook/Google), возникают конфликты интересов. Встает вопрос: готовы ли мы верить, скажем, Facebook на слово в оценке воздействия его же рекламы?  Это вызывает сомнения у многих рекламодателей.&lt;/p&gt;
  &lt;p id=&quot;vP7T&quot;&gt;• &lt;strong&gt;Ограниченная применимость в узких сегментах ремаркетинга.&lt;/strong&gt; В модели Ghost Ads есть скрытое требование: чтобы корректно отметить призрачный показ, нужна &lt;strong&gt;альтернатива в виде другого рекламодателя, заинтересованного в том же пользователе&lt;/strong&gt;. В user acquisition (привлечение новых пользователей) это обычно выполняется – каждый потребитель видит тонны разной рекламы от разных брендов, и если не мы, то кто-то другой покажет ему объявление . Но в узкой ремаркетинговой кампании бывает, что на пользователя претендуем практически только мы. Например, если это пользователь нашего приложения с редким платящим поведением, в данный момент кроме наших объявлений ему мало кто таргетирует рекламу. &lt;strong&gt;Если у пользователя нет других показов, метод Ghost Ads теряет смысл&lt;/strong&gt; – некому «подхватить» пользователя в контроле, аукционы могут просто не случаться. В итоге мы не сможем пометить достаточно «призрачно экспонированных» в контрольной группе, и сравнение станет малоинформативным. Поэтому считается, что классическая схема Ghost Ads хорошо работает для широкого программатиκ-баинга и привлечения пользователей, но &lt;strong&gt;хуже подходит для узкоцелевого ремаркетинга&lt;/strong&gt; .&lt;/p&gt;
  &lt;p id=&quot;Vqno&quot;&gt;• &lt;strong&gt;Сложность внедрения.&lt;/strong&gt; Даже технически продвинутые рекламные партнеры не всегда предлагают Ghost Ads. Метод требует &lt;strong&gt;реализации на уровне SSP/DSP&lt;/strong&gt; (платформы продажи или покупки трафика), и далеко не каждая площадка поддерживает функционал призрачных ставок. На практике такую методику полноценно реализовали лишь крупнейшие игроки рынка и отдельные специализированные платформы. Для рекламодателя это означает ограниченный выбор – либо работать с тем, кто предоставляет Ghost Ads измерения, либо искать альтернативу.&lt;/p&gt;
  &lt;h2 id=&quot;BjJ7&quot;&gt;&lt;strong&gt;Метод Ghost Bids (&amp;quot;Призрачные ставки&amp;quot;)&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;BahR&quot;&gt;&lt;strong&gt;Ghost Bids&lt;/strong&gt; – это методика, разработанная специально для инкрементальности в ремаркетинге, во многом навеянная идеей Ghost Ads, но адаптированная под ограничения узких аудиторий. Термин вошел в обиход благодаря компании Remerge, которая предложила данный подход в 2019 году . Основная цель Ghost Bids – &lt;strong&gt;максимально убрать шум и не тратить бюджет на контрольную группу&lt;/strong&gt;, сделав при этом метод пригодным для небольших сегментов аудитории.&lt;/p&gt;
  &lt;p id=&quot;tFh3&quot;&gt;Как работает Ghost Bids: сначала из выборки &lt;strong&gt;исключают всех пользователей, до которых в принципе нельзя дотянуться рекламой&lt;/strong&gt; (например, они давно не выходят в сеть, не пользуются приложениями с рекламой, или у них новые устройства без наших трекеров) . Остаются только &lt;em&gt;«достижимые»&lt;/em&gt; пользователи – те, кого мы &lt;strong&gt;видим на рекламных площадках и можем теоретически закупить для них показ&lt;/strong&gt; . Эти оставшиеся пользователи случайно делятся на тест и контроль. Далее &lt;strong&gt;тестовая группа получает обычные показы&lt;/strong&gt; (реальные ставки в аукционах, баннеры нашей кампании – как в ITT) . А вот &lt;strong&gt;контрольная группа вообще не видит нашу рекламу&lt;/strong&gt;, но для целей измерения система отмечает, &lt;strong&gt;когда пользователь контроля был бы достигнут&lt;/strong&gt;. Проще говоря, при каждом появлении пользователя из контрольной группы на рекламной бирже система &lt;strong&gt;фиксирует «призрачную ставку»&lt;/strong&gt; – факт, что мы &lt;em&gt;могли&lt;/em&gt; бы показать ему объявление (но не показываем намеренно) . &lt;strong&gt;Важно:&lt;/strong&gt; если пользователь вообще не появлялся в рекламной сети за период кампании, он изначально был отфильтрован и не входит ни в тест, ни в контроль – то есть полностью устранены «мертвые души», создающие шум . В итоге по завершении теста у нас есть:&lt;/p&gt;
  &lt;p id=&quot;bcxe&quot;&gt;• Тестовая группа: пользователи, которые были доступны и получали наши показы (некоторая их часть реально увидела баннер хотя бы раз, некоторая – могла появиться, но мы не выиграли аукцион или не успели показать).&lt;/p&gt;
  &lt;p id=&quot;v157&quot;&gt;• Контрольная группа: сопоставимые пользователи, которые были доступны на тех же площадках, но не получили наши показы (при этом для части из них зафиксированы &lt;em&gt;«призрачные ставки»&lt;/em&gt;, означающие, что если бы они были в тесте, им бы показали баннер)  .&lt;/p&gt;
  &lt;p id=&quot;PRBt&quot;&gt;Далее сравниваются результаты (конверсии, доходы и т.д.) между этими группами, аналогично другим методам. Благодаря фильтрации &lt;strong&gt;шум значительно ниже, чем в классическом ITT&lt;/strong&gt;, ведь мы не разбавляем тест пользователями, которые все равно никогда не увидели бы рекламу . Контрольная группа тоже очищена от полностью недосягаемых, что делает ее поведение более релевантным для сравнения. Метод остается &lt;strong&gt;бесплатным в плане контроля&lt;/strong&gt; – мы не закупаем показы специально, просто отслеживаем доступность пользователей . По сути, Ghost Bids – это улучшенная версия ITT, где контроль более «чистый», а тест фокусируется на реальной адресной аудитории.&lt;/p&gt;
  &lt;p id=&quot;SB7G&quot;&gt;&lt;strong&gt;Плюсы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;idAB&quot;&gt;• &lt;strong&gt;Практически нулевые дополнительные затраты.&lt;/strong&gt; Как и ITT, данный метод не требует платить за показы для контроля – контрольная группа просто не получает рекламу. Все расходы идут только на тестовую кампанию (как и должно быть). Для маркетолога это значит, что &lt;strong&gt;инкрементальность можно измерять на постоянной основе&lt;/strong&gt;, не «съедая» бюджет холостыми показами, что было бы нереально с PSA .&lt;/p&gt;
  &lt;p id=&quot;yz2j&quot;&gt;• &lt;strong&gt;Существенно более чистый сигнал (меньше шума).&lt;/strong&gt; Отфильтровав недостижимых пользователей, мы получаем ситуацию, близкую к PSA по точности: сравниваем пользователей, которые действительно могли видеть рекламу  . Шум от неэкспонированных заметно сокращается – «ведро» вместо «бассейна» в терминах нашей analogии. Это повышает статистическую значимость теста и позволяет уловить даже небольшой прирост от кампании.&lt;/p&gt;
  &lt;p id=&quot;b4Ok&quot;&gt;• &lt;strong&gt;Пригоден для узких аудиторий ретаргетинга.&lt;/strong&gt; В отличие от классического Ghost Ads, метод Ghost Bids не требует наличия сторонних показов для контрольной группы – нам достаточно факта появления пользователя на бирже. Даже если кроме нас никто не хочет показывать объявление этому пользователю, он все равно участвует в тесте (при условии, что мы его видим в рекламной сети). Таким образом, метод хорошо работает именно в ремаркетинге, с узкими сегментами и специфичными пользователями . Это подтверждается практикой: Ghost Bids внедрен специализированными платформами ремаркетинга и показал эффективность на реальных кампаниях.&lt;/p&gt;
  &lt;p id=&quot;NaPj&quot;&gt;• &lt;strong&gt;Баланс между простотой ITT и точностью PSA/Ghost Ads.&lt;/strong&gt; По сути, Ghost Bids – компромиссное решение, взявшее лучшее от других методов. Оно сохраняет простоту эксперимента ITT (рандомизировали пользователей, контроль ничего не получает) и близкую к PSA точность измерения (минимум «пустых» пользователей в выборках) . При этом метод не требует сложных манипуляций с двумя разными кампаниями или оплаты контроля, что делает его удобным для постоянного мониторинга инкрементальности.&lt;/p&gt;
  &lt;p id=&quot;x8oM&quot;&gt;&lt;strong&gt;Минусы:&lt;/strong&gt;&lt;/p&gt;
  &lt;p id=&quot;VDJP&quot;&gt;• &lt;strong&gt;Требует технической реализации на стороне рекламной платформы.&lt;/strong&gt; Самостоятельно рекламодателю провести точный Ghost Bids-тест затруднительно – нужна поддержка со стороны программатик-партнера. Требуется инструмент, который будет отслеживать появление пользователей контроля на бирже и помечать «призрачные ставки». Как правило, такие решения предлагаются продвинутыми партнерами по ремаркетингу (например, Remerge). Если же платформа не поддерживает Ghost Bids, то реализовать метод вручную невозможно, и придется ограничиваться ITT или PSA.&lt;/p&gt;
  &lt;p id=&quot;T8Rh&quot;&gt;• &lt;strong&gt;Небольшой остаточный шум и допущения.&lt;/strong&gt; Хотя Ghost Bids и сокращает шум, он не устраняет его на 100%. В контрольной группе все равно остаются пользователи, которые &lt;strong&gt;были доступны, но не получили бы показ даже будучи в тесте&lt;/strong&gt; (например, мы участвовали бы в аукционе, но проиграли, или показ технически не отобразился) . Их поведение включается в общую статистику контроля и может слегка смазывать эффект. Теоретически можно попытаться предсказать, кто из контроля точно получил бы показ, но любое предсказание может внести смещение и нарушить чистоту эксперимента . Поэтому принимается компромисс: небольшой «хвост» неэкспонированных всё же остается, но он значительно меньше, чем в классическом ITT. Это ограничение означает, что при очень малом инкрементальном эффекте результаты все еще могут быть статистически незначимыми – однако на практике Ghost Bids показал себя достаточно чувствительным для большинства задач ретаргетинга.&lt;/p&gt;
  &lt;p id=&quot;2fQz&quot;&gt;• &lt;strong&gt;Сложность коммуникации результатов.&lt;/strong&gt; Отчет по Ghost Bids-тесту может быть чуть труднее объяснить бизнес-стейкхолдерам, незнакомым с терминологией. В отличие от наглядного PSA (где контроль «видел другую рекламу») или простого ITT («контроль ничего не видел»), здесь приходится объяснять понятие «призрачных показов» и почему контроль очищался от части пользователей. Это скорее организационный минус: команде важно единообразно понимать метод, чтобы доверять выводам.&lt;/p&gt;
  &lt;h2 id=&quot;Tzu8&quot;&gt;&lt;strong&gt;Выводы и рекомендации&lt;/strong&gt;&lt;/h2&gt;
  &lt;p id=&quot;vyuU&quot;&gt;&lt;strong&gt;Инкрементальное тестирование – необходимый инструмент&lt;/strong&gt; для понимания реальной эффективности ремаркетинга. Оно позволяет перейти от простого подсчета приписанных конверсий к научному подходу, определяя, какая доля результатов &lt;em&gt;действительно вызвана&lt;/em&gt; нашими рекламными усилиями . Рассмотренные методы предлагают разный баланс между простотой, ценой и точностью, поэтому маркетинговой команде важно правильно выбрать подход под свои цели и ресурсы.&lt;/p&gt;
  &lt;p id=&quot;rORn&quot;&gt;• &lt;strong&gt;Когда использовать ITT:&lt;/strong&gt; если вы только начинаете измерять инкрементальность или у вас ограниченный бюджет/инфраструктура, метод &lt;em&gt;Intent-to-Treat&lt;/em&gt; – отправная точка. Он легко реализуем и не требует ничего, кроме как выделить контрольную группу и не показывать ей рекламу . ITT даст общее представление о приросте от кампании. Однако помните, что для надежных результатов нужно обеспечить достаточно показов в тесте; если охват невысок, эффект может скрыться в шуме . ITT хорошо подходит для разовых «замеров температуры» – например, понять, стоит ли вообще вкладываться в ремаркетинг, если отключить его на 10-20% пользователей.&lt;/p&gt;
  &lt;p id=&quot;K6RM&quot;&gt;• &lt;strong&gt;Когда использовать PSA:&lt;/strong&gt; если точность критически важна (например, нужно отчитаться перед руководством с максимально чистыми данными) и есть готовность пожертвовать частью бюджета на эксперимент, &lt;em&gt;PSA&lt;/em&gt;-метод даст наиболее однозначный результат. Он полностью устраняет шум, позволяя выявить даже небольшой uplift с высокой статистической значимостью . PSA-тест может быть полезен как &lt;strong&gt;разовое мероприятие&lt;/strong&gt; – например, при калибровке нового канала или проверке работы нового партнера по ремаркетингу. Но помните о его ограничениях: такие тесты дорого обходятся и их сложно поддерживать постоянно . Кроме того, тщательно следите за корректностью настройки – убедитесь, что контрольная реклама достаточно нейтральна и алгоритмы не перекосили аудиторию . PSA лучше проводить на коротком промежутке и с помощью опытных аналитиков, чтобы избежать методологических ловушек.&lt;/p&gt;
  &lt;p id=&quot;AAJG&quot;&gt;• &lt;strong&gt;Когда использовать Ghost Ads:&lt;/strong&gt; классический метод &lt;em&gt;Ghost Ads&lt;/em&gt; скорее теоретический идеал, чем повседневный инструмент для ремаркетолога. Он пригоден в тех случаях, когда у вас есть &lt;strong&gt;техническая возможность и партнер&lt;/strong&gt;, способный прозрачно эмулировать призрачные показы. Это чаще встречается при работе с крупными экосистемами или специализированными DSP, где есть доступ к логам аукционов. Для &lt;strong&gt;широких рекламных кампаний (особенно на привлечение новых пользователей)&lt;/strong&gt; Ghost Ads – отличное решение, дающее точный результат без лишних затрат. Однако в узких ремаркетинговых кампаниях его применение ограничено – если ваша аудитория уникальна и кроме вас ей мало кто показывает рекламу, толку от Ghost Ads не будет . В целом, рядовой маркетинговой команде стоит знать про Ghost Ads как про «золотой стандарт» измерения инкрементальности, но реализовать его самостоятельно почти нереально . Если у вашего рекламного партнера есть такая услуга – отлично, можно ею воспользоваться для важного эксперимента. Но будьте готовы доверять провайдеру, так как проверить самостоятельно корректность данных практически невозможно.&lt;/p&gt;
  &lt;p id=&quot;gwCl&quot;&gt;• &lt;strong&gt;Когда использовать Ghost Bids:&lt;/strong&gt; для &lt;strong&gt;регулярного измерения инкрементальности ремаркетинга&lt;/strong&gt; Ghost Bids – наиболее практичный подход на сегодняшний день. Если вы сотрудничаете с платформой, предлагающей такой функционал (например, Adikteev, Remerge и др., у которых метод встроен под разными названиями), имеет смысл задействовать его на постоянной основе. Ghost Bids позволяет отслеживать uplift &lt;strong&gt;континуально, без пауз&lt;/strong&gt;, и оперативно замечать изменения эффективности кампаний. Этот метод особенно хорош, когда вы оптимизируете бюджет между разными каналами и нужно регулярно получать сигнал, дает ли ремаркетинг дополнительный доход или же начинает каннибализировать органику. Имейте в виду, что внедрение Ghost Bids требует определенной подготовки (обсудить сегменты, долю контроля, техническую интеграцию) – обычно партнер берет эти задачи на себя. По результатам отраслевых обзоров, грамотное использование Ghost Bids делает мобильный ремаркетинг более прозрачным и &lt;strong&gt;меряемым каналом, с правильно выстроенными стимулами для всех участников&lt;/strong&gt; . Поэтому, если доступен, Ghost Bids можно рекомендовать как &lt;em&gt;«best practice»&lt;/em&gt; для продвинутых команд.&lt;/p&gt;
  &lt;p id=&quot;Vq43&quot;&gt;В заключение, &lt;strong&gt;любая инкрементальность лучше, чем ее отсутствие&lt;/strong&gt;. Даже простой holdout-тест лучше, чем слепо доверять последнему клику или интуиции. Начните с базового метода, оцените, есть ли ощутимый прирост, и по мере роста экспертизы переходите к более точным методам.&lt;/p&gt;

</content></entry></feed>