контрфактична база

Також називають: очікувана база, очікувану базу

Яким був би показник без зміни, оцінений через контрольну групу: база × ріст контрольної групи. Приріст = факт − очікуване.

«Сире» порівняння «до і після» кампанії змішує дві речі: що зробила кампанія і що сталося б і так (сезон, тренд ринку, свято). Контрфактична база оцінює другу частину через контрольну групу (holdout) — порівнянну групу чи регіон без кампанії.

Якщо контроль виріс на g, тестова група без кампанії, найімовірніше, виросла б на ті самі g:

$\text{очікуване} = \text{до} \times (1 + g), \quad \text{приріст} = \text{факт} - \text{очікуване}$

Витрати потім ділять на приріст, а не на все, що сталося: вартість додаткової рекомендації, інкрементальний CAC. Ділення на всі результати враховує клієнтів, які прийшли б і так, і робить кампанію набагато дешевшою, ніж вона є.

Приклад

Рекомендації в тестовому регіоні зросли з 400 до 560; контрольний регіон виріс із 300 до 330 (+10%).

Очікувано: 400 × 1,10 = 440.
Приріст: 560 − 440 = 120.
За вартості 36 000 грн: 300 грн за додаткову рекомендацію, а не 36 000 ÷ 560 = 64.

Типові помилки

Ділити витрати на всі результати. Діли на додаткові.
Віднімати кількість у контролі замість застосувати його темп росту.
Непорівнянна контрольна група (інший розмір, сезон чи аудиторія) дає зміщену базу.

Вивчити в курсі

На що ділимо? Пастки знаменника · ARPU чи ARPPU, LTV на користувача когорти чи на того, хто лишився, частка виграних угод з «без рішення» чи без, валова й чиста маржа, концентрація з елементом у сумі та приріст проти контрольної групи.
Потоки: клієнти й гроші · Одне правило для кожного запасу, кінець = початок + прихід − відплив: MRR, відтік, NRR і GRR; прибуток проти грошей, оборотний капітал, DSO і запас ходу; окупність CAC та інкрементальність проти контрольної групи.