Як читати воронку: цензурування справа і діапазони дат

Дані, вивантажені 31 серпня, містять усі реєстрації з 6 липня по 30 серпня. З найновішого тижня, 24–30 серпня, першу витрату на сьогодні додали 7 з 24 користувачів: 7 ÷ 24 = 0,292 ≈ 29,2%. Схоже на катастрофу. Але нічого не зламалося.

Ці користувачі зареєструвалися від одного до семи днів до вивантаження. Хто приєднався 30-го, мав лише один день. Їхню часову лінію обрізано справа, у момент вивантаження, тож ми ще не знаємо, що вони зроблять. Це цензурування справа, а дані, які воно дає, — цензуровані.

Головне: цензурований користувач без першої витрати — не нуль. Це «ще ні». Їхня частка зростатиме найближчими днями, коли дійдуть ті, хто конвертується пізніше.

Тож число воронки для недавньої когорти — мінімум, а не результат. Перш ніж реагувати на провал найновішого тижня, спитай, скільки днів мали його користувачі порівняно з вікном, яке тебе цікавить. Якщо менше, провал — це календар, а не продукт.

Цензурування справа має дзеркальне відображення. Рекорд Maya, тиждень 3 з 83,3%, — теж частка «на сьогодні», але тиждень 3 мав близько шести тижнів, щоб її наростити. Частка «на сьогодні» винагороджує старі когорти просто за вік.

Виправлення має два правила:

1. Однакове фіксоване вікно конверсії для всіх. Рахувати першу витрату лише в дні 0–6 після реєстрації. З цим вікном тиждень 3 — це 13 ÷ 24 = 54,2%: як тижні 2 і 6 і менше, ніж тиждень 7 (58,3%).
2. Лише когорти, що прожили все вікно. Якщо дані вивантажено 31 серпня, кожен, хто зареєструвався до 23 серпня, мав 7 повних днів, тож тижні 1–7 завершені, а тиждень 8 — ні.

У семи завершених тижнях: 168 реєстрацій, 83 перші витрати за 7 днів, 83 ÷ 168 = 0,494 ≈ 49,4%.

На графіку незавершений тиждень або не показують, доки не закриється його вікно (тут 6 вересня), або показують сірим із позначкою «неповні дані». Порівнювати частку за 7 днів однієї когорти з часткою за шість тижнів іншої — це порівнювати дві різні метрики.

Інтуїція Theo звучить статистично: «більше користувачів у середньому — точніше число». Усередни усі вісім тижнів, разом із незавершеним, і отримаєш (83 + 7) ÷ 192 = 0,469 ≈ 46,9% замість 49,4%.

Проблема не в точності, а в зміщенні. 24 користувачі тижня 8 ще не прожили своїх 7 днів. Кожен із них, хто додасть першу витрату на 3, 4, 5 чи 6-й день, сьогодні рахується як неконвертований. Додавши їх, оцінку не уточнюєш, а тягнеш вниз на передбачувану величину, бо частину вибірки виміряно на коротшому вікні.

Точність і зміщення — різні речі:

• точність зростає з більшою кількістю користувачів, виміряних однаково;
• зміщення виникає, коли частину користувачів міряють інакше, і більше даних його не лікує.

Правило просте: незавершена когорта ніколи не йде в середнє разом із завершеними. Дочекайся, поки закриється її вікно, і тоді включай. До того показуй її окремо з позначкою «неповні дані» або не показуй зовсім.

Місячний звіт Theo бере перші витрати з датою в серпні (67) і ділить на реєстрації з датою в серпні (103): 65%. Схоже на конверсію воронки, але чисельник і знаменник — різні люди.

• 10 із 67 перших витрат належать користувачам, які зареєструвалися наприкінці липня. Вони є в чисельнику, але не в знаменнику.
• Багато серпневих реєстрацій, особливо з 24-го, ще не прожили своїх 7 днів. Вони є в знаменнику, а їхні конверсії ще попереду.

Правило для воронок: діапазон дат обирає, хто входить. Далі стежиш за тими самими людьми протягом їхнього вікна, на які б дати не припадали наступні кроки. Перша витрата 3 серпня від людини, що зареєструвалася 30 липня, належить липневій когорті.

Спрощення «події за період ÷ входи за той самий період» поширене в дашбордах, бо його легко порахувати. У стабільному місяці воно навіть може давати правдоподібні числа. Але щойно кількість реєстрацій змінюється від місяця до місяця або вікно перетинає межу місяця, воно змішує когорти й пливе.

Місячне число воронки — це нормально, якщо його збудовано з когорти. Для серпневого звіту Theo поєднай обидва правила цього уроку:

1. Вхід за датою реєстрації: користувачі, що зареєструвалися в серпні.
2. Лише завершені вікна: дані вивантажено 31 серпня, вікно — 7 днів, тож повні 7 днів мали лише реєстрації до 23 серпня.

Отже, когорта — реєстрації з 1 по 23 серпня: 79 користувачів. З них 39 мають first_expense_day від 0 до 6. 39 ÷ 79 = 0,494 ≈ 49,4%.

Порівняй з 65,0% у Theo. Різниця майже в 16 пунктів — повністю від побудови: липневі користувачі в чисельнику, незавершені серпневі в знаменнику. Із самими серпневими користувачами нічого не змінилося.

Те, що серпнева когорта дає ті самі 49,4%, що й усі сім завершених тижнів, не випадковість: у тижневих частках немає тренду, тож будь-який чесний зріз потрапляє приблизно на той самий рівень. Такий збіг — корисна перевірка здорового глузду. Коли чесний зріз і спрощення розходяться настільки, довіряй когорті.

Останній тиждень серпня увійде в серпневе число, коли закриється його вікно, 6 вересня.

Щоб оцінити пуш «поділи свою першу вечерю» в тижні 3, потрібна база, виміряна так само: те саме вікно, завершені когорти, сусідні тижні.

Чотири липневі тижні реєстрацій, з 6 липня по 2 серпня, дають 96 користувачів. За 7 днів: 9 + 13 + 13 + 11 = 46 перших витрат. 46 ÷ 96 = 0,479 ≈ 47,9%.

Тиждень 3, тиждень пуша, — це 13 ÷ 24 = 54,2%, приблизно на 6 пунктів вище за липневе середнє. Перш ніж називати це ефектом, подивися на розкид інших тижнів, виміряних так само: від 37,5% (тиждень 1) до 58,3% (тиждень 7). Тиждень 3 нарівні з тижнями 2 і 6, де пуша не було, і поступається тижню 7.

У когортах по 24 одна людина — це приблизно 4 відсоткові пункти, тож коливання на 10 чи 20 пунктів бувають випадково. Різниця одного тижня має виділятися з цього природного діапазону, перш ніж щось означати. Для правильного порівняння навколо кожної частки будують інтервал (як — показує урок про довірчі інтервали в курсі статистики) або, ще краще, запускають тест.

База робить свою справу: показує, що приписувати пушу поки нічого.

Порівняння «до і після» може приписати успіх зміні, лише коли різниця більша за природні коливання на тому самому вікні. Зберімо докази про пуш у тижні 3:

• 83,3% у Maya — частка «на сьогодні», що мала шість тижнів на зростання. Її не можна порівнювати з молодшими тижнями.
• З тим самим вікном 7 днів тиждень 3 — це 54,2%: нарівні з тижнями 2 і 6, де пуша не було, і нижче за тиждень 7.
• Його перевага в 6 пунктів над липневим середнім (47,9%) — у межах коливань 37,5–58,3% для тижнів по 24 користувачі.

Тож чесне твердження: дані не дозволяють приписати успіх пушу. Не «спрацював» і не «трохи спрацював».

Двох перегинів варто уникати. Що пуш зашкодив, дані теж не показують: відсутність доказів ефекту — не доказ відсутності ефекту (модуль 5 пояснює чому, через потужність тесту). І «без A/B-тесту нічого не можна сказати» — теж хибно: можна точно сказати, що показує це порівняння.

Щоб дізнатися, чи пуш допомагає, надішли його випадковій половині реєстрацій кількох тижнів і порівняй першу витрату за 7 днів, коли всі вікна закриються.

Коли дані «до і після» не можуть сказати, чи працює зміна, побудуй порівняння, яке може.

Спокусливий план — запустити пуш для всіх і дивитися на лінію. Тут він не спрацює: тижневі частки за 7 днів і без жодних змін коливаються між 37,5% і 58,3%, а все інше, що зміниться одночасно (новий канал, канікули, реліз застосунку), потрапить у ту саму лінію.

Чесний план — випадково ділити реєстрації кожного тижня:

• половина отримує пуш, половина ні, тож сезон, канали й версія застосунку спільні, і єдина систематична різниця — пуш;
• порівнюєш першу витрату за 7 днів і читаєш, лише коли вікно закрилося для всіх;
• тест триває кілька тижнів, досить довго, щоб важлива для тебе різниця могла виділитися з випадковості.

Заздалегідь виріши, яке число порівнюватимеш і яка різниця змусить залишити пуш.

Як це складається докупи: повні вікна, когорти за входом і базовий рівень перетворюють графік на порівняння; коли й цього замало, рандомізуй. Далі урок Активація: як знайти aha-момент питає, яка рання дія передбачає, що людина залишиться.