Кейс: аналіз утримання за сегментами

Аналіз утримання за сегментами починається з двох рішень, ухвалених до того, як ти побачиш будь-який результат.

1. Міра. Тут це щомісячна активність за відкриттями: користувач утриманий у k-му місяці, якщо хоча б раз відкрив Halves того місяця. «Будь-яка подія» лишається в таблиці лише для перевірки, бо враховує й регулярні рахунки, які сервер створює сам.
2. Сегмент. Діли за тим, що задає ритм використання. Для Halves це тип першої групи користувача: пара, квартира чи поїздка.

Далі читай рядки кожного сегмента окремо. Для пар дванадцятий місяць — 316 із 600, тож 316 ÷ 600 = 52,7%. На шостий місяць було 330 ÷ 600 = 55,0%, тож крива майже пласка вже пів року: це плато.

Останній стовпчик додає корисну деталь: лише 12 із 316 активних пар на дванадцятий місяць — у групі, створеній після реєстрації. Пари тримаються групи, з якої почали, і саме так виглядає стабільне постійне використання.

Завжди діли на розмір когорти самого сегмента, а не на всі 3 000 літніх реєстрацій.

Щоб вирішити, чи крива справді перестала падати, виміряй, наскільки вона змінилася на ділянці, яку ти називаєш плато.

Пари: 55,0% на шостий місяць, 52,7% на дванадцятий. Зміна — 55,0 − 52,7 = 2,3 відсоткового пункту за шість місяців, менше пів пункту на місяць. Для порівняння: та сама крива лише між першим і другим місяцем втратила 72,2 − 64,5 = 7,7 пункту.

Стеж за одиницями. Різниця двох відсотків вимірюється у відсоткових пунктах (в. п.). Ту саму зміну можна виразити й відносно: 2,3 ÷ 55,0 ≈ 4,2% від рівня шостого місяця. Обидва числа правильні, але різні, і плутанина між ними створює справжню неясність у звітах. «Утримання впало на 4%» може означати і 55,0% → 52,7%, і 55,0% → 51,0%.

Практичне правило: кажи «пункти» для різниці часток і пиши «відносно», коли маєш на увазі відсоткову зміну частки. Для перевірки плато найзрозуміліша мірка — пункти на місяць: крива, що кілька місяців поспіль втрачає менше приблизно пів пункту на місяць, поводиться як плато.

Різниця між двома кількостями активних — окреме число, але віднімати кількості можна, лише коли одна група містить іншу.

Квартири, дванадцятий місяць: 403 користувачі мали будь-яку подію, 315 відкривали застосунок. Кожен, хто відкривав застосунок, мав і подію, тож 403 − 315 = 88 користувачів були активні лише через сервер, здебільшого через регулярні рахунки оренди (активність від сервера з уроку Плато: утримання і product-market fit). Це 88 ÷ 800 = 11% когорти; якщо їх зарахувати, квартири піднялися б з 315 ÷ 800 = 39,4% до 403 ÷ 800 = 50,4%.

У пар такий розрив малий (328 − 316 = 12), а в поїздок — нуль, бо в групах поїздок рідко бувають регулярні рахунки. Розрив, великий в одному сегменті й крихітний в інших, точно показує, де сидить автоматична активність.

Якби кожен стовпчик міг включати людей, яких немає в іншому, різниця двох кількостей нічого б не означала. Знадобилися б списки користувачів і їхній перетин, а не лише підсумки.

У записці активність лише від сервера — відкрите питання, а не утримання, і на неї йдуть три рядки: головне число, розрив і як його з'ясувати.

Для 88 користувачів квартир обидві прості відповіді не годяться. Зарахувати їх утриманими — значить стверджувати те, чого таблиця не показує: що вони досі отримують цінність від Halves. Мовчки викинути — значить загубити справжній сигнал: у квартирах щось працює без користувачів.

Три рядки:

1. Головне число — за мірою користувача: квартири на дванадцятий місяць мають 39,4% за відкриттями.
2. Назви розрив: 88 користувачів (11% когорти) активні лише через серверні події; за будь-якою подією число було б 50,4%.
3. Скажи, як це з'ясувати: чи ці користувачі ще записують розрахунки чи редагують рахунок? Чи їхня група давно перестала додавати інші витрати, що натякало б, що хтось з'їхав, а рахунок ніхто не вимкнув?

Автоматизація може бути справжньою цінністю: квартира, де оренда ділиться сама, може бути цілком задоволена. Але це гіпотеза, доки її не підтвердить дія користувача, тож 88 лишаються питанням у записці.

Коли сезонний сегмент називають відтоком, перевір, куди повертаються його користувачі: до старої групи чи до нової. Поїздки падають до 89 з 1 600 користувачів (5,6%) на п'ятий місяць, і CEO називає це відтоком. Але на дванадцятий місяць 349 користувачів (21,8%) знову активні.

Стовпчик active_in_new_group показує, хто вони: 304 з 349 — у групі, створеній після їхньої реєстрації, 304 ÷ 349 = 87,1%. Вони не повернулися до торішньої групи поїздки; вони почали нову поїздку.

Порівняй з іншими сегментами на дванадцятий місяць: квартири 40 ÷ 315 = 12,7%, пари 12 ÷ 316 = 3,8%. Пари й квартири повертаються до тієї самої групи; користувачі поїздок повертаються з новою.

Це різниця між тривалістю життя групи й відтоком користувачів з уроку Плато: утримання і product-market fit, тепер підкріплена даними: група поїздки закінчилася, а люди не пішли. Якщо кожну завершену групу поїздки вважати втраченим користувачем, найсезонніший сегмент виглядатиме провалом, навіть коли його користувачі повертаються щороку.

304 користувачів поїздок, активних у новій групі на дванадцятий місяць, можна перетворити на дві різні частки, і обидві корисні, якщо сказати, про яку йдеться.

• Частка активних: 304 ÷ 349 = 87,1%. Вона відповідає на питання «чому повернулися ті, хто повернувся?» Майже всі — заради нової поїздки.
• Частка всієї когорти: 304 ÷ 1 600 = 19,0%. Вона відповідає на питання «яка частка торішніх користувачів поїздок повернулася на ще одну поїздку протягом року?» Саме це число варто відстежувати для поїздок, бо його можна прямо зіставити з розміром кампанії, яка їх привела.

Звучать вони схоже, а відрізняються більш ніж учетверо. Написати в записці «87% користувачів поїздок повертаються на нову поїздку» — серйозне перебільшення: 87% — це частка серед тих 22%, які взагалі повернулися.

Перш ніж писати будь-який відсоток, назви його знаменник словами («від когорти», «від активних», «від груп поїздок»). Якщо речення з названим знаменником усе ще звучить правильно, число використано чесно.

Метрика утримання сегмента потребує вікна, не коротшого за природний ритм використання цього сегмента. Люди їздять раз чи двічі на рік, тож метрика поїздок має охоплювати рік.

Добрий кандидат: частка користувачів поїздок, які створюють нову групу поїздки чи приєднуються до неї протягом 12 місяців від реєстрації. Для торішньої літньої когорти це 304 ÷ 1 600 = 19,0%. Вона винагороджує саме те, що має робити продукт для подорожей: бути застосунком, до якого люди знову тягнуться на наступній поїздці.

Чому альтернативи не працюють:

• Щомісячна активність називає тихі місяці між поїздками відтоком; вона створена для продуктів із місячним ритмом.
• Активність на третій місяць майже для всіх потрапляє в проміжок між літніми поїздками, тож здебільшого міряє збіг у часі.
• Витрати на групу поїздки міряють, наскільки жвавою була одна поїздка, а не чи хтось повертається.

Та сама перевірка діє для будь-якого сегмента: запиши, як часто задоволений користувач природно повертався б, і обери часове вікно щонайменше такої довжини. Парам і квартирам пасує місяць; поїздкам потрібен рік.

Дай кожному сегменту власний вердикт: одне число для сегментів із різними ритмами не відповідає нічиєму питанню, як урок Плато: утримання і product-market fit показав для кривих. Тут усі 3 000 літніх реєстрацій дають 980 ÷ 3 000 = 32,7% активних на дванадцятий місяць — суміш стабільного плато, автоматичної активності й сезонного повернення, зважену за торішньою структурою.

Записка, що допомагає рішенню про бюджет, дає кожному сегменту один рядок:

• Пари: 52,7% на дванадцятий місяць, пласко з шостого. Здорово.
• Квартири: 39,4% за відкриттями; 88 користувачів (11%) активні лише через серверні рахунки, треба перевірити.
• Поїздки: 5,6% на п'ятий місяць за задумом; 21,8% повернулися до дванадцятого, 19,0% когорти — у новій групі поїздки.

Кожен рядок називає свою міру, тож «відтік» від CEO і «подвоїти» від Theo можна перевірити на правильному рядку.

Як це складається докупи: спершу зафіксувати міру, потім читати кожен сегмент у його ритмі, тримати активність лише від сервера як відкрите питання й називати одиниці та знаменники. Модуль 4 відповів, чи повертаються люди; наступний модуль питає, чи спрацювала зміна.