Кейс: полагодити воронку онбордингу

Воронка для рішення починається з правил, записаних явно: хто входить (ті, хто зареєструвався сам, бо запрошені пропускають перші кроки), лише завершені когорти (реєстрації з 6 липня по 23 серпня, тож кожен мав 7 днів) і крок рахується, якщо стався в дні 0–6 і всі попередні кроки було досягнуто.

За цими правилами Halves має 119 → 100 → 71 → 37 → 29: реєстрація → створена група → запрошений учасник → прийняте запрошення → перша витрата.

Далі прочитай конверсії кроків з уроку Воронки: вікно конверсії, порядок кроків і хто рахується, кожен крок поділений на попередній:

• група: 100 ÷ 119 ≈ 84,0%;
• запрошення: 71 ÷ 100 = 71,0%;
• прийняття: 37 ÷ 71 ≈ 52,1%;
• перша витрата: 29 ÷ 37 ≈ 78,4%.

Найслабший крок — прийняття: приблизно половина запрошень так і не приводить другого учасника.

Якщо ж ділити кожен крок на верх воронки (37 ÷ 119 ≈ 31,1%), видно, скільки людей дійшло так далеко, але в це число змішано всі попередні втрати, і не видно, який крок слабкий.

Загальна конверсія воронки — останній крок, поділений на перший: 29 ÷ 119 = 0,244 ≈ 24,4% тих, хто зареєструвався сам, доходять до першої витрати за 7 днів.

Вона дорівнює добутку конверсій кроків:

0,840 × 0,710 × 0,521 × 0,784 ≈ 0,244

Ця тотожність — безплатна перевірка арифметики, і вона пояснює, чому воронки поводяться саме так:

• зміна на будь-якому кроці змінює загальну частку в тій самій відносній мірі. Підйом прийняття з 52,1% до 62,5% (×1,2) так само піднімає загальну частку ×1,2;
• в абсолютних числах виграш залежить від того, скільки людей доходить до цього кроку, тому виправлення пізнього кроку з малою кількістю людей може важити менше, ніж здається, а виправлення слабкого кроку з багатьма людьми — більше.

Загальна частка відповідає на «скільки людей проходять?» і годиться як головне число на дашборді. Конверсії кроків відповідають на «де губляться інші?» і саме на них дієш. Показуй обидва і ніколи не усереднюй конверсії кроків: їхнє середнє (приблизно 71%) — не жодна реальна частка.

Найслабший крок каже, де люди відпадають. Але не каже, чиє це падіння. Перш ніж обирати виправлення, розбий воронку за вимірами, що можуть мати значення: платформа, канал, країна, версія застосунку.

За платформою:

• iOS: 61 → 50 → 34 → 26 → 19;
• Android: 58 → 50 → 37 → 11 → 10.

Крок за кроком платформи близькі до запрошення: групи 82,0% проти 86,2%, запрошення 68,0% проти 74,0%. А на прийнятті розходяться: iOS 26 ÷ 34 ≈ 76,5%, Android 11 ÷ 37 ≈ 29,7%.

Подумай, хто діє на цьому кроці. Запрошення приймають друзі того, хто запрошує, — однакові люди незалежно від того, який телефон у запрошувача. Відрізняється платформа запрошувача, тож підозра падає на те, як поводиться посилання-запрошення, надіслане з Android.

Така сама розбивка за каналом подібного розриву не показує: прийняття — 48,7% для пошуку в стор і 56,3% для платних соцмереж. Отже, падіння не через платних користувачів.

Розбивка, яка перетворює один посередньо слабкий крок на один зламаний сегмент і кілька здорових, — найкорисніше, що може дати воронка.

Прийняття 29,7% на Android проти 76,5% на iOS — сильна зачіпка. Але ще не діагноз.

Що підтримує розбивка: падіння на одному кроці, на одній платформі, а люди, які діють на цьому кроці (друзі, що отримують запрошення), не мали б відрізнятися залежно від телефона запрошувача. Тож процес запрошення на Android — головний підозрюваний.

Чого розбивка не може:

• сказати, що саме не так: посилання відкриває магазин замість застосунку, не працює глибоке посилання на деяких версіях Android, меню «Поділитися» обрізає посилання чи щось інше;
• виключити іншу різницю, властиву лише Android: іншу версію застосунку, випущену тоді ж, інше розташування кнопки запрошення чи те, що користувачі Android цими тижнями запрошували інших людей.

Тож у записці має бути «вказує на» і названі наступні кроки:

1. спитати інженерів і відтворити процес запрошення на кількох телефонах з Android;
2. після виправлення перевірити прийняття на наступних завершених когортах за тими самими правилами або запустити тест, якщо зміна ризикована.

Так твердження лишається рівно настільки сильним, наскільки сильні докази.

11 з 37 і 26 з 34 — малі числа, тож чесно спитати, чи не випадковий цей розрив. Постав інтервал навколо кожної частки.

Для часток із малими кількостями або часток біля 0% чи 100% використовуй інтервал Вілсона, а не нормальне наближення (частка ± 1,96 × стандартна похибка). Нормальний інтервал може виходити за 0% чи 100% і завузький за малих n; інтервал Вілсона лишається в можливих межах і добре поводиться з невеликою кількістю користувачів.

95% інтервали Вілсона для прийняття запрошень:

• iOS: 26 з 34, 76,5%, інтервал 60,0–87,6%;
• Android: 11 з 37, 29,7%, інтервал 17,5–45,8%.

Як їх читати: інтервали широкі, як завжди на малих вибірках, але не перетинаються. Навіть верхня межа Android нижча за нижню межу iOS. Отже, прийняття на Android дуже ймовірно нижче, а точний розмір розриву невизначений.

Двох прочитань варто уникати. «Замало користувачів для будь-яких висновків» ігнорує те, що показують інтервали. А «майже значущо» — це не результат: показуй ефект, його інтервал і що це означає для рішення.

Найбільше падіння не є автоматично найкращим виправленням. Перш ніж обирати, оціни, що дасть кожне виправлення, у користувачах, в одній і тій самій точці воронки.

Для проблеми з Android припусти, що запрошення з Android приймали б за ставкою iOS, 26 з 34:

• 37 користувачів Android, що запросили, × 26 ÷ 34 ≈ 28,3 прийнятих;
• насправді — 11;
• приз: 28,3 − 11 ≈ на 17,3 користувача більше після прийняття за ці сім тижнів.

Метод — «а якби цей сегмент конвертувався як здоровий?». Він потребує трьох явно названих речей: бази (37 тих, хто запросив, а не всі реєстрації на Android), цільової частки (iOS, яка сама є оцінкою з інтервалом) і періоду (сім тижнів когорт).

Сприймай результат як порядок величини, а не обіцянку. З такими широкими інтервалами Вілсона справжній виграш може бути помітно меншим чи більшим. Але приз близько 17 користувачів після найслабшого кроку з 37, що діяли, достатньо великий, щоб порівняти його з альтернативами, а саме для цього він і потрібен.

Два виправлення можна порівняти, лише якщо їх виміряно в одній точці. Виграш на початку воронки зменшується на шляху вниз, бо кожен наступний крок відбирає його частину.

Альтернатива Theo — покращити створення групи з 84% до 90%:

• додаткові групи: 119 × (0,90 − 0,84) = 7,14;
• їм ще треба пройти запрошення (71,0%), прийняття (52,1%) і першу витрату (78,4%);
• 7,14 × 0,710 × 0,521 × 0,784 ≈ 2,1 додаткової першої витрати.

Виправлення Android, доведене до того самого фінішу: 17,3 користувача більше після прийняття × 78,4% ≈ 13,6 додаткової першої витрати.

Тож на фініші це приблизно 14 проти 2. Ранній крок виглядає привабливо, бо стосується всіх, але шість пунктів при 84% — невелика зміна, і три наступні кроки з'їдають більшу її частину.

Метод припускає, що для додаткових користувачів наступні кроки збережуть нинішні частки. Це наближення: додаткові користувачі, здобуті кращим першим екраном, можуть бути менш віддані й далі конвертуватися гірше. Скажи про це, і порівняння все одно тримається, коли розрив такий великий.

Маючи один спринт, бери виправлення з найбільшим оціненим впливом, яке підтримують докази.

Поклади усе поруч:

Виправлення Android виграє за впливом з великим відривом, і докази, що там щось не так, сильні. Створення групи — перший крок, який бачить кожен, але для більшості він уже працює.

Добра рекомендація додає дві речі:

• наскільки ми певні: падіння дуже ймовірно справжнє, точний приз невизначений, а причина — підозра, доки її не підтвердять інженери;
• як ми дізнаємося, що спрацювало: ті самі правила воронки, прийняття на Android для наступних завершених когорт порівняно з базою 29,7% та її інтервалом.

Як це складається докупи: спершу правила, потім слабкий крок, чий це крок, наскільки висновок певний і який виграш дійде до фінішу, а тоді — як ти дізнаєшся результат. Цей модуль відповів, де застрягають нові користувачі; наступний питає, чи повертаються люди.