Кейс: версія чи трафік?

Перш ніж сперечатися з числом «до і після», перевір, що воно побудоване чесно, і відтвори його. Halves випустив версію 5.2.0 з новим онбордингом 31 серпня. Утримання нових користувачів на другому тижні зросло з 28,9% у серпні до 39,8% у вересні, і Maya хоче написати у звіті для ради директорів «+11 пунктів».

Добрий аналіз починається з перевірки порівняння, а не із сумніву в ньому. Три правила чесності з уроку Аналіз до і після: чесне порівняння версій тут виконано: нові користувачі згруповані за тижнем реєстрації, вікно фіксоване (активність хоча б в один із днів 8–14), когорти лише завершені.

Далі відтвори число з даних, об'єднуючи рядки перед діленням. Серпень (5.1.0): 705 активних із 2441 нового користувача, 705 ÷ 2441 = 28,88%. Вересень (5.2.0): 807 ÷ 2028 = 39,79%. Сирий розрив, +10,9 п. п., пораховано правильно.

Відтворення спершу підтверджує, що ти читаєш ті самі дані, що й автор твердження, і розмова може перейти до справжнього питання. Тут воно таке: чого саме це число — ці 10,9 пункта?

Реліз був не єдиною зміною наприкінці серпня. 1 вересня Theo призупинив кампанію в соцмережах, а вересень — сезон переїздів: нові сусіди, нова оренда, яку треба ділити, а літні поїздки згортаються. Кожна з цих змін впливає на те, хто реєструється.

Частки нових користувачів показують, наскільки:

• квартири: 29,95% у серпні → 1265 із 2028 = 62,38% у вересні;
• поїздки: 44,53% → 9,91%;
• соцмережі: 34,08% → 12,03%.

А ці сегменти утримуються дуже по-різному. У серпні квартири мали 41,45% на 8–14-й день, пари — 38,04%, тоді як поїздки — лише 15,18%, а користувачі із соцмереж — 23,32%. Вересень замінив багатьох найгірше утримуваних користувачів на найкраще утримуваних.

Саме це може підняти середнє на багато пунктів без жодної зміни в поведінці користувачів: зсув структури (mix shift), описаний в уроці Обсяг, якість і парадокс Сімпсона. Коли за один тиждень змінюється кілька речей, сире число «до і після» несе їх усі разом, і реліз отримує заслугу за все, що зрушилося.

Тож після відтворення сирого числа наступне питання завжди те саме: хто прийшов до і після і як ці групи зазвичай утримуються?

Якщо зміна доходить до кожного нового користувача, справжній ефект на кілька пунктів мав би виглядати як послідовне зростання в кожному сегменті, а не як дрібні рухи в обидва боки. Усередині кожного типу групи ставки вересня рухаються так:

• пари: 209 ÷ 562 = 37,19% проти 38,04% у серпні: трохи вниз;
• квартири: 44,58% проти 41,45%: вгору приблизно на три пункти;
• поїздки: 16,92% проти 15,18%: вгору, лише на 201 вересневому користувачі.

Вгору, вниз, вгору: послідовного зростання немає. Кожен, хто зареєструвався у вересні, пройшов новий онбординг, тож сильний ефект підняв би й пари.

Два застереження тримають це прочитання чесним. Малі сегменти шумні: 201 користувач поїздок чи 562 пари дають частки, які легко зсуваються на пункт-два випадково. І «немає послідовної закономірності» — не те саме, що «немає ефекту»: невелике справжнє покращення могло сховатися в цьому шумі.

Тож погляд за сегментами підтверджує «ознак великого ефекту онбордингу немає», і цього вже досить, щоб не приписувати йому 11 пунктів. Малий ефект він не виміряє в жоден бік.

Сегмент сам є сумішшю менших сегментів. З трьох типів груп найбільше від серпня до вересня зросли квартири: з 41,45% до 44,58%.

Maya на це вкаже, тож подивися на рівень глибше. Квартири приходять через різні канали, а канали утримуються по-різному: квартири із запрошень — близько 47–50%, із соцмереж — близько 30–34%. У серпні через запрошення прийшли 279 із 731 квартири (38,2%); у вересні — 640 із 1265 (50,6%).

Тож вересневі квартири — інша суміш квартир, де значно більше прийшли через найкращий канал. Частина їхнього «покращення» — той самий зсув структури, лише схований усередині одного сегмента.

Саме тому одного розрізу рідко досить: зсув на будь-якому рівні може зрушити частку, яка виглядає як чесне порівняння. Практична відповідь — ділити одразу за всіма змінними, які важать, тут канал × тип групи, і порівнювати клітинку за клітинкою або перезважити клітинки за однією фіксованою структурою.

Коли зсуваються дві речі одночасно, фіксуй структуру за їхніми клітинками, а не за однією змінною. Тут клітинки — «канал × тип групи», дев'ять загалом, і, як в уроці Структура трафіку і сезонність, вирівнювати можна з обох боків.

Ставки вересня за структурою серпня: зваж ставку кожної клітинки вересня часткою цієї клітинки серед користувачів серпня. Результат: 28,82% проти 28,88% у серпні, різниця −0,06 пункта. Якби у вересні були серпневі користувачі, утримання було б таким самим.

Ставки серпня за структурою вересня: зваж ставку кожної клітинки серпня часткою цієї клітинки серед користувачів вересня. Результат: 40,14% проти фактичних 39,79% у вересні. Якби в серпні були вересневі користувачі, він уже мав би близько 40%.

Обидва кажуть те саме з протилежних боків: структура пояснює весь стрибок з 28,9% до 39,8%, а за фіксованої структури два місяці майже однакові.

Чому клітинки, а не лише типи груп? Перезважування лише за типом групи дає вересню близько 30,4% за серпневої структури: краще, але всередині досі 1,5 пункта зсуву каналів. Ділення одразу за обома змінними прибирає обидва зсуви, клітинка за клітинкою.

Коли докази зібрано, кожне можливе пояснення стрибка з 28,9% до 39,8% можна перевірити:

• Змінилася структура (більше квартир і запрошень, менше поїздок і реклами). Підтверджено: за фіксованої структури два місяці дають 28,82% і 28,88%, а ставки серпня за вересневої структури — 40,14%.
• Онбординг додав близько 11 пунктів. Не підтверджено: при порівнянні порівнюваного утримання майже не змінилося, а ставки сегментів рухаються і вгору, і вниз.
• Пауза реклами зробила решту користувачів лояльнішими. Не підтверджено: пауза прибрала групу з низьким утриманням, і це піднімає середнє без того, щоб хтось утримувався краще.
• Незавершені когорти завищують число «після». Не в цьому справа: кожна когорта тут має повні дні 8–14. (В інших випадках це перше, що варто перевірити.)

Закономірність, яку варто запам'ятати: стрибок «до і після», що зникає за фіксованої структури, створило те, кого рахували, а не те, як вони поводилися. Це повне пояснення сирого числа. Але це не вимірювання власного ефекту онбордингу, який може бути малим додатним чи малим від'ємним.

Версія історії від Theo: «пауза реклами в соцмережах підняла утримання на одинадцять пунктів». Та сама пастка, інший герой. Пауза скоротила частку соцмереж з 34,08% до 12,03% нових користувачів, а користувачі з реклами утримуються найгірше (23,32% у серпні). Що менше їх у середньому, то вище середнє. Ніхто з тих, хто лишився, не став через це утримуватися краще.

Пастка повторюється й рівнем глибше. Ставка самих соцмереж зросла з 23,32% до 28,69%, і схоже, що користувачі з реклами покращилися. Але всередині соцмереж теж змінилася структура: 370 із 832 серпневих користувачів реклами були з поїздок (44%), проти 24 із 244 у вересні (10%). Менше користувачів поїздок усередині каналу піднімає ставку каналу точнісінько так само.

Для каналу корисне питання ніколи не стосувалося його впливу на середнє. Важить, скільки його користувачі приносять порівняно з тим, скільки коштують: ті користувачі з реклами, що утрималися, були справжніми, а пауза ще й означає менше користувачів загалом. Оцінюй кампанію за цінністю й вартістю і не вплітай її в історію про утримання.

Звіт для ради має бути коротким і витримати питання «ви впевнені?». Для цього релізу це чотири кроки:

1. Сире число, чесно: утримання нових користувачів на другому тижні зросло з 28,9% до 39,8%, побудоване коректно.
2. Чому: змінилися вересневі реєстрації: квартири 30% → 62% нових користувачів, поїздки 45% → 10%, соцмережі 34% → 12%.
3. Порівнюване з порівнюваним: за серпневої структури вересень має 28,8% проти 28,9%. Стрибок — це структура.
4. Далі: залишити рандомізовану holdout-групу на старому онбордингу на місяць, а утримання звітувати за сегментами й за фіксованої структури.

Не пиши ні «новий онбординг підняв утримання на 11 пунктів», ні «онбординг нічого не дав». Жодне не підтверджено.

Holdout-група — випадкова частина користувачів, яку лишають на старій версії. Вона проживає той самий вересень, з тими самими квартирами й тією самою паузою реклами, тож різниця між двома групами — це і є онбординг.

Як це складається докупи: відтвори число, з'ясуй, хто змінився, прочитай сегменти й клітинки, вирівняй з обох боків, назви, що підтверджено, і запропонуй holdout-групу. Модуль 6 відповів, що можна дізнатися без тесту; наступний модуль питає, чи Halves заробляє.