Перейти до змісту
Увійти

Теорія

Кейс: бета-когорта панічно продала

Оцінити A/B-тест екрана «пауза перед продажем» на малій вибірці й вирішити, що запускати і що вимірювати далі.

~7 хв читання · 8 вправ · 250 балів

Перед початком

Тест екрана паузи

Кінець вересня в Zapas, останній день місяця про поведінку, а до запуску шість тижнів. Два тижні весняного падіння команда проводила тест: користувачі, які натискали «Продати все», бачили або звичайне підтвердження, або екран паузи з власним планом.

Ethan уже хоче заголовок до дня запуску про менше панічних продажів. Коли в кожній групі по шістдесят користувачів, ти спершу перевіриш, чи різниця більша за випадковість, а потім вирішиш, що Zapas може чесно заявити й запустити.

Як читати результат A/B-тесту

Тест: два тижні весняного просідання кожного бета-користувача, який натискав «Продати все», випадково зараховували до однієї з двох груп.

  • Контроль (60 користувачів): звичайне підтвердження. Продав 21, 35,0%.
  • Екран паузи (60 користувачів): власний план, що зафіксує продаж, кнопка «Все одно продати». Продали 14, 23,3%.

Різницю можна сказати двома способами:

  • абсолютно: 35,0 − 23,3 = 11,7 відсоткового пункта;
  • відносно: 11,7 ÷ 35,0 = на 33,3% менше продавців.

Обидва чесні, якщо їх підписано. Відносний звучить більшим, тому його й люблять заголовки. Повідомляй абсолютну різницю поруч із двома частками й розмірами груп.

Випадковий розподіл робить порівняння чесним: групи відрізняються лише екраном. Але при 60 користувачах у групі сама випадковість може дати чималу різницю. Це наступна перевірка.

Частка тих, хто завершив продаж, за групами (синтетичні дані)Користувачі, які натиснули «Продати все» за два тижні тесту. Контроль: 21 із 60. Екран паузи: 14 із 60.

Дані графіка

ГрупаЗавершили продаж, %
Контроль35
Екран паузи23,3
  • Так
    «35,0% проти 23,3% (n = 60 у кожній): на 11,7 пункта менше».
  • Не так
    «Екран паузи на третину зменшує панічні продажі!»

    Ні розмірів груп, ні невизначеності.

Z-тест для двох часток

Щоб побачити, чи дві частки відрізняються більше, ніж через випадковість, порівняй розрив із шумом, якого слід чекати, якби екран нічого не робив.

  1. Об'єднана частка, ніби обидві групи — одна: (21 + 14) ÷ 120 = 29,2%.
  2. Стандартна похибка різниці: √(0,292 × 0,708 × (1/60 + 1/60)) ≈ 0,083, приблизно 8,3 пункта.
  3. z = розрив ÷ стандартна похибка = 0,117 ÷ 0,083 ≈ 1,41.
z=p1−p2pˉ(1−pˉ)(1n1+1n2),pˉ=x1+x2n1+n2z = \frac{p_1 - p_2}{\sqrt{\bar p (1 - \bar p)\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}, \quad \bar p = \frac{x_1 + x_2}{n_1 + n_2}
Z-тест для двох часток: p₁, p₂ — частки продажів, x₁, x₂ — кількість тих, хто продав, n₁, n₂ — розміри груп.

z = 1,41 означає, що розрив приблизно в 1,4 раза більший за типовий шум. Для двостороннього тесту на рівні 5% потрібно близько 1,96. Відповідне p-значення — 0,16: якби екран паузи не діяв зовсім, такий або більший розрив траплявся б приблизно раз на шість спроб.

Метод і його обмеження крок за кроком пояснено в курсі статистики, в уроці Конверсія і z-критерій для двох часток.

Графік: Частка тих, хто завершив продаж, за групами (синтетичні дані) · є вище

  • Так
    z = 0,117 ÷ 0,083 = 1,41, p = 0,16
  • Не так
    «11,7 пункта — це багато, отже, значущо».

    Сам розмір без шуму нічого не каже.

«Незначущо» — не те саме, що «немає ефекту»

Тест може завершитися трьома способами, і «незначущо» легко прочитати хибно.

  • Значущо: розрив навряд чи лише випадковий (на рівні 5% — p нижче 0,05). Можна казати про ефект із його невизначеністю.
  • Незначущо, мала вибірка: тест не зміг сказати. Справжній ефект може бути; дані просто не відділяють його від шуму. Це випадок Zapas: p = 0,16 на 60 користувачах у групі.
  • Незначущо, велика вибірка: великий тест, що все одно нічого не знайшов, робить великий ефект малоймовірним, хоча малий може лишатися.

Тож однаково кортить зробити два хибні висновки: «на третину менше паніки» від Ethan (шум як доказ) і «не спрацювало» (відсутність доказу як доказ відсутності).

Корисне питання — «який тест нам потрібен?». Це залежить від ефекту, який хочеш помітити, від допустимих помилок і від базової частки. Детальніше в уроці Статистична потужність і обсяг вибірки.

  • Так
    «Непереконливо: на 11,7 пункта менше, p = 0,16, замало користувачів, щоб сказати».
  • Не так
    «Незначущо, отже, екран паузи марний».

Розмір наступного тесту

Перш ніж знову запускати тест, виріши, яким великим він має бути, щоб відповісти на питання.

Потрібні чотири вхідні дані:

  • базова частка: продали 35% користувачів у контролі;
  • найменший ефект, вартий виявлення: скажімо, побачене зниження до 23,3%;
  • рівень значущості: двосторонній 5% (z = 1,96);
  • потужність: 80% шансів помітити ефект, якщо він справжній (z = 0,84).

Підставивши їх, отримаєш близько 235 користувачів у групі, приблизно 470 людей, які натиснуть «Продати все», учетверо більше, ніж у весняному тесті. Менший справжній ефект потребує значно більше: вибірка росте як 1 ÷ (розрив)².

n≈(zα/2+zβ)2 [p1(1−p1)+p2(1−p2)](p1−p2)2n \approx \frac{(z_{\alpha/2} + z_{\beta})^2 \,[p_1(1-p_1) + p_2(1-p_2)]}{(p_1 - p_2)^2}
Кількість користувачів у кожній групі. Для двостороннього рівня 5% і потужності 80%: z_α/2 = 1,96, z_β = 0,84.

У Zapas є нюанс: «Продати все» натискають переважно під час падінь. Спокійні місяці додають мало учасників, тож 470 можна набрати лише до наступного великого просідання. Заплануй це: тримай поділ із запуску і наперед зафіксуй правило зупинки (235 у групі), щоб ніхто не зупинив тест раніше на вдалому тижні.

  • Так
    «Тримаємо поділ 50/50 до 235 користувачів у групі, вирішуємо це зараз».
  • Не так
    «Перевірятимемо щотижня і зупинимо, щойно стане значущо».

    Підглядання до значущості роздуває хибні перемоги.

Як повідомити про непереконливий тест

Чесний звіт про малий тест має чотири частини:

  1. Що тестували, одним рядком: екран паузи для тих, хто натискає «Продати все» під час падіння.
  2. Обидві частки й розміри: 35,0% (21 із 60) проти 23,3% (14 із 60).
  3. Невизначеність, простими словами: «замало користувачів, щоб бути певними» (для команди — z = 1,41, p = 0,16).
  4. Що далі: тест триває до визначеного розміру.

Нечесним звіт роблять відносні числа без бази («на третину менше»), відкинуті розміри груп і дієслова на кшталт «зменшує», «зупиняє» чи «доводить». В інвестиційному продукті твердження про захист користувачів від їхньої ж паніки — це обіцянка щодо їхніх грошей, і підкріплювати її треба так само ретельно, як число дохідності.

Усередині команди правило те саме: у чат ідуть частки, розміри й p-значення, а не «екран паузи працює».

35,0% проти 23,3% на 60 користувачах у групі дає z 1,41, p 0,16: не оголошувати перемогу, тримати поділ 50/50 до ~235 у групі; продати можна у два дотики.
  • Так
    «35,0% проти 23,3%, n = 60 у кожній, p = 0,16: непереконливо, тест триває до 235 у групі».
  • Не так
    «Екран паузи працює: на 33% менше панічних продажів!»

Запобіжники для поведінкової функції

Функція, яка намагається змінити те, що користувачі роблять зі своїми грошима, потребує меж, яких не скасує жоден результат тесту.

Можна: інформацію й нагоду подумати.

  • власний план користувача, особливо рядок «під час падіння»;
  • числа: що зафіксує продаж, зміна від початку, горизонт;
  • один додатковий, чітко підписаний крок («Все одно продати»).

Не можна: перешкоди й тиск.

  • зворотний відлік чи період очікування, перш ніж можна продати;
  • сховані чи сірі кнопки продажу, заплутані формулювання;
  • повідомлення, що тиснуть на провину, сором чи страх.

Вимірюємо поруч із головною метрикою: скарги й звернення в підтримку, час на завершення продажу, закриття рахунків. Якщо екран зменшує продажі, але збільшує скарги, це тривожний знак, а не перемога.

Причина проста: гроші належать користувачу. Продукт заслуговує на право м'яко підштовхувати лише тоді, коли робить це відкрито.

  • Так
    «Твій план каже: вносити далі, нічого не продавати. [Повернутися до плану] [Все одно продати]»
  • Не так
    «Продаж заблоковано на 24 години для твого захисту».

Оновлення про незавершений тест

Командний чат — місце, де результати тестів перетворюються на легенди, тож перше повідомлення важить. Його покривають три речення:

  1. Числа з розмірами: 35,0% (21 із 60) у контролі проти 23,3% (14 із 60) з екраном паузи, на 11,7 пункта менше.
  2. Що каже перевірка: z = 1,41, p = 0,16, непереконливо. Це не доказ ефекту і не доказ, що його немає.
  3. Що далі: поділ триває до наперед визначеного розміру, близько 235 користувачів у групі, і до того ніхто не оголошує результату.

Уникай обох скорочень: «працює, на третину менше паніки» і «провалилося». Кожне повторюватимуть ще довго після того, як деталі забудуться.

  • Так
    «35,0% проти 23,3%, n = 60 у кожній, p = 0,16: непереконливо; ведемо до 235 у групі».
  • Не так
    «Екран паузи провалився, p > 0,05».

Рішення в умовах невизначеності

Кейс з екраном паузи не має чистої відповіді в даних, і саме це робить його продуктовим рішенням.

Сильне рішення розділяє п'ять речей:

  1. Докази: 35,0% проти 23,3% на 60 користувачах у групі, z = 1,41, p = 0,16: непереконливо.
  2. Вибір на запуск: тримати випадковий поділ (або запустити широко з контрольною групою) і наперед зафіксоване правило зупинки, близько 235 у групі; вибірка, найімовірніше, наповниться під час наступного падіння.
  3. Що кажемо публічно: нічого, що стверджує ефект.
  4. Метрики: частка натискань «Продати все», що закінчилися продажем, далі повторні купівлі й дохідність користувачів, зважена за грошима; запобіжні — скарги, час на продаж, закриття рахунків.
  5. Межі дизайну і план: інформувати, ніколи не блокувати; починати з власного рядка користувача «Під час падіння».

Невизначеність — не привід нічого не робити; це привід вирішити, як ти дізнаватимешся.

  • Так
    «Поділ 50/50 від запуску, зупинка на 235 у групі, запобіжники на скарги».
  • Не так
    «Запустити для всіх і оголосити на третину менше паніки».

Готові потренуватися?

Виконайте вправи уроку й отримайте 250 балів, коли пройдете його вперше.

Розпочати вправи