Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
Як розрахувати розмір вибірки для A/B-тесту: формула, приклад із числами, як статистична потужність і MDE змінюють результат, і безкоштовний калькулятор.
Мінімальний виявлюваний ефект (MDE) — це найменша справжня зміна метрики, яку ваш A/B-тест розраховано виявити з обраною потужністю, зазвичай 80 %. Він описує чутливість тесту, а не те, що дасть сама зміна. До нього приходять із двох боків: від бізнесу (найменший приріст, який окупає зміну) і від трафіку (найменший приріст, який здатні показати ваші відвідувачі й тижні). Коли перше число менше за друге, жодна формула цього розриву не закриє. Здебільшого ця стаття про те, що робити в такому разі.
Приклад: обіцянка доставки в Котокормі
Emily, продакт-менеджерка Котокорму, інтернет-магазину кормів для тварин, хоче додати на сторінки товарів для котів обіцянку доставки: «Замовте до 14:00 — отримаєте завтра». На ці сторінки щодня потрапляє близько 2 000 нових відвідувачів, і 3 % із них оформлюють замовлення.
У брифі тесту є поле «MDE». Emily вписує 20 %, бо з таким числом тест вміщається у два тижні, що лишилися до кінця спринту. Ніхто в команді не вірить, що один рядок тексту підніме замовлення на п'яту частину. Число взяли з календаря, і спланований так тест від початку не міг побачити ефект, який шукав.
Відносний чи абсолютний: називайте одиницю
«MDE 10 %» нічого не означає, доки не сказано, 10 % від чого. Відносний ефект — це частка базового рівня. Абсолютний — різниця у відсоткових пунктах (в. п.). Ось ті самі зміни, записані обома способами, за рівня значущості 5 % і потужності 80 %:
Метрика і базовий рівень
Ціль
Абсолютний
Відносний
Користувачів у групі
Замовлення, 3 %
3,3 %
+0,3 в. п.
+10 %
53 211
Замовлення, 3 %
4,0 %
+1,0 в. п.
+33,3 %
5 301
Відкриття листів, 30 %
33,0 %
+3,0 в. п.
+10 %
3 763
Відкриття листів, 30 %
31,0 %
+1,0 в. п.
+3,3 %
33 275
«Плюс 10 %» коштує 53 211 користувачів у групі за базового рівня 3 % і лише 3 763 за базового рівня 30 %. «Плюс один пункт» для замовлень — величезний стрибок, а для відкриття листів — ледь помітний зсув. Переплутаєте одиниці — і помилитеся з вибіркою на порядок.
Тому записуйте MDE повністю: «з 3,0 % до 3,3 %, тобто +0,3 в. п., або +10 % відносно».
Два напрямки одного запитання
MDE, вибірку, рівень значущості й потужність пов'язує одна формула, і рахувати за нею можна в обидва боки. Саму формулу ми розібрали в статті про розмір вибірки для A/B-тесту, а тут лише користуємося нею.
Напрямок 1: ефект відомий, скільки це триватиме?
На це запитання відповідає калькулятор розміру вибірки. Для сторінок Emily (базовий рівень 3 %, 2 000 нових відвідувачів на день, поділ 50/50):
Відносний MDE
Ціль
Користувачів у групі
Днів
Повних тижнів
5 %
3,15 %
207 938
208
30
10 %
3,30 %
53 211
54
8
15 %
3,45 %
24 193
25
4
20 %
3,60 %
13 914
14
2
30 %
3,90 %
6 455
7
1
Напрямок 2: трафік і час відомі, що я зможу виявити?
На це відповідає калькулятор MDE. Ви вводите базову конверсію, кількість нових учасників на день (разом для обох варіантів) і кількість днів, а він повертає MDE як відносний приріст і у відсоткових пунктах, а також кількість учасників на варіант.
Тривалість тесту
Користувачів у групі
Виявлюваний MDE
Конверсія
1 тиждень
7 000
+28,7 %
3 % → 3,86 %
2 тижні
14 000
+19,9 %
3 % → 3,60 %
4 тижні
28 000
+13,9 %
3 % → 3,42 %
8 тижнів
56 000
+9,7 %
3 % → 3,29 %
Щоб зменшити MDE вдвічі, потрібно приблизно вчетверо більше користувачів. Тож учетверо довший тест зменшує MDE лише вдвічі: один тиждень дає 28,7 %, чотири тижні — 13,9 %.
Обирайте MDE з огляду на гроші, а не на сподівання
Напрямок 2 показує, що тест здатен побачити, а не що варто бачити. Для цього знайдіть найменший приріст, який окупає зміну. Для обіцянки доставки:
Дизайн і розробка коштують 7 200 доларів.
Сервіс кур'єрської служби, що резервує слоти доставки, коштує 480 доларів на місяць.
Котокорм хоче, щоб такі зміни окупалися за 12 місяців.
Середній чек — 40 доларів, маржа — 30 %, тож одне додаткове замовлення приносить 12 доларів.
Витрати за перший рік: 7200+12×480=12960 доларів, тобто 1 080 доларів на місяць. Щоб їх покрити, обіцянка має приносити 1080/12=90 додаткових замовлень щомісяця. Сторінки відвідують 2000×30=60000 людей на місяць, отже йдеться про 90/60000=0,15 відсоткового пункту: з 3,00 % до 3,15 %, тобто про відносний приріст 5 %.
Це і є бізнесовий MDE. Менший приріст збитковий, навіть якщо він справжній, тож платити за тест, здатний його виявити, немає сенсу.
Тепер порівняйте два числа. Бізнесу потрібно бачити 5 %. Чотири тижні трафіку дають змогу побачити 13,9 %, а щоб дійти до 5 %, знадобилося б 30 тижнів.
Коли трафік не дотягує до потрібного MDE
Emily має п'ять чесних варіантів.
Сторінка з більшим трафіком. Обіцянка доречна на всіх сторінках товарів, а не лише на котячих. Усі сторінки товарів разом збирають 6 000 нових відвідувачів на день за тієї самої конверсії 3 %. Тепер чотири тижні виявляють приріст 7,9 %, а на 5 % потрібно 10 тижнів замість 30.
Бізнесу треба виявити приріст 5 %; сторінки для котів дійдуть до нього за 30 тижнів, усі сторінки товарів — за 10, а за чотири тижні видно лише 13,9 % і 7,9 %
Чутливіша метрика. 12 % відвідувачів додають щось у кошик. На цій метриці ті самі чотири тижні з 2 000 відвідувачів на день виявляють приріст 6,5 % (з 12 % до 12,78 %), а на всіх сторінках товарів — 3,7 %. Але приріст додавань у кошик лише натякає на замовлення і нічого про них не доводить.
Сміливіша зміна. Тестуйте обіцянку разом із відліком часу до 14:00 і датою доставки в кошику. Пакет змін цілком може дати більший ефект, ніж один рядок тексту. Ви менше дізнаєтеся про те, що саме спрацювало, зате тест здатен побачити пакет загалом.
Довший тест. Вісім тижнів знижують MDE до 9,7 %, але відкладають рішення і впускають у дані сезонність та рекламні кампанії.
Без тесту. Якщо зміна дешева і її легко відкотити, запускайте на основі судження і стежте за метриками. Якщо вона дорога, а аргументи слабкі, не робіть її.
Чого в списку немає: знижувати потужність чи послаблювати рівень значущості, доки число не зійдеться. MDE стає гарнішим лише тому, що тест стає менш надійним.
Чому «перемога» замалого тесту перебільшена
Припустімо, Emily все одно запускає тест на чотири тижні, а обіцянка справді піднімає замовлення на 5 %. Із 28 000 користувачів у групі тест має лише близько 18 % шансів досягти значущості. Найчастіше він повідомить «значущої різниці немає» про зміну, яка працює.
Рідший результат небезпечніший. Якщо в контролі 840 замовлень (3,00 %), варіанту потрібно щонайменше 921 (3,29 %), щоб p опустилося нижче 0,05. Це приріст 9,6 %. Такий тест не може показати значущий приріст 5 %: найменший значущий результат, який він здатен видати, майже вдвічі більший за правду. У нашій симуляції 400 000 таких тестів ті, що досягли значущості, показали середній приріст 12,6 % — у два з половиною рази більше за справжній.
Отже, замалий тест, який «переміг», дає вам завищене число, і прогноз виручки на його основі не справдиться. Допомагає довірчий інтервал: для 840 замовлень проти 921 він простягається приблизно від 0 % до +19 %, і це чесніший підсумок, ніж «+9,6 %».
Типові помилки
Брати MDE з календаря. Рахувати від двох тижнів можна, якщо вголос сказати, що це означає: «цей тест бачить лише прирости від 20 %».
Не називати одиницю. «MDE 5 %» без слів «відносно» чи «відсоткових пунктів» кожен прочитає по-своєму.
Вважати MDE прогнозом. Це властивість тесту. Справжній ефект може бути більшим, меншим або нульовим, тому порівнюйте MDE з тим, на що реально розраховуєте.
Читати «незначуще» як «ефекту немає». Тест із MDE 14 % мало що каже про ефект 5 %.
Змінювати MDE після запуску. Пересувати ціль, коли дані вже надходять, — це різновид підглядання.
Що робити на практиці
Порахуйте найменший приріст, який окупає зміну, і запишіть його в обох одиницях.
Введіть у калькулятор MDE базовий рівень, трафік і найдовший тест, який можете собі дозволити.
Якщо виявлюваний MDE не більший за бізнесовий, запускайте тест на повні тижні.
Якщо більший, а ефект такого розміру нереалістичний, оберіть один із п'яти варіантів ще до запуску.
Зафіксуйте MDE, потужність і рівень значущості в брифі й більше їх не чіпайте.
Головне
Мінімальний виявлюваний ефект — це найменший справжній ефект, який тест розраховано виявити з обраною потужністю.
Завжди записуйте його і відносно, і у відсоткових пунктах, разом із базовим рівнем і ціллю.
Визначайте його від найменшого приросту, який окупає зміну, а потім перевіряйте трафіком.
Учетверо більша вибірка зменшує MDE лише вдвічі.
Замалий тест пропускає справжні ефекти й перебільшує ті, які знаходить.
FAQ
Який мінімальний виявлюваний ефект вважається нормальним?
Універсального значення немає. Добрий MDE не менший за приріст, який окупає зміну, і не більший за ефект, якого від цієї зміни реально очікувати. Якщо з вашим трафіком між цими двома межами нічого не вміщається, тест у такому вигляді запускати не варто.
MDE відносний чи абсолютний?
Буває і таким, і таким, тому одиницю треба називати. За базового рівня 3 % відносні 10 % — це 0,3 відсоткового пункту, а 10 відсоткових пунктів означали б перехід із 3 % до 13 %. Наші калькулятори показують обидва значення.
Чи може тест виявити ефект, менший за MDE?
Іноді. MDE — це ефект, який тест виявляє з обраною потужністю, зазвичай у 80 % випадків. Менші справжні ефекти він ловить рідше, а коли ловить, виміряний приріст зазвичай завищений.
Спробуйте на практиці
Обирати MDE стає легше, коли ви самі розрахували кілька тестів. Безкоштовний урок Потужність і розмір вибірки крок за кроком розбирає тест Котокорму, з тестами на розуміння і практичним завданням, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».
