Як розрахувати розмір вибірки для A/B-тесту: формула, приклад із числами, як статистична потужність і MDE змінюють результат, і безкоштовний калькулятор.
Автор: Sergey BruhОпубліковано 10 хв читання
Безкоштовний курс для продактів і маркетологів: короткі уроки, реальні продуктові дані та вправи з миттєвим фідбеком.
Почати безкоштовний курс9 хв читання
Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
8 хв читання
Скільки має тривати A/B-тест: ділимо потрібну вибірку на щоденний трафік, округлюємо до цілих тижнів і враховуємо ефект новизни та розпродажі.
8 хв читання
Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.
Ось як розрахувати розмір вибірки для A/B-тесту: візьміть чотири параметри — базовий рівень метрики, мінімальний виявлюваний ефект (MDE), рівень значущості (зазвичай 5 %) і статистичну потужність (зазвичай 80 %) — і підставте їх у формулу для двох часток нижче. Вийде кількість користувачів на кожен варіант; поділіть загальну кількість на щоденний трафік — і матимете тривалість тесту. Для конверсії 4 % і відносного приросту 10 % це 39 473 користувачі в кожній групі. Якщо не хочеться рахувати вручну, безкоштовний калькулятор розміру вибірки для A/B-тесту зробить це просто в браузері.
Котокорм, інтернет-магазин кормів для тварин, переробив сторінку оформлення замовлення і хоче порівняти її зі старою. Планування вибірки для такого A/B-тесту — це п'ять кроків:
У наступних двох розділах кроки 4 і 5 зроблено вручну, щоб було видно, що саме калькулятор рахує за вас.
Для порівняння двох часток потрібна кількість користувачів у кожній групі приблизно дорівнює:
Тут — базовий рівень, — рівень, який ви сподіваєтеся побачити у варіанті, а значення беруться з нормального розподілу: для двобічного тесту з і для потужності 80 %.
Запам'ятовувати формулу не обов'язково: будь-який пристойний онлайн-калькулятор або рядок коду на Python порахують це за вас. Але варто розуміти, що в ній: різниця стоїть у знаменнику в квадраті. Цей один факт пояснює більшість сюрпризів, про які піде мова далі.
Вхідні дані:
Рахуємо крок за кроком:
Точне значення — 39 473 користувачі в кожній групі, тобто приблизно 79 000 разом.
Чекаут Котокорму відвідують близько 3 000 людей на день, трафік ділимо навпіл. Отже, тест триватиме дня. Округлюємо вгору до цілих тижнів: запускаємо на 4 тижні (28 днів), щоб кожен день тижня був представлений однаково. Покупки в неділю ввечері зовсім не схожі на покупки у вівторок зранку. Докладніше — у статті скільки має тривати A/B-тест.
Швидка перевірка на здоровий глузд: для потужності 80 % і є зручне емпіричне правило , де — абсолютна різниця. Тут воно дає , що близько до точного результату. Якщо калькулятор видав число вдесятеро більше чи менше, ви, найпевніше, переплутали відносний і абсолютний MDE.
Коли формула зрозуміла, арифметику можна віддати інструменту. Безкоштовний калькулятор розміру вибірки бере базовий рівень і MDE (відносний або у відсоткових пунктах), а і потужність — у розширених налаштуваннях, і повертає кількість користувачів на варіант, загальну вибірку і, якщо вказати щоденний трафік, кількість днів тесту. Нічого з введеного не залишає ваш браузер. Якщо трафік фіксований і хочеться знати, який найменший приріст він здатен помітити, поставте питання навпаки в калькуляторі MDE.
Поточне значення метрики в контрольній групі. Беріть його зі свіжих даних, а не з того вдалого місяця, який усі досі згадують. Базовий рівень важливий, бо рідкісні події важче виміряти: щоб помітити зміну конверсії 2 %, потрібно набагато більше користувачів, ніж для такої самої відносної зміни конверсії 10 %.
Найменший ефект, заради якого варто щось робити. Це бізнесове рішення, а не статистичне. Запитайте себе: «Якщо редизайн підніме конверсію на X, ми його запустимо? Він окупиться?» Як його обрати, розібрано в статті про мінімальний виявлюваний ефект.
Чітко фіксуйте, відносний це ефект чи абсолютний. Відносний приріст 10 % від базових 4 % — це перехід з 4,0 % до 4,4 %, тобто абсолютна зміна на 0,4 відсоткового пункту. Плутанина між ними — найчастіша причина фантастично хибних розрахунків.
Частка хибнопозитивних результатів, яку ви готові прийняти: імовірність оголосити переможця, коли реальної різниці немає. Загальноприйнято із двобічним критерієм.
Статистична потужність () — це імовірність, що тест виявить ефект, якщо той справді не менший за MDE. Стандарт — 80 %: ви погоджуєтеся на 20 % шансів пропустити реальний ефект такого розміру. Коли помилка дорога, беруть 90 %.
Потужність найчастіше лишають за замовчуванням, не замислюючись. Але тест із замалою потужністю не просто «іноді промахується»: коли він показує «незначуще», неможливо сказати, чи зміна нічого не дала, чи тест був замалий, щоб це побачити. Вища потужність коштує користувачів: для відносного MDE 10 % у Котокормі перехід з 80 % на 90 % збільшує вибірку з 39 473 до 52 842 у групі, приблизно на третину.
Базовий рівень 4 %, і потужність 80 % лишаємо, змінюємо тільки MDE:
Зменшили MDE вдвічі — вибірка зросла приблизно вчетверо. Це і є той самий квадрат різниці в знаменнику.
Інші важелі, усі для відносного MDE 10 %:
Для метрики на кшталт середнього чека (AOV) логіка та сама, тільки мінливість задає стандартне відхилення , а не :
Якщо середній чек у Котокормі — близько 40 доларів зі стандартним відхиленням 25 доларів, і ви хочете помітити зміну на 2 долари, то користувачі в кожній групі. Обережно: дані про виручку зазвичай скошені, і кілька дуже великих замовлень роздувають . Оцінюйте стандартне відхилення за реальними свіжими замовленнями і подумайте про обрізання екстремальних значень ще до планування.
На понеділковому стендапі в Котокормі хтось пропонує обійтися без розрахунків: «Покажімо новий чекаут половині відвідувачів на тиждень, а в п'ятницю глянемо на цифри».
Звучить розумно, і саме так багато команд спалюють спринт. Тижня трафіку може вистачити, щоб побачити величезний ефект, але зміни в чекауті рідко дають величезний ефект. Якщо редизайн піднімає конверсію на скромні 5–10 %, тижневий тест найімовірніше покаже «незначуще». Команда вирішить, що редизайн «не працює», і піде далі, хоча насправді тест просто не мав достатньої роздільної здатності, щоб цей ефект помітити.
Планування вибірки відповідає на одне питання ще до запуску: скільки даних потрібно, щоб реальний ефект потрібного нам розміру мав добрі шанси проявитися?
Підганяти MDE під трафік. Рахувати у зворотний бік («у нас два тижні, тож MDE — скільки встигнемо») можна, але тоді скажіть це вголос: «Цей тест здатен помітити лише приріст від 20 %». Якщо ніхто не вірить, що зміна на таке здатна, не запускайте тест або оберіть чутливішу метрику.
Підглядати й зупиняти тест раніше. Якщо щодня відкривати дашборд і зупинятися, щойно , частка хибнопозитивних результатів злітає значно вище 5 %. Розмір вибірки — це зобов'язання: визначте його заздалегідь і аналізуйте один раз, або використовуйте метод, створений для безперервного моніторингу (послідовне тестування).
Зупиняти посеред тижня. Навіть якщо потрібну кількість набрали на 23-й день, доведіть тиждень до кінця. Інакше одні дні тижня будуть представлені сильніше за інші.
Рандомізувати одне, а рахувати інше. Якщо ділите на групи користувачів, а рахуєте сесії, спостереження вже не незалежні, і реальна вибірка менша, ніж здається. Плануйте вибірку в тих самих одиницях, що й рандомізацію.
Забувати про кілька варіантів і метрик. Три варіанти проти контролю або десять «основних» метрик — це більше шансів на хибнопозитивний результат. Або коригуйте (наприклад, поправкою Бонферроні) і закладайте більшу вибірку, або заздалегідь оберіть одну основну метрику.
Ігнорувати невідповідність співвідношення вибірок (SRM). Якщо планували поділ 50/50, а на великих числах вийшло 52/48, щось зламано в розподілі користувачів. Виправте це, перш ніж довіряти будь-якому результату.
Універсального числа немає: усе залежить від базового рівня і найменшого важливого для вас ефекту. За конверсії 4 % для відносного приросту 10 % при потужності 80 % потрібно близько 39 500 користувачів у групі, а для приросту 30 % — менше 5 000. Рахуйте для своїх параметрів.
Поділіть потрібну загальну вибірку на щоденний трафік, що потрапляє в тест, і округліть угору до повних тижнів. Більшість продуктових тестів мають тривати щонайменше тиждень, а безпечніший мінімум — два, якщо поведінка в будні й вихідні відрізняється.
Тестуйте сміливіші зміни (більший MDE), беріть метрику вище у воронці з вищим базовим рівнем (наприклад, додавання в кошик замість покупки), зменшуйте мінливість, обрізаючи викиди, або визнайте, що це рішення ухвалюватимуть на основі судження, а не тесту. Найгірший варіант — запустити замалий тест і прочитати його результат як «ефекту немає».
80 % — поширений стандарт. 90 % варто брати, коли пропустити реальний ефект дорого, наприклад якщо результат «ефекту немає» закриє стратегічний проєкт. Для того самого MDE знадобиться приблизно на третину більше користувачів.
Планування вибірки стає зрозумілим, коли кілька разів проробиш його на реальних числах. Безкоштовний урок Потужність і розмір вибірки крок за кроком розбирає тест чекауту Котокорму, з тестами на розуміння і практичним завданням, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».
