Скільки має тривати A/B-тест: ділимо потрібну вибірку на щоденний трафік, округлюємо до цілих тижнів і враховуємо ефект новизни та розпродажі.
Автор: Sergey BruhОпубліковано 8 хв читання
Безкоштовний курс для продактів і маркетологів: короткі уроки, реальні продуктові дані та вправи з миттєвим фідбеком.
Почати безкоштовний курс9 хв читання
Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
8 хв читання
Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.
10 хв читання
Як розрахувати розмір вибірки для A/B-тесту: формула, приклад із числами, як статистична потужність і MDE змінюють результат, і безкоштовний калькулятор.
Щоб визначити, скільки має тривати A/B-тест, поділіть загальну потрібну вибірку на кількість користувачів, які щодня потрапляють у тест, і округліть результат угору до цілих тижнів. Тест має тривати щонайменше два повні тижні, навіть якщо за розрахунком вистачає чотирьох днів. А якщо виходить більше ніж приблизно вісім тижнів, це привід змінити дизайн тесту.
Котокорм, інтернет-магазин кормів для тварин, хоче показувати на сторінці товару біля кнопки «Купити» очікувану дату доставки («Привеземо в четвер»). Emily, продакт-менеджерка, планує тест:
Калькулятор розміру вибірки показує 31 234 користувачі в кожній групі, разом 62 468. Звідки береться це число, пояснює стаття про розмір вибірки для A/B-тесту.
На сайт щодня заходить близько 8 000 відвідувачів, але сторінку товару відкривають лише 2 500 із них. Отже:
Округлюємо вгору до цілих тижнів: тест триватиме 4 тижні (28 днів). До п'ятниці результату не буде.
У тест потрапляють тільки ті, хто дійшов до сторінки зі зміною і може її побачити. Якби Emily поділила вибірку на всі 8 000 відвідувачів, у плані стояло б 8 днів. Але за 8 днів сторінку товару відкриють лише 20 000 людей, по 10 000 на групу, і з такою вибіркою шанс помітити реальний приріст 10 % становить близько 35 % замість запланованих 80 %. Тест найімовірніше показав би «незначуще», і робочу ідею відклали б у шухляду.
Трафік беріть за звичайні нещодавні тижні й рахуйте унікальних користувачів, а не сесії.
У вівторок зранку і в неділю ввечері люди купують по-різному. Якщо тест стартував у понеділок і зупинився на 25-й день, то дні з понеділка по четвер потраплять у дані чотири рази, а з п'ятниці по неділю лише тричі. Цілі тижні дають кожному дню однакову вагу.
Той самий тест (базовий рівень 5 %, , потужність 80 %) для різних ефектів і різного трафіку:
Удвічі більший трафік скорочує тест удвічі, а от удвічі менший MDE подовжує його приблизно вчетверо.
Якщо дедлайн уже заданий, переверніть питання. Калькулятор MDE показує, що з 2 500 користувачами на день Котокорм здатен помітити приріст 13,5 % за два тижні і 9,4 % за чотири. За яким ефектом варто ганятися, розповідає стаття про мінімальний виявлюваний ефект.
Мінімум: один-два повні бізнес-цикли. Для більшості інтернет-магазинів цикл дорівнює тижню, тому «1 тиждень» із таблиці на практиці перетворюється на два. Окремий тиждень може виявитися нетиповим (свято, розсилка, збій на сайті), а два тижні дають змогу порівняти перший із другим. Якщо ваші клієнти купують у довшому ритмі, наприклад замовляють раз на місяць після зарплати, охопіть один такий цикл повністю.
Максимум: приблизно шість-вісім тижнів. Довші тести псуються:
Якщо за планом виходить 14 тижнів, не чекайте. Погодьтеся на більший MDE, тестуйте сміливішу зміну або візьміть метрику з вищим базовим рівнем (додавання в кошик замість замовлення).
Ефект новизни означає приріст, який існує лише тому, що зміна нова: постійні відвідувачі помічають незнайомий блок, клацають на нього, а згодом втрачають інтерес. Ефект первинності (primacy effect) працює навпаки: люди, які звикли до старої версії, спершу губляться, і варіант покращується в міру того, як вони звикають.
Щоб їх помітити, порівняйте перший тиждень із наступними. Припустімо, тест Emily завершився так (щотижня по 8 750 користувачів у кожній групі):
Тижневі числа шумні: кожна тижнева різниця має похибку приблизно ±0,7 відсоткового пункту, тож коливання між другим і четвертим тижнями мало що означають. Інша річ, коли приріст першого тижня майже вчетверо більший, ніж останнього. Тижні з другого по четвертий разом дають +9,0 %, і це чесніша оцінка того, що залишиться Котокорму надовго.
Друга перевірка: розділіть нових користувачів і тих, хто повернувся. Новачкам нема з чим порівнювати, тож приріст, який видно лише серед постійних відвідувачів, найпевніше пояснюється новизною.
Показати варіант лише 10 % користувачів здається безпечнішим, але це дорого. Для того самого тесту (з 5,0 % до 5,5 %, 2 500 користувачів на день):
Калькулятор розрахований на рівний поділ; для двох інших рядків та сама формула застосована до нерівних груп. Точність порівняння обмежує менша група: за поділу 90/10 варіанту однаково потрібно близько 17 100 користувачів, а набрати їх по 250 на день вдасться лише за десять тижнів. Загалом поділ 90/10 коштує у 2,7 раза більше трафіку, ніж рівний.
Якщо ризик вас непокоїть, покажіть варіант 10 % користувачів на день-два, щоб виловити баги, потім перейдіть на 50/50 і рахуйте тест від цього моменту.
Тест вимірює ефект на тих людях, які були на сайті під час тесту. У «чорну п'ятницю» відвідувачі полюють на знижки і купують поспіхом, тож приріст, виміряний того тижня, у лютому може не повторитися.
Зупиняти тест, щойно основна метрика стала значущою, означає підглядати, а це збільшує частку хибнопозитивних результатів. Чому так, пояснює стаття про підглядання в A/B-тестах. Зупинка через те, що варіант шкодить користувачам, є іншим випадком, якщо правило записане ще до запуску:
Це безпечно, бо дострокова зупинка через шкоду може закінчитися лише рішенням «не запускаємо», але не запуском хибного переможця.
Лише для того, щоб виловити баги. Три дні охоплюють тільки частину тижневого ритму, а на перші дні припадає найсильніший ефект новизни. Мінімум становить один повний тиждень, а краще два.
Змінюйте тест, а не календар: більший MDE і сміливіша зміна, метрика вище у воронці або сторінка з більшим трафіком. Якщо нічого з цього не вдається, ухваліть рішення без тесту і відкрито про це скажіть.
Не зовсім. Тим, хто потрапив у тест останнього дня, на рішення потрібно стільки ж часу, як і тим, хто прийшов першого. Якщо більшість замовлень надходить упродовж трьох днів після першого візиту, на 28-й день припиніть додавати нових користувачів і ще три дні рахуйте замовлення.
Безкоштовний урок Пастки: підглядання, множинні порівняння, ефект новизни розбирає підглядання, множинні порівняння та ефект новизни на експериментах Котокорму, з тестами на розуміння і практичним завданням, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».
