Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
Автор: Sergey BruhОпубліковано 9 хв читання
Безкоштовний курс для продактів і маркетологів: короткі уроки, реальні продуктові дані та вправи з миттєвим фідбеком.
Почати безкоштовний курс9 хв читання
A/B/n-тест множить шанси на хибного переможця. Як працюють поправки Бонферроні та Холма: приклад із чотирма варіантами і ціна в трафіку.
8 хв читання
Скільки має тривати A/B-тест: ділимо потрібну вибірку на щоденний трафік, округлюємо до цілих тижнів і враховуємо ефект новизни та розпродажі.
8 хв читання
Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.
Підглядання в A/B-тестах (peeking) — це коли результати перевіряють, поки тест ще триває, і зупиняють його, щойно дашборд покаже . Проблема в тому, що кожна додаткова перевірка дає випадковому шуму ще один шанс перетнути поріг значущості, тож хибних «переможців» виходить набагато більше за ті 5 %, на які ви погоджувалися. Ми змоделювали 100 000 тестів, у яких обидві версії були однакові: одна перевірка наприкінці назвала «значущими» 5,0 % із них, а щоденні перевірки протягом чотирьох тижнів — 27,6 %. Помилка не в тому, щоб відкрити дашборд. Помилка — ухвалити рішення за першим зеленим числом. Якщо в A/B-тестуванні потрібна рання зупинка, чесний спосіб — послідовне тестування: перевірки плануються заздалегідь, і кожна має суворіший поріг, ніж 0,05.
Котокорм, інтернет-магазин кормів для тварин, тестує на сторінці товару блок «Підпишіться й заощаджуйте». Emily, продакт-менеджерка, спланувала тест як слід: базова конверсія — 4 %, найменший приріст, заради якого варто запускати зміну, — 10 % відносних. Для цього потрібно близько 39 500 відвідувачів у кожній групі, тобто чотири тижні за 3 000 відвідувачів на день. (Розрахунок є у статті про розмір вибірки для A/B-тесту.)
А далі дашборд показує таке:
На дев'ятий день варіант попереду на 14,4 %, результат значущий. Victor, керівник маркетингу, пише: «Уже зелене, просто запускаймо». Emily чекає. До 28-го дня розрив стискається до 0,9 %, а .
Тепер головне: ця траєкторія — один зі 100 000 тестів із симуляції нижче, обраний тому, що на ньому добре видно закономірність. У кожному з цих тестів справжня конверсія в обох групах була однакова. Блок не дав нічого. Дев'ятий день був шумом, схожим на перемогу.
A/A-тест порівнює версію саму із собою, тому будь-яка «значуща» різниця в ньому — хибнопозитивний результат за побудовою. Налаштування:
Під час кожної перевірки ми рахували p-значення за всіма даними, зібраними на той момент, і ставили одне питання: чи був цей тест «значущим» хоча б раз?
Одна запланована перевірка тримає слово: 5,0 %. Невинна на вигляд щотижнева перевірка вже дає 12,7 %. А за щоденних перевірок «зеленіє» більш ніж кожен четвертий тест.
Ще три факти про 27 550 хибних тривог за щоденних перевірок:
Приблизно половина хибних тривог була на користь B. Команда, яка запускає зміну, щойно B «позеленіє», випустила б марну зміну в 13,8 % цих тестів — проти 2,5 % за однієї перевірки.
p-значення — не індикатор прогресу, який рівномірно заповнюється. Поки надходять дані, розрив між групами гуляє вгору-вниз, і p-значення гуляє разом із ним — найсильніше на початку, коли вибірка мала.
Гарантія «5 %» стосується одного заздалегідь запланованого моменту: якщо реального ефекту немає, імовірність, що результат опиниться за порогом саме в цей момент, дорівнює 5 %. Правило «зупиняємо, щойно зелене» ставить інше питання: чи перетне результат поріг у будь-який момент? Порівняйте «чи піде дощ наступної суботи опівдні?» і «чи піде дощ хоч раз за місяць?». Друге набагато ймовірніше, хоча погода та сама.
До того ж правило однобічне. Зелений результат завершує тест, а сірий отримує ще одну спробу завтра. Шуму досить пощастити один раз.
Це родич проблеми множинних порівнянь, коли серед багатьох метрик випадково знаходиться «переможець». Але перевірки перекриваються (дані десятого дня містять усі дані дев'ятого), тому 28 перевірок дають 27,6 %, а не , як було б для 28 незалежних спроб.
Не дивитися взагалі — теж погана ідея: зламаний варіант коштує реальних грошей.
Чого робити не варто — це використовувати p-значення чи приріст основної метрики, тобто тієї, за якою ухвалюють рішення, як сигнал «зупиняємо й запускаємо». Для захисних метрик умови зупинки узгодьте до запуску («зупиняємо, якщо кількість помилок у чекауті подвоїться»), щоб вони не стали другим способом підглядати.
«Запустимо, тільки якщо значущість протримається два дні поспіль». У симуляції це правило все одно спрацювало у 17,2 % A/A-тестів. Краще, ніж 27,6 %, але більш ніж утричі вище за номінальний рівень.
«Ще не значуще, дамо тесту ще тиждень». Подовжувати тест, доки він не «позеленіє», — те саме підглядання, тільки з іншого кінця.
Довіряти приросту з тесту, зупиненого раніше. Навіть коли ефект реальний, перший перетин порога стається тоді, коли шум грає на вашу користь, тому приріст, який потрапить у прогноз, буде надто оптимістичним.
Варіант 1: зафіксувати розмір вибірки й тривалість заздалегідь. Порахуйте вибірку в калькуляторі розміру вибірки для A/B-тесту, округліть тривалість до цілих тижнів і запишіть у бриф тесту чотири речі: основну метрику, розмір вибірки, дату завершення і правило рішення. Основну метрику аналізуйте один раз, наприкінці, а приріст подавайте разом із довірчим інтервалом.
Варіант 2: послідовне тестування. Якщо раннє рішення справді цінне, беріть метод, створений для повторних перевірок. Ідея проста: перевірки призначають заздалегідь, а 5 % «бюджету помилок» розподіляють між ними, тому на кожній перевірці поріг суворіший за 0,05. У нашій симуляції чотири щотижневі перевірки з порогом на кожній дали 5,0 % хибних спрацювань в A/A-тестах — стільки ж, як одна перевірка з порогом 0,05.
Ціна — чутливість. За реального приросту з 4,0 % до 4,4 % одна перевірка на 28-й день знаходила переможця у 82,5 % симульованих тестів, а схема з чотирма перевірками — у 74,7 %, зате її тести тривали в середньому 19,7 дня замість 28. Багато платформ для експериментів мають вбудований послідовний режим; з'ясуйте, яка статистика стоїть за зеленою позначкою у вашій.
Victor не потребує лекції про правила зупинки. Йому потрібні причина, дата й обіцянка:
«Зелене на дев'ятий день — ще не результат. У тестах на кшталт нашого, де насправді нічого не змінилося, більш ніж кожен четвертий хоч раз стає зеленим, якщо перевіряти щодня, і чотири з п'яти таких наприкінці вже не зелені. Ми домовилися про чотири тижні, бо саме стільки потрібно, щоб побачити приріст 10 %. На 28-й день я принесу підсумкове число з діапазоном, і якщо це перемога — запускаємо наступного ранку».
Назвіть і ціну: очікування забере ще 19 днів, а хибний переможець — це функція, яка нічого не дає, і прогноз, побудований на прирості, якого не було.
Так, якщо це не може змінити рішення. Перевіряйте, чи тест працює коректно, чи рівний поділ між групами і чи в нормі захисні метрики. Основну метрику аналізують у запланований момент завершення або на перевірках, які визначає ваш метод послідовного тестування.
Лише за правилом, встановленим заздалегідь. Набагато суворіший поріг справді захищає: щоденні перевірки з дали в нашій симуляції 0,9 % хибних спрацювань. Але зафіксувати такий поріг до тесту — це якраз те, що робить послідовне тестування. А вирішити вже після погляду на дані, що p-значення «достатньо мале», — те саме підглядання.
Це спосіб аналізувати A/B-тест кілька разів під час роботи, не роздуваючи частку хибнопозитивних результатів. Кількість перевірок і їхні пороги фіксують до запуску, тож на кожній перевірці поріг суворіший за 0,05, а весь тест зберігає 5 % хибних спрацювань. Компроміс: трохи менша чутливість в обмін на можливість зупинитися раніше, коли ефект очевидний. У нашій симуляції чотири щотижневі перевірки з утримали частку хибних спрацювань в A/A-тестах на рівні 5,0 %.
Зупиніть тест і звітуйте про те, що маєте: спостережуваний приріст і його довірчий інтервал, який показує, наскільки великий ефект ще міг лишитися непоміченим. Не подовжуйте тест у гонитві за значущістю. Якщо питання досі важливе, сплануйте новий тест із більшою вибіркою.
У безкоштовному уроці Пастки: підглядання, множинні порівняння, ефект новизни можна потренуватися на тесті банера Котокорму, який був «уже значущий» за два дні: там є тести на розуміння і практичне завдання, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».
