# Підглядання в A/B-тестах: чому рання зупинка шкодить і як допомагає послідовне тестування

> Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.

- Джерело: https://productovi.com/uk/blog/ab-test-peeking
- Автор: Sergey Bruh
- Опубліковано: 2026-10-02
- Теми: Дизайн A/B-тесту, Статистична значущість, Множинні порівняння

Підглядання в A/B-тестах (peeking) — це коли результати перевіряють, поки тест ще триває, і зупиняють його, щойно дашборд покаже $p < 0{,}05$. **Проблема в тому, що кожна додаткова перевірка дає випадковому шуму ще один шанс перетнути поріг значущості, тож хибних «переможців» виходить набагато більше за ті 5 %, на які ви погоджувалися.** Ми змоделювали 100 000 тестів, у яких обидві версії були однакові: одна перевірка наприкінці назвала «значущими» 5,0 % із них, а щоденні перевірки протягом чотирьох тижнів — 27,6 %. Помилка не в тому, щоб відкрити дашборд. Помилка — ухвалити рішення за першим зеленим числом. Якщо в A/B-тестуванні потрібна рання зупинка, чесний спосіб — послідовне тестування: перевірки плануються заздалегідь, і кожна має суворіший поріг, ніж 0,05.

## Тест, який «позеленів» на дев'ятий день

Котокорм, інтернет-магазин кормів для тварин, тестує на сторінці товару блок «Підпишіться й заощаджуйте». Emily, продакт-менеджерка, спланувала тест як слід: базова конверсія — 4 %, найменший приріст, заради якого варто запускати зміну, — 10 % відносних. Для цього потрібно близько 39 500 відвідувачів у кожній групі, тобто чотири тижні за 3 000 відвідувачів на день. (Розрахунок є у статті про [розмір вибірки для A/B-тесту](/uk/blog/ab-test-sample-size).)

А далі дашборд показує таке:

| День | Відвідувачів у групі | Замовлення, A | Замовлення, B | Конверсія, A | Конверсія, B | p-значення |
| ---- | -------------------- | ------------- | ------------- | ------------ | ------------ | ---------- |
| 5    | 7 500                | 284           | 312           | 3,79 %       | 4,16 %       | 0,242      |
| 9    | 13 500               | 500           | 572           | 3,70 %       | 4,24 %       | 0,025      |
| 14   | 21 000               | 810           | 858           | 3,86 %       | 4,09 %       | 0,230      |
| 28   | 42 000               | 1 635         | 1 649         | 3,89 %       | 3,93 %       | 0,803      |

На дев'ятий день варіант попереду на 14,4 %, результат значущий. Victor, керівник маркетингу, пише: «Уже зелене, просто запускаймо». Emily чекає. До 28-го дня розрив стискається до 0,9 %, а $p = 0{,}80$.

Тепер головне: ця траєкторія — один зі 100 000 тестів із симуляції нижче, обраний тому, що на ньому добре видно закономірність. У кожному з цих тестів справжня конверсія в обох групах була однакова. Блок не дав нічого. Дев'ятий день був шумом, схожим на перемогу.

## Симуляція: 100 000 A/A-тестів

A/A-тест порівнює версію саму із собою, тому будь-яка «значуща» різниця в ньому — хибнопозитивний результат за побудовою. Налаштування:

- справжня конверсія 4 % в обох групах;
- 1 500 відвідувачів на день у кожній групі (разом 3 000 на день);
- 28 днів, тобто 42 000 відвідувачів у групі наприкінці;
- 100 000 симульованих тестів, початкове значення генератора випадкових чисел (seed) — 20261006;
- двобічний z-критерій для двох часток із порогом $p < 0{,}05$ — той самий, що в уроці [про тести для конверсії](/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests/theory).

Під час кожної перевірки ми рахували p-значення за всіма даними, зібраними на той момент, і ставили одне питання: чи був цей тест «значущим» хоча б раз?

| Перевірок | Графік       | Тестів, «значущих» хоча б раз | Частка |
| --------- | ------------ | ----------------------------- | ------ |
| 1         | лише день 28 | 5 007                         | 5,0 %  |
| 2         | дні 14 і 28  | 8 375                         | 8,4 %  |
| 4         | щотижня      | 12 654                        | 12,7 % |
| 7         | кожні 4 дні  | 16 590                        | 16,6 % |
| 14        | кожні 2 дні  | 21 968                        | 22,0 % |
| 28        | щодня        | 27 550                        | 27,6 % |

Одна запланована перевірка тримає слово: 5,0 %. Невинна на вигляд щотижнева перевірка вже дає 12,7 %. А за щоденних перевірок «зеленіє» більш ніж кожен четвертий тест.

Ще три факти про 27 550 хибних тривог за щоденних перевірок:

- **Вони ранні.** Половина вперше перетнула поріг не пізніше п'ятого дня, 60 % — протягом першого тижня.
- **Вони виглядають переконливо.** У момент першого перетину медіанний розрив між групами становив 16,8 % відносних. На малій вибірці значущим може бути лише великий розрив.
- **Вони не тримаються.** Лише 18 % цих тестів лишалися значущими на 28-й день.

Приблизно половина хибних тривог була на користь B. Команда, яка запускає зміну, щойно B «позеленіє», випустила б марну зміну в 13,8 % цих тестів — проти 2,5 % за однієї перевірки.

![У 100 000 A/A-тестів одна перевірка на 28-й день дала 5,0 % значущих результатів, а зупинка за першим зеленим під час щоденних перевірок — 27,6 % і марний запуск B у 13,8 % тестів](/blog/ab-test-peeking/diagram-uk.png)

## Чому підглядання множить хибнопозитивні результати

p-значення — не індикатор прогресу, який рівномірно заповнюється. Поки надходять дані, розрив між групами гуляє вгору-вниз, і [p-значення](/uk/blog/p-value-explained) гуляє разом із ним — найсильніше на початку, коли вибірка мала.

Гарантія «5 %» стосується одного заздалегідь запланованого моменту: якщо реального ефекту немає, імовірність, що результат опиниться за порогом **саме в цей момент**, дорівнює 5 %. Правило «зупиняємо, щойно зелене» ставить інше питання: чи перетне результат поріг **у будь-який момент**? Порівняйте «чи піде дощ наступної суботи опівдні?» і «чи піде дощ хоч раз за місяць?». Друге набагато ймовірніше, хоча погода та сама.

До того ж правило однобічне. Зелений результат завершує тест, а сірий отримує ще одну спробу завтра. Шуму досить пощастити один раз.

Це родич [проблеми множинних порівнянь](/uk/blog/abn-test-multiple-comparisons), коли серед багатьох метрик випадково знаходиться «переможець». Але перевірки перекриваються (дані десятого дня містять усі дані дев'ятого), тому 28 перевірок дають 27,6 %, а не $1 - 0{,}95^{28} \approx 76\%$, як було б для 28 незалежних спроб.

## За чим можна стежити під час тесту

Не дивитися взагалі — теж погана ідея: зламаний варіант коштує реальних грошей.

| Стежте вільно                                                          | Чому це безпечно                                                               |
| ---------------------------------------------------------------------- | ------------------------------------------------------------------------------ |
| Баги, помилки, зламана аналітика                                       | Ви перевіряєте, чи працює тест, а не хто виграє                                |
| Співвідношення вибірок: поділ досі близький до 50/50?                  | Невідповідність (SRM) означає, що розподіл зламано; полагодьте й перезапустіть |
| Захисні метрики: швидкість сторінки, повернення, звернення в підтримку | Зупинка через шкоду ніколи не дає хибного переможця                            |

Чого робити не варто — це використовувати p-значення чи приріст **основної метрики**, тобто тієї, за якою ухвалюють рішення, як сигнал «зупиняємо й запускаємо». Для захисних метрик умови зупинки узгодьте до запуску («зупиняємо, якщо кількість помилок у чекауті подвоїться»), щоб вони не стали другим способом підглядати.

## Типові помилки

**«Запустимо, тільки якщо значущість протримається два дні поспіль».** У симуляції це правило все одно спрацювало у 17,2 % A/A-тестів. Краще, ніж 27,6 %, але більш ніж утричі вище за номінальний рівень.

**«Ще не значуще, дамо тесту ще тиждень».** Подовжувати тест, доки він не «позеленіє», — те саме підглядання, тільки з іншого кінця.

**Довіряти приросту з тесту, зупиненого раніше.** Навіть коли ефект реальний, перший перетин порога стається тоді, коли шум грає на вашу користь, тому приріст, який потрапить у прогноз, буде надто оптимістичним.

## Коли зупиняти A/B-тест: фіксований горизонт чи послідовне тестування

**Варіант 1: зафіксувати розмір вибірки й тривалість заздалегідь.** Порахуйте вибірку в [калькуляторі розміру вибірки для A/B-тесту](/uk/tools/ab-test-sample-size), округліть тривалість до [цілих тижнів](/uk/blog/how-long-to-run-an-ab-test) і запишіть у бриф тесту чотири речі: основну метрику, розмір вибірки, дату завершення і правило рішення. Основну метрику аналізуйте один раз, наприкінці, а приріст подавайте разом із [довірчим інтервалом](/uk/blog/confidence-intervals-explained).

**Варіант 2: послідовне тестування.** Якщо раннє рішення справді цінне, беріть метод, створений для повторних перевірок. Ідея проста: перевірки призначають заздалегідь, а 5 % «бюджету помилок» розподіляють між ними, тому на кожній перевірці поріг суворіший за 0,05. У нашій симуляції чотири щотижневі перевірки з порогом $p < 0{,}018$ на кожній дали 5,0 % хибних спрацювань в A/A-тестах — стільки ж, як одна перевірка з порогом 0,05.

Ціна — чутливість. За реального приросту з 4,0 % до 4,4 % одна перевірка на 28-й день знаходила переможця у 82,5 % симульованих тестів, а схема з чотирма перевірками — у 74,7 %, зате її тести тривали в середньому 19,7 дня замість 28. Багато платформ для експериментів мають вбудований послідовний режим; з'ясуйте, яка статистика стоїть за зеленою позначкою у вашій.

## Як пояснити це стейкхолдеру

Victor не потребує лекції про правила зупинки. Йому потрібні причина, дата й обіцянка:

> «Зелене на дев'ятий день — ще не результат. У тестах на кшталт нашого, де насправді нічого не змінилося, більш ніж кожен четвертий хоч раз стає зеленим, якщо перевіряти щодня, і чотири з п'яти таких наприкінці вже не зелені. Ми домовилися про чотири тижні, бо саме стільки потрібно, щоб побачити приріст 10 %. На 28-й день я принесу підсумкове число з діапазоном, і якщо це перемога — запускаємо наступного ранку».

Назвіть і ціну: очікування забере ще 19 днів, а хибний переможець — це функція, яка нічого не дає, і прогноз, побудований на прирості, якого не було.

## Головне

- Підглядання — це зупинка тесту на першому значущому результаті; у нашій симуляції воно перетворило 5 % хибнопозитивних результатів на 12,7 % за щотижневих перевірок і 27,6 % за щоденних.
- Хибні тривоги з'являються рано, виглядають великими й здебільшого зникають до запланованої дати завершення.
- За багами, співвідношенням вибірок і захисними метриками стежте вільно; основну метрику оцінюйте лише в запланований момент.
- Або фіксуйте розмір вибірки й тривалість заздалегідь, або використовуйте послідовне тестування, розраховане на повторні перевірки.
- Про правило зупинки домовляйтеся до запуску, а не перед зеленим дашбордом.

## FAQ

### Чи можна заглядати в дашборд під час A/B-тесту?

Так, якщо це не може змінити рішення. Перевіряйте, чи тест працює коректно, чи рівний поділ між групами і чи в нормі захисні метрики. Основну метрику аналізують у запланований момент завершення або на перевірках, які визначає ваш метод послідовного тестування.

### Чи можна зупинити тест раніше, якщо результат дуже значущий?

Лише за правилом, встановленим заздалегідь. Набагато суворіший поріг справді захищає: щоденні перевірки з $p < 0{,}001$ дали в нашій симуляції 0,9 % хибних спрацювань. Але зафіксувати такий поріг до тесту — це якраз те, що робить послідовне тестування. А вирішити вже після погляду на дані, що p-значення «достатньо мале», — те саме підглядання.

### Що таке послідовне тестування в A/B-тестуванні?

Це спосіб аналізувати A/B-тест кілька разів під час роботи, не роздуваючи частку хибнопозитивних результатів. Кількість перевірок і їхні пороги фіксують до запуску, тож на кожній перевірці поріг суворіший за 0,05, а весь тест зберігає 5 % хибних спрацювань. Компроміс: трохи менша чутливість в обмін на можливість зупинитися раніше, коли ефект очевидний. У нашій симуляції чотири щотижневі перевірки з $p < 0{,}018$ утримали частку хибних спрацювань в A/A-тестах на рівні 5,0 %.

### Що робити, якщо на запланований момент результат незначущий?

Зупиніть тест і звітуйте про те, що маєте: спостережуваний приріст і його довірчий інтервал, який показує, наскільки великий ефект ще міг лишитися непоміченим. Не подовжуйте тест у гонитві за значущістю. Якщо питання досі важливе, сплануйте новий тест із більшою вибіркою.

## Спробуйте на практиці

У безкоштовному уроці [Пастки: підглядання, множинні порівняння, ефект новизни](/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls/theory) можна потренуватися на тесті банера Котокорму, який був «уже значущий» за два дні: там є тести на розуміння і практичне завдання, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».

## Пов’язані уроки

- [Пастки: підглядання, множинні порівняння, ефект новизни](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls.md)
- [p-значення та статистична значущість](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/p-value.md)
- [Статистична потужність і обсяг вибірки](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size.md)
- [Конверсія і z-критерій для двох часток](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests.md)