# Мінімальний виявлюваний ефект (MDE): як обрати його для A/B-тесту

> Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.

- Джерело: https://productovi.com/uk/blog/minimum-detectable-effect
- Автор: Sergey Bruh
- Опубліковано: 2026-10-02
- Теми: Статистична потужність, Розмір вибірки, Дизайн A/B-тесту

Мінімальний виявлюваний ефект (MDE) — це **найменша справжня зміна метрики, яку ваш A/B-тест розраховано виявити з обраною потужністю, зазвичай 80 %.** Він описує чутливість тесту, а не те, що дасть сама зміна. До нього приходять із двох боків: від бізнесу (найменший приріст, який окупає зміну) і від трафіку (найменший приріст, який здатні показати ваші відвідувачі й тижні). Коли перше число менше за друге, жодна формула цього розриву не закриє. Здебільшого ця стаття про те, що робити в такому разі.

## Приклад: обіцянка доставки в Котокормі

Emily, продакт-менеджерка Котокорму, інтернет-магазину кормів для тварин, хоче додати на сторінки товарів для котів обіцянку доставки: «Замовте до 14:00 — отримаєте завтра». На ці сторінки щодня потрапляє близько 2 000 нових відвідувачів, і 3 % із них оформлюють замовлення.

У брифі тесту є поле «MDE». Emily вписує 20 %, бо з таким числом тест вміщається у два тижні, що лишилися до кінця спринту. Ніхто в команді не вірить, що один рядок тексту підніме замовлення на п'яту частину. Число взяли з календаря, і спланований так тест від початку не міг побачити ефект, який шукав.

## Відносний чи абсолютний: називайте одиницю

«MDE 10 %» нічого не означає, доки не сказано, 10 % від чого. **Відносний** ефект — це частка базового рівня. **Абсолютний** — різниця у відсоткових пунктах (в. п.). Ось ті самі зміни, записані обома способами, за рівня значущості 5 % і потужності 80 %:

| Метрика і базовий рівень | Ціль   | Абсолютний | Відносний | Користувачів у групі |
| ------------------------ | ------ | ---------- | --------- | -------------------- |
| Замовлення, 3 %          | 3,3 %  | +0,3 в. п. | +10 %     | 53 211               |
| Замовлення, 3 %          | 4,0 %  | +1,0 в. п. | +33,3 %   | 5 301                |
| Відкриття листів, 30 %   | 33,0 % | +3,0 в. п. | +10 %     | 3 763                |
| Відкриття листів, 30 %   | 31,0 % | +1,0 в. п. | +3,3 %    | 33 275               |

«Плюс 10 %» коштує 53 211 користувачів у групі за базового рівня 3 % і лише 3 763 за базового рівня 30 %. «Плюс один пункт» для замовлень — величезний стрибок, а для відкриття листів — ледь помітний зсув. Переплутаєте одиниці — і помилитеся з вибіркою на порядок.

Тому записуйте MDE повністю: «з 3,0 % до 3,3 %, тобто +0,3 в. п., або +10 % відносно».

## Два напрямки одного запитання

MDE, вибірку, рівень значущості й потужність пов'язує одна формула, і рахувати за нею можна в обидва боки. Саму формулу ми розібрали в статті про [розмір вибірки для A/B-тесту](/uk/blog/ab-test-sample-size), а тут лише користуємося нею.

### Напрямок 1: ефект відомий, скільки це триватиме?

На це запитання відповідає [калькулятор розміру вибірки](/uk/tools/ab-test-sample-size). Для сторінок Emily (базовий рівень 3 %, 2 000 нових відвідувачів на день, поділ 50/50):

| Відносний MDE | Ціль   | Користувачів у групі | Днів | Повних тижнів |
| ------------- | ------ | -------------------- | ---- | ------------- |
| 5 %           | 3,15 % | 207 938              | 208  | 30            |
| 10 %          | 3,30 % | 53 211               | 54   | 8             |
| 15 %          | 3,45 % | 24 193               | 25   | 4             |
| 20 %          | 3,60 % | 13 914               | 14   | 2             |
| 30 %          | 3,90 % | 6 455                | 7    | 1             |

### Напрямок 2: трафік і час відомі, що я зможу виявити?

На це відповідає [калькулятор MDE](/uk/tools/mde-calculator). Ви вводите базову конверсію, кількість нових учасників на день (разом для обох варіантів) і кількість днів, а він повертає MDE як відносний приріст і у відсоткових пунктах, а також кількість учасників на варіант.

| Тривалість тесту | Користувачів у групі | Виявлюваний MDE | Конверсія    |
| ---------------- | -------------------- | --------------- | ------------ |
| 1 тиждень        | 7 000                | +28,7 %         | 3 % → 3,86 % |
| 2 тижні          | 14 000               | +19,9 %         | 3 % → 3,60 % |
| 4 тижні          | 28 000               | +13,9 %         | 3 % → 3,42 % |
| 8 тижнів         | 56 000               | +9,7 %          | 3 % → 3,29 % |

Щоб зменшити MDE вдвічі, потрібно приблизно вчетверо більше користувачів. Тож учетверо довший тест зменшує MDE лише вдвічі: один тиждень дає 28,7 %, чотири тижні — 13,9 %.

## Обирайте MDE з огляду на гроші, а не на сподівання

Напрямок 2 показує, що тест здатен побачити, а не що варто бачити. Для цього знайдіть найменший приріст, який окупає зміну. Для обіцянки доставки:

- Дизайн і розробка коштують 7 200 доларів.
- Сервіс кур'єрської служби, що резервує слоти доставки, коштує 480 доларів на місяць.
- Котокорм хоче, щоб такі зміни окупалися за 12 місяців.
- Середній чек — 40 доларів, маржа — 30 %, тож одне додаткове замовлення приносить 12 доларів.

Витрати за перший рік: $7\,200 + 12 \times 480 = 12\,960$ доларів, тобто 1 080 доларів на місяць. Щоб їх покрити, обіцянка має приносити $1\,080 / 12 = 90$ додаткових замовлень щомісяця. Сторінки відвідують $2\,000 \times 30 = 60\,000$ людей на місяць, отже йдеться про $90 / 60\,000 = 0{,}15$ відсоткового пункту: з 3,00 % до 3,15 %, тобто про **відносний приріст 5 %**.

Це і є бізнесовий MDE. Менший приріст збитковий, навіть якщо він справжній, тож платити за тест, здатний його виявити, немає сенсу.

Тепер порівняйте два числа. Бізнесу потрібно бачити 5 %. Чотири тижні трафіку дають змогу побачити 13,9 %, а щоб дійти до 5 %, знадобилося б 30 тижнів.

## Коли трафік не дотягує до потрібного MDE

Emily має п'ять чесних варіантів.

**Сторінка з більшим трафіком.** Обіцянка доречна на всіх сторінках товарів, а не лише на котячих. Усі сторінки товарів разом збирають 6 000 нових відвідувачів на день за тієї самої конверсії 3 %. Тепер чотири тижні виявляють приріст 7,9 %, а на 5 % потрібно 10 тижнів замість 30.

![Бізнесу треба виявити приріст 5 %; сторінки для котів дійдуть до нього за 30 тижнів, усі сторінки товарів — за 10, а за чотири тижні видно лише 13,9 % і 7,9 %](/blog/minimum-detectable-effect/diagram-uk.png)

**Чутливіша метрика.** 12 % відвідувачів додають щось у кошик. На цій метриці ті самі чотири тижні з 2 000 відвідувачів на день виявляють приріст 6,5 % (з 12 % до 12,78 %), а на всіх сторінках товарів — 3,7 %. Але приріст додавань у кошик лише натякає на замовлення і нічого про них не доводить.

**Сміливіша зміна.** Тестуйте обіцянку разом із відліком часу до 14:00 і датою доставки в кошику. Пакет змін цілком може дати більший ефект, ніж один рядок тексту. Ви менше дізнаєтеся про те, що саме спрацювало, зате тест здатен побачити пакет загалом.

**Довший тест.** Вісім тижнів знижують MDE до 9,7 %, але відкладають рішення і впускають у дані сезонність та рекламні кампанії.

**Без тесту.** Якщо зміна дешева і її легко відкотити, запускайте на основі судження і стежте за метриками. Якщо вона дорога, а аргументи слабкі, не робіть її.

Чого в списку немає: знижувати потужність чи послаблювати рівень значущості, доки число не зійдеться. MDE стає гарнішим лише тому, що тест стає менш надійним.

## Чому «перемога» замалого тесту перебільшена

Припустімо, Emily все одно запускає тест на чотири тижні, а обіцянка справді піднімає замовлення на 5 %. Із 28 000 користувачів у групі тест має лише близько 18 % шансів досягти значущості. Найчастіше він повідомить «значущої різниці немає» про зміну, яка працює.

Рідший результат небезпечніший. Якщо в контролі 840 замовлень (3,00 %), варіанту потрібно щонайменше 921 (3,29 %), щоб $p$ опустилося нижче 0,05. Це приріст 9,6 %. Такий тест **не може** показати значущий приріст 5 %: найменший значущий результат, який він здатен видати, майже вдвічі більший за правду. У нашій симуляції 400 000 таких тестів ті, що досягли значущості, показали середній приріст 12,6 % — у два з половиною рази більше за справжній.

Отже, замалий тест, який «переміг», дає вам завищене число, і прогноз виручки на його основі не справдиться. Допомагає [довірчий інтервал](/uk/blog/confidence-intervals-explained): для 840 замовлень проти 921 він простягається приблизно від 0 % до +19 %, і це чесніший підсумок, ніж «+9,6 %».

## Типові помилки

- **Брати MDE з календаря.** Рахувати від двох тижнів можна, якщо вголос сказати, що це означає: «цей тест бачить лише прирости від 20 %».
- **Не називати одиницю.** «MDE 5 %» без слів «відносно» чи «відсоткових пунктів» кожен прочитає по-своєму.
- **Вважати MDE прогнозом.** Це властивість тесту. Справжній ефект може бути більшим, меншим або нульовим, тому порівнюйте MDE з тим, на що реально розраховуєте.
- **Читати «незначуще» як «ефекту немає».** Тест із MDE 14 % мало що каже про ефект 5 %.
- **Змінювати MDE після запуску.** Пересувати ціль, коли дані вже надходять, — це різновид [підглядання](/uk/blog/ab-test-peeking).

## Що робити на практиці

1. Порахуйте найменший приріст, який окупає зміну, і запишіть його в обох одиницях.
2. Введіть у калькулятор MDE базовий рівень, трафік і найдовший тест, який можете собі дозволити.
3. Якщо виявлюваний MDE не більший за бізнесовий, запускайте тест на повні тижні.
4. Якщо більший, а ефект такого розміру нереалістичний, оберіть один із п'яти варіантів ще до запуску.
5. Зафіксуйте MDE, потужність і рівень значущості в брифі й більше їх не чіпайте.

## Головне

- Мінімальний виявлюваний ефект — це найменший справжній ефект, який тест розраховано виявити з обраною потужністю.
- Завжди записуйте його і відносно, і у відсоткових пунктах, разом із базовим рівнем і ціллю.
- Визначайте його від найменшого приросту, який окупає зміну, а потім перевіряйте трафіком.
- Учетверо більша вибірка зменшує MDE лише вдвічі.
- Замалий тест пропускає справжні ефекти й перебільшує ті, які знаходить.

## FAQ

### Який мінімальний виявлюваний ефект вважається нормальним?

Універсального значення немає. Добрий MDE не менший за приріст, який окупає зміну, і не більший за ефект, якого від цієї зміни реально очікувати. Якщо з вашим трафіком між цими двома межами нічого не вміщається, тест у такому вигляді запускати не варто.

### MDE відносний чи абсолютний?

Буває і таким, і таким, тому одиницю треба називати. За базового рівня 3 % відносні 10 % — це 0,3 відсоткового пункту, а 10 відсоткових пунктів означали б перехід із 3 % до 13 %. Наші калькулятори показують обидва значення.

### Чи може тест виявити ефект, менший за MDE?

Іноді. MDE — це ефект, який тест виявляє з обраною потужністю, зазвичай у 80 % випадків. Менші справжні ефекти він ловить рідше, а коли ловить, виміряний приріст зазвичай завищений.

## Спробуйте на практиці

Обирати MDE стає легше, коли ви самі розрахували кілька тестів. Безкоштовний урок [Потужність і розмір вибірки](/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size/theory) крок за кроком розбирає тест Котокорму, з тестами на розуміння і практичним завданням, яке перевіряє ШІ. Це частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».

## Пов’язані уроки

- [Статистична потужність і обсяг вибірки](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size.md)
- [Конверсія і z-критерій для двох часток](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests.md)
- [Довірчий інтервал: формула і похибка](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/confidence-intervals.md)
- [Пастки: підглядання, множинні порівняння, ефект новизни](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls.md)