# Наскільки великий і наскільки довгий

> Розмір вибірки й тривалість продуктового тесту.

- Курс: [Продуктова аналітика: від даних до рішень](https://productovi.com/uk/courses/product-analytics.md)
- Модуль: Чи спрацювала зміна?
- Урок 18/32, ~31 хв
- Джерело: https://productovi.com/uk/courses/product-analytics/test-size

## «Тижня має вистачити»

**Alex Tutor:** Тест paywall у Halves має план, і Maya хоче почути від тебе, скільки його тримати.

**Maya:** План тесту для paywall із тріалом на початку підписано. Запустімо на тиждень і прочитаємо в понеділок.

**Alex Tutor:** Тижня може вистачити, а може вийти підкидання монетки. Тривалість не обирають, її розраховують із чотирьох вхідних даних і одного факту про трафік.

**Alex Tutor:** **Базовий рівень (baseline):** як часто основна метрика трапляється зараз. Минулого кварталу 4,0% тих, хто вперше побачив paywall, оплатили протягом 14 днів. **MDE** (minimum detectable effect) — мінімальний ефект, який варто виявити. У плані це +1 п. п., з 4% до 5%.

**Alex Tutor:** **Рівень значущості α = 5%**, двобічний: ризик хибної перемоги, коли paywall нічого не змінює. **Потужність (power) = 80%**: шанс помітити справжні +1 п. п. Теорія — в уроці [«Потужність і розмір вибірки»](/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size).

![Сітка з дрібними вічками тримає маленьку рибку, а сітка з великими вічками пропускає таку саму.](https://productovi.com/courses/product-analytics/inline/test-size-illustration-2.webp)

*Коли користувачів достатньо, малий справжній ефект важко пропустити.*

**Sofia:** А факт про трафік?

**Alex Tutor:** Скільки нових користувачів потрапляє в тест щотижня. До цього ще дійдемо.

> **Вправа:** Зістав кожен вхідний параметр розрахунку з тим, що він означає для тесту paywall.

## Користувачі на варіант

**Alex Tutor:** Для метрики-конверсії стандартна формула порівняння двох часток дає кількість користувачів **на варіант**. 1,96 — це z-значення для двобічного α = 5%, а 0,84 — для потужності 80%, тож перший множник (1,96 + 0,84)² = 7,84.

$$
n = \frac{(z_{\alpha/2}+z_{\beta})^2\,\left[p_1(1-p_1)+p_2(1-p_2)\right]}{(p_2-p_1)^2}
$$

*Користувачі на варіант для порівняння двох конверсій: p₁ — базовий рівень, p₂ = p₁ + MDE. Округлюй вгору.*

**Sofia:** Тобто p₁ = 0,04, а p₂ = 0,05. Усе інше вже є у формулі.

**Alex Tutor:** Так. Онлайн-калькулятори, зокрема [наш](/uk/tools/ab-test-sample-size), використовують трохи різні варіанти цієї формули, тож відповіді можуть відрізнятися на кілька користувачів. Близькі числа — це та сама відповідь.

> **Вправа:** Скільки користувачів **на варіант** потрібно для тесту paywall? Базовий рівень 4,0%, MDE +1 п. п., двобічне α = 5%, потужність 80%. Округли угору до цілого користувача.

## Від користувачів до тижнів

**Alex Tutor:** Тепер трафік. У тест потрапляють лише ті, хто бачить paywall **уперше**, — близько **3400 на тиждень** на обидва варіанти разом.

**Sofia:** 13 470 ÷ 3400 = 3,96 тижня. Тобто майже рівно 28 днів.

**Alex Tutor:** Округлюємо вгору до **цілих тижнів** у будь-якому разі: 4. У Halves тижневий ритм. Оренду ділять у вихідні, поїздки починаються в п'ятницю. Тест, який зупинився в середу, перебільшує вагу якихось днів.

![Колесо із сімома спицями котиться дорогою й залишає помаранчеву позначку після кожного повного оберту.](https://productovi.com/courses/product-analytics/inline/test-size-illustration-3.webp)

*Тест має тривати цілі тижні, щоб кожен день тижня важив однаково.*

**Alex Tutor:** І ще одне: метрика — «оплатив протягом 14 днів». Останньому користувачеві, який потрапить у тест на 28-й день, потрібно ще 14 днів, перш ніж його можна буде зарахувати.

**Maya:** То коли я насправді отримаю відповідь?

> **Вправа:** Тесту paywall Halves потрібно 6735 користувачів на варіант (13 470 загалом), а його основна метрика — «оплатив протягом 14 днів». Скільки **календарних тижнів** мине від запуску тесту до читання результату? Набір триває цілими тижнями по 3400 нових користувачів на тиждень, і кожному потрібне повне 14-денне часове вікно.

**Alex Tutor:** Шість тижнів — це за умови 3400 на тиждень. У тихі місяці трафік просідає, тож перевір, що це робить із календарем.

> **Вправа:** У тихий місяць уперше бачать paywall лише **2000** людей на тиждень. Тесту paywall Halves однаково потрібно 13 470 користувачів і 14-денне вікно. Скільки календарних тижнів від запуску до результату?

## Ціна меншого ефекту

**Theo:** Шість тижнів, щоб побачити +1 п. п. А чому не цілитися в +0,5 п. п.? Кожен долар доходу важить.

![Базовий рівень, MDE, значущість і потужність дають 6735 користувачів на варіант; при 3400 на тиждень це 4 тижні набору і результат через 6 тижнів.](https://productovi.com/courses/product-analytics/diagrams/m5-l2-test-length-uk.png)

**Sofia:** Удвічі менший ефект — отже, удвічі більше користувачів?

**Alex Tutor:** Більше. Ефект у знаменнику стоїть у квадраті: зменш MDE удвічі — і користувачів потрібно приблизно **вчетверо** більше. Порахуй для 4,0% → 4,5%.

![Великий камінь добре видно під маленькою лампою, а крихітний камінчик поруч потребує величезного прожектора.](https://productovi.com/courses/product-analytics/inline/test-size-illustration-4.webp)

*Удвічі менший ефект, який хочеш помітити, потребує приблизно вчетверо більше користувачів.*

> **Вправа:** Тест paywall Halves має базовий рівень 4,0%, двобічне α = 5% і потужність 80%. Тепер MDE — **+0,5 п. п.** (4,0% → 4,5%). Скільки користувачів **на варіант**? Округли угору.

**Maya:** Шістнадцять тижнів — це цілий сезон. Ні.

**Alex Tutor:** Ось і компроміс. MDE визначає те, що варто запускати, і те, що дозволяє трафік, а не бажання. Якщо ефект, який вас цікавить, замалий, щоб його знайти, тестуйте сміливішу зміну.

**Sofia:** А базовий рівень? Чи важливо, з яких користувачів його взято?

**Alex Tutor:** Дуже. Бери його з тих самих людей, які потраплять у тест: тих, хто вперше бачить paywall, а не всіх користувачів. За базового рівня 8% ті самі +1 п. п. потребували б 12 192 на варіант, майже вдвічі більше.

> **Вправа:** Тест paywall Halves розраховано на 6735 користувачів на варіант: базовий рівень 4,0%, MDE +1 п. п., α = 5%, потужність 80%, поділ 50/50. Яка зміна **зменшує** потрібну йому кількість користувачів?

**Theo:** Тобто сміливіший paywall із прицілом на +1,5 п. п. був би швидшим. Наскільки саме?

> **Вправа:** Скільки користувачів **на варіант** потрібно тесту paywall Halves із базовим рівнем 4,0% і MDE **+1,5 п. п.** (4,0% → 5,5%), за двобічного α = 5% і потужності 80%? Округли угору.

## Пояснити це Maya

**Maya:** Гаразд, але що не так з одним тижнем? Було б 1700 користувачів на варіант. Це ж багато людей.

**Alex Tutor:** Людей багато, а доказів мало. З 1700 на варіант справжні +1 п. п. проявилися б лише приблизно в **29%** випадків. Найімовірніше, ми побачили б «незначущий» результат і помилково назвали б paywall некорисним.

**Alex Tutor:** Є й другий спосіб урізати тест: перевіряти його знову й знову і зупинитися, коли все виглядає добре.

> **Вправа:** Maya щоранку перевіряє тест paywall і зупиняє його в перший же день, коли інтервал основної метрики вище за нуль. Її ризик хибної перемоги досі 5%.

**Alex Tutor:** Уяви, що результат після першого тижня лягає Maya на стіл як «незначущий».

> **Вправа:** Тест paywall Halves (базовий рівень 4,0%, MDE +1 п. п.) розраховано на 6735 користувачів на варіант. Припустімо, Maya, продуктова лідерка, все ж прогнала його один тиждень (1700 на варіант) і отримала «незначуще». Яке прочитання **правильне**?

**Sofia:** А якщо перший тиждень випадково виглядатиме чудово, зупинитися тоді — це пастка підглядання.

> **Вправа:** Maya питає: «Чому не можна просто прогнати тест paywall один тиждень?» Дай їй відповідь у 3–5 реченнях, з числами з цього уроку й хоча б одним чесним способом отримати відповідь швидше.

**Alex Tutor:** Отже, шість тижнів. Запиши дату читання результату в план уже зараз, щоб ні в кого не виникало спокуси прочитати його раніше.

- Попередній урок: [План A/B-тесту: гіпотеза, метрика, guardrail-метрики](https://productovi.com/uk/courses/product-analytics/test-design.md)
- Наступний урок: [Хто потрапляє в тест: тригери й кластерна рандомізація](https://productovi.com/uk/courses/product-analytics/who-is-in-the-test.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.