# Статистична потужність і обсяг вибірки

> Статистична потужність і обсяг вибірки: скільки користувачів потрібно експерименту, щоб виявити важливий для тебе ефект.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: A/B-тестування на практиці
- Урок 10/24, ~38 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size

## Чому «просто запустимо і подивимось» не працює

**Alex Tutor:** Ти й далі відповідаєш на питання продуктової команди Котокорму щодо даних, і наступним у черзі — редизайн чекауту.

**Sofia:** Запустімо тест редизайну чекауту на 200 користувачів у кожній групі — і перевіримо в п'ятницю.

**Alex Tutor:** Перш ніж це зробити — який ефект ми хочемо побачити, і чи взагалі 200 користувачів здатні його показати, якщо він реальний?

**Sofia:** Мені... таке навіть на думку не спадало.

**Alex Tutor:** Це і є **статистична потужність**: імовірність того, що тест виявить реальний ефект, якщо він справді існує. Низька потужність означає, що реальні перемоги можуть залишитися непоміченими. Перевірку потужності до запуску називають **аналізом потужності**.

![У темній кімнаті кіт світить маленьким слабким ліхтариком, і вузький промінь оминає помаранчеву іграшкову мишку поруч.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/power-and-sample-size-illustration-2.webp)

*Мала потужність — це слабкий ліхтарик: ефект може бути зовсім поруч і все одно лишитися непоміченим.*

> **Статистична потужність (1 − β)**
>
> Імовірність правильно виявити реальний ефект (відхилити хибну нульову гіпотезу) — доповнення до помилки другого роду (β).

**Alex Tutor:** Пропустити реальний ефект — і ти або нічого не запускаєш, хоча варто було б, або, гірше, вирішуєш, що ідея «не працює», і назавжди її ховаєш.

> **Вправа:** Вища статистична потужність означає нижчу ймовірність помилки другого роду (не виявити реальний ефект, який існує).

**Alex Tutor:** На потужність впливають чотири речі: обсяг вибірки, розмір ефекту, який тебе цікавить, рівень значущості (α) і природна мінливість даних.

**Sofia:** Розмір ефекту... тобто щось на кшталт відсоткового приросту?

**Alex Tutor:** У тестах на конверсію це зазвичай називають **мінімальним виявлюваним ефектом (MDE)** — найменшою реальною різницею, яку тест повинен вміти вловити.

**Alex Tutor:** Менший MDE = складніше вловити = потрібно значно більше користувачів. Це найпотужніший важіль для потрібного обсягу вибірки.

![Кіт тримає величезну лупу над купкою синього корму, і лише крізь лінзу видно крихітний помаранчевий шматочок.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/power-and-sample-size-illustration-3.webp)

**Alex Tutor:** (До речі, на відміну від прикладу з AOV у Модулі 1, тут ми працюємо з частками, а не із середнім арифметичним — формули трохи інші.)

## Аналіз потужності: обсяг вибірки для тесту конверсії

**Alex Tutor:** Розрахуймо реальний приклад. Сторінка чекауту Котокорму конвертує на базовому рівні p1 = 5,0%. Маркетинг хоче виявити зростання до p2 = 6,0% — це і є MDE.

$$
n \approx \frac{(z_{\alpha/2}+z_{\beta})^2 \left[p_1(1-p_1)+p_2(1-p_2)\right]}{(p_1-p_2)^2}
$$

*Приблизний обсяг вибірки на варіант для z-критерію для двох часток при рівні значущості α (двобічний) і потужності 1 − β.*

**Alex Tutor:** Для звичних α = 0,05 (двобічний) і потужності 80% критичні значення — z = 1,96 і z_β = 0,84.

> **Вправа:** Обчисли p1(1−p1) + p2(1−p2) для p1 = 5,0% і p2 = 6,0% (як десятковий дріб, не у відсотках).

**Alex Tutor:** Підставляємо: n ≈ (1,96+0,84)² × 0,1039 / (0,05−0,06)² = 7,84 × 0,1039 / 0,0001 ≈ 8 146 користувачів **на варіант**.

**Sofia:** 8 146 *на варіант*? Це понад 16 000 загалом заради приросту на 1 пункт?!

**Alex Tutor:** Так — малі базові рівні й малі абсолютні прирости дорого виявляти. Це реальна ціна гонитви за крихітними ефектами.

**Alex Tutor:** І це різко нелінійно: зменшуєш MDE — і потрібна вибірка вибухає, бо в знаменнику — *квадрат* різниці.

> **Вправа:** Якщо зменшити вдвічі цільовий MDE (залишивши α, потужність і базову мінливість незмінними), у скільки разів приблизно зросте потрібний обсяг вибірки?

**Alex Tutor:** Тепер розрахуй тест самостійно. Форма підписки на розсилку — інша сторінка з іншим базовим рівнем, але кроки ті самі чотири.

> **Вправа:** Форма підписки на розсилку Котокорму конвертує на рівні 10%. Маркетинг хоче тест, здатний виявити зростання до 12% при α = 0,05 (двобічний) і потужності 80% (значення z — 1,96 і 0,84). Скільки приблизно користувачів потрібно кожному варіанту?

**Alex Tutor:** То що робити, коли калькулятор каже 8 146, а на сторінку тесту за два тижні заходить лише 3 000 відвідувачів загалом?

**Sofia:** Просто запустити на два тижні й подивитися, який вийде p-значення?

**Alex Tutor:** Такий тест буде вкрай недопотужнений — імовірно пропустить реальний приріст на 1 пункт, навіть якщо він є. Натомість є реальні варіанти.

**Alex Tutor:** Погодитися на більший MDE (ловити лише стрибок на 2 пункти, а не 1), запускати довше, щоб накопичити трафік, або тестувати на сторінці з більшим трафіком.

> **Вправа:** Калькулятор каже, що потрібно 8 146 користувачів на варіант, а ти отримуєш лише 1 500/тиждень. Яке чесне рішення?

**Alex Tutor:** Хоч який варіант обереш, хтось запитає: «То скільки це триватиме?» Переведи тест форми підписки в тижні.

> **Вправа:** Тест форми підписки на розсилку Котокорму потребує 3 834 користувачі на варіант (варіантів два). Форму відвідують приблизно 1 200 людей на тиждень, порівну між варіантами. Скільки **повних тижнів** має тривати тест?

## Потужність і помилки першого та другого роду

**Alex Tutor:** Закріпимо термінологію — потужність напряму пов'язана з двома типами помилок із уроків про перевірку значущості.

**Sofia:** Помилка першого й другого роду... я завжди їх плутаю.

**Alex Tutor:** Це нормально — більшість плутає. Зістав терміни нижче, і має проясніти.

**Sofia:** Гаразд, починаймо.

> **Вправа:** Зістав кожен термін із його визначенням.

**Alex Tutor:** Ідеально. Тепер перевіримо, які саме важелі впливають на потрібну кількість користувачів.

**Sofia:** Спробую вгадати: менший MDE — більше людей.

**Alex Tutor:** Правильна інтуїція. Є ще три подібні важелі.

**Sofia:** Давай варіанти з кількома відповідями.

> **Вправа:** Що з переліченого збільшує потрібний обсяг вибірки за незмінності решти умов? Обери всі правильні варіанти.

**Alex Tutor:** А тепер уяви, що хтось пропустив усе це й запустив тест чекауту з тим трафіком, який був. Ось що вийшло.

> **Вправа:** Тесту редизайну чекауту Котокорму (базова конверсія 5,0%) було потрібно 8 146 користувачів на варіант, щоб виявити приріст на 1 пункт. Хтось однаково запустив його з приблизно 1 500 користувачами на варіант. Результат: p = 0,41. Який підсумок правильний?

## Аналіз потужності — до старту, а не після підглядання

**Alex Tutor:** Ще одна звичка, яку варто виробити: рахувати потужність і визначати обсяг вибірки *до* початку тесту, а не після перших результатів.

**Sofia:** Взагалі-то... у нашій команді правило: кожен тест триває рівно тиждень, без винятків. «Такий у нас процес».

**Alex Tutor:** Це пастка, замаскована під послідовність. Тижневий трафік — це не те саме, що тижнева *потужність*.

![Дві однакові банки наповнюються під одним годинником: густий потік корму заповнює одну, а тонка цівка ледь покриває дно другої.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/power-and-sample-size-illustration-4.webp)

*Тиждень жвавої сторінки й тиждень тихої — це зовсім не однакова кількість доказів.*

**Sofia:** Бо трафік не постійний...

> **Вправа:** У твоїй команді правило: кожен A/B-тест триває рівно тиждень, без винятків. За 2-3 речення поясни колезі, чому фіксувати тривалість тесту на «завжди один тиждень» гірше, ніж фіксувати потрібний обсяг вибірки.

**Alex Tutor:** Гарно — тепер складніша, реальна ситуація для роздумів.

**Sofia:** Поїхали.

**Alex Tutor:** На сторінку чекауту Котокорму заходить близько 500 сесій/тиждень. Маркетинг хоче протестувати новий банер «підписка й економія», з ціллю приросту конверсії з 5,0% до 6,0%.

**Sofia:** Це той самий приклад, що й раніше — 8 146 на варіант, так?

> **Вправа:** Чи варто Котокорму запускати цей тест за планом?

**Alex Tutor:** Це і є справжня навичка: помітити недопотужнений план *до* того, як він змарнує місяць, нічого не довівши.

**Sofia:** Далі — власне правильно провести тест конверсії, так?

**Alex Tutor:** Саме так — частки, z-критерій і як читати приріст, не обманюючи себе.

- Попередній урок: [Довірчий інтервал: формула і похибка](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/confidence-intervals.md)
- Наступний урок: [Конверсія і z-критерій для двох часток](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.