# p-значення та статистична значущість

> Що насправді каже p-значення, чого воно не каже, як рівень значущості 0,05 перетворює його на рішення, і статистична значущість проти практичної.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: Порівняння двох груп
- Урок 8/24, ~39 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/p-value

## Що насправді означає p у p-значенні

**Alex Tutor:** Повертаймося до продуктової команди Котокорму й нашого тесту віджета: t ≈ 6,97, і я сказала, що це «статистично значуще». Час розібрати, що насправді означає статистична значущість.

**Sofia:** Мені здавалося, що «значуще» просто означає «велике й важливе».

**Alex Tutor:** Поширена пастка, і саме тому й існує цей урок. Кожен критерій, який ми застосували, зводиться до одного числа: **p-значення**. Його справжнє визначення на диво манівцями.

**Alex Tutor:** p-значення — це: *якщо припустити, що нульова гіпотеза правдива* (групи насправді не відрізняються), імовірність отримати статистику критерію (test statistic) — як-от наше t чи U — принаймні таку ж екстремальну, як обчислена, лише через шум вибірки.

**Sofia:** Це важко переварити. Можеш повторити, повільніше?

**Alex Tutor:** Повільно: уяви, що між контролем і варіантом справді немає різниці. p-значення запитує: «якби це уявлення було правдою, як часто сама випадковість вибірки давала б результат такий екстремальний чи екстремальніший?» Мале p-значення = це уявлення виглядає малоймовірним.

![Кіт підкидає монету, яка раз у раз падає тим самим боком, поруч росте стовпчик однакових монет, а кіт підозріло піднімає брову.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/p-value-illustration-2.webp)

*Якби нічого не відбувалося, як часто сам випадок давав би таку картину?*

**Alex Tutor:** Переконаймося, що це визначення закріпилося, перш ніж рухатись далі.

> **Вправа:** Яке визначення найточніше описує p-значення?

## Чого воно НЕ каже

**Alex Tutor:** Тепер важлива частина: три способи, якими люди постійно неправильно читають це число на реальних продуктових зустрічах.

**Sofia:** Викладай. Мабуть, у мене хоч раз вихопилося щось із цього вголос.

> **Три речі, якими p-значення не є**
>
> Це не імовірність того, що H0 правдива. Це не імовірність того, що результат повториться. І *мале* p-значення не вимірює, наскільки великий чи важливий ефект, — воно лише вимірює, наскільки дивними були б дані, якби ефекту насправді не було.

**Sofia:** Ой, від мене точно колись звучало «є 2% імовірність, що нульова гіпотеза правдива».

**Alex Tutor:** Ти в дуже хорошій компанії — саме ця помилка трапляється навіть у наукових статтях. Перевіримо твоє нове розуміння.

> **Вправа:** Які з цих тверджень — поширені неправильні тлумачення p-значення, яких варто уникати? Познач усі, що підходять.

**Alex Tutor:** А тепер обери правильне речення. Саме такий рядок потрапляє у звіти.

> **Вправа:** Тест нового значка безкоштовної доставки дав p = 0,03. Яке речення **правильно** тлумачить p-значення?

**Sofia:** Гаразд, то що ми МОЖЕМО сказати, якщо p виявляється вищим за 0,05? Що ефекту точно немає?

**Alex Tutor:** Обережно, це ще одна класична пастка — і достатньо велика, щоб заслуговувати на окреме питання.

**Alex Tutor:** Це пов'язано з помилками другого роду з уроку про t-критерій: відсутність доказів — не доказ відсутності, особливо за малої вибірки.

![Кіт шукає щось у темній кімнаті з вузьким променем ліхтарика, а іграшкова мишка сидить одразу за межами світлої плями.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/p-value-illustration-3.webp)

*Мала вибірка — вузький промінь: не побачити не означає, що цього немає.*

**Alex Tutor:** Ще одна поширена, цього разу у форматі «правда чи ні».

> **Вправа:** Отримання p-значення вище за 0,05 (неможливість відхилити H0) доводить, що нульова гіпотеза правдива.

## Чи це статистично значуще? Рівень значущості 0,05

**Alex Tutor:** То наскільки мале — «достатньо мале»? Перш ніж дивитись на дані, ми обираємо поріг — **рівень значущості, α** — за традицією майже завжди 0,05. Якщо p < α, ми відхиляємо H0.

$$
\text{reject } H_0 \iff p < \alpha
$$

*Усе правило прийняття рішення в одному рядку: порівняй p-значення з рівнем значущості, обраним заздалегідь.*

**Sofia:** Чому саме 0,05? Хтось довів, що це магічне число?

**Alex Tutor:** Не зовсім — це традиція з ранньої статистики XX століття, яка просто прижилася. Нічого священного не відбувається на межі p = 0,0499 проти p = 0,0501. Сприймай 0,05 як корисну умовну лінію, а не закон природи.

**Alex Tutor:** Швидкий орієнтир: для двобічного критерію z-оцінка близько 1,96 припадає точно на класичну межу 0,05.

> **Вправа:** Для двобічного z-критерію z-оцінка близько 1,96 відповідає якому класичному пороговому p-значенню?

**Sofia:** Тож для нашого тесту віджета t ≈ 6,97 було далеко за тією територією ~1,96. Не дивно, що ти назвала це значущим.

**Alex Tutor:** Саме так — і якби прогнати це через програму, вона видала б справжнє p-значення набагато нижче за 0,001, а не просто «менше за 0,05».

**Sofia:** А тест сторінки з Манна-Вітні? U = 2 проти критичного значення 5?

**Alex Tutor:** Теж упевнено значуще на рівні 0,05 — програма дала б і там точне p, просто обчислене іншим способом під капотом. Та сама логіка, інший двигун.

**Alex Tutor:** Зістав разом усю схему прийняття рішення — деталі з цього уроку й попереднього.

> **Вправа:** Зістав кожен термін із його визначенням.

## Статистична значущість — це не практична значущість

**Alex Tutor:** А ось несподіванка, яка чіпляє саме продакт-менеджерів: p-значення сильно залежить від обсягу вибірки. За достатньої кількості даних навіть крихітна, комерційно марна різниця стає «статистично значущою».

**Sofia:** Тобто велика компанія могла б отримати p < 0,001 для зміни, яка насправді нічого не міняє?

**Alex Tutor:** Саме так. Це і є розрив між **статистичною значущістю** (чи ефект, імовірно, не нульовий?) і **практичною значущістю** (чи ефект достатньо великий, щоб на нього діяти?). Котокорму потрібне і те, і те, перш ніж щось викочувати.

![Величезна лупа робить крихітну крихту корму велетенською, а кіт тримає справжню крихту на лапі й знизує плечима.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/p-value-illustration-4.webp)

*Статистично значущий — не те саме, що достатньо великий, щоб мати значення.*

**Alex Tutor:** Конкретні числа, твоя черга рахувати.

> **Вправа:** Котокорм протестував крихітну зміну тексту на сторінці оформлення на 500 000 клієнтів у кожній групі: контроль конвертує на 5,0%, варіант — на 5,5% — статистично значуще при p < 0,001. Який відносний приріст, (варіант - контроль) / контроль × 100?

**Alex Tutor:** Відсоток сам по собі ховає гроші. Ось новий тест: переклади його приріст у замовлення.

> **Вправа:** Тест оформлення замовлення на 1 000 000 сесій у кожній групі: контроль конвертує на 2,0%, варіант — на 2,1%, p < 0,001. Скільки **додаткових замовлень на 100 000 сесій** дає варіант?

**Alex Tutor:** І зворотний бік тієї самої медалі: один ефект, два дуже різні p-значення.

> **Вправа:** Два тести Котокорму показують однаковий відносний приріст конверсії 3% (5,00% → 5,15%). Тест із 2 000 сесій у групі дає p ≈ 0,83, а тест із 1 000 000 у групі — p < 0,001. Чим пояснити різницю?

## Підсумок

**Sofia:** Чесно, мене завжди трохи бентежило оте «p = 0,049 значуще, а p = 0,051 — ні».

**Alex Tutor:** Твоє питання — це, по суті, справжня, актуальна дискусія серед статистиків. Гарний інстинкт.

**Sofia:** Стривай, статистики справді про це сперечаються?

**Alex Tutor:** Постійно — деякі журнали навіть пропонували взагалі відмовитися від слова «значущий» на користь простого звітування самого p-значення й розміру ефекту. Сформулюй цей дискомфорт словами — чому сприймати 0,05 як тверду межу, а не орієнтовний дороговказ, трохи оманливо?

> **Вправа:** Своїми словами: чому сприймати p = 0,05 як тверду межу «пройшов/не пройшов» (0,049 «працює», 0,051 «ні») трохи оманливо, навіть попри те, що це корисна умовність?

**Alex Tutor:** Гарно розмірковано. Час застосувати весь модуль: t-критерій, Манна-Вітні і тепер p-значення — усе в одному безладному реальному звіті.

**Sofia:** Дай вгадаю, хтось знову надто зрадів крихітному числу.

**Alex Tutor:** У тебе це вже добре виходить. Тут навіть є твій улюблений інгредієнт: величезна вибірка, яка робить крихітне число вражаючим.

**Sofia:** Мій улюблений інгредієнт. Чудово, у мене вже є свій тип історій.

> **Вправа:** Розглянь звіт, перш ніж він потрапить у презентацію для керівництва.

- Попередній урок: [Манна–Вітні: коли дані не нормальні](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/mann-whitney.md)
- Наступний урок: [Довірчий інтервал: формула і похибка](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/confidence-intervals.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.