p-значення та статистична значущість

Кожен критерій цього модуля, t чи U, закінчується одним числом: p-значенням. Його визначення навмисно кружне:

Якщо припустити, що нульова гіпотеза правдива (реальної різниці немає), p-значення — це ймовірність отримати статистику критерію, принаймні так само екстремальну, як спостережена, лише через шум вибірки.

Читай його як уявний експеримент. Уяви, що новий віджет допродажу на сторінці оформлення Котокорму нічого не дає. Повтори A/B-тест тисячі разів на нових клієнтах. Як часто сама випадковість давала б різницю, таку саму чи більшу, як побачена? Ця частка і є p-значенням.

• Мале p-значення означає, що дані, як у тебе, були б рідкісними у світі без різниці. Це доказ проти H0.
• Велике p-значення означає, що такі дані за H0 цілком звичайні. Критерій не знайшов нічого дивного.

Зверни увагу на умову: увесь розрахунок живе всередині світу «різниці немає». Тому p-значення не може сказати, наскільки ймовірна H0, наскільки великий ефект чи чи повториться він.

p-значення 0,02 спокушає трьома реченнями, і всі вони хибні.

1. «Є 2% імовірність, що H0 правдива». p-значення обчислено, припускаючи, що H0 правдива. Це ймовірність даних за умови H0, а не H0 за умови даних. Це різні числа, так само як «більшість котів мають чотири лапи» відрізняється від «більшість чотирилапих — коти».
2. «Є 98% імовірність отримати той самий результат знову». Повторюваність залежить від справжнього ефекту й обсягу наступної вибірки. Результат із p = 0,02 легко може не досягти значущості вдруге.
3. «p = 0,001 доводить величезний, важливий ефект». p-значення змішує розмір ефекту з обсягом вибірки. Крихітний ефект на величезній вибірці теж отримує крихітне p-значення.

Правильне речення менш захопливе: «Якби реальної різниці не було, такі екстремальні дані траплялися б випадково приблизно у 2% випадків». А далі додай розмір ефекту й обсяг вибірки, щоб читач окремо оцінив важливість.

Більшість помилок із p-значенням стається в реченні, а не в розрахунку. Надійний рядок звіту має три частини.

1. Спершу умова. Почни зі світу без різниці: «Якби значок нічого не змінював…». Так напрям імовірності лишається правильним.
2. Про дані, а не про гіпотезу. «…така велика різниця випадково з'являлася б приблизно у 3% випадків». Імовірність описує дані, а не H0 чи H1.
3. Ефект і вибірка. «Група зі значком замовляла на 4% частіше (12 000 сесій у групі)». Без цього читачі сприймуть p-значення як міру важливості.

Короткі версії прийнятні, якщо не перевертають умову: «значуще на рівні 5% (p = 0,03)» — безпечно. «На 97% певні, що працює» — ні, і «3% шансу, що це випадковість» — теж ні: обидва тихо перетворюють твердження про дані на твердження про гіпотезу.

Якщо аудиторія нетехнічна, починай із розміру ефекту та його невизначеності, а p-значення лиши допоміжною деталлю.

Коли p виходить більшим за α, чесний висновок такий: ми не знайшли достатньо доказів, щоб відхилити H0. Це не те саме, що «H0 правдива» чи «функція не працює».

Відсутність доказів — не доказ відсутності. Критерій може пропустити реальний ефект з кількох причин:

• вибірка була малою, тож стандартна похибка велика, і планку долають лише великі ефекти;
• метрика шумна, із широкими природними коливаннями;
• ефект реальний, але помірний, менший, ніж критерій міг виявити.

Пропустити реальний ефект — це помилка другого роду. На малих вибірках вона звичайна, а не екзотична.

Тож незначущий результат вимагає обережного наступного кроку, а не вироку. Запитай, наскільки великий ефект критерій реально міг виявити. Подивися на спостережену різницю: вона біля нуля чи це багатообіцяючий розрив, який просто не певний? Якщо він обіцяє багато й важливий для бізнесу, продовж тест або додай трафіку, перш ніж вирішувати. А у звіті пиши «значущої різниці не виявлено», а не «різниці немає».

Щоб перетворити p-значення на рішення, потрібен поріг, обраний до перегляду даних: рівень значущості, α. Правило — один рядок: відхиляй H0, якщо p < α.

Майже всі беруть α = 0,05. Це домовленість із ранньої статистики, а не закон природи: між p = 0,049 і p = 0,051 нічого особливого не відбувається. Насправді α задає твою терпимість до хибних тривог: за α = 0,05 приблизно 1 із 20 тестів зміни, яка нічого не дає, усе одно вийде «значущим».

Для критеріїв на основі нормального розподілу є зручний орієнтир. У стандартному нормальному розподілі приблизно 95% площі лежить у межах ±1,96 від центру, тож 5% припадає на обидва хвости разом. Тому z-оцінка близько 1,96 (у будь-який бік) стоїть рівно на межі p = 0,05 для двобічного критерію. Це точна версія правила «95% у межах 2 стандартних відхилень».

Статистика за межами ±1,96 означає p < 0,05; за межами приблизно ±2,58 — p < 0,01.

Систему рішень складають чотири терміни.

• p-значення: якщо H0 правдива, імовірність випадково отримати дані, принаймні такі екстремальні.
• Рівень значущості (α): поріг, який фіксують заздалегідь, зазвичай 0,05.
• Статистична значущість: p < α. Дані були б дивними у світі без різниці, тож H0 відхиляють. Відповідає на запитання «чи ефект, імовірно, не нульовий?»
• Практична значущість: чи ефект достатньо великий, щоб мати значення для бізнесу? Відповідає на запитання «чи варто діяти?»

Останні дві незалежні. Результат може бути:

• статистично значущим, але практично дрібним: +0,02% конверсії на мільйонах сесій;
• практично перспективним, але статистично незначущим: +12% до суми замовлення на 60 замовленнях у групі;
• і тим, і тим — саме це потрібно перед запуском;
• ні тим, ні тим.

Практичну значущість не дає жодна формула. Її задає бізнес: який приріст окупить розробку, ризик і підтримку? В ідеалі цей мінімум теж визначають до тесту, щоб результат не вмовив тебе його знизити.

Зміну конверсії з 5,0% до 5,5% можна чесно описати двома способами, і плутанина між ними — класична помилка у звітах.

• Абсолютний приріст: проста різниця, 5,5% − 5,0% = 0,5 відсоткового пункту (в. п.).
• Відносний приріст: різниця як частка базового рівня, (5,5 − 5,0) / 5,0 × 100 = 10%.

Обидва правильні, але відповідають на різні запитання. Відносний приріст зручний, щоб порівнювати тести на різних метриках. Абсолютний, помножений на обсяг, дає вплив на бізнес: 0,5 в. п. від 500 000 клієнтів — це 2 500 додаткових конверсій.

Небезпека — у словах. «Конверсія зросла на 0,5%» двозначно: це може бути 0,5 в. п. (відносний приріст 10%) або відносний приріст 0,5% (з 5,0% до 5,025%), а це різниця в двадцять разів. Для абсолютних змін частки завжди кажи «відсоткові пункти».

Приклад показує й те, чому значущість — не кінець історії. p < 0,001 тут значною мірою дає величезна вибірка. Чи виправдовують 2 500 додаткових конверсій зміну — це бізнесове судження.

Крихітне p-значення каже, що ефект дуже ймовірно реальний. Воно не каже, чи вартий цей ефект чогось. Щоб оцінити практичну значущість, переклади приріст в одиниці, які цікавлять бізнес.

1. Абсолютний приріст: 2,1% − 2,0% = 0,1 відсоткового пункту.
2. На одиницю обсягу: 0,1 в. п. від 100 000 сесій = 100 додаткових замовлень.
3. У гроші: якщо кожне замовлення приносить, скажімо, 4 дол. маржинального доходу після витрат, це приблизно 400 дол. на 100 000 сесій.
4. Порівняй із вартістю: час розробки, підтримка, ризик для інших метрик.

За мільйона сесій у групі критерій бачить навіть такі малі різниці, тож p < 0,001 не дивує. Той самий приріст 0,1 в. п. на 10 000 сесіях у групі взагалі не був би значущим. Ефект не змінився; змінилася лише здатність критерію його побачити.

Корисна звичка: до тесту запиши найменший приріст, який змінив би твоє рішення. Після тесту перевір обидві речі: чи він значущий і чи він вищий за цю межу.

Статистика критерію — це приблизно ефект, поділений на стандартну похибку, а стандартна похибка меншає пропорційно кореню з обсягу вибірки. Тож той самий ефект дає зовсім різні p-значення залежно від кількості даних.

Візьмімо відносний приріст конверсії 3%, з 5,00% до 5,15%:

• за 2 000 сесій у групі стандартна похибка різниці — приблизно 0,69 пункту, z ≈ 0,22, p ≈ 0,83;
• за 200 000 у групі — приблизно 0,07 пункту, z ≈ 2,2, p ≈ 0,03;
• за 1 000 000 у групі — приблизно 0,03 пункту, z ≈ 4,8, p < 0,001.

Ефект не змінювався. Змінювалася лише здатність критерію його побачити.

Звідси два висновки. По-перше, незначущий малий тест — слабкий доказ у будь-який бік: йому може просто бракувати потужності. По-друге, значущий великий тест не обов'язково важливий: за достатньої кількості даних проходять і дрібні ефекти. Тому поруч із p-значенням показують розмір ефекту, а обсяг вибірки планують заздалегідь — про це далі в курсі.