t-критерій Стьюдента

t-критерій для двох вибірок (t-критерій Стьюдента для незалежних вибірок) відповідає на одне запитання: чи різниця між середніми двох груп більша, ніж правдоподібно дала б випадковість вибірки?

Він підходить, коли виконано три умови:

• груп рівно дві;
• метрика числова, і порівнюють її середні: суму замовлення, тривалість сесії, кількість товарів у кошику;
• групи незалежні: різні клієнти, ніщо не пов'язує конкретне замовлення однієї групи з конкретним замовленням іншої. Класичний A/B-тест із випадковим розподілом дає саме це.

Зміни будь-яку умову — і знадобиться інший інструмент:

• ті самі люди, виміряні двічі (до і після зміни ціни), — це залежні (парні) вибірки, для них потрібен критерій на різницях для кожної людини;
• три й більше груп потребують дисперсійного аналізу (ANOVA), а не купи попарних t-критеріїв;
• результати «так/ні», як-от відтік чи конверсія, — це частки, їх порівнює z-критерій для двох часток.

Вибір критерію — перше рішення, і воно випливає з дизайну експерименту, а не з чисел.

t-критерій порівнює різницю між двома середніми з тим, наскільки ця різниця коливалася б від вибірки до вибірки. Це коливання — стандартна похибка різниці. Коли обидві групи мають схожий розкид, класичний критерій спершу об'єднує їхні дисперсії. Візьмімо тест віджета допродажу Котокорму: по 10 замовлень у групі, SD 3,03 дол. (контроль) і 3,37 дол. (варіант).

1. Піднеси кожне SD до квадрата, щоб отримати дисперсії: 3,03² ≈ 9,18 і 3,37² ≈ 11,36.
2. Об'єднай їх, зваживши за ступенями свободи: sp² = (9 × 9,18 + 9 × 11,36) / 18 ≈ 10,28. Якщо групи однакові за розміром, це просто середнє двох дисперсій.
3. Врахуй обидва обсяги вибірок: СП = √(sp² × (1/n₁ + 1/n₂)) = √(10,28 × 0,2) ≈ 1,43 дол.

СП різниці більша за СП кожного середнього окремо, бо коливаються обидва середні, і їхні коливання додаються. Тут кожна група має СП близько 1 дол., а різниця — 1,43 дол.

Зменшують її дві речі: більші вибірки (доданки 1/n меншають) і менш шумні метрики (менші дисперсії). Тому довший тест або стабільніша метрика роблять малі ефекти помітнішими.

t-статистика — це одне ділення:

t = (x̄₂ − x̄₁) / СП різниці

Угорі — сигнал: наскільки далеко одне від одного вибіркові середні. Унизу — шум: наскільки ця різниця коливалася б, якби експеримент повторили на нових вибірках. Тож t показує, скільки стандартних похибок становить спостережена різниця.

Для тесту віджета допродажу Котокорму із середніми 52,50 і 42,50 дол.: (52,50 − 42,50) / 1,4337 = 10 / 1,4337 ≈ 6,97. Різниця майже всемеро більша за своє типове коливання.

Кілька порад щодо прочитання:

• t біля 0 означає, що різниця мала порівняно із шумом;
• знак показує лише напрям. Якщо відняти навпаки, вийде −6,97, а висновок той самий;
• t не має одиниць. Долари скорочуються, тож t = 2 означає те саме і для доларів, і для хвилин.

Користуйся неокругленою СП, коли можеш. Якщо спершу округлити СП до 1,4, вийде 7,14 замість 6,97: тут вердикт не зміниться, але біля порогу може.

Саме значення t не каже, чи відхиляти H0. Його порівнюють із критичним значенням, яке залежить від двох речей.

• Рівень значущості (α): який ризик хибної тривоги ти приймаєш. Зазвичай 5%, і обирають його до того, як подивитися на дані.
• Ступені свободи (df): для об'єднаного двовибіркового критерію df = n₁ + n₂ − 2. Середнє кожної групи «забирає» один ступінь. Із 10 замовленнями в групі df = 18.

Далі t-таблиця чи будь-яка статистична програма дає критичне значення. Для двобічного критерію на рівні 5% і df = 18 це приблизно 2,101. Що більше даних, то ближче воно до 1,96.

Правило рішення: якщо |t| більше за критичне значення, відхиляємо H0 (середні рівні) на користь H1 (вони різні). У тесті віджета допродажу Котокорму (по 10 замовлень у групі) |t| = 6,97 > 2,101, тож результат статистично значущий.

«Двобічний» означає, що тебе цікавить різниця в будь-який бік, і для продуктових тестів це безпечний вибір за замовчуванням.

Значущий t-критерій підтримує одне конкретне твердження: середні генеральних сукупностей дуже ймовірно різні. Побачена різниця завелика, щоб пояснити її лише шумом вибірки, на обраному рівні значущості.

Він не каже:

• точного розміру ефекту. Спостережені 10 дол. — вибіркова оцінка. Інший тиждень міг би показати 7 чи 13 дол. Далі в курсі ти побудуєш навколо неї довірчий інтервал;
• що ефект триватиме. Ефект новизни може згаснути після запуску;
• що ефект важливий. Статистична значущість — про шум, а не про гроші. На величезній вибірці значущими бувають і кілька центів;
• чому так сталося. Критерій порівнює результати; причину дає дизайн експерименту.

Добрий підсумок розділяє ці речі: вердикт («значуще на рівні 5%»), оцінку («приблизно +10 дол. на замовлення в цій вибірці») і невизначеність («на 10 замовленнях у групі»). «Рівно 10 дол.» перетворює оцінку на обіцянку, яку наступний тест може порушити.

Кожен критерій починається з двох конкурентних тверджень про генеральні сукупності.

• Нульова гіпотеза (H0): реальної різниці немає; середні двох генеральних сукупностей рівні, а будь-яка різниця у вибірках — шум.
• Альтернативна гіпотеза (H1): середні генеральних сукупностей різні.

Критерій ніколи не доводить H1. Він перевіряє, чи дані достатньо дивні за H0, щоб її відхилити. Критичне значення — це межа: t за нею достатньо дивне з огляду на рівень значущості й ступені свободи.

Оскільки рішення ухвалюють за вибірками, можливі дві помилки:

• помилка першого роду (хибнопозитивний результат): відхилити H0, коли реальної різниці немає. Ти запускаєш віджет, який нічого не дає. Її ймовірність обмежує α, зазвичай 5%;
• помилка другого роду (хибнонегативний результат): не відхилити H0, коли різниця справді є. Ти вимикаєш функцію, яка працює, зазвичай через замалу вибірку.

За фіксованої вибірки обидві звести до нуля неможливо. Більше даних — головний спосіб зменшити помилки другого роду, не збільшуючи першого.

Кожен об'єднаний двовибірковий t-критерій проходить ті самі п'ять кроків.

1. Об'єднай дисперсії: sp² = ((n₁ − 1)s₁² + (n₂ − 1)s₂²) / (n₁ + n₂ − 2). Якщо обидва SD = 4, sp² = 16.
2. Стандартна похибка різниці: СП = √(sp² × (1/n₁ + 1/n₂)) = √(16 × 0,25) = 2.
3. t-статистика: (35 − 30) / 2 = 2,5.
4. Ступені свободи й критичне значення: df = 8 + 8 − 2 = 14; для двобічного критерію на рівні 5% — приблизно 2,145.
5. Вердикт: 2,5 > 2,145, тож відхиляємо H0. Різниця значуща на рівні 5%.

Зверни увагу, наскільки це впритул. За 8 сесій у групі різниця в 5 товарів ледь долає планку; за 4 сесій у групі СП була б 2,83, t ≈ 1,77, і та сама різниця не була б значущою.

Типова помилка — на кроці 2: узяти СП однієї групи (4 / √8 ≈ 1,41) замість СП різниці. Тоді t ≈ 3,54, і доказ здається сильнішим, ніж є, бо забуто, що друге середнє теж коливається.

Об'єднаний t-критерій Стьюдента дає надійні відповіді, коли виконано три припущення.

1. Незалежність. Дві вибірки не впливають одна на одну, а спостереження в кожній групі окремі. Випадковий розподіл в A/B-тесті зазвичай це забезпечує; той самий клієнт в обох групах це порушує.
2. Приблизно нормальні дані або достатньо великі вибірки. Критерій побудований на середніх, а центральна гранична теорема змушує середні поводитися нормально зі зростанням вибірки. За 10 замовлень у групі самі дані мають бути схожими на дзвін.
3. Приблизно рівні дисперсії. Об'єднана формула зливає дві дисперсії в одну. Якщо одна група значно шумніша за іншу, бери версію Велча.

Що не вимагається: однакові обсяги груп. Нерівний поділ — це нормально, формула це враховує.

Практична небезпека — викиди. Одне величезне замовлення роздуває середнє й дисперсію і саме може створити чи сховати «значущу» різницю. Подивися на дані, перш ніж довіряти t; якщо його визначають кілька крайніх значень, надійніший інструмент — ранговий критерій.

Класичний t-критерій Стьюдента об'єднує дві дисперсії в одну, а це чесно, лише коли вони схожі. Якщо одна група значно шумніша, об'єднання спотворює стандартну похибку. Найгірше, коли менша група має більшу дисперсію: об'єднана СП виходить замалою, і критерій дає більше хибних тривог, ніж обіцяє α.

t-критерій Велча це виправляє. Він тримає дисперсії груп окремо:

СП = √(s₁² / n₁ + s₂² / n₂)

і використовує скориговану, зазвичай дробову, кількість ступенів свободи, яку рахує програма. Усе інше — t-статистика й правило рішення — працює так само.

Коли його брати? Щоразу, коли розкид помітно різний, як 8 і 25 дол. Багато аналітиків просто беруть Велча за замовчуванням: коли дисперсії таки рівні, він дає майже ту саму відповідь, що й об'єднаний критерій, тож втрачаєш дуже мало, а захист отримуєш.

Але викидів і сильної асиметрії Велч не виправляє. Якщо середні визначають кілька крайніх значень, переходь на ранговий критерій.