ступені свободи

Кількість значень, що можуть вільно змінюватися за фіксованих оцінених величин, наприклад n - 1 для однієї вибірки, n1 + n2 - 2 для двовибіркового t-критерію.

Ступені свободи показують, скільки значень у розрахунку справді можуть змінюватися вільно, коли щось уже зафіксовано даними. Класична ілюстрація: якщо відомо, що середнє п'яти чисел дорівнює 40, будь-які чотири з них можна обрати довільно, але п'яте вже визначене, бо сума мусить бути 200. П'ять значень, одне обмеження — чотири ступені свободи.

Саме тому вибіркову дисперсію ділять на $n - 1$ , а не на $n$ :

$s^2 = \frac{\sum (x_i - \bar{x})^2}{n - 1}$

Відхилення відраховують від вибіркового середнього $\bar{x}$ , яке обчислене з тих самих даних, тож у сумі вони завжди дають нуль, і незалежну інформацію несуть лише $n - 1$ з них. Ділення на $n$ систематично занижувало б розкид, і на малих вибірках — відчутно.

Кожен критерій, що оцінює щось за даними, «витрачає» ступені свободи, і формула залежить від критерію:

Критерій	Ступені свободи
t-критерій для однієї вибірки або для залежних вибірок	$n - 1$
t-критерій Стьюдента для незалежних вибірок	$n_1 + n_2 - 2$
критерій хі-квадрат Пірсона для таблиці $r \times c$	$(r - 1)(c - 1)$
однофакторний дисперсійний аналіз	$k - 1$ міжгрупові, $N - k$ внутрішньогрупові

Чому це важливо на практиці: ступені свободи визначають, з якою кривою порівнюють статистику критерію. За малої кількості ступенів свободи t-розподіл має товстіші хвости, ніж нормальний, тож критичне значення більше, і для відхилення H0 потрібен сильніший сигнал. Зі зростанням ступенів свободи t-розподіл наближається до нормального, а його двобічне критичне значення для 5% — до 1,96. Програма порахує ступені свободи сама; вам варто пам'ятати, що мало ступенів свободи — вища планка.

Приклад

Звідки береться «мінус один». Новий пункт видачі Котокорму за 5 днів отримував у середньому 40 замовлень на день, тож разом 200. Оберімо будь-які чотири дні: 38, 45, 36 і 42, у сумі 161. П'ятий день уже не вільний: $200 - 161 = 39$ . П'ять значень — чотири ступені свободи.

Тепер дисперсія цих п'яти днів. Відхилення від середнього 40: $-2, 5, -4, 2, -1$ (у сумі 0, як і має бути завжди). Квадрати: $4 + 25 + 16 + 4 + 1 = 50$ .

Ділимо на $n - 1 = 4$ : $s^2 = 12{,}5$ , тож $s \approx 3{,}54$ замовлення.
Ділення на $n = 5$ дало б 10, тобто заниження справжнього розкиду між днями.

У t-критерії. Тест віджета допродажу порівнював 10 замовлень контрольної групи з 10 замовленнями експериментальної, тож $df = 10 + 10 - 2 = 18$ . Двобічне критичне значення за $\alpha = 0{,}05$ — 2,101. Якби в кожній групі було лише 5 замовлень, $df = 8$ , і планка піднялася б до 2,306; на величезних вибірках вона опускається до 1,96.

У критерії хі-квадрат. Маркетинг порівнює конверсію в 3 рекламних каналах, у кожному 2 результати (конверсія є чи немає). Таблиця спряженості має розмір $3 \times 2$ , тож $df = (3 - 1)(2 - 1) = 2$ , а 5% критичне значення хі-квадрат — 5,99.

Типові помилки

Брати за ступені свободи весь обсяг вибірки. У t-критерії для двох груп по 10 користувачів 18 ступенів свободи, а не 20; у критерії хі-квадрат вони залежать від кількості рядків і стовпців таблиці, а не від кількості користувачів.
Брати нормальне 1,96 для t-критерію на малій вибірці. За 8 ступенів свободи правильна планка — 2,306; з 1,96 хибнопозитивні результати стають імовірнішими.
Ділити на n, рахуючи вибіркове стандартне відхилення вручну. Функції в таблицях різні (STDEV.S ділить на $n - 1$ , STDEV.P — на $n$ ); для вибірки беріть варіант з $n - 1$ .
Дивуватися дробовим ступеням свободи. t-критерій Велча коригує їх для нерівних дисперсій і часто показує щось на кшталт 14,7; це нормально.
Думати, що більше ступенів свободи означає більший ефект. Ступені свободи відображають лише те, скільки інформації пішло в оцінку, а не те, наскільки велика чи важлива різниця.

Вивчити в курсі

t-критерій Стьюдента · Критерій Стьюдента для двох незалежних вибірок: порівняння середніх двох груп і рішення, чи різниця більша за випадкову.
ANOVA з повторними вимірюваннями · Відстеження тих самих користувачів у кількох точках часу: дисперсійний аналіз із повторними вимірюваннями і критерій Фрідмана.
Дисперсійний аналіз (ANOVA): порівняння багатьох груп · Однофакторний дисперсійний аналіз: перевірка трьох і більше варіантів одночасно без зростання хибнопозитивних результатів.
t-критерій для залежних вибірок: до і після · Порівняння тих самих користувачів до і після зміни: t-критерій для залежних вибірок і T-критерій Вілкоксона.