Навіщо квадрат: дисперсія, суми квадратів і n − 1

Щоб виміряти розкид, формула починає з відхилення кожного значення від середнього, x − x̄. Усереднювати відхилення марно: відхилення від середнього в сумі завжди дають нуль — це правило з уроку Знак Σ: суми, межі й накопичені підсумки. П'ятеро учнів із 6, 9, 4, 7 і 14 уроками (середнє 8) мають відхилення −2, +1, −4, −1 і +6, і їхня сума — 0, хоч який великий розкид.

Виходів два. Відкинути знаки — це середнє абсолютне відхилення: (2 + 1 + 4 + 1 + 6) ÷ 5 = 2,8. Піднести до квадрата — це 4, 1, 16, 1 і 36, ніколи не від'ємні. Статистика здебільшого бере квадрати, і на те є дві причини:

• квадрати надають великим відхиленням більшої ваги, тож одне далеке значення не загубиться;
• суми квадратів чисто розкладаються на частини, і на цьому тримаються тести на кшталт ANOVA.

Ціна — одиниці. Уроки стають «уроками в квадраті», яких ніхто не уявить; тому згодом добувають квадратний корінь.

Сума квадратів — це Σ(xᵢ − x̄)²: піднеси кожне відхилення від середнього до квадрата й додай. Це сировина для кожної формули розкиду в статистиці.

Для п'ятьох учнів із 6, 9, 4, 7 і 14 уроками (середнє 8): 4 + 1 + 16 + 1 + 36 = 58. Подивися, звідки береться 58. Учень із 14 уроками, на 6 вище середнього, сам дає 36 — більше, ніж решта четверо разом (22).

Так працює квадрат. Удвічі більше відхилення додає вчетверо більше, втричі більше — вдев'ятеро. Уяви кожне відхилення стороною квадратної плитки: сума квадратів — це вся площа підлоги, і одна довга сторона дає одну величезну плитку.

Тож сума квадратів чутлива до далеких значень. Це добре, коли далеке значення важливе (репетитор, від якого йдуть учні), і погано, коли це помилка в даних: одна описка, 140 замість 14, переважила б усю суму. Перевір крайні значення, перш ніж довіряти дисперсії.

Дисперсія — це сума квадратів, поділена на кількість. Яку саме кількість брати, залежить від того, що у тебе за дані.

• s², дисперсія вибірки: Σ(xᵢ − x̄)² ÷ (n − 1). Бери її, коли дані — вибірка, а питання про більшу групу: п'ятеро учнів замість усіх, опитування, A/B-тест.
• σ², дисперсія генеральної сукупності: Σ(xᵢ − μ)² ÷ N, навколо справжнього середнього μ. Бери її лише тоді, коли маєш кожного члена групи, про яку питаєш: наприклад, уроки всіх 1 120 учнів, активних у березні, якщо питання саме про цих учнів.

Грецькі літери позначають генеральну сукупність, латинські — вибірку, як в уроці Позначення: індекси, риски, «дашки» і грецькі літери. У продуктовій роботі дані майже завжди — вибірка, тож s² — типовий вибір. У таблицях є обидві: VAR.S ділить на n − 1, VAR.P — на N.

Для п'ятьох учнів s² = 58 ÷ 4 = 14,5. Одиниця — «уроки в квадраті», яких ніхто не уявить; корінь із наступного уроку це виправить.

Чому дисперсія вибірки ділить на n − 1, а не на n? Це можна побачити двома способами.

Вільні частини. Відхилення від середнього вибірки в сумі мусять давати нуль. Коли відомі чотири з п'яти відхилень, −2, +1, −4 і −1, п'яте вже визначене: воно мусить бути +6. Вільну інформацію несуть лише чотири частини. Цю кількість, n − 1, називають ступенями свободи.

Середнє, підігнане до даних. x̄ пораховано з тих самих значень, тож воно за побудовою стоїть посередині них, і дані лежать трохи ближче до x̄, ніж до справжнього середнього μ. Сума квадратів навколо x̄ виходить трохи замалою; ділення на n − 1 замість n це компенсує.

Найбільше поправка важить у малих вибірках. Для 5 значень ÷ 4 замість ÷ 5 збільшує дисперсію на 25%, для 1 000 значень — на 0,1%. Це ніколи не помилка і не окреме правило «для малих вибірок»: формула однакова за будь-якого розміру.

Порахувати s² вручну — це п'ять кроків, і якщо робити їх саме в такому порядку, більшості помилок не буде:

1. Знайди середнє: x̄ = Σx ÷ n.
2. Відніми його від кожного значення — це відхилення.
3. Перевір, що відхилення в сумі дають 0. Якщо ні, середнє пораховано хибно.
4. Піднеси кожне відхилення до квадрата й додай — це сума квадратів.
5. Поділи на n − 1.

Приклад: репетитор Klasna за чотири тижні провів 2, 4, 4 і 6 пробних уроків. x̄ = 16 ÷ 4 = 4. Відхилення −2, 0, 0, +2 (сума 0). Квадрати 4, 0, 0, 4; сума квадратів 8. s² = 8 ÷ 3 = 2,67 пробного уроку в квадраті.

Типові похибки: ділити на n (8 ÷ 4 = 2 — формула для генеральної сукупності), підносити до квадрата значення замість відхилень (4 + 16 + 16 + 36 = 72) і округлювати середнє перед відніманням. У таблиці всі п'ять кроків — це одна функція VAR.S; один раз зробивши їх вручну, ти бачиш, що вона насправді робить.

Ступені свободи трапляються в багатьох формулах, і всі вони підкоряються одному правилу: кількість даних мінус кількість того, що з них оцінили. Кожне оцінене середнє «прив'язує» одну частину.

• Одна вибірка, одне середнє: n − 1.
• Дві вибірки, два середні (двовибірковий t-тест з об'єднаною дисперсією): n₁ + n₂ − 2.
• Порівняння k середніх груп: k − 1 між групами.
• Таблиця з r рядків і c стовпців: (r − 1)(c − 1), бо підсумки рядків і стовпців визначають останню клітинку кожного рядка й стовпця.

Це завжди кількості, пораховані з розмірів, а не зі значень. Дві групи з 10 і 14 учнів дають 10 + 14 − 2 = 22 ступені свободи, хоч які в них бали. Таблиця опитування з 4 вікових груп на 3 відповіді дає (4 − 1)(3 − 1) = 6.

Навіщо рахувати? Тести в статистиці шукають критичні значення в рядку таблиці, який обирають за ступенями свободи, тож хибна кількість — це хибний рядок.

Суми квадратів мають властивість, якої немає у звичайного розкиду: вони точно розкладаються на частини.

Візьмімо оцінки двох репетиторів. A отримав 4 і 6 (середнє 5), B — 8 і 10 (середнє 9); загальне середнє — 7.

• Загальна: кожне значення навколо загального середнього: 9 + 1 + 1 + 9 = 20.
• Між групами: замінюємо кожне значення середнім його групи й міряємо навколо загального середнього: 2 × (5 − 7)² + 2 × (9 − 7)² = 16. Середнє групи рахується раз на кожного учасника, звідси nⱼ у SS_between = Σ nⱼ(x̄ⱼ − x̄)².
• Усередині груп: кожне значення навколо середнього своєї групи: 1 + 1 + 1 + 1 = 4.

І 16 + 4 = 20 точно. Тут більшість розкиду — між репетиторами, а не всередині оцінок кожного. На цьому порівнянні побудовано ANOVA: коли частина «між» велика порівняно з частиною «всередині», групи справді різні.

Типова похибка — забути nⱼ: (5 − 7)² + (9 − 7)² = 8, ніби в кожній групі по одному учаснику.

Квадрати трапляються не лише в дисперсії. У факторному аналізі питання опитування групують під кілька прихованих факторів, і кожне питання має навантаження на фактор — число від −1 до 1, яке показує, наскільки тісно питання за ним іде. Силу фактора, λ, рахують як суму квадратів його навантажень: λ = Σa².

Для навантажень 0,8, 0,7 і 0,6: 0,64 + 0,49 + 0,36 = 1,49. Спершу квадрати, потім сума. Якщо спершу додати, а потім піднести суму до квадрата (2,1² = 4,41), вийде інше, хибне число. Квадрат також прибирає знак: навантаження −0,8 додає ті самі 0,64, що й +0,8.

Як це складається докупи: відхилення компенсуються, тож ми підносимо їх до квадрата; сума квадратів, поділена на n − 1 ступенів свободи, стає дисперсією і розкладається на частини «між» і «всередині». Наступний урок добуває корінь, щоб повернути справжні одиниці, і показує, чому більше даних звужує оцінку.