Дисперсійний аналіз (ANOVA): порівняння багатьох груп

Для трьох варіантів листа є три пари: Класичний проти Грайливого, Грайливий проти Знижкового, Класичний проти Знижкового. Провести t-критерій для кожної здається ретельним, але кожна перевірка несе власний 5% ризик хибної тривоги.

Якщо насправді жоден варіант не відрізняється, імовірність, що хоча б один із трьох критеріїв однаково спрацює, — приблизно 1 − 0,95³ ≈ 14,3%, майже втричі більше за 5%, які планували прийняти. Для чотирьох варіантів пар уже шість, і ризик зростає приблизно до 1 − 0,95⁶ ≈ 26,5%. (Попарні критерії використовують спільні дані, тож точні числа трохи інші, але роздування справжнє.)

Це знову проблема множинних порівнянь, тепер усередині одного тесту. Рішення — спершу поставити широке запитання одним критерієм: чи рівні всі середні груп? Саме це робить однофакторний дисперсійний аналіз (ANOVA): одна F-статистика й одна чесна частка помилок 5%.

Лише якщо загальна відповідь «ні», переходять до пар, і тоді методом, що тримає сукупну частку помилок під контролем.

Однофакторний дисперсійний аналіз (ANOVA) порівнює середні трьох і більше груп, які відрізняються одним фактором, тут — варіантом листа.

Як і будь-який критерій, він починається з нульової гіпотези:

• H0: усі середні генеральної сукупності рівні (μ Класичний = μ Грайливий = μ Знижковий);
• H1: принаймні одне середнє відрізняється від інших.

Зверни увагу, чого H1 не каже: не каже, що всі середні різні, і не каже, яке саме відрізняється. Відхилення H0 лише означає, що історія «усі рівні» не пасує до даних.

Назва дивна для критерію про середні. Вона походить від того, як він працює: порівнює два види дисперсії. Якби варіанти насправді не впливали, середні груп різнилися б лише настільки, наскільки дозволяє випадковий шум між користувачами. Якщо вони різняться значно більше, у H0 важко повірити.

Тому результат ANOVA — це завжди історія у два кроки: спершу «чи всі середні рівні?», і лише потім, якщо ні, «які саме відрізняються?»

ANOVA розкладає загальну мінливість даних на дві частини й порівнює їх:

• міжгрупова дисперсія: наскільки середні груп віддалені від загального середнього. Для тесту вітальних листів Котокорму (три варіанти по 5 користувачів, середні витрати за перший місяць 20, 25 і 30 дол., загальне середнє 25 дол.) SS_between = 5 × ((20 − 25)² + 0² + (30 − 25)²) = 250;
• внутрішньогрупова дисперсія: наскільки користувачі віддалені від середнього своєї групи, тобто шум. Тут SS_within = 30.

Суми квадратів ростуть із кількістю доданків, тож кожну ділять на її ступені свободи й отримують середній квадрат (MS):

• df_between = k − 1 = 3 − 1 = 2, тож MS_between = 250 / 2 = 125;
• df_within = N − k = 15 − 3 = 12, тож MS_within = 30 / 12 = 2,5.

F-статистика — їхнє відношення:

F = MS_between / MS_within = 125 / 2,5 = 50

Якби варіанти нічого не змінювали, F коливалася б біля 1. Тут розриви між варіантами в 50 разів більші, ніж пояснює шум. Типова помилка — ділити суми квадратів напряму: 250 / 30 ≈ 8,3 ігнорує ступені свободи й занижує F ушестеро.

Другий приклад від початку до кінця. Три макети оформлення, по 4 користувачі, середні 40, 44 і 48 дол., SS_within = 54.

1. Загальне середнє (рівні групи): (40 + 44 + 48) / 3 = 44.
2. SS_between = 4 × ((−4)² + 0² + 4²) = 4 × 32 = 128.
3. df_between = 3 − 1 = 2, тож MS_between = 64.
4. df_within = 12 − 3 = 9, тож MS_within = 54 / 9 = 6.
5. F = 64 / 6 ≈ 10,67.

Чи це багато, залежить від ступенів свободи. Критичне значення F при α = 0,05 — приблизно 4,26 для df(2, 9) і приблизно 3,89 для df(2, 12). Оскільки 10,67 значно більше за 4,26, результат значущий (p ≈ 0,004).

Зверни увагу: менші вибірки потребують більшої F. Менше користувачів у групі — шумніша оцінка внутрішньогрупової дисперсії, тож планка вища.

Дві помилки, яких варто уникати: забути помножити на n у SS_between (32 замість 128 дає F ≈ 2,67, не значуще) і брати N − 1 замість N − k для df_within.

Значущий ANOVA — це ворота, а не вирок. Він виключає «усі варіанти працюють однаково», і все.

Ту саму значущу F можуть дати дуже різні картини:

• один варіант значно вище за два схожі;
• один варіант значно нижче за два схожі;
• три рівномірно розставлені варіанти, як у тесті листів.

Кожна картина веде до іншого рішення, тож наступний крок — завжди апостеріорний (post hoc) критерій, що порівнює пари й тримає загальну частку хибнопозитивних результатів близько 5%. Для тесту листів критерій Тьюкі (HSD) показує, що всі три пари різні: Знижковий переважає обидва інші, а Грайливий — Класичний.

Лише тоді можна сказати «Знижковий найкращий», і навіть тоді варто додати розмір розриву (30 дол. проти 25 і 20 дол.) і чи вартий він вартості знижки.

Спокуслива коротка дорога — зчитати переможця просто зі стовпчикової діаграми, щойно F значуща. Іноді це спрацьовує; іноді два лідери статистично нерозрізненні, і саме апостеріорний крок показує, який це випадок.

Коли ANOVA показав, що середні не всі рівні, захочеться порівняти пари. Для k груп пар k(k − 1) / 2:

• 3 групи: 3 пари;
• 4 групи: 6 пар;
• 5 груп: 10 пар.

Кожна пара — ще одна перевірка, тож проблема множинних порівнянь повертається. Найпростіший захист — поправка Бонферроні: поділити сімейний α на кількість порівнянь.

Для трьох варіантів листа: 0,05 / 3 ≈ 0,0167. Пару вважають різною, лише якщо її p-значення менше за 0,0167. Для чотирьох дизайнів банера це було б 0,05 / 6 ≈ 0,0083.

Поправку Бонферроні легко застосувати й легко пояснити, тож вона добрий варіант за замовчуванням у звітах. Її ціна — потужність: за багатьох груп планка стає суворою, і реальні, але скромні відмінності можуть проскочити. Тому наступним кроком часто беруть критерій, створений саме для цієї задачі.

Типова помилка — ділити на кількість груп (0,05 / 3 тут випадково збігається) замість кількості пар. Для чотирьох груп це дасть 0,0125 замість 0,0083, тобто надто м'яку планку.

Увесь метод тримається на чотирьох термінах:

• міжгрупова дисперсія: наскільки середні груп віддалені від загального середнього. Реальні відмінності між варіантами її піднімають;
• внутрішньогрупова дисперсія: наскільки користувачі однієї групи відрізняються від середнього своєї групи. Це шум, який був би навіть без ефекту;
• F-статистика: міжгруповий середній квадрат, поділений на внутрішньогруповий. Близько 1 — розриви схожі на шум; значно більше 1 — не схожі;
• апостеріорний (post hoc) критерій: попарне порівняння після значущого ANOVA з вбудованим контролем множинних порівнянь.

Звичний апостеріорний вибір для груп однакового розміру — критерій Тьюкі (HSD). Він обчислює одну спільну мінімальну різницю, яку має перевищити будь-яка пара:

HSD = q × √(MS_within / n)

Для тесту вітальних листів Котокорму (3 групи по 5 користувачів, MS_within = 2,5, середні 20, 25 і 30 дол.) q ≈ 3,77 (3 групи, 12 ступенів свободи), тож HSD ≈ 3,77 × √(2,5 / 5) ≈ 2,67 дол. Кожна пара середніх відрізняється на 5 дол. і більше, тож усі три пари різні.

Якщо ANOVA не значущий, зазвичай на цьому зупиняються: перебір пар попри це — саме той шлях, яким з'являються хибні переможці.

Однофакторний ANOVA спирається на ті самі припущення, що й t-критерій:

• приблизно нормальні дані в кожній групі або групи достатньо великі, щоб допомогла центральна гранична теорема;
• схожі дисперсії в групах;
• незалежні спостереження: кожен користувач трапляється один раз.

За помірних вибірок ANOVA витримує невелику асиметрію. Він не справляється, коли групи крихітні, а кілька екстремальних значень домінують, як два гуртові замовлення по 400 дол. серед замовлень на 15–40 дол. Такі викиди роздувають і середнє групи, і внутрішньогрупову дисперсію, і F-статистика втрачає сенс.

H-критерій Краскела-Уолліса — ранговий варіант, та сама ідея, що в U-критерію Манна-Вітні, поширена на три і більше груп. Він замінює кожне значення його рангом серед усіх груп, а тоді перевіряє, чи суми рангів різняться більше, ніж допускає випадковість. Замовлення на 400 дол. просто стає найвищим рангом.

Компроміс: трохи менша потужність, коли дані справді нормальні, і значно більша надійність, коли ні. Як і в ANOVA, значущий результат каже, що групи десь відрізняються, а попарні порівняння все одно потребують поправки.

Результат однофакторного ANOVA легко переоцінити. Ось що підтримує кожна частина.

Він каже:

• чи велика міжгрупова дисперсія відносно внутрішньогрупової (велика F);
• чи правдоподібне «усі середні рівні», з однією чесною часткою хибнопозитивних результатів 5% замість роздутої частки багатьох t-критеріїв.

Він не каже:

• яка пара відрізняється: це робота апостеріорного критерію;
• чи важлива різниця для бізнесу. Величезна F може супроводжувати крихітний розрив у доларах, якщо групи великі, а шум малий, тож завжди дивись на самі середні груп.

Він припускає приблизно нормальні дані й схожі дисперсії в кожній групі, як і t-критерій. Коли дані дуже скошені, вибірки крихітні або викиди дикі, безпечніший вибір — H-критерій Краскела-Уолліса.

Тож добрий підсумок ANOVA має три рядки: F і p-значення, середні груп із результатом апостеріорного критерію і речення про те, чи розрив достатній, щоб діяти.