Двофакторний дисперсійний аналіз і взаємодії

Однофакторний ANOVA порівнює групи, що відрізняються одним фактором: категоріальною змінною, як-от варіант листа. У реальних тестах їх часто два: банер (контроль чи знижка) і пристрій (десктоп чи мобільний).

Перехрестивши їх, отримуємо факторний дизайн. Із двома рівнями в кожного це сітка 2×2 з чотирьох комірок: десктоп-контроль, десктоп-знижка, мобільний-контроль, мобільний-знижка. Двофакторний дисперсійний аналіз аналізує всі чотири одразу.

Чому б просто не порівняти знижку з контролем загалом? Бо загальне число припускає, що банер діє однаково всюди. У даних Котокорму загальний приріст +7 дол., але це середнє з +2 дол. на десктопі й +12 дол. на мобільному. Жоден пристрій насправді не бачить +7 дол.

Факторний дизайн відповідає на три запитання за раз:

• чи впливає банер у середньому? (його головний ефект);
• чи впливає пристрій у середньому? (його головний ефект);
• чи залежить ефект банера від пристрою? (взаємодія).

На третє запитання одне загальне середнє не відповість ніколи.

Ефект взаємодії означає, що вплив одного фактора залежить від рівня іншого. Банер зі знижкою додає 2 дол. на десктопі й 12 дол. на мобільному: ефект банера залежить від пристрою.

Найшвидше це видно на лінійному графіку середніх комірок: банер на горизонтальній осі, по лінії на кожен пристрій.

• Паралельні лінії: взаємодії немає. Банер піднімає обидва пристрої на однакову величину; розрив між пристроями однаковий із банером і без нього.
• Непаралельні лінії: можлива взаємодія. Тут десктоп іде 40 → 42, а мобільний 30 → 42, тож мобільна лінія підіймається значно крутіше.
• Лінії, що перетинаються: сильна взаємодія, коли зміна може допомагати одному сегменту й шкодити іншому.

Графік лише підказує взаємодію; на малих вибірках лінії хитаються. Двофакторний ANOVA перевіряє її формально, власною F-статистикою.

Практичний сенс: якщо взаємодія є, на запитання «що робить банер?» немає однієї відповіді. Чесна відповідь — «залежить від пристрою», а далі числа для кожного.

Головний ефект — середній вплив одного фактора за всіма рівнями іншого. Його отримують із маргінальних середніх: усереднюють комірки вздовж рядка чи стовпця.

Тест банера зі знижкою в Котокормі має чотири середні комірок (виручка на сесію): десктоп-контроль 40 дол., десктоп-знижка 42 дол., мобільний-контроль 30 дол., мобільний-знижка 42 дол. Для банера усереднюємо за обома пристроями:

• контроль: (40 + 30) / 2 = 35;
• знижка: (42 + 42) / 2 = 42;
• головний ефект банера: 42 − 35 = 7 дол.

Для пристрою усереднюємо за обома станами банера:

• десктоп: (40 + 42) / 2 = 41;
• мобільний: (30 + 42) / 2 = 36;
• головний ефект пристрою: 41 − 36 = 5 дол.

(За однакового розміру комірок ці маргінальні середні збігаються із середніми за всіма користувачами рядка чи стовпця.)

Головні ефекти — корисні підсумки, але це середні за іншим фактором. Коли взаємодії немає, 7 дол. банера справджуються на кожному пристрої. Коли вона є, 7 дол. — це суміш, якої не бачить жоден окремий сегмент.

Типова помилка — порівняти лише одну пару комірок, наприклад 42 − 40 = 2 на десктопі, і назвати це головним ефектом банера. Це простий ефект для одного пристрою, а не середнє за обома.

У дизайні 2×2 розмір взаємодії — це наскільки змінюється ефект одного фактора між двома рівнями іншого. Порахуй ефект у кожному сегменті, а тоді відніми. У тесті банера зі знижкою в Котокормі виручка на сесію зросла з 40 до 42 дол. на десктопі й з 30 до 42 дол. на мобільному:

• приріст банера на мобільному: 42 − 30 = 12 дол.;
• приріст банера на десктопі: 42 − 40 = 2 дол.;
• розмір взаємодії: 12 − 2 = 10 дол.

Ті самі 10 дол. виходять і з іншого боку. Розрив між пристроями без банера 40 − 30 = 10 дол., а з банером 42 − 42 = 0 дол., тобто зміна на 10 дол. Взаємодія симетрична: якщо ефект банера залежить від пристрою, то й ефект пристрою залежить від банера.

Взаємодія 0 означає паралельні лінії: банер додає однаково на обох пристроях. Що більше число, то більше вводить в оману загальний головний ефект.

Тримай порядок віднімання сталим (мобільний мінус десктоп або навпаки) і вказуй, який обрано; знак показує, який сегмент виграє більше. І пам'ятай: велика різниця вибіркових середніх однаково потребує F-критерію для взаємодії, щоб показати, що це не шум.

Не кожен розрив між сегментами — взаємодія. Візьмімо тест макета листа за пристроєм: Десктоп-A 30 дол., Десктоп-B 36 дол., Мобільний-A 22 дол., Мобільний-B 28 дол.

• Ефект макета на десктопі: 36 − 30 = 6 дол.
• Ефект макета на мобільному: 28 − 22 = 6 дол.
• Розмір взаємодії: 6 − 6 = 0.

На лінійному графіку дві лінії паралельні. Десктоп на 8 дол. вище за мобільний за будь-якого макета: це головний ефект пристрою, а не взаємодія. Макет B додає 6 дол. усюди: головний ефект макета. Ефекти просто додаються, тому таку картину називають адитивною.

У цій ситуації загальний підсумок чесний: «макет B додає приблизно 6 дол. на замовлення на будь-якому пристрої». Одне рішення про запуск пасує всім сегментам.

Пастка — побачити, що мобільний нижчий, і вирішити, що макет там «працює інакше». Взаємодія стосується того, чи різниться ефект, а не того, чи різняться рівні. Запитай: чи додає зміна однакову суму в кожному сегменті? Якщо так, лінії паралельні, хоч на якій висоті.

Реальні дані ніколи не бувають ідеально паралельними, тому взаємодію перевіряють формально.

Таблиця двофакторного ANOVA має по рядку на кожен ефект і ще один для похибки (шуму всередині комірок). Для тесту банер × пристрій із 3 користувачами в комірці:

• банер: SS = 147, df = 1, MS = 147, F = 147 / 4 = 36,75;
• пристрій: SS = 75, df = 1, MS = 75, F = 75 / 4 = 18,75;
• банер × пристрій: SS = 75, df = 1, MS = 75, F = 18,75;
• похибка: SS = 32, df = 8, MS = 32 / 8 = 4.

Ступені свободи підкоряються простим правилам: (кількість рівнів − 1) для кожного фактора, їхній добуток для взаємодії (1 × 1 = 1) і N мінус кількість комірок для похибки (12 − 4 = 8).

Усі F мають спільний знаменник, MS_error. Кожну потім порівнюють із критичним значенням для її власних df: приблизно 5,32 для df(1, 8) при α = 0,05. Тут усі три його перевищують.

Класична помилка — ділити SS на SS: 75 / 32 ≈ 2,34 виглядає незначущим, але пропускає ступені свободи. Завжди спершу переводь суми квадратів у середні квадрати.

Чотири терміни, один дизайн:

• фактор: категоріальна пояснювальна змінна, рівні якої визначають групи. Банер (контроль, знижка) і пристрій (десктоп, мобільний) — фактори;
• головний ефект: середній вплив одного фактора за всіма рівнями іншого, з маргінальних середніх (7 дол. для банера, 5 дол. для пристрою);
• ефект взаємодії: коли вплив одного фактора залежить від рівня іншого (2 дол. на десктопі, 12 дол. на мобільному);
• двофакторний (багатофакторний) дисперсійний аналіз: один аналіз із двома чи більше факторами, що перевіряє кожен головний ефект і їхню взаємодію, кожен — власною F-статистикою.

Після значущої взаємодії є ще один крок: прості ефекти. Вплив одного фактора розглядають окремо на кожному рівні іншого: банер лише на десктопі, банер лише на мобільному. Це та сама дисципліна, що й апостеріорний критерій після однофакторного ANOVA, лише на рівень глибше.

Із трьома факторами маємо три головні ефекти, три парні взаємодії й одну потрійну, тому більшість продуктових тестів зупиняється на двох факторах: тлумачення швидко множаться.

Значуща взаємодія змінює саму форму рішення. «Запускаємо всюди або ніде» припускає один ефект, а дані кажуть, що їх два.

Практична послідовність:

1. Прочитай прості ефекти: +12 дол. на мобільному, +2 дол. на десктопі. За потреби перевір кожен; це апостеріорний крок для факторних дизайнів.
2. Вирішуй посегментно. Виграш на мобільному великий і чіткий: запускай там. +2 дол. на десктопі можуть не покривати вартості знижки; почекай або проведи окремий тест для десктопа.
3. Запитай чому. Можливо, мобільні покупці сильніше реагують на знижки. А можливо, виручка на десктопі вже біля «стелі», і рухатися нікуди. Пояснення впливає на те, що пробувати далі.
4. Звітуй про сегменти, а не про суміш. «+7 дол. загалом» — правильна арифметика, але не описує жодного реального користувача.

Це той самий урок, що й парадокс Сімпсона, з іншого боку: загальне середнє може заспокоювати й водночас ховати сегмент, де зміна майже не допомагає чи навіть шкодить.

Коли лінії справді перетинаються, сегментація перестає бути необов'язковою: глобальний запуск погіршить становище однієї з груп.

Порядок читання двофакторного ANOVA важливий. Почни із взаємодії, а потім дивись на головні ефекти.

• Взаємодія не значуща: лінії приблизно паралельні, і кожен головний ефект — чесний підсумок. «Банер додає приблизно 7 дол. на будь-якому пристрої» — розумне речення.
• Взаємодія значуща: головні ефекти стають середніми з різних історій. 7 дол. банера — суміш 2 і 12 дол.; 5 дол. пристрою — суміш 10 і 0 дол. Подавай їх обережно, а на перше місце став прості ефекти.

Візуально сигналом для перевірки є непаралельні лінії на графіку середніх комірок. Формально взаємодія має власну F-статистику, окремо від двох головних ефектів.

Для рішень це має прямий наслідок: за значущої взаємодії один глобальний вибір «запускати чи ні» може бути правильним для одних сегментів і хибним для інших. Вирішуй посегментно.

Щодо формулювань: «значущий» тут і далі означає «навряд чи шум», а не «великий». Завжди додавай розміри в доларах.