Манна–Вітні: коли дані не нормальні

t-критерій побудований на середніх, а середнє прислухається до кожного значення пропорційно до його величини. Одна сесія на 130 секунд серед сесій близько хвилини тягне середнє нової сторінки з 64,6 до 75,5 секунди й ще й роздуває дисперсію. t-статистика тоді сильно залежить від одного відвідувача, що залишив вкладку відкритою.

U-критерій Манна-Вітні замінює кожне значення його рангом: позицією, коли обидві групи відсортовано разом. Сесія на 130 секунд стає просто «найдовшою», ранг 12. Тривала вона 73 секунди чи 7 300, ранг той самий, тож вона не може домінувати в результаті.

Тому U-критерій Манна-Вітні — природний вибір для двох незалежних груп, коли:

• в одній групі є екстремальні викиди;
• метрика сильно скошена, як-от виручка на користувача чи тривалість сесії;
• дані існують лише як ранги чи впорядковані категорії.

Універсальною заміною він не є. Для парних даних потрібен критерій для залежних вибірок, а результати «так/ні» порівнюють критерієм для часток.

U-критерій Манна-Вітні починається з того, що забуває, з якої групи кожне значення.

1. Об'єднай усі спостереження обох груп в один список: тут 12 сесій.
2. Відсортуй їх від найменшого до найбільшого.
3. Проранжуй: 1 — найкоротша, 12 — найдовша.
4. Розклади ранги назад за групами й додай. Кожна сума — це сума рангів.

Сесії старої сторінки (38, 42, 47, 49, 55, 61 секунда) потрапляють на ранги 1, 2, 3, 4, 5 і 8, тож R₁ = 23. Нова сторінка отримує ранги 6, 7, 9, 10, 11 і 12, тож R₂ = 55.

Вбудована перевірка ловить помилки: ранги від 1 до N завжди дають у сумі N(N + 1) / 2. Для N = 12 це 12 × 13 / 2 = 78, і справді 23 + 55 = 78.

Інтуїція: якби сторінки були однакові, їхні ранги перемішалися б, і кожна сума рангів була б близько половини від 78, тобто 39. Сума рангів, далека від 39, як-от 23, означає, що значення однієї групи тяжіють до низу спільного списку.

Сума рангів залежить від розміру групи, тож її перетворюють на зручніше число, U:

U₁ = R₁ − n₁(n₁ + 1) / 2

Частина, яку віднімають, — найменша можлива сума рангів для групи з n₁ значень: ранги від 1 до 6 дають 6 × 7 / 2 = 21. Тож U₁ показує, наскільки вище за цю «підлогу» опинилася група. Для старої сторінки товару в тесті Котокорму (6 сесій, сума рангів R₁ = 23): 23 − 21 = 2.

У U гарний зміст: воно рахує перемоги в парах. Візьми кожну пару «сесія старої сторінки + сесія нової», 6 × 6 = 36 пар, і порахуй, як часто сесія старої сторінки довша. Лише 61-секундна сесія старої сторінки перемагає дві нові (58 і 60), тож U₁ = 2.

Отже, U біля 0 означає, що одна група майже ніколи не перемагає іншу; U біля половини пар (тут 18) — що групи добре перемішані. Стара сторінка виграє лише 2 з 36 поєдинків, і це сильний натяк, що нова сторінка довше утримує відвідувачів.

Для другої групи, нової сторінки товару (6 сесій, сума рангів R₂ = 55), працює той самий рецепт:

U₂ = R₂ − n₂(n₂ + 1) / 2 = 55 − 21 = 34

U₂ рахує пари, які виграє нова сторінка: 34 з 36.

Дві перевірки варті кількох секунд:

• U₁ + U₂ = n₁ × n₂. У кожній парі рівно один переможець, тож перемоги дають у сумі кількість пар: 2 + 34 = 36 = 6 × 6. Якщо ні, десь помилка в ранзі чи сумі.
• Суми рангів дають N(N + 1) / 2: 23 + 55 = 78 = 12 × 13 / 2.

Статистика критерію — менше з двох:

U = min(U₁, U₂) = min(2, 34) = 2

Менше значення робить критерій чутливим в обидва боки: хоч яка група тяжіє вгору, перекошений поділ штовхає менше U до нуля. Таблиці критичних значень побудовані саме для меншого U, тож завжди порівнюй min(U₁, U₂), а не більше значення.

У t-критерії хвилює велике значення статистики: |t| понад критичне — відхиляємо H0. У U-критерії Манна-Вітні навпаки.

Відхиляй H0, коли U ≤ критичного значення.

Чому? U рахує, як часто одна група перемагає іншу. Якби групи походили з одного розподілу, перемоги поділилися б приблизно порівну, близько половини від n₁ × n₂ кожній. Мале U означає, що одна група майже ніколи не перемагає: ранги ледь перекриваються, і це доказ реальної різниці.

Критичне значення беруть із таблиці; воно залежить від обсягів груп і від того, який рівень значущості обрано. Для n₁ = n₂ = 6, двобічно при α = 0,05, це 5. У тесті сторінки товару Котокорму (по 6 сесій на сторінку) U = 2 ≤ 5, тож різниця в тривалості сесій значуща на рівні 5%. Для n₁ = n₂ = 8 воно 13: U = 25 там не було б значущим.

Це перевернуте правило — найчастіша помилка у звітах про U-критерій Манна-Вітні. Перш ніж робити висновок, промов правило вголос: «мале U — значуще».

U-критерій Манна-Вітні не порівнює середні. Він перевіряє, чи значення однієї групи тяжіють до вищих рангів, ніж значення іншої. Значущий результат підтримує речення на кшталт «сесії на новій сторінці зазвичай довші».

Тож показуй його числами, що відповідають цьому запитанню:

• медіани кожної групи: 48 секунд на старій сторінці, 66,5 на новій;
• частку перемог у парах: сесія старої сторінки була довшою лише у 2 з 36 пар (U₁ = 2), нової — у 34;
• результат критерію: U = 2, критичне значення 5, значуще на рівні 5%.

Спокуслива помилка — застосувати ранговий критерій, а потім показати різницю середніх. Тут середні — 48,7 і 75,5 секунди, різниця 26,8, але чималу її частину дали 130 секунд однієї відкритої вкладки. Без неї середнє нової сторінки — 64,6. U-критерій Манна-Вітні обрали саме тому, що середнім не можна було довіряти, тож не повертай їх у заголовок.

Якщо потрібен розмір ефекту в секундах, чесний супутник — різниця медіан, приблизно 18,5 секунди.

Увесь метод тримається на чотирьох словах:

• ранг — позиція спостереження, коли обидві групи відсортовано разом, 1 — найменше;
• сума рангів (R) — сума рангів, що належать одній групі;
• статистика U — менше з U₁ та U₂, число, яке порівнюють із критичним значенням;
• непараметричний критерій не робить припущень про форму розподілу.

Останній варто розглянути уважніше. Параметричний критерій, як-от t-критерій, припускає, що дані (або принаймні вибіркові середні) мають відому форму, нормальний розподіл, описаний параметрами на кшталт середнього й стандартного відхилення. Непараметричний критерій, як-от U-критерій Манна-Вітні, працює лише з порядком, тож форма не має значення.

«Непараметричний» не означає «без припущень». U-критерій Манна-Вітні все одно потребує двох незалежних груп, а його результат — про те, що значення однієї групи тяжіють до вищих рангів, а не про середні. Не плутай терміни у звітах: «сума рангів 23» і «U = 2» — різні числа.

Ранжування — свідомий обмін: віддаєш точні величини, щоб отримати стійкість. Чи вигідний він, залежить від даних.

Бери U-критерій Манна-Вітні, коли:

• метрика сильно скошена, з довгим хвостом високих значень (виручка на користувача, час у застосунку);
• кілька крайніх значень домінували б у середньому;
• дані існують лише як ранги чи впорядковані категорії («1-й, 2-й, 3-й» або задоволеність від «погано» до «чудово»).

Лишайся з t-критерієм, коли вибірки великі й приблизно нормальні без неприємних викидів. Там він потужніший: на тих самих даних краще виявляє реальний ефект, бо використовує самі значення, а не лише їхній порядок.

Не бери жодного, коли результат «так/ні» (пішов, купив, клікнув). Це порівняння часток, і для нього є свій критерій.

Практична звичка: спершу поглянь на гістограму чи діаграму розмаху кожної групи. Асиметрія й викиди, які видно, — причина перейти на ранги; «про всяк випадок» — ні.

У реальних даних бувають однакові значення: дві сесії рівно по 14 секунд, кілька клієнтів, що поставили товару 4 зірки. Вони не можуть бути водночас рангом 2 і рангом 3, а довільний вибір змінював би результат залежно від того, яке поставили першим.

Правило просте: однакові значення ділять середнє рангів, які вони займають.

• Після сортування: 10, 14, 14, 20, 25, 30.
• Дві «14» займають ранги 2 і 3, тож кожна отримує (2 + 3) / 2 = 2,5.
• Далі все як звичайно: 20 — ранг 4.

Стара сторінка (10, 14, 20) отримує ранги 1, 2,5 і 4, тож R₁ = 7,5, а U₁ = 7,5 − 6 = 1,5. Дробові U за однакових значень — це нормально.

Звичні перевірки працюють: ранги дають у сумі 6 × 7 / 2 = 21 (7,5 + 13,5), а U₁ + U₂ = 1,5 + 7,5 = 9 = 3 × 3. У термінах пар нічия рахується як пів перемоги кожній стороні.

За великої кількості однакових значень програми вносять у критерій невелику поправку; правило усереднення — те, що потрібно, щоб рахувати ранги вручну.