# t-критерій для залежних вибірок: до і після

> Порівняння тих самих користувачів до і після зміни: t-критерій для залежних вибірок і T-критерій Вілкоксона.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: Багато груп і до/після
- Урок 15/24, ~40 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/paired-tests

## t-критерій для залежних чи незалежних вибірок: ті самі клієнти, двічі

**Alex Tutor:** Минулого місяця Котокорм запустив програму лояльності, і маркетинг прийшов до тебе в продуктову команду з питанням: чи справді вона підняла місячні витрати, чи ті просто зросли б і так?

**Sofia:** Легко: порівняти середні витрати минулого й цього місяця t-критерієм, як ми робили для A/B груп.

**Alex Tutor:** Обережно: той t-критерій Стьюдента для незалежних вибірок порівнює два середні, побудовані з різних клієнтів, які просто замовляли в кожному місяці, а не з тих самих людей.

**Alex Tutor:** Тут ми відстежили тих самих 8 клієнтів, до і після. Це дизайн залежних (парних) вибірок, і для нього є свій критерій — t-критерій Стьюдента для залежних вибірок.

![Той самий кіт двічі, поєднаний дугою: спершу біля напівпорожнього кошика з покупками, потім біля того ж кошика, вже повнішого.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/paired-tests-illustration-2.webp)

*Парні дані: той самий клієнт до і після, тож кожен сам собі точка відліку.*

> **Залежні (парні) вибірки**
>
> Вимірювання, що утворюють пари, зазвичай ті самі одиниці, виміряні двічі, наприклад клієнти до і після зміни.

**Sofia:** А чому важливо, що це ті самі люди?

**Alex Tutor:** Бо кожен клієнт стає власним базовим рівнем. Критерій для залежних вибірок дивиться лише на зміну кожної людини, прибираючи шум від того, що клієнти просто по-різному витрачають гроші.

> **Вправа:** Чому t-критерій для залежних вибірок доречніший за t-критерій Стьюдента для незалежних вибірок, коли порівнюємо витрати тих самих 8 клієнтів до і після програми лояльності?

## Клієнти, до і після

**Alex Tutor:** Місячні витрати до → після, USD, для наших 8 клієнтів програми лояльності: U1 42→47, U2 38→40, U3 51→59, U4 29→30, U5 60→66, U6 33→37, U7 47→50, U8 55→62.

**Зміна місячних витрат для кожного клієнта**

| Клієнт | Після − до |
| --- | --- |
| U1 | 5 |
| U2 | 2 |
| U3 | 8 |
| U4 | 1 |
| U5 | 6 |
| U6 | 4 |
| U7 | 3 |
| U8 | 7 |

*Різниця (після мінус до) додатна для кожного клієнта, хоча розмір зміни доволі сильно відрізняється.*

**Alex Tutor:** Поглянь на різниці: абсолютно кожен клієнт після програми витрачав більше, хтось трохи, хтось значно.

**Sofia:** То вона очевидно спрацювала?

**Alex Tutor:** Виглядає багатообіцяльно, але «очевидно» — це не число. Нам ще треба перевірити, чи середня різниця більша за звичайний шум.

> **Вправа:** t-критерій для залежних вибірок може порівнювати вимірювання «до» для однієї групи клієнтів із вимірюваннями «після» для зовсім іншої групи клієнтів.

## Формула t-критерію для залежних вибірок: одне число на клієнта

**Alex Tutor:** t-критерій Стьюдента для незалежних вибірок ділить ступені свободи між двома групами: n1 + n2 − 2. Парні дані натомість зводяться до однієї групи різниць.

**Alex Tutor:** Кожен клієнт стає одним числом: власною різницею після мінус до. І тоді питання просте: чи дорівнює середня різниця нулю?

$$
t = \dfrac{\bar{d}}{s_d / \sqrt{n}}
$$

*t-критерій Стьюдента для залежних вибірок: середня різниця, поділена на стандартну похибку різниці (стандартне відхилення різниць, поділене на корінь із n пар).*

**Alex Tutor:** Наші 8 різниць, у доларах: 5, 2, 8, 1, 6, 4, 3, 7.

**Alex Tutor:** Їхня сума — 36, тож середня різниця — 36 / 8 = 4,5 дол.

> **Вправа:** Різниці «до/після» (після − до) для 8 клієнтів програми лояльності: 5, 2, 8, 1, 6, 4, 3, 7 дол. Обчисли середню різницю.

**Alex Tutor:** Тепер розкид: сума квадратів відхилень від 4,5 дорівнює 42. Поділивши на n − 1 = 7, отримуємо дисперсію 6, тож стандартне відхилення різниць — приблизно 2,45.

**Alex Tutor:** Стандартна похибка ділить це на корінь із n: 2,45 / √8 ≈ 0,87 дол.

**Sofia:** І наскільки великою має бути t-статистика, щоб це мало значення?

**Alex Tutor:** Для df = 7 двобічний критерій на рівні 5% має критичне значення близько 2,365. Усе, що за модулем перевищує його, дивно, якби програма насправді нічого не змінювала.

> **Вправа:** Для 8 різниць програми лояльності (5, 2, 8, 1, 6, 4, 3, 7) вибіркове стандартне відхилення різниць — приблизно 2,449. Обчисли стандартну похибку середньої різниці.

## 4,5 дол. — це реально чи шум?

**Alex Tutor:** Спершу твоя черга: поділи середню різницю на її стандартну похибку.

> **Вправа:** Середня різниця 4,50 дол., стандартна похибка середньої різниці 0,866 дол., 8 клієнтів. Обчисли t-статистику критерію для залежних вибірок (два знаки після коми).

**Alex Tutor:** t = 4,5 / 0,87 ≈ 5,20, з df = 7. Це більш ніж удвічі перевищує критичне значення 2,365.

**Alex Tutor:** Ми відхиляємо H0: середня різниця «до/після» навряд чи дорівнює нулю. Ці 4,5 дол. приросту виглядають реальними, а не шумом.

**Alex Tutor:** Тим часом колега застосував до тих самих двох колонок інший критерій і отримав зовсім іншу відповідь. Якому з них довіряти?

> **Вправа:** Котокорм відстежив місячні витрати тих самих 8 клієнтів до і після запуску програми лояльності. Колега застосував t-критерій для незалежних вибірок до колонок «до» і «після» й отримав t ≈ 0,76, p ≈ 0,46. Критерій для залежних вибірок на тих самих даних дав t ≈ 5,20, p ≈ 0,001. Який висновок правильний?

**Sofia:** То це програма лояльності спричинила?

**Alex Tutor:** Одне застереження: без контрольної групи частину ефекту міг би пояснити й сезонний тренд. Критерій для залежних вибірок доводить, що зміна реальна, але не те, що саме ця одна причина повністю її пояснює.

![Кіт несе повний кошик із покупками повз вікно, за яким падає сніг і світиться гірлянда з помаранчевих вогників.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/paired-tests-illustration-3.webp)

*Без контрольної групи частину роботи міг зробити просто календар.*

> **Вправа:** Зістав кожен термін із тим, що він означає.

## Дані не нормальні? Критерій Вілкоксона

**Alex Tutor:** t-критерій для залежних вибірок припускає, що різниці приблизно нормальні. За сильно скошених різниць або крихітної вибірки це припущення хитається.

**Alex Tutor:** Найпростіший запасний варіант — критерій знаків: він лише рахує, скільки різниць додатні, а скільки від'ємні, повністю ігноруючи їхній розмір.

**Alex Tutor:** Спробуй на наших даних: усі 8 різниць — плюси. Наскільки це дивно, якби нічого не змінилося?

> **Вправа:** Котокорм відстежив місячні витрати 8 клієнтів до і після запуску програми лояльності, і всі 8 різниць (після − до) додатні. Ти застосовуєш критерій знаків. Якби програма нічого не змінювала, кожна різниця з однаковою ймовірністю була б додатною чи від’ємною. Яка ймовірність, що всі 8 вийдуть додатними, у відсотках (два знаки після коми)?

![Ряд маленьких котів: більшість підняли лапку біля помаранчевої стрілки вгору, один — біля синьої стрілки вниз; усі стрілки однакові.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/paired-tests-illustration-4.webp)

**Alex Tutor:** T-критерій Вілкоксона зберігає трохи більше інформації: він ранжує модулі різниць і порівнює суми рангів додатних і від'ємних зсувів.

**Sofia:** Тобто Вілкоксон зазвичай кращий вибір, ніж критерій знаків?

> **Вправа:** Які твердження про парні дизайни та критерії для залежних вибірок правильні? Обери всі.

## Підсумок

**Alex Tutor:** Зазвичай так: Вілкоксон використовує більше даних, тож має більшу потужність, а критерій знаків — найпростіший і найстійкіший запасний варіант, коли навіть ранги викликають сумнів.

**Alex Tutor:** Хоч який критерій обереш, спершу завжди дивися на самі різниці й обсяг вибірки. Восьми клієнтів достатньо для чистого прикладу в уроці, але не завжди для впевненого рішення про запуск.

**Sofia:** Зрозуміло: ті самі люди, одна колонка різниць, а тоді обрати критерій відповідно до того, як ці різниці виглядають.

**Alex Tutor:** Лишилося два завдання: сформулюй перевагу парності своїми словами, а тоді розбери складніший кейс із крихітною й перекошеною вибіркою.

> **Вправа:** У 2–4 реченнях поясни, чому парування вимірювань «до/після» для тих самих 8 клієнтів дає більшу статистичну потужність, ніж порівняння двох незалежних груп по 8 різних клієнтів кожна.

**Alex Tutor:** Тепер кейс: оновлений розділ довідки, 6 користувачів, оцінка задоволеності від 1 до 10 до і після.

**Alex Tutor:** Цього разу не буде акуратного t = 5,20. Одна оцінка підозріло різко підскочила, а вибірка крихітна.

**Sofia:** Давай, починаймо.

**Alex Tutor:** Ось цей настрій мені й потрібен.

> **Вправа:** Який критерій ти обереш і як упораєшся з викидом?

- Попередній урок: [Двофакторний дисперсійний аналіз і взаємодії](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/multifactor-anova.md)
- Наступний урок: [ANOVA з повторними вимірюваннями](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/repeated-measures.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.