# Підсумок курсу: як обрати правильний критерій

> Шпаргалка для вибору методу, що поєднує весь курс.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: Моделювання та сегментація
- Урок 24/24, ~40 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/choosing-the-right-test

## Одна карта, шість модулів

**Alex Tutor:** Останній урок. Після цілого курсу відповідей на питання продуктової команди Котокорму щодо даних час озирнутися назад.

**Sofia:** Alex, за п'ять модулів у мене набралося дванадцять різних методів, і я вже не пам'ятаю, який куди йде.

**Alex Tutor:** Саме для цього сьогоднішній урок. Кожен метод, який ми розглянули, відповідає на одне з кількох питань. Щойно ти розумієш питання — метод здебільшого обирається сам.

![Кіт на початку розгалуженої стежки на великій мапі; кожна стежка веде до іншого значка-інструмента, одна підсвічена.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/choosing-the-right-test-illustration-2.webp)

*Спершу визнач питання, і розвилка зазвичай сама вкаже на метод.*

**Sofia:** Тобто це не дванадцять окремих речей для запам'ятовування?

**Alex Tutor:** Найважливіші дві речі: скільки груп чи змінних ти порівнюєш, і чи задовольняють дані припущення параметричного критерію — приблизно нормальний розподіл, без екстремальних викидів, достатній обсяг вибірки.

> **Два питання за кожним критерієм**
>
> 1) Що я порівнюю — типове значення однієї змінної, дві групи, три й більше груп чи зв'язок між змінними? 2) Чи задовольняють мої дані параметричні припущення, чи потрібна рангова, непараметрична альтернатива?

> **Вправа:** Котокорм порівнює час на сторінці для 15 користувачів у варіанті A і 15 у варіанті B. Дані сильно скошені, з кількома екстремальними викидами. Який критерій підходить найкраще?

## Дві групи і більше

**Alex Tutor:** Для двох незалежних груп: t-критерій, якщо дані приблизно нормальні й вибірка достатня, U-критерій Манна-Вітні — якщо дані скошені, малі або з великою кількістю викидів.

**Sofia:** А якщо ті самі користувачі виміряні до і після зміни?

**Alex Tutor:** Це парні дані — парний t-критерій або його непараметричний аналог, T-критерій Вілкоксона. Та сама логіка нормальний/скошений, тільки для різниць, а не сирих значень.

**Sofia:** Три й більше груп — тут повертається ANOVA?

**Alex Tutor:** Так: однофакторний дисперсійний аналіз (ANOVA, параметричний) або H-критерій Краскела-Уолліса (непараметричний) для незалежних груп; дисперсійний аналіз із повторними вимірюваннями або критерій Фрідмана для тих самих об'єктів, виміряних кілька разів.

> **Вправа:** Котокорм вимірює оцінку задоволеності тих самих 40 користувачів до і після оновленого онбордингу. Який критерій доречний?

## A/B-тести: частки й інтервали

**Alex Tutor:** Для одного A/B-тесту на конверсії ти порівнюєш дві частки, а не два середні — тут потрібен z-критерій для двох часток або критерій хі-квадрат.

**Sofia:** А якщо я порівнюю конверсію одразу трьох варіантів лендингу?

**Alex Tutor:** Та сама родина: критерій хі-квадрат для таблиці 3 на 2 «варіант × сконвертувався/ні», а не ANOVA — ANOVA порівнює середні неперервної змінної, а конверсія — це частка.

**Sofia:** Тобто «це середнє чи частка» — ще одне питання, яке варто ставити одразу?

**Alex Tutor:** Саме так. І хай там який критерій, обгортай результат довірчим інтервалом і плануй обсяг вибірки до запуску за базовим рівнем, MDE і потужністю.

**Sofia:** Дай швидкий приклад із числами, щоб перевірити, чи правильно я пам'ятаю формулу довірчого інтервалу.

$$
\text{margin of error} \approx 1.96 \times SE
$$

*Похибка оцінки для 95% довірчого рівня: приблизно 1,96 стандартної похибки з кожного боку від оцінки.*

**Alex Tutor:** Ось невеликий приклад для обчислення вручну.

> **Вправа:** Оцінка конверсії Котокорму має стандартну похибку 1,2 відсоткового пункту. За формулою похибка оцінки ≈ 1,96 × СП, яка приблизна похибка оцінки для 95% довірчого рівня?

**Alex Tutor:** Тепер перетвори цю похибку на інтервал. Скажімо, сама оцінка — 12,0%.

> **Вправа:** Оцінка конверсії — 12,0% зі стандартною похибкою 1,2 відсоткового пункту, тож похибка оцінки для 95% довірчого рівня — приблизно 2,35 пункту. Яка верхня межа 95% довірчого інтервалу?

## Зв'язки, моделі та сегменти

**Alex Tutor:** Коли хочеш дізнатися, як дві змінні змінюються разом, — це кореляція. Коли хочеш прогнозувати одну за іншою — це регресія.

**Sofia:** А для результату «так/ні», наприклад «чи піде цей користувач»?

**Alex Tutor:** Логістична регресія: вона прогнозує ймовірність цього результату «так/ні» за твоїми предикторами.

**Sofia:** Відрізняється від лінійної регресії тим, що результат обмежений між 0 і 1?

**Alex Tutor:** Саме так. Спробуй застосувати це до конкретного випадку.

> **Вправа:** Ти хочеш прогнозувати ймовірність відтоку конкретного клієнта наступного місяця за історією його замовлень. Який метод підходить?

**Alex Tutor:** Коли цільової змінної взагалі немає, лише клієнти, яких треба згрупувати, — це наш модуль: кластеризація.

**Sofia:** А якщо групувати треба не клієнтів, а запитання опитування?

**Alex Tutor:** Факторний аналіз — той самий дух, що й кластеризація, але групує корельовані змінні в приховані теми, а не спостереження в сегменти.

**Sofia:** Тобто кластеризація потребує рішення щодо k, якщо тільки не використати ієрархічну версію?

> **Вправа:** Якщо заздалегідь невідомо, скільки існує сегментів клієнтів, ієрархічна кластеризація доречніша, ніж k-середні.

## Уся карта

**Alex Tutor:** Зведімо все на одну карту. Я даю кілька ситуацій, а ти зіставляєш кожну з методом.

> **Карта методів Котокорму**
>
> Дві групи, нормальні дані -> t-критерій. Дві групи, скошені/викиди -> U-критерій Манна-Вітні. 3+ групи, нормальні -> ANOVA. До/після, ті самі користувачі -> парний t-критерій або T-критерій Вілкоксона. Зв'язок двох метрик -> кореляція або регресія. Без міток, просто згрупувати схоже -> кластеризація або факторний аналіз.

**Sofia:** Це фактично шпаргалка, якої мені бракувало ще з другого модуля.

**Alex Tutor:** Тримай її відкритою — вона знадобиться для наступного.

**Sofia:** Коли скажеш — починаю.

> **Вправа:** Зістав кожну ситуацію з методом, що їй відповідає.

## Обрати критерій — це ще не все

**Alex Tutor:** Ще одне попередження наостанок: правильний вибір критерію на папері не рятує від практичних пасток із третього модуля.

**Sofia:** Підглядання в результати завчасно, перевірка двадцяти метрик і звіт лише про ту, що значуща...

**Alex Tutor:** Саме вони. Обирай критерій і основну метрику *до* того, як глянути на дані, і завжди перевіряй практичну значущість, а не лише p < 0,05.

![Ліворуч кіт вішає мішень перед пострілом. Праворуч, приглушено: кіт малює мішень навколо стріли, що вже влучила.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/choosing-the-right-test-illustration-3.webp)

*Повісь мішень до пострілу: обери критерій і основну метрику до того, як подивишся на результати.*

**Sofia:** Тобто процес навколо критерію важливий не менше за сам критерій.

**Alex Tutor:** Саме так. Почнімо з найпоширенішої пастки: крихітний ефект із крихітним p.

> **Вправа:** A/B-тест на 2 мільйонах користувачів показує зростання конверсії з 5,0% до 5,1%, p = 0,01. Яке прочитання **правильне**?

**Alex Tutor:** І ще кілька тривожних ознак, які варто помічати.

> **Вправа:** Що з переліченого — ознака того, що не варто беззастережно довіряти «статистично значущому» результату? Обери все, що підходить.

**Alex Tutor:** Закріпимо весь процес — не лише який критерій, а й у якому порядку діяти.

**Sofia:** Маю відчуття, що «спершу обери критерій, потім дивись на дані» ось-ось стане суворим правилом.

**Alex Tutor:** Це вже правило. Розстав ці кроки — і більше ніколи не підбиратимеш метод під бажаний результат.

**Sofia:** Гаразд, дай продумаю послідовність.

> **Вправа:** Розстав кроки дисциплінованого процесу вибору критерію у правильному порядку.

## Підсумок курсу

**Alex Tutor:** Ось увесь курс на одній карті: скільки груп, яка форма даних і яке питання ти насправді ставиш.

![Кіт у випускній шапочці тримає компас на вершині пагорба й дивиться на затишну крамницю корму, до якої в'ється стежка.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/choosing-the-right-test-illustration-4.webp)

*Курс завершено: тепер у тебе є компас для наступного питання Котокорму до даних.*

**Sofia:** Півроку тому все звелося б до порівняння двох середніх на око — і на цьому все.

**Alex Tutor:** А тепер ти знаєш, чому цього недостатньо.

**Sofia:** То що лишилося, перш ніж я «закінчу» цей курс?

**Alex Tutor:** Поясни колезі свій процес вибору критерію — це наступне завдання.

> **Вправа:** У 2–3 реченнях поясни, як ти обиратимеш між t-критерієм і критерієм Манна-Вітні для порівняння середнього чека між двома ринками Котокорму.

**Alex Tutor:** Останнє: керівництво хоче одну стабільну шпаргалку для всієї компанії, а не черговий одноразовий аналіз.

**Sofia:** Ніякого тиску, просто пишу статистичну конституцію компанії.

**Alex Tutor:** У тебе вже є все необхідне — кожен метод, кожна пастка, усі шість модулів.

**Sofia:** Гаразд. Завершімо цей курс як слід.

> **Вправа:** Напиши свою методичну записку.

**Alex Tutor:** На цьому все. На початку курсу ми порівнювали середні на око, а тепер ти можеш обґрунтувати вибір критерію перед ким завгодно. Молодець!

- Попередній урок: [Факторний аналіз: опитування та драйвери NPS](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/factor-analysis.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.