# Викиди в даних і скошені розподіли

> Чому продуктові метрики мають довгі хвости, як знаходити викиди в даних за правилом IQR і що з ними робити: виправляти помилки, сегментувати інших покупців і ніколи бездумно не видаляти «китів».

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: Опис даних
- Урок 3/24, ~44 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/outliers-and-skew

## Покупець, який зламав середнє

Ще один тиждень у продуктовій команді Котокорму — і ще одне число на перевірку. Команда зростання готує квартальний огляд. На одному слайді — **витрати нових покупців за 90 днів**: скільки кожен, хто прийшов у червні, витратив за перші 90 днів. Аналітик узяв випадкову вибірку з 24 таких покупців (завантаж її нижче).

Середнє — **50 дол.** Медіана — **35 дол.** Дві третини покупців (16 із 24) витратили менше за середнє. А один покупець, U-5120, витратив **240 дол.** — майже вп'ятеро більше за середнє.

Хтось пропонує: *«Просто видали найбільші значення, це ж викиди»*. Чи варто? Цей урок — про **викиди в даних** (значення, далекі від решти) і те, як їх знаходити, а також про **скошені розподіли** (дані з довгим хвостом з одного боку). У продуктових і маркетингових даних вони — норма, а не виняток, і вміння правильно з ними поводитися — одна з найпрактичніших навичок цього курсу.

**Набір даних (CSV):** [Витрати нових покупців Котокорму за 90 днів](https://productovi.com/datasets/statistics-for-pm-and-marketers/outliers-and-skew/catchow-customer-spend.csv)

Випадкова вибірка з 24 покупців, які прийшли в червні: витрати й кількість замовлень за перші 90 днів. Синтетичні дані, створені для цього курсу.

- `customer_id`: Ідентифікатор покупця
- `spend_90d`: Сумарні витрати за перші 90 днів, USD
- `orders_90d`: Кількість замовлень за перші 90 днів

**Витрати нового покупця за 90 днів**

| Витрати за 90 днів, USD | Покупці |
| --- | --- |
| 0–19 | 3 |
| 20–39 | 11 |
| 40–59 | 5 |
| 60–79 | 1 |
| 80–99 | 2 |
| 100–119 | 1 |
| 120–239 | 0 |
| 240–259 | 1 |

*Довгий правий хвіст: більшість покупців витратили 20–60 дол., кілька — значно більше, а один — 240 дол. Хвіст тягне середнє (50 дол.) праворуч від медіани (35 дол.).*

## Що таке викид: три різні види

**Викид** — спостереження, що лежить далеко від решти даних. Це статистичний опис, а не вирок. Перш ніж щось вирішувати, спитай, *чому* значення так далеко. На практиці буває три дуже різні причини:

1. **Це помилка.** Тестове замовлення від розробника, ціна 2 990 дол. замість 29,90 дол., виручка, записана не в тій валюті, бот, що додав у кошик 400 товарів. Такі значення не описують нічого реального. Виправ або видали їх і запиши, що саме зроблено.
2. **Це справжнє крайнє значення.** Реальний покупець, який дуже любить твій продукт і багато замовляє. Значення правильне, просто рідкісне. Видалити його — те саме, що вдавати, ніби твоїх найкращих покупців не існує.
3. **Це інша сукупність.** Поглянь ще раз на U-5120: 240 дол. за **12 замовлень** за 90 днів, тоді як майже всі інші зробили 1–3 замовлення. Така картина більше схожа на бізнес (котокафе, притулок, невеликий перепродавець), ніж на домогосподарство. Дані реальні, але відповідають на інше запитання. Аналізуй їх як окремий сегмент, а не змішуй із домогосподарствами.

Викиди — це інформація. Іноді найважливіша знахідка в даних — сам викид: B2B-сегмент, про який ти не знаєш, або баг трекінгу, що місяць завищував виручку.

![Троє котів стоять окремо від натовпу: один заплутався в іскристому дроті, другий обіймає величезний мішок корму, третій у фартуху біля ряду мисок притулку.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/outliers-and-skew-illustration-2.webp)

*Помилка, справжній рекордсмен чи зовсім інший тип клієнта.*

## Як знайти викиди в даних: правило IQR

«Далеко від решти» потребує визначення, інакше кожен проводитиме межу там, де зручно для його історії. Найпоширеніше правило, яке запропонував статистик Джон Тьюкі, будує **межі** («паркани») з квартилів, знайомих тобі з попереднього уроку:

- нижня межа: $Q_1 - 1{,}5 \times \text{IQR}$
- верхня межа: $Q_3 + 1{,}5 \times \text{IQR}$

Усе, що за межами, позначають як потенційний викид. Для наших 24 покупців $Q_1 = 24$ і $Q_3 = 56$, отже, $\text{IQR} = 32$. Верхня межа — $56 + 1{,}5 \times 32 = 104$ дол., нижня — $24 - 48 = -24$ дол. (витрати не бувають від'ємними, тож знизу нічого не позначено).

Двоє покупців вище за 104 дол.: **U-5115 (110 дол.)** і **U-5120 (240 дол.)**. Зауваж, що U-5115 витратив 110 дол. за 4 замовлення: це схоже на захопленого власника котів, а не на бізнес. Правило позначає значення для уважнішого погляду, але не каже, що вони таке.

Оскільки межі побудовано з квартилів, самі викиди не можуть їх спотворити. У цьому головна сила правила. Ті самі межі визначають, які точки діаграма розмаху малює окремими крапками, — це побачиш у наступному уроці.

$$
x \notin \left[\, Q_1 - \tfrac{3}{2}\,\text{IQR},\;\; Q_3 + \tfrac{3}{2}\,\text{IQR} \,\right]
$$

*Правило Тьюкі: значення поза межами (3/2 = 1,5) — потенційний викид. Значення далі ніж 3 × IQR іноді називають екстремальними викидами.*

![Багато котів сидять у дворі за світло-синім парканом; двоє — за парканом, один із них далеко і в помаранчевому промені прожектора.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/outliers-and-skew-illustration-3.webp)

*За парканом — значить роздивитися уважніше, а не видалити.*

## Чому «3 стандартні відхилення» можуть підвести

Інше популярне правило позначає значення, що відходять від середнього більш ніж на 3 SD. Воно непогано працює на великих дзвоноподібних даних. На малих або скошених даних у нього неприємна вада: **викиди роздувають те саме SD, яким їх вимірюють.**

У нашій вибірці середнє — 50 дол., а SD — приблизно 47,7 дол. U-5120 лежить на $(240 - 50) / 47{,}7 \approx 3{,}99$ SD вище за середнє, тож його позначено, але ледь-ледь, і то лише тому, що він такий крайній. U-5115 — лише на 1,26 SD вище й виглядає цілком звичайно.

Тепер приберімо U-5120 і перерахуймо: середнє падає до 41,74 дол., а SD — приблизно до 25,7 дол. І раптом U-5115 уже на 2,65 SD від середнього. Одне крайнє значення ховало інше. Статистики називають це **маскуванням**. Правило IQR від нього не страждає, тому для щоденних продуктових даних воно краще за замовчуванням.

![Величезний рудий кіт стоїть перед меншим синім котом і ховає його від лупи; видно лише хвіст схованого кота.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/outliers-and-skew-illustration-4.webp)

*Дуже велике значення може затуляти менше, що стоїть за ним.*

## Асиметрія розподілу: коли хвіст керує середнім

Поглянь на графік ще раз. Значення скупчуються ліворуч і тягнуться довгим хвостом праворуч. Таку форму називають **правосторонньою асиметрією** (додатною скошеністю). У скошеному розподілі кілька значень у хвості тягнуть середнє до себе, а медіана лишається з більшістю:

- **Правостороння асиметрія** (довгий хвіст праворуч): середнє > медіани. Тут 50 дол. > 35 дол.
- **Симетричний розподіл**: середнє ≈ медіана.
- **Лівостороння асиметрія** (довгий хвіст ліворуч): середнє < медіани.

Правостороння асиметрія в продуктових і маркетингових даних усюди, бо ці метрики мають жорстку нижню межу — нуль, — але не мають верхньої: виручка на покупця, сума замовлення, тривалість сесії, час до першої покупки, кількість замовлень, кількість підписників акаунта, вартість залучення з реклами. Якщо метрика про «скільки» чи «як довго» і не буває від'ємною, чекай правого хвоста.

Лівостороння асиметрія рідша, але трапляється в оцінках у магазинах застосунків (більшість ставить 5 зірок, а хвіст — розлючені одиниці) і у «відсотку пройденого уроку», коли більшість доходить до кінця.

Порівняння середнього й медіани — евристика, а не закон: незвичні форми розподілу можуть її порушити. Якщо сумніваєшся, побудуй гістограму.

> **Видаливши «китів», можна видалити бізнес**
>
> У нашій вибірці 2 найбільші покупці (8% від 24) принесли 350 дол. з 1 200 дол., тобто **29% усієї виручки**. Дані з важким хвостом означають, що невелика група покупців часто дає велику частку грошей. Якщо видалити їх, щоб «почистити» дані, прогноз виручки буде хибним, а ти пропустиш сегмент, який найбільше варто берегти.

## Що робити з викидами: чекліст

1. **Спершу подивися, потім чіпай.** Відкрий сирі рядки. Перевір дати, ідентифікатори, кількість замовлень, валюту. Це баг, реальна людина чи інший тип покупця?
2. **Виправ або видали помилки й задокументуй це.** Тестові замовлення, дублікати й описки видаляємо. Запиши, що саме й чому прибрано, щоб інша людина отримала ті самі числа.
3. **Обирай підсумкову міру під запитання, а не для зручності.**
   - *«Скільки виручки принесе червнева когорта?»* Для сум потрібне **середнє**, разом із «китами».
   - *«Скільки витрачає типовий новий покупець?»* Бери **медіану** (тут 35 дол.) або **усічене середнє**.
   - *«Чи змінюється розподіл витрат?»* Відстежуй медіану разом із високим процентилем (p90).
4. **Сегментуй замість видаляти.** Виділи імовірні бізнеси (багато замовлень, великі кошики) в окремий сегмент. Домогосподарства й котокафе поводяться по-різному і заслуговують на окремі метрики.
5. **Користуйся стійкими інструментами, коли крайнощі не головне.** Медіана, IQR, усічене середнє або *обмеження* (капінг): значення вище, скажімо, 99-го процентиля замінюють самим 99-м процентилем (це ще називають вінзоризацією). Капінг поширений в A/B-тестах на виручку, де інакше одне величезне замовлення може вирішити результат.
6. **Показуй з викидами й без.** «Середні витрати за 90 днів — 50 дол., або 41,74 дол. без одного бізнес-покупця». Два числа, повна чесність, і ніхто не звинуватить тебе в підгонці.

> **Швидка перевірка скошеності для будь-якого дашборда**
>
> Поділи середнє на медіану. Близько 1 — приблизно симетрично. Помітно більше за 1 (тут 50 дол. / 35 дол. ≈ 1,4) — правий хвіст, на який варто поглянути. Це займає десять секунд і відсіює більшість хибних тривог на кшталт «середнє злетіло!».

## Вправи

Відповідайте на сторінці уроку, щоб отримати відгук.

1. Яка метрика Котокорму найімовірніше має **правосторонню асиметрію**?

2. Кожен викид треба видалити перед аналізом даних.

3. Зістав кожне незвичне значення з найрозумнішою дією.

4. У наборі даних про місячні кліки на рекламну кампанію $Q_1 = 120$ і $Q_3 = 200$. Яка **верхня межа** за правилом Тьюкі, вище за яку кампанію позначають як потенційний викид?

5. За набором даних **Витрати нових покупців Котокорму за 90 днів**: яку частку сумарних витрат за 90 днів (у %) дають двоє покупців, позначених правилом IQR? Округли до одного знака після коми.

6. Час від реєстрації до першої покупки: середнє — 19 днів, медіана — 6 днів. Яку форму найімовірніше має цей розподіл?

7. У вибірці витрат за 90 днів середнє становить 50 дол. з усіма 24 покупцями і 41,74 дол. без U-5120, імовірного бізнесу. Який рядок варто поставити на слайд квартального огляду?

8. Замість видаляти двох позначених покупців аналітик **обмежує** витрати за 90 днів верхньою межею 104 дол.: U-5115 (110 дол.) і U-5120 (240 дол.) отримують по 104 дол., і нікого не видаляють. Яке нове середнє 24 покупців? Округли до центів.

9. Є 30 значень виручки на покупця з довгим правим хвостом. Яке правило найнадійніше за замовчуванням для позначення потенційних викидів?

10. Поясни у 2–4 реченнях, чому правило «більш ніж 3 SD від середнього» може пропускати викиди в малому скошеному наборі даних.

11. Яке число має піти в бюджет на залучення і що робити з викидами? Спирайся на числа з набору даних.

- Попередній урок: [Розкид: дисперсія, стандартне відхилення і квартилі](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/spread.md)
- Наступний урок: [Типи графіків: як обрати правильний](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/charts.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.