Викиди в даних і скошені розподіли

Скошений розподіл має довгий хвіст з одного боку. За правосторонньої асиметрії (додатної) більшість значень скупчується ліворуч, а кілька великих тягнуться далеко праворуч.

Правостороння асиметрія — звичайний стан продуктових і маркетингових даних, бо багато метрик мають жорстку нижню межу на нулі й не мають стелі:

• виручка на покупця і сума замовлення;
• тривалість сесії і час до першої покупки;
• кількість замовлень, підписників, вартість залучення.

Більшість покупців витрачає небагато, кілька — дуже багато, і ніхто не витрачає менше за нуль. Якщо метрика вимірює «скільки» чи «як довго» і не буває від'ємною, чекай правого хвоста.

Лівостороння асиметрія трапляється рідше. Вона виникає, коли значення притиснуті до стелі: оцінки в магазині застосунків, де більшість ставить 5 зірок, або «відсоток пройденого уроку», коли більшість доходить до кінця.

Скошене не все. Значення, які контролює фабрика, як-от вага 2-кілограмової пачки, симетрично скупчені навколо норми. А категорії, як-от день тижня, такої форми не мають узагалі.

Викид — це значення, далеке від решти даних. Це опис, а не вирок. Перш ніж щось робити, з'ясуй, чому воно так далеко. Причини бувають три, і вони дуже різні.

1. Помилка. Тестове замовлення розробника, ціна 2 990 дол. замість 29,90 дол., бот, що наповнив кошик. Такі значення не описують нічого реального: виправ чи видали їх і задокументуй це.
2. Справжнє крайнє значення. Реальний покупець, якому дуже подобається продукт і який багато купує. Значення правильне, просто рідкісне. Видалити його — означає вдавати, що твоїх найкращих покупців не існує.
3. Інша сукупність. Покупець із 12 замовленнями за 90 днів, коли в решти 1–3, найімовірніше, котокафе чи притулок. Дані реальні, але відповідають на інше запитання: аналізуй їх як окремий сегмент.

Викиди — це інформація. Іноді найважливіша знахідка в даних — сам викид: бізнес-сегмент, про який ти не знаєш, або помилка трекінгу, що місяць завищувала виручку.

Коли зрозуміло, чому значення незвичне, дія зазвичай очевидна.

• Помилки, які не виправити (тестові замовлення, дублікати, трафік ботів): видали й задокументуй, щоб той, хто повторить аналіз, отримав ті самі числа.
• Помилки, які можна виправити (зсунута кома, не та валюта): виправ значення. Замовлення було реальним, помилковим був лише запис.
• Інша сукупність (котокафе, притулок, перепродавець): винеси в окремий сегмент. Бізнеси й домогосподарства поводяться по-різному й заслуговують на окремі метрики.
• Справжні крайні значення (домогосподарство, що витрачає втричі більше за медіану): залиш, особливо коли питання про суми. Прогноз виручки без твоїх найбільших реальних покупців просто хибний.

Якщо крайні значення роблять підсумок нестабільним, але питання не про них, замість видалення бери стійкі інструменти: медіану, IQR, усічене середнє або обмеження на високому процентилі. А коли сумніваєшся, показуй число з незвичними значеннями й без них.

«Далеко від решти» потребує визначення, інакше кожен проведе межу там, де зручно для його історії. Найпоширеніше будує дві межі з квартилів:

• нижня межа = Q1 − 1,5 × IQR
• верхня межа = Q3 + 1,5 × IQR

де IQR = Q3 − Q1. Значення за межами позначають як потенційні викиди.

Для кліків кампаній із Q1 = 120 і Q3 = 200: IQR = 80, 1,5 × 80 = 120, тож верхня межа — 200 + 120 = 320, а нижня — 120 − 120 = 0. Для витрат Котокорму за 90 днів Q1 = 24 і Q3 = 56 дають верхню межу 104 дол., і за неї виходять двоє покупців.

У правила одна велика сила: межі будують із квартилів, тож викиди не можуть їх спотворити. І одне обмеження: воно лише позначає значення для уважнішого погляду. Чи позначене значення — помилка, справжнє крайнє чи інша сукупність, вирішують сирі дані, а не формула.

Ті самі межі визначають, які точки діаграма розмаху малює окремими крапками.

Дані з важким хвостом мають практичний наслідок: невелика група часто дає велику частку суми. Виміряти цю частку просто.

1. Додай весь стовпець: 24 нових покупці Котокорму витратили за перші 90 днів 1 200 дол.
2. Додай групу, яка тебе цікавить: двоє покупців понад межу 104 дол. витратили 240 + 110 = 350 дол.
3. Поділи: 350 / 1 200 ≈ 0,292, тобто 29,2%.

Отже, 2 покупці з 24, приблизно 8%, принесли майже третину грошей. Саме тому «просто видали верхні значення» — небезпечна порада. Прогноз виручки без них був би дуже хибним, а з поля зору випав би сегмент, який найбільше варто берегти.

Той самий розрахунок працює для будь-якого запитання «топ-N»: частка виручки від 10% найбільших покупців, частка трафіку з 5 головних сторінок, частка звернень у підтримку через 3 найчастіші проблеми. Він перетворює розмите «кілька великих важать» на число, з яким керівник може щось робити.

Форму розподілу часто можна вгадати, не бачачи його, просто порівнявши середнє й медіану.

• Середнє > медіани: кілька великих значень тягнуть середнє вгору. Це правостороння асиметрія, довгий хвіст великих значень.
• Середнє ≈ медіані: приблизно симетричний розподіл.
• Середнє < медіани: кілька малих значень тягнуть середнє вниз. Це лівостороння асиметрія.

Час до першої покупки із середнім 19 днів і медіаною 6 — очевидний правий хвіст: половина покупців купує протягом 6 днів, а меншість, якій потрібні місяці, тягне середнє до 19.

Просте відношення робить це звичкою: поділи середнє на медіану. Близько 1 — рівновага; значно більше за 1 (19 / 6 ≈ 3,2 або 50 / 35 ≈ 1,4 для витрат за 90 днів) — хвіст, на який варто глянути. Це займає десять секунд і відсіює більшість хибних тривог «середнє злетіло!».

Це емпіричне правило, а не закон: незвичні форми, як-от два піки, можуть його зламати. Коли рішення важливе, побудуй гістограму.

Коли кілька значень сильно змінюють підсумок, найчесніший звіт дає обидві версії й пояснює, чим вони відрізняються.

«Середні витрати за 90 днів — 50 дол., або 41,74 дол. без одного ймовірного бізнес-покупця» робить три речі одночасно:

• зберігає повне число, яке підходить для сум;
• показує версію для сукупності, яка тебе, найімовірніше, цікавить, — домогосподарств;
• називає виключення, тож будь-хто може його перевірити, і ніхто не назве це вибірковістю.

Порівняй із «Середні витрати за 90 днів: 41,74 дол. (викиди видалено)». Читач не знає, скільки значень прибрали, чому і наскільки вони важили. А одне з них було реальним покупцем на 240 дол., який тихо зник з історії.

Той самий шаблон працює для медіан, конверсій і результатів A/B-тестів: «+4% загалом, +1% без одного оптового покупця». Якщо обидві версії вказують в один бік, висновок надійний. Якщо ні, саме ця розбіжність і є знахідкою, і наступний крок — розібратися з виключеною групою.

Видалити крайнє значення — означає викинути реального покупця. Залишити як є — дозволити одному значенню вирішувати результат. Обмеження (його ще називають вінзоризацією) — середній шлях: кожне значення понад обрану межу замінюють самою межею.

Покупець лишається в підрахунку й досі вважається великим, але не може тягнути середнє далі, ніж дозволяє межа. Типові межі — 99-й чи 95-й процентиль або верхня межа за IQR.

Для 24 покупців Котокорму з обмеженням на межі 104 дол.:

1. Заміни 110 → 104 дол. і 240 → 104 дол.
2. Нова сума: 1 200 − 6 − 136 = 1 058 дол.
3. Поділи на всіх 24 покупців: 44,08 дол.

Обмеження поширене в A/B-тестах на виручку, де одне величезне замовлення в одній групі інакше саме створює «переможця». Дві умови тримають його чесним: обирай межу до того, як побачиш, якій групі це вигідно, і застосовуй ту саму межу до всіх груп, які порівнюєш.

Це все одно вибір, що змінює число, тож напиши у звіті, що значення обмежено і на якому рівні.

Популярне правило позначає значення, віддалені від середнього більш ніж на 3 SD. На великих даних, схожих на дзвін, воно працює непогано. На малих чи скошених має ваду: викиди роздувають те саме SD, яким їх міряють.

24 покупці Котокорму мають середнє 50 дол. і SD приблизно 47,66 дол. U-5120 зі 240 дол. віддалений на (240 − 50) / 47,66 ≈ 3,99 SD, тож його позначать, але ледь-ледь. U-5115 зі 110 дол. віддалений лише на 1,26 SD і здається звичайним.

Прибери U-5120 і перерахуй: середнє падає до 41,74 дол., а SD — приблизно до 25,74 дол. Тепер U-5115 віддалений на (110 − 41,74) / 25,74 ≈ 2,65 SD. Одне крайнє значення ховало інше. Це називають маскуванням.

Межі Тьюкі за IQR такої проблеми не мають, бо квартилі майже не реагують на крайні значення. Тому вони кращий вибір за замовчуванням для щоденних продуктових даних, які зазвичай малі, скошені або і те, і те. Ще дві звички, яких варто уникати: щоразу позначати фіксовану верхню частку й проводити межу на око.