Обсяг, якість і парадокс Сімпсона

Плитки на дашборді бувають двох видів, і вони відповідають на різні запитання.

• Метрика обсягу каже, скільки: користувачів, груп, реєстрацій, доданих витрат, доходу від Plus. Більше людей на вході — більше кожного з них.
• Метрика якості каже, наскільки добре продукт працює на користувача чи групу: утримання на 4-му тижні, частка нових груп із другим учасником, витрати на активну групу.

Тест для будь-якої плитки: чи рухалася б вона, якби продукт зовсім не змінився? Уяви, що Theo подвоює рекламу або свята відправляють пів країни в подорожі. Реєстрації, загальні витрати й дохід ростуть, хоча в застосунку нічого не покращилося. Це обсяг.

Метрикам якості нема з чого рости від самої реклами. Вони можуть навіть просісти, бо додаткові аудиторії часто менш віддані, ніж нинішні користувачі.

Раді потрібні обидва види. Обсяг показує охоплення й масштаб, якість — чи працює продукт для тих, кого він охопив. Проблеми починаються, лише коли одне видають за інше.

Метрика марнославства — це не погане число. Це число обсягу, подане як доказ того, що продукт покращився. Реєстрації, завантаження, загальна кількість витрат і перегляди сторінок стають такими, щойно поруч хтось пише «доказ, що ми покращуємося».

Проблема в тому, що обсяг можна купити. Подвой рекламний бюджет, і реєстрації подвояться з тим самим застосунком. Рада, яка прочитає це як прогрес, фінансуватиме не те.

Чесний спосіб показати обсяг має три частини:

1. Назвати обсяг прямо: «реєстрації у вересні подвоїлися».
2. Назвати причину, якщо вона відома: «разом із подвоєною рекламою».
3. Вказати метрику якості, яка скаже, чи це спрацювало: «частка нових груп із другим учасником покаже, чи знаходять вони цінність».

Таке речення залишає на слайді досягнення Theo, бо охопити більше людей — справжня робота, але не дає йому підмінити якість продукту. Воно ще й каже раді, на що дивитися наступного місяця, коли надійде метрика якості для вересневих груп.

Багато важливих кількостей — добуток множника обсягу й множників якості. У дереві Halves:

нові активні групи = нові групи × частка, що отримує другого учасника × частка, що додає спільну витрату за перший тиждень

Минулого тижня: 1 000 × 40% × 47,5% = 190. Перший множник — обсяг, територія Theo; два інші — якість, територія продуктової команди.

Спокусливо думати, що подвоєння першого множника подвоїть гілку. Так буде, лише якщо новачки поводяться як нинішні користувачі, а дешевші аудиторії так поводяться рідко. Якщо Theo подвоїть нові групи до 2 000, але частка з другим учасником впаде до 30%:

2 000 × 30% × 47,5% = 285

Множник обсягу зріс на 100%, а гілка лише на 50% (285 ÷ 190 = 1,5).

Тому плани росту мають прогнозувати й множники якості, і тому кампанію оцінюють за гілкою, а не за першим множником. Множ крок за кроком і тримай частки як десяткові дроби: 0,30 × 0,475, а не 30 × 47,5.

Перш ніж тлумачити частку, яку тобі принесли, перебудуй її із сирих кількостей. Якщо отримаєш те саме число, ти точно знаєш, що в ньому, і можеш його розкласти.

«Витрати на активну групу» Maya за липень — це всі липневі витрати ÷ усі липневі активні групи:

• витрати: 2 888 + 3 248 + 6 460 = 12 596;
• активні групи: 380 + 280 + 340 = 1 000;
• 12 596 ÷ 1 000 = 12,596 ≈ 12,6.

Травень так само: 8 800 ÷ 800 = 11,0. Загальна частка зросла на 14,5%.

Зверни увагу на метод: додай чисельники, додай знаменники, потім поділи. Якщо натомість усереднити три частки за типами, (7,6 + 11,6 + 19,0) ÷ 3 ≈ 12,73, кожен тип отримає однакову вагу незалежно від розміру, а дашборд показує не це. Загальна частка — зважене середнє сегментів, де вага — кількість груп.

Це зважування — ключ до решти уроку. Щойно ти бачиш загальну частку як сегменти × ваги, можна спитати, що з цього змінилося.

Розклади частку Maya за типами груп, і з'явиться дивне:

Кожен тип упав, а загальне число зросло. Вивантаження в порядку. Змінилося те, хто всередині середнього. У травні групи поїздок становили 100 з 800 (12,5%), у липні — 340 з 1 000 (34%). Група поїздки додає близько 20 витрат на місяць, квартира — близько 8. Літо перенесло вагу на найактивніший тип, тож зважене середнє зросло, хоча кожен тип просів.

Це зсув структури: загальна частка рухається, бо змінилися ваги сегментів, а не самі сегменти. Коли кожен сегмент рухається в один бік, а загальне число в інший, це називають парадоксом Сімпсона. Зсув структури — причина, парадокс — симптом, який ти бачиш.

Практичне правило: перш ніж приписати функції кращу частку, перевір частку всередині кожного сегмента. Корисний екран витрат було б видно всередині типів. Тут його не видно.

Щоб побачити, що зробив продукт без впливу літа, заморозь ваги: застосуй частки сегментів нового періоду до розмірів сегментів старого. Та сама структура груп, нова поведінка.

показник з вирівняною структурою = Σ (липнева частка типу × травневі групи типу) ÷ усі травневі групи

З числами Halves:

(7,6 × 400 + 11,6 × 300 + 19,0 × 100) ÷ 800 = (3 040 + 3 480 + 1 900) ÷ 800 = 8 420 ÷ 800 = 10,525 ≈ 10,53

Проти травневих 11,0 це 10,525 ÷ 11,0 − 1 ≈ −4,3%. Коли структура нерухома, групи додали трохи менше витрат, а не більше. Заголовкові +14,5% повністю дав зсув у бік поїздок.

Дві речі, за якими варто стежити. Бери частку кожного сегмента (витрати на групу), а не його підсумок, інакше випадково повернеш стару структуру. І діли на заморожену суму, 800, а не на липневі 1 000.

Результат ставлять поруч із графіком за типами як підсумок одним числом: «10,53 за травневої структури проти 11,0 у травні».

Є дві природні заморожені структури, і кожна відповідає на трохи інше запитання.

• Стара структура, нові частки: «якби групи були такі самі, як у травні, як би вони поводилися зараз?» Для Halves: 10,53 проти травневих 11,0, приблизно −4,3%.
• Нова структура, старі частки: «якби липневі групи поводилися як у травні, якою була б частка?» (8,0 × 380 + 12,0 × 280 + 20,0 × 340) ÷ 1 000 = 13 200 ÷ 1 000 = 13,2. Фактично липень дав 12,596, тож 12,596 ÷ 13,2 − 1 ≈ −4,6%.

Дві відповіді трохи різняться, бо між періодами змінилася сама структура, і це нормально. Важливо, що вони збігаються за напрямком і приблизним розміром: поведінка просіла приблизно на 4–5%, тоді як заголовкове число зросло на 14,5%.

Користуйся цим як перевіркою надійності. Якщо обидва заморожування кажуть те саме, покажи одне й згадай друге. Якщо вони розходяться в напрямку, сегменти взаємодіють зі структурою так, що одне число цього не підсумує, і історію має нести сам графік за сегментами.

Зсув структури — не єдиний спосіб, у який частка вводить в оману. Частка також може зрости, бо зменшився знаменник.

Припустімо, за місяць Halves має 1 000 активних груп і 10 000 витрат: по 10 на групу. Наступного місяця — 700 груп і 8 400 витрат: 12 на групу, на 20% більше. Тим часом загальна кількість витрат упала на 16%, а 300 груп замовкли.

Якщо пішли найтихіші групи, середнє росте, хоча ніхто не почав користуватися Halves більше: сегмент із низькою часткою не просто зменшився, а зник.

Захищають дві звички:

• Показуй кількості поруч із кожною часткою. «12 на групу (8 400 витрат, 700 груп; минулого місяця 10 000 і 1 000)» показує зменшення бази з першого погляду.
• Порівнюй однакове з однаковим. Чи додали більше витрат групи, активні в обидва місяці?

Тримай твердження про обсяг і про якість окремо: кожне потребує власних доказів.

Як це складається докупи: обсяг каже, скільки, якість — наскільки добре. Частка рухається разом зі своїми частинами, структурою чи базою, тож розклади її й зафіксуй структуру, перш ніж щось комусь зараховувати. Далі урок DAU, WAU, MAU і stickiness застосовує це до підрахунків активних користувачів.