Конверсія і z-критерій для двох часток

Коли один варіант конвертує краще за інший, різницю можна чесно описати двома способами, і звучать вони дуже по-різному.

• Абсолютний приріст — проста різниця у відсоткових пунктах (в. п.): 6,8% − 5,2% = 1,6 в. п.
• Відносний приріст — ця різниця як частка від рівня контролю: (6,8 − 5,2) / 5,2 = 0,016 / 0,052 ≈ 30,8%.

Обидва правильні, але відповідають на різні запитання. Відносний приріст показує, наскільки велика зміна порівняно з початком. Абсолютний — скільки додаткових людей конвертується: 1,6 в. п. — це приблизно 16 додаткових замовлень на 1 000 відвідувачів.

За малих базових рівнів відносні прирости виглядають вражаюче. Перехід з 1% до 1,5% — це приріст 50%, а в абсолютних числах лише пів пункту. Тож заголовок лише з «+31%» змушує уявляти значно більший бізнес-ефект, ніж 16 замовлень на 1 000.

Завжди діли на рівень контролю й завжди уточнюй, про який приріст мова: «в. п.» для абсолютного, «%» для відносного.

z-критерій для двох часток починається з «а що, як»: припустімо, редизайн нічого не змінює (нульова гіпотеза). Тоді в обох груп одна справжня частка конверсії, і найкраще її оцінювати з усіх даних разом. Це об'єднана частка конверсії:

p̄ = (x1 + x2) / (n1 + n2)

де x — кількість конверсій, а n — кількість користувачів у кожній групі. Для тесту чекауту: (52 + 68) / (1 000 + 1 000) = 120 / 2 000 = 0,06, або 6,0%.

За рівних груп вона випадково збігається з простим середнім двох часток. За нерівних — ні, і цей скорочений шлях дає хибне число. Скажімо, контроль мав 40 конверсій з 800 користувачів (5%), а варіант — 90 з 1 200 (7,5%). Об'єднана частка: 130 / 2 000 = 6,5%. Середнє двох часток, 6,25%, дає меншій групі завелику вагу.

Тож об'єднуй кількості, а не відсотки: додай конверсії, додай користувачів, а тоді поділи.

z-критерій для двох часток і довірчий інтервал для різниці використовують трохи різні стандартні похибки, і причина — у тому, що кожен із них припускає.

Критерій питає: якби редизайн нічого не змінював, наскільки незвичним був би цей розрив? Тож він працює в межах нульової гіпотези, де обидві групи мають одну частку. Найкраща її оцінка — об'єднана p̄, а SE дорівнює

√(p̄(1 − p̄)(1/n1 + 1/n2))

Інтервал ставить інше запитання: наскільки великою може бути справжня різниця? Він не припускає, що частки рівні, тож кожна група зберігає власну:

√(p1(1 − p1)/n1 + p2(1 − p2)/n2)

У тесті чекауту обидві виходять приблизно 0,0106, тож вибір майже не важить. Він важливіший, коли групи сильно різняться розміром чи часткою. Об'єднання — не спосіб зробити результат значущим, а чесна SE для конкретного запитання, яке ставить критерій.

Якщо запам'ятати один рядок: об'єднана — коли перевіряєш «різниці немає», окремі — коли оцінюєш «наскільки».

z-статистика вимірює розрив між двома частками в стандартних похибках:

z = (p2 − p1) / SE

Для тесту редизайну чекауту Котокорму (5,2% проти 6,8%, розрив 0,016, SE приблизно 0,0106): 0,016 / 0,0106 ≈ 1,51. Розрив — приблизно півтори стандартні похибки.

Щоб ухвалити рішення, порівняй z із критичним значенням або подивися на p-значення. Для двобічного критерію при α = 0,05 критичне значення — 1,96: якщо |z| більше, результат значущий. z = 1,51 не дотягує, а відповідне p-значення — приблизно 0,13.

p-значення — це ймовірність побачити розрив щонайменше такий, якби різниці насправді не було. Тут це приблизно 13%: сам шум доволі часто дає такий розрив. Оскільки 0,13 більше за 0,05, результат статистично не значущий.

Дві хибні інтерпретації, яких варто уникати. p-значення 0,13 не означає «на 87% впевнені, що редизайн працює». А «не значущий» не означає «ефекту немає»: просто ця вибірка поки не розрізняє два варіанти.

z-критерій дає відповідь «так / ні». Довірчий інтервал для різниці показує всю картину: яким правдоподібно може бути справжній розрив.

(p2 − p1) ± 1,96 × √(p1(1 − p1) / n1 + p2(1 − p2) / n2)

Зверни увагу: тут кожна група зберігає власну частку. Об'єднана частка потрібна лише критерію, який припускає, що різниці немає.

Для тесту чекауту: √(0,052 × 0,948 / 1 000 + 0,068 × 0,932 / 1 000) ≈ 0,0106, тож похибка оцінки — 1,96 × 0,0106 ≈ 2,1 в. п. Інтервал: 1,6 ± 2,1, приблизно від −0,5 до +3,7 відсоткового пункту.

Його варто прочитати двічі:

• він включає нуль, тож «реальної різниці немає» досі правдоподібно. Це узгоджується з p > 0,05;
• він сягає +3,7 в. п., тож великий реальний виграш теж правдоподібний.

Саме тому правильний висновок — «поки не знаємо», а не «запускаємо» і не «провалилося». Інтервал точно показує стейкхолдерам, скільки невизначеності лишилося.

Ось повний критерій на другому прикладі, щоб перевірити кожен крок. Тема A: 90 замовлень з 1 500 листів. Тема B: 120 з 1 500.

• частки: p1 = 0,06, p2 = 0,08, розрив 0,02 (2 в. п., відносний приріст 33%);
• об'єднана частка: (90 + 120) / 3 000 = 0,07;
• SE: √(0,07 × 0,93 × (1/1 500 + 1/1 500)) = √(0,0651 × 0,001333) ≈ 0,00932;
• z = 0,02 / 0,00932 ≈ 2,15;
• |z| > 1,96, p ≈ 0,03: значущий при α = 0,05.

95% ДІ для різниці з окремими SE — приблизно від +0,2 до +3,8 в. п. Він не включає нуль, що узгоджується зі значущим результатом.

Порівняй із тестом чекауту: схожий відносний приріст (33% проти 31%), але 1 500 користувачів у групі замість 1 000 і більший абсолютний розрив. Тут докази перетинають поріг, а там — ні. Значущість залежить від розриву і вибірки, а не лише від заголовкового відсотка.

Стеж за дужками: доданок 1/n1 + 1/n2 стоїть під коренем.

Уся процедура вміщається на один стікер:

1. Частка кожної групи: p1 = 52 / 1 000 = 5,2%, p2 = 68 / 1 000 = 6,8%.
2. Об'єднана частка: p̄ = 120 / 2 000 = 6%. Вона описує світ, де нульова гіпотеза правильна.
3. Стандартна похибка з об'єднаної частки: √(p̄(1 − p̄)(1/n1 + 1/n2)) = √(0,06 × 0,94 × 0,002) ≈ 0,0106.
4. z = (p2 − p1) / SE = 0,016 / 0,0106 ≈ 1,51.
5. Порівняти з 1,96 або подивитися на p-значення (≈ 0,13).
6. Вирішити: не значущий при α = 0,05.

Частки груп ідуть першими, бо вони потрібні для різниці; об'єднана частка з'являється лише на кроці 3.

Команда даних може натомість застосувати критерій хі-квадрат Пірсона до таблиці 2×2. Для двох варіантів це той самий критерій в іншій формі: статистика хі-квадрат дорівнює z² (1,51² ≈ 2,27), а p-значення однакове. z-критерій ще й показує напрям розриву; хі-квадрат поширюється на три і більше варіантів.

Усе в цьому тесті вказує в один бік, і варто побачити, як складаються частини:

• p ≈ 0,13 > 0,05 і 95% ДІ для різниці, що включає нуль, — це той самий факт, сказаний двічі. На рівні 5% інтервал, що містить нуль, завжди йде разом із незначущим двобічним критерієм, і навпаки (точно — коли обидва використовують одну стандартну похибку; з об'єднаною й необ'єднаною — майже завжди).
• Тест мав замалу потужність. За формулою розміру вибірки для двох частток, (z_α/2 + z_β)² × [p1(1 − p1) + p2(1 − p2)] / (p1 − p2)², для 5,2% → 6,8% при α = 0,05 і потужності 80%: 7,84 × (0,052 × 0,948 + 0,068 × 0,932) / 0,016² ≈ 3 450 користувачів на варіант. А в тесті було 1 000.
• Тож результат був передбачуваний. Навіть якщо редизайн справді додає 1,6 пункту, такий малий тест зазвичай давав би незначущий результат.

Чесний висновок — ні «працює», ні «не працює». Це «ми ще не зібрали достатньо даних, щоб сказати», з конкретним наступним кроком: довести тест до запланованого обсягу вибірки.

Результат тесту конверсії має витримати пересилання без тебе в кімнаті. Рядок, який це витримує, має чотири частини:

1. обидві частки: 5,2% → 6,8%, щоб читачі бачили базовий рівень;
2. абсолютну різницю у відсоткових пунктах: +1,6 в. п.;
3. невизначеність: 95% ДІ від −0,5 до +3,7 в. п.;
4. статус: значущо чи ні і що далі.

Відносний приріст (+31%) можна дати в дужках як контекст, але ніколи окремо. Сам по собі він ховає базовий рівень, а за малих часток робить скромні зміни величезними.

Класична пастка — заголовковий приріст: велике відносне число з малого тесту, подане як результат. Його повторюють на зустрічах, він потрапляє в презентацію дорожньої карти, і ніхто вже не пам'ятає, що інтервал включав нуль.

Якщо стейкхолдерові потрібне одне речення, почни зі статусу: «Ще не вирішено: поки +1,6 пункту, але може бути що завгодно від трохи негативного до +3,7». Коротко, чесно і важко перекрутити.