# Конверсія і z-критерій для двох часток

> Порівняння конверсії між варіантами z-критерієм для двох часток і правильне прочитання приросту.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: A/B-тестування на практиці
- Урок 11/24, ~44 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests

## Чи значущий результат A/B-тесту?

**Alex Tutor:** Тест чекауту в Котокормі завершився, і продуктова команда хоче спершу почути твою думку.

**Sofia:** Результати готові! Контроль конвертує на 5,2%, варіант — на 6,8%. Це приріст 31% — запускаємо!

**Alex Tutor:** Зачекай — 31% *відносного* приросту звучить вражаюче, але це порахувано лише зі 1000 користувачів на варіант. Перевіримо, чи це справді реально.

**Sofia:** Стривай, хіба 6,8% просто... не більше за 5,2%? Що тут перевіряти?

**Alex Tutor:** Більше в *цій* вибірці — так. Але обидва числа отримані від випадкових користувачів — **z-критерій для двох часток** покаже, чи різниця більша, ніж можна пояснити шумом вибірки.

![Кіт мружиться крізь легкий серпанок на дві майже однакові миски, синю й помаранчеву; помаранчева лише трохи повніша.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/conversion-rate-tests-illustration-2.webp)

**Набір даних (CSV):** [A/B-тест редизайну чекауту Котокорму](https://productovi.com/datasets/statistics-for-pm-and-marketers/conversion-rate-tests/catchow-checkout-redesign.csv)

Один рядок на користувача: який варіант він бачив (control або treatment) і чи конвертувався (1) або ні (0). Синтетичні дані, створені для цього курсу.

- `user_id`: Ідентифікатор користувача
- `variant`: Який варіант бачив користувач: control або treatment
- `converted`: 1, якщо користувач завершив оформлення, інакше 0

**Alex Tutor:** Ось сирі дані, один рядок на користувача: який варіант він бачив і чи конвертувався.

> **Вправа:** За набором даних **A/B-тест редизайну чекауту Котокорму**, який відносний приріст варіанта treatment (6,8%) над control (5,2%), у відсотках?

## Z-критерій для двох часток крок за кроком

**Alex Tutor:** 30,8% відносного приросту — це заголовок. Але для критерію спершу потрібна **об'єднана частка конверсії** — так, ніби обидві групи були одним цілим.

$$
\bar{p} = \frac{x_1+x_2}{n_1+n_2}
$$

*Об'єднана частка: загальна кількість конверсій, поділена на загальну кількість користувачів обох варіантів.*

![Котячі лапки перекидають синю й помаранчеву миски, і корм з обох зсипається в одну велику спільну миску посередині.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/conversion-rate-tests-illustration-3.webp)

*Об'єднана частка на мить уявляє, що обидва варіанти — одна велика група.*

**Alex Tutor:** Контроль — 52 конверсії з 1000; варіант — 68 з 1000. Разом: 120 конверсій із 2000 користувачів.

**Sofia:** Тобто об'єднана — це просто 120 поділити на 2000?

**Alex Tutor:** Саме так. Вона потрібна лише для обчислення стандартної похибки за припущенням, що обидва варіанти насправді конвертують однаково.

> **Вправа:** Яка об'єднана частка конверсії p̄, у відсотках, за 52 конверсій зі 1000 (control) і 68 зі 1000 (treatment)?

**Alex Tutor:** Перш ніж ним скористатися, одне запитання: навіщо тут узагалі об’єднана частка?

> **Вправа:** Чому z-критерій використовує об’єднану частку (6%) для стандартної похибки, а не власну частку кожної групи?

**Alex Tutor:** (До речі, частки тут мають власну формулу SE, не ту, що для середнього арифметичного — логіка перегукується з Модулем 1, але формула інша.)

**Alex Tutor:** Тепер стандартна похибка з об'єднаною часткою: SE = sqrt[p̄(1−p̄) x (1/n1 + 1/n2)].

$$
SE = \sqrt{\bar{p}(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}
$$

**Alex Tutor:** Підставляємо: sqrt[0,06 x 0,94 x (1/1000 + 1/1000)] = sqrt[0,0564 x 0,002] = sqrt(0,0001128) ~ 0,0106.

**Sofia:** І тоді z — це просто розрив, поділений на це?

**Alex Tutor:** Саме так: z = (p2 − p1) / SE = 0,016 / 0,0106 ~ 1,51.

> **Вправа:** z-статистика приблизно 1,51 відповідає двобічному p-значенню приблизно 0,13, що нижче за звичний поріг значущості 0,05 — тож цей результат статистично значущий.

**Alex Tutor:** Тож лише з 1000 користувачами на варіант той приріст у 30,8% не відрізняється від шуму за звичайним порогом.

**Sofia:** Але варіант справді конвертував краще *в цій вибірці*. Хіба це нічого не важить?

**Alex Tutor:** Це реальне спостереження — просто поки недостатньо переконливий доказ. 95% ДІ для *різниці* показує це наочно.

**Alex Tutor:** Цей інтервал — приблизно від −0,5 до +3,7 відсоткового пункту. Він включає нуль — «реальної різниці немає» — усе ще правдоподібне пояснення.

> **Вправа:** Редизайн чекауту Котокорму конвертував на 6,8% проти 5,2% у контролю, по 1 000 користувачів на варіант: відносний приріст 30,8%. Продакт-менеджерка Sofia хоче негайно його запустити. Що їй варто перевірити насамперед?

## Z-критерій чи хі-квадрат для конверсії?

**Sofia:** Аналітик із команди даних проганяє такі таблиці через критерій хі-квадрат. Він дасть іншу відповідь?

**Alex Tutor:** Те саме питання — та сама відповідь. Для таблиці 2×2 (варіант × сконвертував чи ні) **критерій хі-квадрат** порівнює спостережені кількості з очікуваними, якби обидва варіанти конвертували за об'єднаною часткою 6%: по 60 конверсій і 940 без конверсії.

**Alex Tutor:** Додаємо (спостережене − очікуване)² / очікуване по чотирьох клітинках: 64/60 + 64/60 + 64/940 + 64/940 ≈ 2,27. Це рівно z² (1,51² ≈ 2,27), і p-значення таке саме — приблизно 0,13.

**Alex Tutor:** Тож для двох варіантів підходить будь-який. Z-критерій ще й показує напрям і ДІ різниці, а хі-квадрат масштабується на три і більше варіантів чи результатів.

**Alex Tutor:** А тепер проведи весь критерій самостійно на іншому експерименті: дві теми листа, по 1 500 одержувачів.

> **Вправа:** Окремий тест розсилки: тема листа A дає 90 замовлень з 1 500 одержувачів, тема B — 120 з 1 500. Обчисли z-статистику для двох часток (B мінус A, об’єднана SE). Заокругли до двох знаків.

**Alex Tutor:** Закріпимо всю процедуру — кроки по порядку, від сирих чисел до рішення.

**Sofia:** Я постійно плутаю, коли використовувати об'єднану частку, а коли — окремі.

**Alex Tutor:** Це вправа на порядок має остаточно це прояснити.

**Sofia:** Погнали.

> **Вправа:** Розташуй кроки z-критерію для двох часток у правильному порядку.

**Alex Tutor:** Останній момент — чи зможеш визначити, які з цих тверджень справді правильні?

**Sofia:** Знову кілька правильних відповідей? Гаразд, давай.

**Alex Tutor:** Це поєднує все, що ми щойно розглянули, включно з відсиланням до розрахунків обсягу вибірки з минулого уроку.

**Sofia:** Ну, без тиску.

> **Вправа:** Тест чекауту: контроль — 52 замовлення з 1000 користувачів (5,2%), варіант — 68 з 1000 (6,8%), z ≈ 1,51, p ≈ 0,13. Що з цих тверджень про цей тест правильне? Обери всі правильні варіанти.

## Пояснюємо пастку «заголовкового» приросту

**Alex Tutor:** Спершу коротке. Два можливі рядки для тижневого звіту. Який із них туди піде?

> **Вправа:** Який рядок має потрапити в тижневий звіт про тест чекауту?

**Alex Tutor:** Це і є шаблон для кожного тесту конверсії, який ти проводитимеш у Котокормі. Сформулюй це своїми словами.

![Кіт тримає лупу над одним маленьким помаранчевим шматочком корму: у лінзі він здається величезним, а на столі лишається крихітним.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/conversion-rate-tests-illustration-4.webp)

*За великим відносним приростом може ховатися крихітна абсолютна різниця.*

**Sofia:** Мені пояснити пастку із «заголовковим» приростом?

**Alex Tutor:** Саме так — для когось із маркетингу, хто ніколи не бачив z-критерію.

**Sofia:** Зрозуміло, дай секунду.

> **Вправа:** За 2-3 речення поясни колезі з маркетингу, чому «варіант конвертує на 31% краще за контроль» — оманливий заголовок саме для цього тесту: конверсія 5,2% проти 6,8%, 1000 користувачів на варіант, p ≈ 0,13.

**Alex Tutor:** Гарне формулювання. Тепер — цілий меморандум, використовуючи все з цього уроку.

**Sofia:** Цілий меморандум?

**Alex Tutor:** Лише один змістовний абзац. Маркетинг чекає на твою рекомендацію перед п'ятничним плануванням.

**Sofia:** Гаразд — розкажи, що саме потрібно.

> **Вправа:** Напиши свою рекомендацію для п'ятничної наради з планування.

**Alex Tutor:** Саме цей баланс — не перебільшувати перемогу, але й не відкидати реальний сигнал — і є суттю цієї роботи.

**Sofia:** Наступний урок: усі способи, якими це все одно може піти не так, навіть коли математика правильна?

**Alex Tutor:** Саме так — підглядання, кілька метрик, ефекти новизни. Пастки, які ламають тести, що виглядають цілком коректними.

- Попередній урок: [Статистична потужність і обсяг вибірки](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/power-and-sample-size.md)
- Наступний урок: [Пастки: підглядання, множинні порівняння, ефект новизни](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.