# План A/B-тесту: гіпотеза, метрика, guardrail-метрики

> Записати план A/B-тесту до запуску: гіпотеза, одна основна метрика, guardrail-метрики і правило рішення.

- Курс: [Продуктова аналітика: від даних до рішень](https://productovi.com/uk/courses/product-analytics.md)
- Модуль: Чи спрацювала зміна?
- Урок 17/32, ~27 хв
- Джерело: https://productovi.com/uk/courses/product-analytics/test-design

## Навіщо A/B-тесту план

**Alex Tutor:** Halves готується протестувати новий paywall, і ти допоможеш продуктовій команді скласти план A/B-тесту.

**Maya:** Новий paywall Halves Plus готовий: він починається з **7-денного безкоштовного тріалу**, а не з ціни. Хочу запустити його в понеділок на половину користувачів. А там побачимо, чи спрацює.

**Theo:** Я стежитиму за тріалами. Якщо тріал почне більше людей — значить, працює.

**Sofia:** А ще варто додати дохід, утримання й перегляди paywall. Один дашборд з усім, і подивимося, що зрушиться.

**Alex Tutor:** Саме так тест закінчується суперечкою. Якщо стежити за двадцятьма числами, кілька з них зрушаться просто випадково. А потім кожен цитуватиме те, що йому зручне.

![Стіна з маленькими циферблатами, кілька стрілок смикаються, а кілька людей завзято показують кожен на свій.](https://productovi.com/courses/product-analytics/inline/test-design-illustration-2.webp)

*Якщо стежити за багатьма числами, деякі з них зрушать просто випадково.*

**Alex Tutor:** Тому ми вирішуємо, що означає «працює», **до того**, як перший користувач побачить новий paywall. Чотири речі на одній сторінці, **план A/B-тесту**: гіпотеза, одна основна метрика, guardrail-метрики і **правило рішення (decision rule)**.

> **Вправа:** Навіщо записувати план до запуску, а не після того, як з'являться дані? Вибери усі правильні варіанти.

## Як сформулювати гіпотезу A/B-тесту

**Alex Tutor:** Гіпотеза називає зміну, кого вона зачіпає, що має зрушитися і чому. Наша гіпотеза A/B-тесту: «Якщо paywall починається з 7-денного тріалу, більше користувачів, які до нього дійшли, **оплатять протягом 14 днів**, бо, спершу спробувавши Plus, платити вже не так ризиковано».

**Sofia:** Чому 14 днів? Тріал же лише 7.

**Alex Tutor:** Перше списання після тріалу буде щонайраніше на 8-й день. Чотирнадцять днів залишають на це час і дають кожному користувачеві однакове часове вікно — байдуже, чи потрапив він у тест у понеділок, чи в неділю.

**Maya:** А чи може гіпотеза бути просто «користувачам новий paywall сподобається більше»?

**Alex Tutor:** Жодні дані не можуть це спростувати, тож така гіпотеза не може програти. Корисна гіпотеза називає число, яке може вийти незмінним або гіршим.

> **Вправа:** Яка з цих гіпотез для paywall Halves піддається перевірці?

## Як обрати одну основну метрику

**Alex Tutor:** **Основна метрика (primary metric)** — це одне число, від якого залежить рішення: частка користувачів у тесті, які оплатили протягом 14 днів після першого перегляду paywall.

**Theo:** Чому не тріали? Вони рухаються швидше, результат я побачив би за кілька днів.

**Alex Tutor:** Тріал — це крок, а не мета. Paywall може подвоїти тріали й однаково залишити нас із меншою кількістю платних, якщо більшість тріалів тихо закінчиться. Тріали стають **другорядною метрикою**: ми дивимося на них, щоб пояснити результат, а не щоб вирішувати.

![Багато людей проходять безкоштовний турнікет у крамницю, але лише кілька доходять до каси й виходять із чеком.](https://productovi.com/courses/product-analytics/inline/test-design-illustration-3.webp)

*Тріал — лише крок; рішення залежить від того, скільки людей зрештою заплатять.*

**Sofia:** А якщо зробити основними обидві, про всяк випадок?

**Alex Tutor:** Тоді у тебе дві нагоди виграти випадково. Якщо ймовірність хибної перемоги для кожної 5%, то з двома незалежними метриками шанс, що хоч одна «виграє» випадково, — близько 1 − 0,95² ≈ 9,8%. Детальніше — в уроці [про пастки A/B-тестів](/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls).

> **Вправа:** Зістав кожну роль у плані тесту paywall з її метрикою.

**Theo:** Гаразд, тріали другорядні. Але дохід на користувача, конверсія в оплату й тріали як три основні? Так усе охоплено.

> **Вправа:** У тесті paywall Halves Theo, маркетолог з росту, хоче ще й дохід на користувача як основну метрику, поруч із конверсією в оплату й тріалами. З **трьома** незалежними основними метриками, кожну з яких читають за рівня хибних спрацювань 5%, яка ймовірність, що хоч одна «виграє» випадково? У %, з одним знаком після коми.

## Guardrail-метрики: що не можна зламати

**Alex Tutor:** **Guardrail-метрика** (guardrail metric) — це метрика, яку ми не намагаємося покращити, а лише захищаємо. Наполегливіший paywall може дратувати людей, які просто хочуть поділити оренду, і вони перестануть користуватися Halves.

**Alex Tutor:** Тож беремо частку користувачів тесту, які додають витрату на 8–14-й день. Ми погоджуємося на падіння **щонайбільше на 3 відсоткові пункти** і записуємо цей запас уже зараз.

**Maya:** Чому 3, а не 1?

**Alex Tutor:** Це бізнесове рішення: найменша втрата у використанні, яку ми готові обміняти на більше платних. Саме число важить менше, ніж момент, коли його обрали. Після тесту будь-яке падіння здається «невеликим» тому, хто хоче запускати.

**Sofia:** І guardrail-метрику ми теж перевіряємо інтервалом?

**Alex Tutor:** Так. Нам потрібно, щоб увесь 95% інтервал для різниці «тест − контроль» лежав вище за −3 п. п. «Падіння не значуще» — недостатньо: малий тест може не помітити справжнього падіння.

![Автомобіль мчить гірською дорогою до прапорця, а вздовж краю урвища тягнеться міцна огорожа.](https://productovi.com/courses/product-analytics/inline/test-design-illustration-4.webp)

*Запобіжна метрика не для перемоги, а щоб показати, що нічого важливого не зламалося.*

> **Вправа:** У тесті paywall Halves різниця за guardrail-метрикою (частка користувачів, які й далі додають витрату на 8–14-й день, запас −3 п. п.) вийшла «статистично незначущою». Цього досить, щоб зробити висновок, що новий paywall не зашкодив.

**Alex Tutor:** Тож перевіряють нижній кінець інтервалу проти запасу. Спробуй на двох результатах.

> **Вправа:** Запас запобіжної метрики: −3 п. п. Який результат **проходить** перевірку?

## Правило рішення: запускати, не запускати чи непевно

**Alex Tutor:** Остання частина — правило рішення. Що ми робимо за кожного можливого результату? Ефект подаємо як **тест − контроль** у відсоткових пунктах, з 95% інтервалом, і порівнюємо з найменшим ефектом, заради якого варто запускати, — **+1 п. п.**

> **План тесту: paywall із тріалом на початку**
>
> - **Гіпотеза:** 7-денний тріал на початку paywall збільшує частку тих, хто його побачив і оплатив протягом 14 днів.
> - **Хто в тесті:** користувачі в момент першого `paywall_viewed`, поділ 50/50.
> - **Основна метрика:** оплата протягом 14 днів після першого перегляду paywall.
> - **Другорядна:** розпочаті тріали. **Guardrail:** додав витрату на 8–14-й день, запас −3 п. п.
> - **Найменший ефект, заради якого варто запускати:** +1 п. п.
> - **Запускаємо**, якщо інтервал основної метрики повністю вище за 0, а інтервал guardrail-метрики вище за −3 п. п.
> - **Не запускаємо**, якщо інтервал guardrail-метрики сягає нижче за −3 п. п. або інтервал основної метрики містить 0 і весь лежить нижче за +1 п. п. (будь-який ефект замалий, щоб мати значення).
> - **Інакше:** результат непевний; лишаємо поточний paywall і вирішуємо щодо більшого тесту.

![Запускаємо, коли інтервал основної метрики повністю вище за 0; не запускаємо, коли він містить 0 і нижче +1 п. п.; якщо охоплює обидва — результат непевний.](https://productovi.com/courses/product-analytics/diagrams/m5-l1-decision-rule-uk.png)

**Maya:** А якщо через тиждень він уже явно виграє, зупиняємо раніше?

**Alex Tutor:** Ні. Ми читаємо результат один раз, коли набрано запланований обсяг. Якщо перевіряти щодня й зупинитися в добрий день, хибних перемог стає більше. Наскільки великим і довгим має бути тест, ми розрахуємо окремо.

**Sofia:** Тобто «незначущий» результат потрапляє в «непевний», якщо тільки інтервал не виключає й +1 п. п.

> **Вправа:** Тест paywall Halves із тріалом на початку завершено (найменший ефект, заради якого варто запускати: +1 п. п.). Основна метрика, тест − контроль: **+0,4 п. п.**, 95% інтервал **від −0,5 до +1,3 п. п.** Guardrail-метрика перевірку пройшла. Що каже правило рішення?

**Alex Tutor:** А тепер випадок, найважчий для Maya: чіткий виграш у платних, а запобіжна метрика хитається.

> **Вправа:** Тест paywall Halves із тріалом на початку завершено. Основна: **+1,8 п. п.**, інтервал **від +0,6 до +3,0 п. п.** Запобіжна: **−2,1 п. п.**, інтервал **від −3,8 до −0,4 п. п.** (запас −3 п. п.). Що каже правило рішення?

## Твоя черга

**Alex Tutor:** Theo може й далі стежити за тріалами, аби тільки ніхто не голосував ними. А тепер інша зміна, щоб потренуватися.

**Maya:** Наступного кварталу хочемо спробувати **онбординг із запрошенням на початку**: нових користувачів просять запросити сусіда чи партнера ще до того, як вони додадуть першу витрату.

**Sofia:** Це може збільшити групи, а може й відлякати людей ще до того, як вони побачать якусь цінність.

> **Вправа:** Запиши план тесту для онбордингу із запрошенням на початку в Halves (нових користувачів просять запросити сусіда чи партнера, перш ніж додати першу витрату) в 4–7 рядках: гіпотеза, одна основна метрика з вікном, одна-дві guardrail-метрики із запасом і правило рішення, яке охоплює «запускаємо», «не запускаємо» і «непевно».

**Alex Tutor:** Одна сторінка з датою, до запуску. Після цього дані можуть нас здивувати, але їх уже не вдасться переконати сказати те, що нам хочеться.

- Попередній урок: [Кейс: аналіз утримання за сегментами](https://productovi.com/uk/courses/product-analytics/retention-by-segment.md)
- Наступний урок: [Наскільки великий і наскільки довгий](https://productovi.com/uk/courses/product-analytics/test-size.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.