# Кейс: бета-когорта панічно продала

> Оцінити A/B-тест екрана «пауза перед продажем» на малій вибірці й вирішити, що запускати і що вимірювати далі.

- Курс: [Інвестування надовго: індексні фонди, ризик і власна поведінка](https://productovi.com/uk/courses/long-term-investing.md)
- Модуль: Найбільший ризик — поведінка людей (і наша теж)
- Урок 28/32, ~39 хв
- Джерело: https://productovi.com/uk/courses/long-term-investing/case-panic-cohort

## Тест із весняного просідання

**Alex Tutor:** Кінець вересня в Zapas, останній день місяця поведінки. Як PM ти тепер маєш результати тесту, що йшов під час весняного просідання, і запуск за шість тижнів.

**Grace:** Два тижні 6-го місяця, близько до дна, усіх, хто натискав «Продати все», випадково ділили навпіл. Контроль бачив звичайне підтвердження. Інша половина — екран паузи: власний план, що саме зафіксує продаж, і кнопку «Все одно продати».

**Ethan:** І це спрацювало! У контролі продали 35%, з паузою — 23%. На третину менше панічних продажів. Хочу цей заголовок у день запуску.

**Grace:** Шістдесят користувачів у кожній групі. Перш ніж писати заголовки, подивімося, чи це більше, ніж випадковість.

**Набір даних (CSV):** [A/B-тест «пауза перед продажем», весняне просідання (синтетичні дані)](https://productovi.com/datasets/long-term-investing/case-panic-cohort/ab_pause_screen.csv)

120 користувачів, які натиснули «Продати все» за два тижні тесту в 6-му місяці: яку версію бачили (control чи pause) і чи продали зрештою.

**Частка тих, хто завершив продаж, за групами (синтетичні дані)**

| Група | Завершили продаж, % |
| --- | --- |
| Контроль | 35 |
| Екран паузи | 23.3 |

*Користувачі, які натиснули «Продати все» за два тижні тесту. Контроль: 21 із 60. Екран паузи: 14 із 60.*

> **Вправа:** У контролі продали **21 із 60** користувачів; з екраном паузи — **14 із 60**. Яка різниця між двома частками продажів у відсоткових пунктах? Округли до одного знака.

**Sofia:** 11,7 пункта на 60 людях. Інтуїція каже, що це багато.

**Grace:** Коли людей 60, один користувач — це 1,7 пункта. Семеро, що передумали, — і ось увесь розрив. Інтуїція щодо малих вибірок зазвичай надто впевнена.

## Більше, ніж випадковість?

**Sofia:** Як це перевірити?

**Grace:** Z-критерій для двох часток. Об'єднай обидві групи, щоб оцінити шум, і подивися, скільки «одиниць шуму» становить розрив. Це є в курсі статистики.

$$
z = \frac{p_1 - p_2}{\sqrt{\bar p (1 - \bar p)\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}, \quad \bar p = \frac{x_1 + x_2}{n_1 + n_2}
$$

*Z-тест для двох часток: p₁, p₂ — частки продажів, x₁, x₂ — кількість тих, хто продав, n₁, n₂ — розміри груп.*

> **Вправа:** Контроль: продали 21 із 60; екран паузи: 14 із 60. Обчисли z-статистику тесту для двох часток (об'єднана частка = 35 ÷ 120). Округли до двох знаків.

**Ethan:** Тобто не спрацювало?

**Grace:** Ми ще не знаємо. «Незначущо» означає «цей тест не може сказати». Екран може дуже зменшувати продажі, трохи або зовсім ні. Шістдесяти користувачів у групі замало, щоб сказати.

> **Вправа:** **Правда чи ні:** при z = 1,41 і p = 0,16 тест показує, що екран паузи не впливає на продажі.

## Який потрібен тест?

**Sofia:** То скільки користувачів потрібно, щоб сказати напевно?

**Grace:** Напевно — ніколи, але досить надійно. Якби справжнє зниження було з 35% до 23,3%, щоб помічати його у 80% випадків на рівні 5%, потрібно близько 235 користувачів у групі.

**Ethan:** 470 людей, що натиснуть «Продати все»? Уся бета — 2 400 користувачів, а весняний тест набрав лише 120.

**Grace:** Після запуску користувачів буде значно більше, але «Продати все» натискають переважно тоді, коли ринки падають. У спокійний рік тест набирається повільно. Тож ми вирішуємо розмір зараз і даємо йому працювати, доки наступне просідання його не заповнить.

$$
n \approx \frac{(z_{\alpha/2} + z_{\beta})^2 \,[p_1(1-p_1) + p_2(1-p_2)]}{(p_1 - p_2)^2}
$$

*Кількість користувачів у кожній групі. Для двостороннього рівня 5% і потужності 80%: z_α/2 = 1,96, z_β = 0,84.*

> **Вправа:** Скільки користувачів у кожній групі потрібно Zapas, щоб помітити зниження з **35,0%** до **23,3%** (точні частки 21/60 і 14/60) з потужністю 80% на двосторонньому рівні 5%? Візьми z_α/2 = 1,959964 і z_β = 0,841621 та округли **вгору** до цілого користувача.

![35,0% проти 23,3% на 60 користувачах у групі дає z 1,41, p 0,16: не оголошувати перемогу, тримати поділ 50/50 до ~235 у групі; продати можна у два дотики.](https://productovi.com/courses/long-term-investing/diagrams/m7-l4-test-decision-uk.png)

## Що казати і що запускати

**Ethan:** Мені все одно потрібен рядок для поста про запуск.

**Grace:** Отримаєш чесний. І одне правило, яке я не порушу: екран паузи інформує, але ніколи не блокує. Гроші — їхні; продати можна у два дотики.

> **Вправа:** Який рядок Zapas може опублікувати про тест екрана паузи?

**Sofia:** Що саме тоді може робити екран паузи?

**Grace:** Показувати власний план користувача і числа. Не ховати кнопку, не вмикати зворотний відлік, не тиснути на провину. І скарги ми вимірюємо так само ретельно, як продажі.

**Ethan:** Зворотний відлік зменшив би продажі ще більше.

**Grace:** Мабуть, а ще він би заблокував людей, яким справді треба продати: рахунок за лікування, втрата роботи. Ми не виграємо тести, зачиняючи двері.

> **Вправа:** Які елементи прийнятні на екрані Zapas «пауза перед продажем»? Обери всі правильні варіанти.

## Твоя черга: результат і рішення

**Ethan:** Гаразд. Спершу дай рядок для командного чату, а потім повне рішення.

**Alex Tutor:** Рядок для чату — два-три речення. Рішення — це кейс: що запускаємо, що вимірюємо і коли вирішуємо.

> **Вправа:** Напиши для командного чату оновлення на 2–3 речення про тест екрана паузи: дві частки з розмірами груп, що каже перевірка значущості і що далі.

> **Вправа:** Виріши, що Zapas запускає після тесту екрана паузи і як дізнається, чи екран працює.

> **Головне**
>
> - Повідомляй результат A/B як обидві частки з розмірами груп і абсолютний розрив: 35,0% проти 23,3% (n = 60 у кожній), 11,7 пункта.
> - z = 1,41, p = 0,16: непереконливо, а не «ефекту немає». Щоб помітити зниження 35% → 23,3%, потрібно близько 235 користувачів у групі.
> - Фіксуй правило зупинки наперед; натискання «Продати» бувають переважно в падіння, тож вибірка може потребувати наступного просідання.
> - Поведінкова функція інформує і ніколи не блокує: план користувача, числа і «Все одно продати» на відстані одного дотику; вимірюй і скарги.
> - Ніколи не перетворюй непереконливий тест на заголовок запуску.

> **Навчання, а не порада**
>
> Цей урок пояснює, як працює інвестування, і не каже, що купувати. Інвестиції можуть падати, і можна отримати менше, ніж було вкладено. Усі дані Zapas і Tessaro синтетичні. Перевір чинні правила там, де живеш, або запитай ліцензованого фахівця.

**Alex Tutor:** Наступного місяця — запуск для України. Перше питання: у якій валюті тримати гроші на ціль, до якої три роки?

- Попередній урок: [Правила, написані в спокійні часи: інвестиційна політика на одну сторінку](https://productovi.com/uk/courses/long-term-investing/investment-policy.md)
- Наступний урок: [Валюта цілей і безпечна частина вдома](https://productovi.com/uk/courses/long-term-investing/currency-of-goals.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.