# Пастки: підглядання, множинні порівняння, ефект новизни

> Найпоширеніші способи, якими реальні A/B-тести йдуть не так, і як цього уникнути.

- Курс: [Статистика для продакт-менеджерів і маркетологів](https://productovi.com/uk/courses/statistics-for-pm-and-marketers.md)
- Модуль: A/B-тестування на практиці
- Урок 12/24, ~37 хв
- Джерело: https://productovi.com/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls

## Знову заглядаємо в дашборд

**Alex Tutor:** У Котокормі триває ще один тест, і ти, людина з цифрами в продуктовій команді, уважно за ним стежиш.

**Sofia:** Тест банера триває вже 2 дні, і вже значущий! p = 0,03. Запускаємо?

**Alex Tutor:** Скільки перевірок того дашборда в тебе вже було відтоді, як тест запустився?

**Sofia:** ...може, разів шість? Я перевіряю щодекілька годин.

**Alex Tutor:** Це і є **підглядання** — повторна перевірка результатів і зупинка, щойно бачиш те, що подобається. Це непомітно ламає ті самі 5% похибки, на які ти розраховуєш.

![Кіт відчиняє дверцята духовки, щоб зазирнути до деку з печивом-рибками, які ще бліді й недопечені, а таймер далеко не на нулі.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/ab-testing-pitfalls-illustration-2.webp)

*Кожен погляд — ще один шанс витягти деко зарано.*

> **Підглядання (передчасна зупинка)**
>
> Повторна перевірка результатів тесту й зупинка, щойно вони перетинають поріг значущості. Кожна перевірка — новий шанс на хибнопозитивний результат, тож справжня частка помилок значно перевищує номінальні 5%.

**Alex Tutor:** Із фіксованим порогом 5%, який перевіряють знову й знову, *справжня* ймовірність хибної тривоги десь по дорозі значно вища за 5%.

> **Вправа:** Зупинка тесту, щойно p вперше опускається нижче 0,05, і оголошення перемоги — зберігає реальну частку хибнопозитивних результатів на рівні 5%.

**Alex Tutor:** Є споріднена проблема: перевірка багатьох метрик одночасно, а не лише підглядання за однією з часом.

**Sofia:** Ми й справді відстежуємо купу метрик у кожному тесті — конверсію, AOV, утримання, NPS, CTR...

**Alex Tutor:** Саме так — і якщо перевірити 5 незалежних метрик при α = 0,05 кожна, за умови, що жодна насправді не змінилася, хоча б одна, ймовірно, «випадково» вийде значущою.

**Alex Tutor:** Це **проблема множинних порівнянь**: кожен окремий критерій має 5% шансу на хибнопозитивний результат, але провести їх достатньо — і *сукупний* шанс швидко зростає.

![Кіт із зав'язаними очима кидає багато дротиків у ряд із п'яти мішеней; більшість мимо, але один влучає в помаранчеве яблучко.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/ab-testing-pitfalls-illustration-3.webp)

> **Вправа:** Ти перевіряєш 5 незалежних захисних метрик, кожну при α = 0,05, і жодна з них насправді не змінилася. Яка ймовірність, що хоча б одна покаже хибнопозитивний результат, у відсотках?

**Alex Tutor:** Один зі стандартних способів виправити це — **поправка Бонферроні**: поділити поріг значущості на кількість тестів, щоб сукупний ризик залишався близько 5%.

$$
\alpha_{\text{per test}} = \frac{\alpha_{\text{family}}}{m}
$$

*Поправка Бонферроні: поділити бажаний загальний (сімейний) рівень значущості на кількість порівнянь m.*

**Alex Tutor:** Для тих самих 5 метрик при сімейному рівні 0,05 кожна метрика тепер має досягти власного p, меншого за 0,05 / 5.

**Sofia:** Тобто кожен окремий критерій стає суворішим для проходження.

**Alex Tutor:** Саме так — це навмисно консервативно. Менше хибних тривог ціною того, що для «значущості» потрібен чіткіший сигнал.

> **Вправа:** Використовуючи поправку Бонферроні для 5 порівнянь при сімейному α = 0,05, який поріг значущості слід використати для кожного тесту?

**Alex Tutor:** Перевірмо, що вона справді працює. Який тепер сукупний ризик зі суворішою планкою?

> **Вправа:** Після поправки Бонферроні кожну з 5 незалежних метрик перевіряють при α = 0,01. Якщо жодна насправді не змінилася, яка ймовірність, що хоча б одна однаково покаже хибнопозитивний результат, у відсотках?

**Alex Tutor:** А тепер прочитай один результат відносно цієї планки. Саме тут найчастіше помиляються.

> **Вправа:** Тест відстежує 10 метрик із поправкою Бонферроні при сімейному α = 0,05. Одна метрика має p = 0,008. Вона вважається статистично значущою.

## Новизна та інші пастки

**Alex Tutor:** Інший тип проблеми: іноді ефект реальний першого дня, а потім тихо зникає.

**Sofia:** Начебто люди просто помічають новий банер, бо він новий?

**Alex Tutor:** Саме так — **ефект новизни**. Постійні користувачі реагують на *саму зміну*, а не обов'язково на те, що вона краща. Ця реакція згасає.

![Ліворуч кіт захоплено стрибає до нової блискучої миски; праворуч той самий кіт знуджено лежить біля тієї ж миски.](https://productovi.com/courses/statistics-for-pm-and-marketers/inline/ab-testing-pitfalls-illustration-4.webp)

*Дехто реагує на саму зміну, і ця реакція згасає, щойно новизна минає.*

**Alex Tutor:** Тому результати першого дня можуть прикрашати невдалу ідею, і саме тому варто стежити за трендом метрики протягом усього тесту, а не лише за початковим сплеском.

**Alex Tutor:** Ось тест банера, що тривав три тижні: +3 пункти на 1-му тижні, +1 на 2-му, +0,2 на 3-му. Два способи це прочитати.

> **Вправа:** Тест банера тривав три тижні. Приріст конверсії: +3 пункти на 1-му тижні, +1 на 2-му і +0,2 на 3-му, у середньому за тест приблизно +1,4 пункту. Яке прочитання правильне?

**Alex Tutor:** (До речі, ці пастки стосуються будь-якої метрики — середнього арифметичного, частки, чого завгодно — а не лише конверсії.)

> **Вправа:** Який найбезпечніший спосіб діяти, якщо хочеться перевірити результати до досягнення заздалегідь обчисленого обсягу вибірки?

## Зіставляємо пастки

**Alex Tutor:** Перевіримо, чи міцно засвоєна термінологія цього уроку — зістав кожну пастку з її описом.

**Sofia:** Тут справді багато схожих понять, чесно кажучи.

**Alex Tutor:** Це правда — саме тому це й важливо. Переплутати їх на реальному ретро — дорога помилка.

**Sofia:** Гаразд, зіставляймо.

> **Вправа:** Зістав кожну пастку з її описом.

**Alex Tutor:** Гарно. Тепер розрізнімо справжні причини хибного «переможця» від того, що насправді ним не є.

**Sofia:** Маю відчуття, що один із варіантів — пастка.

**Alex Tutor:** Матимеш рацію. Читай уважно.

**Sofia:** Гаразд, глибокий вдих.

> **Вправа:** Що з переліченого є класичною причиною хибного «переможного» варіанта? Обери всі правильні варіанти.

## Формулюємо висновок

**Alex Tutor:** Тепер сформулюємо це в повідомлення, яке справді можна надіслати колезі.

**Sofia:** Ситуація «вже значущий за 2 дні» з початку розмови?

**Alex Tutor:** Саме вона.

**Sofia:** Гаразд, дай сформулюю.

> **Вправа:** Дашборд Котокорму показує, що тест банера «вже значущий» за 2 дні, але заздалегідь зареєстрований обсяг вибірки потребує 2 тижнів. За 2-3 речення поясни колезі, чому не варто запускати вже зараз.

**Alex Tutor:** Чудово. Ще один сценарій — тут кілька сьогоднішніх пасток одразу.

**Sofia:** Чудово, кілька одразу.

**Alex Tutor:** Котокорм проводив тест допродажу «подарункове пакування» протягом 3 тижнів, відстежуючи 12 метрик.

**Sofia:** Це вже два червоні прапорці з сьогоднішнього уроку, так?

> **Вправа:** Напиши рекомендацію на один абзац для команди.

**Alex Tutor:** Це, по суті, суть модуля: сумніватися в гучному числі, перевіряти, чи воно справді значуще, і перевіряти *як* саме до нього дійшли.

**Sofia:** Тепер я дивитимусь на кожен результат тесту зовсім інакше.

**Alex Tutor:** Саме цього ми й прагнули. Іди і перестань перевіряти дашборди щогодини.

- Попередній урок: [Конверсія і z-критерій для двох часток](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/conversion-rate-tests.md)
- Наступний урок: [Дисперсійний аналіз (ANOVA): порівняння багатьох груп](https://productovi.com/uk/courses/statistics-for-pm-and-marketers/anova.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.