# Багато тестів одразу

> Правило доповнення, множення незалежних імовірностей, шанс хоча б однієї хибної тривоги, лічба пар і поправка Бонферроні.

- Курс: [Математика для статистики та юніт-економіки](https://productovi.com/uk/courses/math-basics.md)
- Модуль: Імовірність і розподіли
- Урок 28/36, ~26 хв
- Джерело: https://productovi.com/uk/courses/math-basics/many-tests-at-once

## П’ять метрик, один тест

**Alex Tutor:** Ти досі в продуктовій команді Klasna. Команда зростання протестувала нову сторінку цін і перевірила п’ять метрик: реєстрації, записи на пробний урок, купівлі пакетів, конверсію в Club і середній розмір пакета. Одна вийшла «значущою» за α = 0,05.

**Sofia:** Одна з п’яти — схоже на справжній ефект.

**Alex Tutor:** Перевірмо. Припустимо, сторінка не змінила взагалі нічого. Тоді кожна перевірка мовчить з імовірністю 0,95. Який шанс, що мовчатимуть усі п’ять?

**Alex Tutor:** Для незалежних подій «і те, і те» означає множення: 0,95 × 0,95 = 0,9025 для двох і 0,95⁵ = 0,774 для п’яти. Доповнення — хоча б одна хибна тривога — це 1 − 0,774 = **0,226**, майже чверть.

**Alex Tutor:** Перш ніж до формули, спробуй правило множення на двох буденних подіях.

> **Вправа:** У Klasna репетитор підтверджує урок напередодні з імовірністю 0,7, а учень приходить з імовірністю 0,9. Якщо ці події незалежні, яка частка уроків і підтверджена, і відвідана?

$$
P(\text{at least one false alarm}) = 1 - (1 - \alpha)^m
$$

*α — частка хибних тривог однієї перевірки; m — кількість незалежних перевірок.*

**Sofia:** Тобто «хоча б одну» найлегше рахувати через «жодної».

**Alex Tutor:** Завжди. Перебирати всі способи отримати одну, дві чи більше тривог довго; «жодної» — один добуток, а 1 мінус він дає решту.

**Sofia:** Але наші п’ять метрик не незалежні. Реєстрації й записи на пробний урок рухаються разом.

**Alex Tutor:** Так, а пов’язані метрики дають менше окремих шансів помилитися, тож справжнє число десь між 5% і 22,6%. Формула дає верхню межу цього діапазону — саме її безпечно тримати в голові.

> **Вправа:** Дашборд порівнює 10 метрик до й після релізу, кожну за α = 0,05. Якщо насправді нічого не змінилося, який шанс хоча б однієї хибної тривоги у відсотках, з одним знаком після коми?

> **Вправа:** Три незалежні метрики мають кожна 5% шансу хибної тривоги, тож шанс хоча б однієї хибної тривоги — рівно 15%.

**Alex Tutor:** А тепер заперечення про пов’язані метрики — як швидка перевірка.

> **Вправа:** П’ять метрик сторінки цін Klasna тісно пов’язані (реєстрації й записи на пробний урок рухаються разом). Отже, шанс хоча б однієї хибної тривоги вищий за 22,6%, які дає 1 − 0,95⁵.

## Скільки хибних тривог очікувати

**Alex Tutor:** Інший погляд: очікувана кількість хибних тривог — m × α. П’ять метрик дають 5 × 0,05 = 0,25. Двадцять — 20 × 0,05 = 1: у середньому один фальшивий переможець на двадцять перевірок.

![За α = 0,05 шанс хоча б однієї хибної тривоги — 5% для 1 перевірки, 22,6% для 5, 40,1% для 10 і 64,2% для 20; очікувано m × 0,05.](https://productovi.com/courses/math-basics/diagrams/m7-l4-false-alarm-growth-uk.png)

*Кожна додаткова перевірка — ще один квиток у лотерею, у яку ніхто не хотів грати.*

**Sofia:** Тобто з двадцятьма метриками один «переможець» — саме так і виглядає чистий шум.

**Alex Tutor:** Так. Тому, якщо після тесту нарізати його на багато сегментів, майже завжди щось «знайдеться». Знахідка може бути справжньою, але один щасливий зріз — ще не доказ.

![Ряд спокійних котів на лавці, у кожного маленький дзвіночок; один кіт збуджено дзвонить помаранчевим дзвіночком на порожнє місце на підлозі.](https://productovi.com/courses/math-basics/inline/m7-l4-i1.webp)

*Коли вартових досить багато, хтось завжди дзвонить ні через що.*

> **Вправа:** Аналітик розбиває нульовий результат на 40 сегментів (міста, пристрої, вік) і перевіряє кожен за α = 0,05. Скільки «значущих» сегментів варто очікувати, навіть якщо зміна нічого не дала?

## Лічимо пари

**Alex Tutor:** Тести з кількома варіантами теж множать перевірки. Сторінка цін мала чотири версії: A, B, C і D. Порівняти кожну з кожною: кожна зустрічає три інші, 4 × 3 = 12, а ділення навпіл прибирає A–B, пораховану вдруге як B–A.

$$
C(k, 2) = \frac{k(k-1)}{2}
$$

*Кількість пар серед k елементів: 4 варіанти дають 6, 5 — 10, 10 — 45.*

> **Вправа:** Тест має п’ять варіантів, і команда хоче порівняти кожен варіант із кожним. Скільки це порівнянь?

## Поправка Бонферроні

**Alex Tutor:** Найпростіше виправлення — поділити 5% між перевірками: перевіряти кожну за α ÷ m. Для шести пар — 0,05 ÷ 6 ≈ 0,0083 на пару. Тоді шанс будь-якої хибної тривоги лишається приблизно 5% чи менше.

![Чотири варіанти дають 4 × 3 ÷ 2 = 6 пар; з поправкою Бонферроні кожну пару перевіряють за 0,05 ÷ 6 ≈ 0,0083 або множать її p на 6.](https://productovi.com/courses/math-basics/diagrams/m7-l4-pairs-uk.png)

*Спершу порахуй порівняння, потім поділи між ними α.*

**Sofia:** А програма показує «скоригований p». Це те саме?

**Alex Tutor:** Те саме правило навпаки: скоригований p = min(1, m × p), і його порівнюють зі звичними 0,05. Пара з p = 0,012 серед шести дає 6 × 0,012 = 0,072 — уже не значуща. min обмежує його одиницею, бо ймовірність не може бути більшою за 1.

> **Вправа:** Серед шести попарних порівнянь пара B проти D має p = 0,004. Який її скоригований за Бонферроні p?

**Alex Tutor:** Бонферроні суворий: він захищає від хибних тривог, але справжні ефекти стає важче помітити. Краще й дешевше — обрати одну головну метрику до тесту, а решту вважати підказками для наступного.

**Alex Tutor:** Останнє запитання перед твоєю чергою: який план варто погодити?

> **Вправа:** Klasna планує тест сторінки цін із чотирма варіантами і 20 метриками. Який план тримає ризик хибної тривоги близько 5% і при цьому не робить справжні ефекти надто важкими для виявлення?

## Твоя черга

**Alex Tutor:** Маркетолог пише в чат команди: «Нова реклама загалом не спрацювала, але у Львові — значущо, p = 0,03! Ми перевірили 20 міст. Запускаймо у Львові».

> **Вправа:** Маркетолог пише: «Нова реклама загалом не спрацювала, але у Львові — значущо, p = 0,03! Ми перевірили 20 міст. Запускаймо у Львові». Двома-трьома реченнями поясни, чому результат у Львові — слабкий доказ і що зробити натомість. Використай числа.

## Де це знадобиться

> **У підсумку**
>
> - Незалежні події: «і» множить, 0,95 × 0,95 × … = 0,95^m.
> - **Хоча б одна** = 1 − жодної: P(десь хибна тривога) = 1 − (1 − α)^m. П’ять перевірок — 22,6%; двадцять — 64,2%.
> - Очікувана кількість хибних тривог = **m × α**.
> - Пари серед k варіантів: **k(k − 1)/2**.
> - **Бонферроні:** перевіряй кожну за α ÷ m або скоригований p = min(1, m × p). Найкращий захист — одна головна метрика, обрана заздалегідь.

> **Де це використовується**
>
> - [Пастки: підглядання, множинні порівняння, ефект новизни](/uk/courses/statistics-for-pm-and-marketers/ab-testing-pitfalls): 1 − (1 − α)^m і поправка Бонферроні.
> - [Дисперсійний аналіз (ANOVA): порівняння багатьох груп](/uk/courses/statistics-for-pm-and-marketers/anova): чому багато попарних t-тестів вводять в оману.
> - [План A/B-тесту: гіпотеза, метрика, guardrail-метрики](/uk/courses/product-analytics/test-design): одна головна метрика, обрана до тесту.
> - [Калькулятор результатів A/B/n-тесту](/uk/tools/abn-test-results): попарні порівняння з уже вбудованою поправкою.

**Alex Tutor:** Наступного разу — нормальна крива: звідки береться 1,96 і чому площа означає ймовірність.

- Попередній урок: [Математичне сподівання і сценарії](https://productovi.com/uk/courses/math-basics/expected-value.md)
- Наступний урок: [Нормальна крива](https://productovi.com/uk/courses/math-basics/the-normal-curve.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.