Багато тестів одразу

Дві події незалежні, коли знання про те, що одна сталася, не змінює шансу іншої. Підтвердження уроку репетитором і прихід учня можуть бути близькими до цього: звички учня не залежать від повідомлення репетитора.

Для незалежних подій шанс, що станеться і те, і те, — добуток: P(A і B) = P(A) × P(B). Для 0,7 і 0,9 це 0,63. Добуток часток завжди менший за кожен множник, і це збігається зі здоровим глуздом: два збіги трапляються рідше, ніж один.

Правило працює для будь-якої кількості подій. Якщо одна перевірка мовчить з імовірністю 0,95, дві незалежні мовчать разом з імовірністю 0,95 × 0,95 = 0,9025, а п’ять — 0,95⁵ ≈ 0,774.

Двох помилок варто уникати: додавати ймовірності (сума може перевищити 1) і брати їхнє середнє. І спершу перевір незалежність; для пов’язаних подій потрібна умовна ймовірність з уроку Умовна ймовірність і таблиця 2×2.

Кожна перевірка значущості має невелику частку хибних тривог α, зазвичай 0,05: шанс назвати зміну «значущою», коли нічого не змінилося. Одна перевірка — 5% ризику. Кілька перевірок — кілька квитків у ту саму лотерею.

Рахувати «хоча б одну хибну тривогу» напряму означає додавати одну тривогу, дві, три… Доповнення з уроку p і 1 − p значно коротше. «Жодної хибної тривоги» означає, що мовчать усі перевірки; для незалежних перевірок це (1 − α)^m. Отже, P(хоча б одна) = 1 − (1 − α)^m.

Для тесту сторінки цін Klasna з п’ятьма метриками: 1 − 0,95⁵ = 1 − 0,774 = 0,226, майже чверть. Десять метрик дають 1 − 0,95¹⁰ = 1 − 0,599 = 0,401, двадцять — 0,642.

Тож одна «значуща» метрика з багатьох — слабкий доказ: коли перевірок досить, хибна тривога десь — звичайний результат, а не несподіванка.

Спокусливо додати ризики: три перевірки по 5% дають 15%. Для кількох перевірок це близько, але в принципі хибно.

Додавання рахує перетини більше одного разу. Запуск, де хибну тривогу підняли дві перевірки, потрапляє і в перші 5%, і в другі. Точний шанс хоча б однієї тривоги серед трьох незалежних перевірок — 1 − 0,95³ = 1 − 0,857 = 0,143, трохи менше за 15%.

Розрив швидко росте. Двадцять перевірок по 5% «дали б» 100%, тобто певність, а насправді 1 − 0,95²⁰ = 0,642. Сорок дали б 200%, а такої ймовірності не буває.

Сума m × α має сенс, але інший: це очікувана кількість хибних тривог, яка може бути більшою за 1. Не змішуй: 1 − (1 − α)^m — шанс між 0 і 1, а m × α — кількість.

Формула 1 − (1 − α)^m множить «мовчить» по всіх перевірках, тож вважає перевірки незалежними подіями. Продуктові метрики рідко такі: реєстрації й записи на пробний урок ростуть і падають разом, як і купівлі пакетів та конверсія в Club.

Пов’язані перевірки зазвичай піднімають хибні тривоги разом. Коли реєстрації випадково підскакують, записи часто підскакують із ними, тож ці дві метрики — радше один квиток у лотерею, ніж два. Менше окремих квитків — менший шанс помилитися.

Тож для п’яти пов’язаних метрик Klasna справжній шанс хоча б однієї хибної тривоги лежить між двома межами: 5% (наче всі п’ять — одна перевірка) і 22,6% (наче всі п’ять незалежні). Формула дає верхню межу.

Саме тому з нею безпечно планувати. Якщо прийнятна навіть верхня межа — усе гаразд; якщо ні, зменш кількість перевірок або зроби поправку.

Той самий ризик можна побачити через підрахунок. Якщо кожна з m перевірок має частку хибних тривог α, то очікувана кількість хибних тривог, коли нічого не змінилося, — m × α. П’ять метрик дають 5 × 0,05 = 0,25; двадцять — 20 × 0,05 = 1.

Це прочитання найкраще захищає від нарізаних результатів. Аналітик, який розбиває тест без ефекту на 40 сегментів (міста, пристрої, вік) і перевіряє кожен на рівні 5%, має очікувати 40 × 0,05 = 2 «значущі» сегменти від чистого шуму. Два переможці — не відкриття, а прогноз.

Підрахунок пояснює й те, чому щасливий зріз так переконує: історію про нього (Львову подобається реклама, на планшетах краще нова сторінка) легко вигадати заднім числом. Вважай такий зріз гіпотезою для нового тесту, де цей сегмент заздалегідь названо головним.

Тести з кількома варіантами теж множать перевірки. Сторінка цін Klasna мала чотири версії: A, B, C і D. Порівняти кожну з кожною: кожна зустрічає три інші, 4 × 3 = 12, але так A–B і B–A пораховано окремо, тож ділимо навпіл: 6 пар.

Загалом кількість пар серед k елементів — k(k − 1)/2. Чотири варіанти дають 6, п’ять — 10, десять — 45. Кількість росте приблизно як квадрат k, тож ризик хибних тривог росте значно швидше, ніж кількість варіантів.

Одне рішення в дизайні тесту різко його зменшує: порівнювати кожен новий варіант лише з контрольним, а не з усіма іншими. Для п’яти варіантів це 4 порівняння замість 10. Виріши до тесту, які порівняння важливі, і порахуй їх: саме це число — m, на яке ти робитимеш поправку.

Найпростіше виправлення ділить 5% між перевірками: кожне з m порівнянь перевіряють на рівні α ÷ m. Для шести пар — 0,05 ÷ 6 ≈ 0,0083 на пару. Тоді шанс будь-якої хибної тривоги в усіх шести лишається приблизно 5% чи менше.

Програми часто показують те саме правило навпаки, як скоригований p: min(1, m × p), який порівнюють зі звичними 0,05. Пара з p = 0,012 серед шести дає 6 × 0,012 = 0,072 — уже не значуща. Пара з p = 0,004 дає 0,024 — усе ще значуща. min обмежує результат одиницею, бо ймовірність не буває більшою за 1.

Обидві форми дають той самий висновок: p < α ÷ m тоді й лише тоді, коли m × p < α. Бери ту, яку показує твій інструмент, але завжди знай m — кількість справді зроблених порівнянь, пораховану до того, як дивитися на результати.

Бонферроні суворий. Він захищає від хибних тривог, знижуючи планку для кожної перевірки, а нижча планка робить і справжні ефекти важчими для виявлення. Для 120 перевірок планка — 0,05 ÷ 120 ≈ 0,0004, і її долає лише великий ефект.

Кращий захист нічого не коштує: роби менше перевірок. До тесту назви одну головну метрику і порівняння, які мають значення. Чотири варіанти проти контрольного за однією метрикою — це m = 3, планка 0,05 ÷ 3 ≈ 0,017. Інші метрики теж переглядають, але як підказки для наступного тесту, а не як вердикт цього.

Та сама логіка стосується підглядання й нарізання: кожен додатковий погляд і кожен додатковий сегмент — ще одна перевірка, хай хтось її рахує чи ні.

Як це складається докупи: незалежні перевірки множаться, тож «хоча б одна хибна тривога» — це 1 − (1 − α)^m, очікувана кількість — m × α, пари ростуть як k(k − 1)/2, а менше перевірок чи Бонферроні тримають ризик низьким. Далі — звідки береться 1,96, на нормальній кривій.