Пастки: підглядання, множинні порівняння, ефект новизни

Стандартний критерій значущості обіцяє 5% хибнопозитивних результатів за однієї умови: ти дивишся один раз, на запланованому обсязі вибірки.

Поки тест триває, p-значення блукає. Навіть коли варіант нічого не змінює, воно гуляє вгору-вниз з приходом нових користувачів і час від часу опускається нижче 0,05, а потім повертається. Якщо перевіряти знову і знову й зупинитися при першому перетині, це вже не один тест. Це кілька тестів, з яких залишають найвдаліший.

Симуляції тесту без реального ефекту показують, як швидко це зростає. Перевірки через рівні проміжки й зупинка при першому p < 0,05:

• 1 перевірка: приблизно 5%;
• 5 перевірок: приблизно 14%;
• 10 перевірок: приблизно 19%;
• 20 перевірок: приблизно 25%.

Якщо заглядати в дашборд щодекілька годин, перевірок легко набирається кілька десятків.

Рішення не в тому, щоб не дивитися на дашборди, а в тому, щоб не ухвалювати за ними рішень. Зафіксуй обсяг вибірки до запуску, а проміжні числа вважай моніторингом, а не вироком, якщо тільки не використовуєш метод, розрахований на повторні перевірки.

Кожен критерій при α = 0,05 має 5% шансу на хибнопозитивний результат. Проведи кілька — і шанс, що хоча б один спрацює випадково, швидко росте. Для m незалежних метрик, які насправді не змінилися:

P(хоча б один хибнопозитивний) = 1 − (1 − α)^m

Для 5 метрик: 1 − 0,95⁵ = 1 − 0,7738 ≈ 22,6%. Для 20 метрик: 1 − 0,95²⁰ ≈ 64,2%. Звіт про тест із двадцятьма метриками найімовірніше міститиме «значущий» результат, який нічого не означає.

Це проблема множинних порівнянь. Вона з'являється щоразу, коли один тест розрізають на багато частин: багато метрик, багато сегментів (мобільні, десктоп, нові користувачі, міста) або багато варіантів проти одного контролю.

Швидке наближення — m × α (5 × 5% = 25%), і для малих чисел воно близьке. Для багатьох метрик воно ламається: 20 × 5% = 100%, а це неможливо. Користуйся формулою.

Реальні метрики часто корелюють, тож точне число буде іншим, але напрям — ніколи: що більше дивишся, то ймовірніша випадковість.

Найпростіше рішення проблеми множинних порівнянь — поправка Бонферроні: поділити загальний (сімейний) рівень значущості на кількість порівнянь m і тримати кожен критерій на цій суворішій планці.

α на тест = сімейний α / m

Для 5 метрик при сімейному 0,05: 0,05 / 5 = 0,01. Тепер метрика вважається значущою, лише якщо її власне p-значення менше за 0,01.

Що виграєш: шанс хоча б одного хибнопозитивного результату по всій сім'ї лишається не вищим за 5%. Що платиш: кожному критерію потрібен сильніший сигнал, тож потужність падає, а за багатьох метрик планка стає дуже високою (0,05 / 20 = 0,0025).

Саме через цю ціну добрий план тесту намагається з самого початку тримати m малим:

• до запуску назви одну основну метрику й ухвалюй рішення за нею;
• решту вважай захисними метриками чи дослідженням і так їх і познач;
• для великих дослідницьких наборів м'якші методи, що контролюють частку хибних відкриттів (FDR), зберігають більше потужності.

Поправка Бонферроні навмисно консервативна: краще пропустити граничний ефект, ніж святкувати випадковість.

Варто перевірити, що поправка Бонферроні справді працює. Візьми формулу ймовірності хоча б одного хибного спрацювання з виправленим порогом:

P(хоча б один хибнопозитивний) = 1 − (1 − α на тест)^m

Для 5 незалежних метрик по 0,01: 1 − 0,99⁵ = 1 − 0,9510 ≈ 4,9%. Без поправки було 1 − 0,95⁵ ≈ 22,6%. Сімейний ризик знову нижчий за ті 5%, які планували прийняти.

Результат завжди трохи нижчий за ціль, бо поправка Бонферроні трохи консервативна. Для 20 метрик по 0,0025: 1 − 0,9975²⁰ ≈ 4,9% знову.

Типова помилка — вважати, що після поправки кожна метрика «досі має свої 5%», або застосувати поправку до однієї метрики й забути про інші. Захист працює, лише якщо кожну метрику в сім'ї тримають на тій самій суворішій планці.

І пам'ятай про компроміс: загальний ризик хибної тривоги впав з 22,6% до 4,9%, але кожній метриці тепер потрібен чіткіший сигнал, щоб її визнали значущою.

Якщо вже вирішено робити поправку на множинні порівняння, кожне p-значення треба читати відносно виправленої планки, а не звичних 0,05.

Є два рівноцінні способи:

• порівняти з α / m: для 10 метрик планка — 0,05 / 10 = 0,005. p-значення 0,008 її не долає; 0,003 — долає;
• скоригувати p-значення: помножити його на m (але не більше 1) і порівняти з 0,05. 0,008 × 10 = 0,08 — не значуще; 0,003 × 10 = 0,03 — значуще.

Обидва дають ту саму відповідь. Скоригована версія зручна у звітах, бо читачі можуть і далі тримати 0,05 за межу.

Пастка — у рефлексі: p = 0,008 виглядає вражаюче, значно нижче за 0,05, і хочеться святкувати. Але ця метрика була однією з десяти спроб, і поправка існує саме для того, щоб не святкувати найкращу з десяти.

У звіті вкажи, яку поправку застосовано і скільки порівнянь вона охоплює: «Бонферроні на 10 метрик, скориговане p = 0,08». Тоді рішення можна перевірити.

Ефект новизни виникає, коли постійні користувачі реагують на зміну просто тому, що вона нова: на яскравий банер клікають з цікавості, оновлену сторінку розглядають. Реакція справжня, але згасає, щойно зміна стає звичною.

Це важливо, бо тест вимірює лише ті тижні, поки триває. Якщо більша частина приросту припадає на перший тиждень, середнє за період тесту завищує те, що буде в наступному кварталі.

Допомагають три перевірки:

• показати ефект по тижнях, а не лише загалом. Приріст, що стабільно меншає (+3, +1, +0,2 пункту), — класична форма;
• розділити нових і постійних користувачів. Новим нема з чим порівнювати стару версію, тож приріст лише серед постійних — тривожний знак;
• тестувати повними тижнями і достатньо довго, щоб крива встигла вирівнятися; для помітної зміни часто щонайменше два-три тижні.

Буває й навпаки: постійним користувачам спершу не подобається зміна, ефект починається з мінуса й відновлюється. В обох випадках стабільний рівень наприкінці тесту краще передбачає майбутнє, ніж перший день чи загальне середнє.

Іноді є добрі причини подивитися до запланованого кінця: зламаний варіант, великі втрати, дедлайн. Є два чесні способи це зробити.

Дивитися, але не вирішувати. Стеж за багами й катастрофами (нуль конверсій, помилки, обвал виручки) і зупиняй через них. Не зупиняй через те, що результат виглядає добре. Рішення про значущість чекає на запланований обсяг вибірки.

Використати метод, розрахований на повторні перевірки. Послідовне тестування планує проміжні перевірки заздалегідь і розподіляє між ними «бюджет» помилки в 5%. Типовий графік вимагає дуже сильних доказів на ранніх перевірках (p-значення значно нижче 0,05) і залишає щось близьке до 0,05 для фінальної. Тоді загальна частка хибнопозитивних результатів лишається 5%, скільки б запланованих перевірок не було зроблено.

Не працює імпровізація: «два значущі дні поспіль», «зупинимося, коли крива вирівняється» чи «одне підглядання — не страшно». Кожне з них — тест на одну перевірку з прикрученими зайвими, і реальної частки помилок ніхто не знає.

Ці пастки звучать схоже, але кожна ставить тесту своє запитання:

• Підглядання (передчасна зупинка): коли ухвалено рішення? Повторні перевірки й зупинка на першому значущому моменті з часом множать хибнопозитивні результати.
• Множинні порівняння: скільки всього перевіряли? Багато метрик чи сегментів роблять імовірним, що одна виглядатиме значущою випадково.
• Ефект новизни: чи це триватиме? Користувачі реагують на саму зміну; спершу ефект реальний, але згасає.
• Невідповідність співвідношення вибірок (SRM): чи спрацював розподіл? Якщо тест планували 50/50, а в одній групі 10 000 користувачів, у другій — 10 600, такий розрив завеликий для випадковості (критерій хі-квадрат проти очікуваних 10 300 у кожній дає p < 0,001). Щось зламано в розподілі чи логуванні, і жодному результату тесту не можна довіряти, доки причину не знайдено.

На розборі тесту пройдися всіма чотирма по черзі: розподіл, момент рішення, кількість порівнянь, стійкість. Результат, що витримав усі чотири, вартий довіри.

Більшість хибних «переможців» народжується з процесу, а не з математики. z-критерій можна порахувати бездоганно й однаково помилитися, якщо спосіб його застосування дав випадковості зайві спроби.

Три класичні шляхи:

• зупинка на вдалому моменті: щоденне підглядання й завершення тесту, щойно p опускається нижче 0,05;
• вибір вдалої метрики: перевірити 20 метрик і звітувати про ту, що вийшла значущою. За 20 незалежних спроб випадковість імовірніша, ніж її відсутність;
• вимірювання ажіотажу: ефект новизни, через який перший тиждень виглядає чудово, а потім усе згасає.

Захист нудний, але дієвий. До запуску запиши основну метрику, обсяг вибірки й тривалість тесту (у повних тижнях). Доведи тест до цього обсягу. Звітуй про всі перевірені метрики, а не лише про ту, що спрацювала. А тоді подивися на тренд у часі, перш ніж називати ефект постійним.

Зверни увагу: «провести тест до повного заздалегідь зареєстрованого обсягу вибірки» — це зовсім не пастка, а звичка, яка запобігає першій із них.