Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
Кореляція і причинність — одразу до суті: кореляція означає, що дві метрики рухаються разом; причинність — що зміна однієї справді змінює іншу. У продуктових даних безліч кореляцій, які не є причинними, бо користувачі самі обирають, якими функціями користуватися, а ті, хто обирає функцію, часто відрізняються від тих, хто її ігнорує. Перш ніж вкладатися у «фічу, яка тягне утримання», виключіть трьох звичних підозрюваних — змішувальний чинник, зворотну причинність і зміщення вибірки, — а потім перевірте ідею рандомізованим експериментом. Якщо це неможливо, шукайте природний експеримент.
Дашборд, який обдурив усіх
Котокорм, інтернет-магазин кормів для тварин, запустив автодоставку: клієнт обирає корм і графік, і замовлення приїжджає раз на кілька тижнів. За три місяці на квартальному огляді з'являється слайд:
Клієнти з автодоставкою: 60 % досі замовляють через пів року. Без автодоставки: 27,6 %. Автодоставка більш ніж подвоює утримання!
Пропонований наступний крок — активно просувати автодоставку: спливні вікна на чекауті, знижка за перехід. Слідом з'являються прогнози виручки.
Кореляція справжня. Але чи спричиняє автодоставка утримання? Розділімо тих самих клієнтів за тим, наскільки лояльними вони були до появи автодоставки:
Сегмент
З автодоставкою
Без автодоставки
Лояльні (3+ попередні замовлення)
70 % із 800
66 % із 400
Нові (0–2 попередні замовлення)
20 % із 200
18 % із 1 600
Усі клієнти
60 % із 1 000
27,6 % із 2 000
Усередині кожного сегмента розрив майже зникає: 4 пункти серед лояльних і 2 пункти серед нових. Великий загальний розрив з'явився здебільшого тому, що лояльні клієнти набагато частіше підключали автодоставку (800 із 1 200 лояльних проти 200 із 1 800 нових). Спершу була лояльність, а функція просто зібрала таких клієнтів.
Це і є змішувальний чинник (конфаундер): третя змінна — тут попередня лояльність, — яка впливає і на «причину», і на «наслідок».
Попередня лояльність впливала і на підключення автодоставки, і на те, хто далі замовляв, тож розрив 60 % проти 27,6 % — це здебільшого лояльність; рандомізована пропозиція на чекауті прибирає цю стрілку й вимірює справжній ефект
Три причини, чому кореляція — не причинність
1. Конфаундери: прихований третій чинник
Змішувальний чинник впливає на обидві змінні й створює кореляцію, навіть коли жодна з них не впливає на іншу. У продуктовій аналітиці найчастіші конфаундери такі:
Намір і залученість користувача: залучені користувачі роблять усього більше — користуються новими функціями, відкривають розсилки й довше залишаються.
Сезонність: у листопаді в Котокормі зростають і рекламні витрати, і замовлення. Частково це заслуга реклами, а частково — просто всі закуповуються перед святами.
Канал залучення: користувачі з реферальної програми можуть відрізнятися від користувачів із таргетованої реклами одразу за всіма метриками.
2. Зворотна причинність: стрілка в інший бік
Буває, що B спричиняє A, а не A спричиняє B.
Клієнти, які пишуть у підтримку, частіше відвалюються. Підтримка їх відштовхує чи люди звертаються туди, бо щось уже пішло не так?
Ті, хто заходить у довідковий центр, рідше купують. Навряд чи довідка їм шкодить — просто допомогу шукають ті, хто заплутався.
В активних користувачів більше збережених адрес. Адреси не змушують більше замовляти — це часті замовлення породжують нові адреси.
3. Зміщення вибірки: хто взагалі потрапляє в дані
Групи, які ви порівнюєте, сформував вибір самих користувачів або якийсь фільтр, а не випадок. Ті, хто відповідає на NPS-опитування, залученіші за тих, хто його ігнорує. Ті, хто завершив онбординг, — за визначенням ті, хто не здався. Будь-яке порівняння «зробили» і «не зробили» успадковує ці відмінності.
Окремий випадок — ефект виживання: якщо аналізувати лише клієнтів, активних сьогодні, виявиться, що все, що вони робили в перший місяць, «прогнозує» успіх, бо ті, хто робив те саме і пішов, у дані вже не потрапили.
А наскільки сильна сама кореляція?
Перш ніж сперечатися про причини, правильно виміряйте зв'язок. Коефіцієнт кореляції Пірсона r набуває значень від −1 до +1: близько до ±1 — тісний лінійний зв'язок, близько до 0 — лінійного зв'язку немає. Два застереження:
r ловить лише лінійні зв'язки. U-подібна залежність може мати r≈0.
r2 показує частку мінливості, яку зв'язок «пояснює». r=0,3 звучить солідно, але r2=0,09: 91 % мінливості пояснює щось інше.
І звісно, навіть r=0,95 нічого не каже про те, куди спрямована стрілка і чи є вона взагалі.
Як перевірити причинність
Проведіть рандомізований експеримент
A/B-тест — найчистіший інструмент, бо рандомізація знешкоджує всі конфаундери одразу. Хто отримає зміну, вирішує випадок, а не користувач, тож лояльні й нові клієнти, активні й пасивні користувачі і будь-які приховані чинники розподіляються між групами рівномірно. Тоді різницю в результатах спричиняє саме зміна — плюс шум, який статистика вміє виміряти.
Змусити користувачів скористатися функцією часто неможливо, але можна рандомізувати запрошення. Для автодоставки Котокорм може показувати пропозицію на чекауті випадковій половині клієнтів і порівняти утримання через пів року між половинами — незалежно від того, хто насправді підключився. Такий дизайн іноді називають дизайном заохочення (encouragement design): він вимірює ефект від просування функції, а саме це й зробила б запропонована кампанія зі спливними вікнами.
Шукайте природний експеримент, коли рандомізувати не можна
Якщо повноцінний тест неможливий, шукайте ситуації, де користувачів на групи поділило щось поза їхнім контролем:
Поетапний запуск (метод різниці різниць). Котокорм запустив доставку в день замовлення в Києві, але не у Львові. За ті самі тижні щотижневі замовлення в Києві зросли з 1 000 до 1 150 (+15 %), а у Львові — з 800 до 880 (+10 %). Якби Київ ріс як Львів, він мав би близько 1 100 замовлень. Додаткові ~50 замовлень на тиждень, приблизно на 4,5 % більше за цей рівень, — розумна оцінка ефекту доставки в день замовлення. Ключове припущення: без запуску обидва міста рухалися б паралельно. Перевірте його, порівнявши їхні тренди за попередні місяці.
Пороги (регресійний розрив). Безкоштовна доставка починається від 30 доларів. Клієнти з кошиком на 29 і на 31 долар майже однакові, крім плати за доставку, тож порівняння поведінки трохи нижче й трохи вище порога показує саме його ефект.
Збої та аварії. День, коли рекомендації випадково не працювали, — це незапланований тест того, скільки вони насправді дають.
Географічні контрольні групи для маркетингу. Призупиніть кампанію в кількох випадково обраних регіонах і порівняйте їх з рештою. Це один із найпрактичніших способів з'ясувати, чи реклама справді створює продажі, чи лише приписує собі ті, що сталися б і так.
Враховуйте те, що можна виміряти, і чесно кажіть про решту
Регресія та сегментація, як-от поділ за лояльністю вище, дають змогу скоригувати результат на конфаундери, про які ви знаєте і які виміряли. Це набагато краще за сире порівняння, але не враховує тих чинників, про які ви не подумали. Сприймайте такі результати як сильніший доказ, а не як доведення.
Чекліст, перш ніж заявляти «X впливає на Y»
Хто сам обирав, у яку групу потрапити, і чим ці люди можуть відрізнятися ще?
Чи є правдоподібний третій чинник (намір, сезон, канал, тариф), що стоїть за обома метриками?
Чи може стрілка вказувати в протилежний бік?
Чи не дивитеся ви лише на тих, хто «вижив» і тому потрапив у дані?
Чи зберігається ефект усередині сегментів, а не лише загалом?
Чи можна це перевірити: A/B-тестом, дизайном заохочення чи природним експериментом?
Головне
Кореляція — це спільний рух двох метрик; причинність — коли зміна однієї змінює іншу.
У продуктових даних користувачі самі обирають функції, тож конфаундери і зміщення вибірки трапляються на кожному кроці.
Пам'ятайте про зворотну причинність: по допомогу йдуть ті, в кого проблеми, а в активних користувачів просто накопичується більше всього.
Рандомізований експеримент — золотий стандарт, бо рандомізація врівноважує всі конфаундери, зокрема й невідомі.
Коли рандомізувати не можна, використовуйте природні експерименти (поетапні запуски, пороги, географічні контрольні групи) і чесно називайте їхні припущення.
FAQ
У чому різниця між кореляцією і причинністю?
Кореляція вимірює, наскільки дві змінні рухаються разом. Причинність означає, що зміна однієї змінної викликає зміну іншої. Дві метрики можуть сильно корелювати, бо обидві залежать від третього чинника, бо вплив іде у зворотний бік або просто випадково.
Чи може кореляція свідчити про причинність?
Сама по собі — ні. Кореляція стає доказом причинності, коли виключено альтернативні пояснення: причина передує наслідку, конфаундери враховано або знешкоджено рандомізацією, а результат відтворюється. Найпряміший шлях до цього — рандомізований експеримент.
Що таке змішувальний чинник у продуктовій аналітиці?
Це чинник, що впливає і на те, що ви вважаєте причиною, і на результат. Класичний приклад — залученість: залучені користувачі частіше пробують нові функції і краще утримуються, тож у сирих даних майже будь-яка функція виглядає так, ніби вона «тягне утримання».
Як довести, що функція покращує утримання?
Рандомізуйте доступ до функції або пропозицію, яка запрошує нею скористатися, і порівняйте утримання між рандомізованими групами. Якщо це неможливо, запустіть функцію поетапно і порівняйте зміну в часі з групою, яка її ще не отримала.
Спробуйте на практиці
Безкоштовний урок Кореляція не означає причинності на даних Котокорму про рекламні витрати й замовлення показує, як правильно виміряти зв'язок, а потім розібрати його по кісточках. У ньому є тести й завдання з перевіркою ШІ. Коли захочете враховувати кілька чинників одночасно, переходьте до уроку Множинна регресія. Обидва уроки — частина безкоштовного курсу «Статистика для продакт-менеджерів і маркетологів».
