# Зміщення відбору: хто робить X, той краще утримується

> Приклад зміщення відбору: кореляція, самовідбір, змішувальний фактор і що можуть, а чого не можуть сказати користувачі фічі.

- Курс: [Продуктова аналітика: від даних до рішень](https://productovi.com/uk/courses/product-analytics.md)
- Модуль: Що можна дізнатися без тесту?
- Урок 23/32, ~30 хв
- Джерело: https://productovi.com/uk/courses/product-analytics/correlation-and-selection

## Кореляція чи причина: слайд, якому хочеться вірити

**Alex Tutor:** Maya помітила в даних Halves обнадійливу закономірність і приносить її тобі, перш ніж вона потрапить у презентацію: чи справді користувачі однієї фічі краще утримуються саме завдяки їй?

**Maya:** Подивися, що я знайшла для презентації Plus. Нові користувачі, які **сканують чек** за перший тиждень, активні на четвертому тижні в **49%** випадків. Усі інші — у **27%**. Просуваймо сканування в онбордингу, і утримання зросте для всіх.

**Theo:** Я б додав це і на сторінку в сторі: «Хто сканує, той лишається довше».

**Alex Tutor:** Числа правильні. Ризикований лише стрибок від «ті, хто сканує, краще утримуються» до «сканування **змушує** людей лишатися». Перше — кореляція. Друге — твердження про причину.

![Люди з розкритими парасолями йдуть мокрою від дощу вулицею під сірими хмарами.](https://productovi.com/courses/product-analytics/inline/correlation-and-selection-illustration-2.webp)

*Парасолі не спричиняють дощ: бути поруч не означає бути причиною.*

**Alex Tutor:** Ще до будь-яких даних розрізни два прочитання. Яке з них два числа Maya підтверджують самі по собі?

> **Вправа:** Нові користувачі Halves, які сканували чек за перший тиждень, були на 49% активні на четвертому тижні, усі інші — на 27%. Яке речення вони **підтверджують у такому вигляді**?

**Sofia:** А що ще може змусити тих, хто сканує, лишатися?

**Alex Tutor:** Спитай, хто сканує. Безкоштовні користувачі мають три сканування на місяць; сканує той, хто платить за вечері й продукти. Ось реєстрації квітня–травня, які додали хоча б одну витрату за перший тиждень, розбиті за кількістю доданих витрат.

**Набір даних (CSV):** [Сканування чеків і утримання на четвертому тижні](https://productovi.com/datasets/product-analytics/correlation-and-selection/halves-receipt-scan.csv)

Нові користувачі Halves квітня–травня 2026 року, які додали хоча б одну витрату в дні 0–6.

- `week1_expenses`: Витрати, додані в дні 0–6: 1, 2_to_4 або 5_plus
- `scanned_receipt_week1`: Сканував хоча б один чек у дні 0–6: yes або no
- `users`: Користувачі в цьому рядку
- `active_days_22_28`: З них відкрили застосунок хоча б в один із днів 22–28

> **Вправа:** Maya, продуктова лідерка Halves, хоче сказати в презентації Plus, що ті, хто сканує чеки, утримуються значно краще. Перевір її розрив: утримання на четвертому тижні тих, хто сканував, мінус утримання тих, хто не сканував, усі групи разом. У відсоткових пунктах, до сотих.

## Самовідбір: хто зрештою сканує

**Alex Tutor:** Тепер подивися на рядки, а не на підсумок. Де опиняються ті, хто сканує?

**Sofia:** Здебільшого в `5_plus`: 303 із 493. Серед тих, хто не сканував, у `5_plus` лише 397 із 2707.

**Alex Tutor:** Отже, ті, хто сканує, уже на першому тижні були найактивнішими. Це **зміщення відбору**, або систематична помилка відбору (selection bias), тут — **самовідбір**: користувачі самі вирішили сканувати, і групи відрізняються тим, хто в кожну потрапив, а не лише скануванням.

![За столиком у кав'ярні один друг із товстою стопкою чеків сканує їх телефоном, а інші, з одним чеком кожен, просто балакають.](https://productovi.com/courses/product-analytics/inline/correlation-and-selection-illustration-3.webp)

*Ті, хто сканує, були найактивнішими платниками в групі ще до сканування.*

**Sofia:** А активні користувачі й так утримуються краще, сканують вони чи ні.

**Alex Tutor:** Так, а слайд порівнює групу, де переважно активні, з групою, де переважно малоактивні. Перевір частку самі.

> **Вправа:** Яка частка тих, хто **сканував**, припадає на групу `5_plus`? У відсотках, до сотих. (Серед тих, хто не сканував, — 14,67%.)

## Змішувальний фактор: порівнюємо однаково активних

**Alex Tutor:** Тож порівнюймо тих, хто сканував, з тими, хто не сканував, але був так само активним: усередині кожної групи. Активність першого тижня тут — **змішувальний фактор (confounding variable)**: вона впливає і на сканування, і на утримання.

![Активність першого тижня впливає і на сканування, і на утримання; серед однаково активних перевага тих, хто сканує, зменшується з 22 пунктів до близько +2,5 п. п.](https://productovi.com/courses/product-analytics/diagrams/m6-l3-confounder-uk.png)

**Maya:** Почни з активних, там більшість тих, хто сканує.

**Sofia:** Однакова активність, різні чеки. Якби саме сканування мало велике значення, розрив мав би зберегтися всередині кожної групи.

> **Вправа:** У групі `5_plus` який розрив в утриманні на четвертому тижні: ті, хто сканував, мінус ті, хто не сканував? У відсоткових пунктах, до сотих.

**Alex Tutor:** У кожній групі два-три пункти, а не 22. Якщо надати тим, хто сканує, таку саму структуру груп, як у тих, хто не сканує, їхнє утримання буде **29,9%** проти 27,4%: близько **+2,5 п. п.**

**Alex Tutor:** А тепер навпаки: дай тим, хто не сканує, активність тих, хто сканує, і подивися, скільки розриву лишиться.

> **Вправа:** У даних Halves про сканування чеків перезваж так, щоб прибрати різницю в активності першого тижня: яким було б утримання на четвертому тижні **тих, хто не сканував**, за **структурою тих, хто сканував** (11,56% у `1`, 26,98% у `2_to_4`, 61,46% у `5_plus`), з їхніми власними частками? У відсотках, з одним знаком після коми.

**Maya:** Тобто сканування нічого не дає?

**Alex Tutor:** Цього теж не можна сказати. Якийсь розрив лишається, але ми ділили лише за однією ознакою. Ті, хто сканує, можуть бути ще й «скарбниками» групи, більше подорожувати чи мати тріал Plus. Спостережні дані не можуть відокремити все це від самого сканування.

**Sofia:** Тобто можна сказати «ті, хто сканує, утримуються краще здебільшого тому, що вони активніші», але не «сканування змушує людей лишатися».

> **Вправа:** Які твердження підтверджують дані про сканування чеків? Вибери усі правильні варіанти.

## Як уникнути зміщення відбору: тестувати те, що запускаєш

**Theo:** Тоді як узагалі дізнатися, чи варто просувати сканування?

**Alex Tutor:** Протестуйте те, що справді запустите: підказку в онбордингу, яка пропонує сканувати. Рандомізуйте, хто її отримує, і порівнюйте **всіх призначених**, сканували вони чи ні. Якщо порівнювати лише тих, хто сканував, зміщення відбору повернеться.

![Рука підкидає монетку над двома однаковими дверима, і кожен новачок іде в ті чи інші.](https://productovi.com/courses/product-analytics/inline/correlation-and-selection-illustration-4.webp)

*Рандомізуй те, що збираєшся випустити, і порівнюй усіх, кому це призначено.*

**Sofia:** І відповідь може бути набагато меншою за 22 пункти.

**Alex Tutor:** Імовірно. Підказка спонукає сканувати лише частину людей, тож її ефект на всіх призначених ще менший. Розраховуй тест на це, а не на слайд.

**Alex Tutor:** Дай грубе число цьому «ще менший», перш ніж хтось розраховуватиме тест.

> **Вправа:** Halves планує рандомізований тест підказки в онбордингу, яка пропонує відсканувати чек. Припустімо, підказка спонукає сканувати **20%** призначених, а сканування справді додає їм **2,5 п. п.** утримання на четвертому тижні. На інших вона не впливає. Якого ефекту тесту варто чекати серед **усіх призначених**? У відсоткових пунктах, з одним знаком після коми.

> **Вправа:** Як найкраще дізнатися, чи **просування** сканування чеків підвищує утримання на четвертому тижні?

**Maya:** Гаразд. Але слайд я все одно хочу. Допоможи сформулювати так, щоб це була правда.

**Alex Tutor:** Скажи, що показують дані, назви зміщення відбору й те, що ти протестуєш. Це сильніший слайд, ніж твердження, яке можна збити одним питанням.

**Sofia:** І лишити 49% і 27%, тільки без стрілки між ними.

> **Вправа:** Перепиши твердження зі слайда Maya, продуктової лідерки Halves, «Сканування чеків підвищує утримання на 22 пункти» у 2–4 реченнях так, щоб воно відповідало даним і було корисним для презентації Plus.

- Попередній урок: [Структура трафіку і сезонність](https://productovi.com/uk/courses/product-analytics/traffic-and-seasons.md)
- Наступний урок: [Кейс: версія чи трафік?](https://productovi.com/uk/courses/product-analytics/did-the-version-help.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.