# Кейс: версія чи трафік?

> Чи допомогла нова версія Halves, чи просто змінилися користувачі?

- Курс: [Продуктова аналітика: від даних до рішень](https://productovi.com/uk/courses/product-analytics.md)
- Модуль: Що можна дізнатися без тесту?
- Урок 24/32, ~42 хв
- Джерело: https://productovi.com/uk/courses/product-analytics/did-the-version-help

## Найкращий реліз в історії?

**Alex Tutor:** Нарешті добрі новини в Halves, і Maya хоче додати їх у звіт для ради директорів. Але спершу — до тебе.

**Maya:** 5.2.0 з новим онбордингом вийшла 31 серпня. Утримання нових користувачів на другому тижні зросло з **28,9% у серпні до 39,8% у вересні**. Одинадцять пунктів! Це йде в звіт для ради директорів.

**Theo:** І варто знати: 1 вересня я призупинив кампанію в соцмережах. Літній бюджет закінчився.

**Alex Tutor:** А вересень — сезон переїздів: нові сусіди, нова оренда, яку треба ділити, а літні поїздки згортаються. Три речі змінилися того самого тижня. Тож перевіряємо по черзі: чи чесне число, хто прийшов і що показує порівняння порівнюваного.

![На одній вулиці мандрівники ховають валізи, нові сусіди заносять коробки, а великий білборд закривають чистим полотном.](https://productovi.com/courses/product-analytics/inline/did-the-version-help-illustration-2.webp)

*Одночасно змінилися три речі: реліз, кампанія і сезон.*

**Набір даних (CSV):** [Щотижневі когорти реєстрацій, серпень і вересень](https://productovi.com/datasets/product-analytics/did-the-version-help/halves-autumn-cohorts.csv)

Нові користувачі Halves, тижні з 3 серпня до 21 вересня 2026 року. Версія 5.2.0 з новим онбордингом вийшла 31 серпня. Кожна когорта має повні дні 8–14.

- `signup_week`: Понеділок тижня реєстрації
- `app_version`: Встановлена версія: 5.1.0 у серпні, 5.2.0 з 31 серпня
- `channel`: invite, app_store_search або paid_social
- `first_group_type`: Тип першої групи, до якої долучився користувач: flat, couple або trip
- `new_users`: Нові користувачі в цій клітинці
- `active_days_8_14`: З них відкрили застосунок хоча б в один із днів 8–14

**Sofia:** Правила чесності виконано: нові користувачі за тижнем реєстрації, фіксовані дні 8–14, кожна когорта завершена.

**Alex Tutor:** Добре. Тоді спершу відтвори число Maya «до», щоб переконатися, що ми читаємо ті самі дані.

> **Вправа:** Яка частка нових користувачів **5.1.0** (серпень) була активна на 8–14-й день? У відсотках, до сотих.

## Хто прийшов у вересні

**Maya:** Отже, моє число правильне.

**Alex Tutor:** Число правильне; питання в тому, чого саме це число. Хто ці люди? У серпні 45% нових користувачів прийшли через групу поїздки, а 34% — із соцмереж. Обидві групи утримуються найгірше.

**Sofia:** А у вересні поїздок меншає, а реклама зупинилася. А що з квартирами?

**Alex Tutor:** Перевір.

> **Вправа:** Яка частка нових користувачів **5.2.0** (вересень) мала `flat` як тип першої групи? У відсотках, до сотих. (Серпень: 29,95%.)

## Порівнюване з порівнюваним

**Alex Tutor:** Отже, вересень заповнений тими користувачами, які завжди утримуються найкраще. Тепер порівняймо всередині кожного типу груп.

**Maya:** Квартири: з 41,5% до 44,6%. Це все одно зростання!

> **Вправа:** Яка частка користувачів **`couple` на 5.2.0** була активна на 8–14-й день? У відсотках, до сотих. (Пари на 5.1.0: 38,04%.)

**Alex Tutor:** Подивися на рівень глибше. Вересневі квартири частіше приходили через запрошення, найкращий канал: квартири із запрошень утримуються на рівні 47–50%, з реклами — 30–34%. Сам лише тип групи досі ховає зсув каналів.

![Лупа над групою нових сусідів по квартирі показує, що більшість із них прийшли із конвертами-запрошеннями.](https://productovi.com/courses/product-analytics/inline/did-the-version-help-illustration-3.webp)

*Рівнем глибше видно: вересневі квартири частіше приходили через запрошення.*

**Alex Tutor:** Дай цьому число, перш ніж Maya почне сперечатися: скільки вересневих квартир прийшли із запрошень?

> **Вправа:** Яка частка користувачів **`flat` у вересні (5.2.0)** прийшла через `invite`? У відсотках, з одним знаком після коми. (Квартири в серпні: 38,2%.)

**Alex Tutor:** Одне підсумкове число, як і раніше: ставка вересня в кожній клітинці «канал × тип групи», зважена за структурою серпня. Виходить **28,82%** проти 28,88% у серпні: **−0,06 пункта**.

**Theo:** Як квартири можуть зрости, а загалом нічого не змінитися?

**Alex Tutor:** Бо всередині квартир теж змінилася структура каналів: більше запрошень. Перезважування одночасно за каналом і типом групи виправляє обидва зсуви, клітинка за клітинкою.

**Alex Tutor:** Перевір й з іншого боку: дай серпневим користувачам вересневу структуру.

> **Вправа:** Утримання нових користувачів Halves на другому тижні становило 28,88% у серпні (5.1.0) і 39,79% у вересні (5.2.0). Візьми ставку **серпня** в кожній клітинці «канал × тип групи» і зваж її часткою цієї клітинки серед нових користувачів **вересня**. Яке утримання виходить? У відсотках, з одним знаком після коми.

**Sofia:** Отже, всі одинадцять пунктів — це те, хто реєструвався.

> **Вправа:** Утримання нових користувачів Halves на другому тижні підскочило з 28,9% у серпні до 39,8% у вересні. Версія 5.2.0 з новим онбордингом вийшла 31 серпня; того ж тижня призупинили кампанію в соцмережах і почався сезон переїздів. Що найкраще пояснює стрибок?

## Черга Theo

**Theo:** Тоді це зробила моя пауза! Зупинка реклами підвищила утримання на одинадцять пунктів.

**Alex Tutor:** Вона підвищила **середнє**. Ніхто через неї не став утримуватися краще. А питання до реклами в соцмережах ніколи не стосувалося лише її утримання: важить, скільки її користувачі приносять порівняно з тим, скільки коштують.

**Sofia:** Та сама пастка, інший герой.

![Хтось виймає з кошика найменші яблука; решта виглядає краще, хоча жодне яблуко не виросло.](https://productovi.com/courses/product-analytics/inline/did-the-version-help-illustration-4.webp)

*Якщо прибрати групу, середнє зросте, хоча ніхто не залишився довше.*

**Theo:** Але мої користувачі з реклами у вересні справді утримувалися краще: 28,69% проти 23,32%.

> **Вправа:** **Правда чи ні:** Halves призупинив кампанію в соцмережах 1 вересня. Утримання користувачів із соцмереж на другому тижні зросло з 23,32% у серпні до 28,69% у вересні, отже, користувачі, яких кампанія ще приводила, стали лояльнішими.

**Alex Tutor:** Перш ніж відповісти Theo, обери один рядок для звіту Maya раді: той, який рада запам'ятає.

> **Вправа:** Утримання нових користувачів Halves на другому тижні зросло з 28,9% у серпні до 39,8% у вересні, після виходу версії 5.2.0 з новим онбордингом; перезважене за серпневою структурою «канал × тип групи», вересневе утримання — 28,8%. Який рядок має потрапити у звіт для ради директорів?

> **Вправа:** Утримання нових користувачів Halves на другому тижні зросло з 28,9% у серпні до 39,8% у вересні. Theo, маркетолог з росту, який 1 вересня призупинив кампанію в соцмережах, каже: «Пауза реклами в соцмережах підвищила утримання». Дай йому відповідь у 2–4 реченнях.

## Кейс: звіт для ради директорів

**Maya:** То що мені сказати раді директорів? Я все одно думаю, що онбординг кращий.

**Sofia:** А holdout-група могла б на це відповісти?

**Alex Tutor:** Так. Випадкова частина нових користувачів, залишена на старому онбордингу, проживає той самий вересень, з тими самими квартирами й тією самою паузою реклами. Тоді різниця — це і є онбординг.

**Alex Tutor:** Можливо, трохи. Ці дані не здатні показати малий ефект ні в той, ні в інший бік. Напиши, що вони показують, чого не можуть показати і як ми з'ясуємо це як слід наступного разу.

> **Вправа:** Напиши звіт для ради директорів: 5.2.0 допомогла чи змінився трафік?

**Alex Tutor:** Це весь модуль в одному абзаці: чесно побудувати число, спитати, хто прийшов, порівняти порівнюване й передати причинне питання тесту.

- Попередній урок: [Зміщення відбору: хто робить X, той краще утримується](https://productovi.com/uk/courses/product-analytics/correlation-and-selection.md)
- Наступний урок: [Як рахувати ARPU і ARPPU](https://productovi.com/uk/courses/product-analytics/revenue-metrics.md)

---
Productovi Learning. Безкоштовно, читати можна без реєстрації.