Кейс тестування ціни: ціна чи paywall?

Ціновому тесту потрібна основна метрика, яка бачить обидві сторони обміну, що його робить підвищення ціни: кількох втрачених покупців за більше грошей від кожного. Як пояснює урок План A/B-тесту: гіпотеза, метрика, guardrail-метрики, рішення ухвалює одна метрика, а решта її стережуть.

• Конверсія в оплату бачить лише втрату: вища ціна, як очікується, її знижує, тож падіння ще не означає провалу.
• Дохід на платного користувача бачить лише виграш: він росте майже автоматично, бо той самий план коштує більше, і ігнорує всіх, хто пішов.
• Старти тріалів не бачать нічого з цього: вони міряють інтерес, а не гроші.

Дохід на користувача, який бачив ціну (тут — дохід від перших оплат на глядача paywall), поєднує обидві: менше платників, помножене на більше від кожного, поділене на всіх, хто бачив ціну. Саме цю метрику Halves записав перед червневим тестом.

Конверсія в оплату й старти тріалів усе одно важливі — як запобіжні метрики: вони показують, як рухалася основна метрика, і попереджають про шкоду, яку дохід ховає, наприклад менше майбутніх передплатників. Обирай все це до запуску разом із правилом рішення, щоб результат не міг потім сам обрати собі метрику.

Коли планів більше одного, дохід на глядача треба скласти з кожного плану за його ціною й лише потім ділити:

дохід на глядача = (місячні платники × місячна ціна + річні платники × річна ціна) ÷ глядачі paywall

Червневий ціновий тест Halves, група з вищою ціною: 166 місячних платників по 5,99 дол. і 62 річні по 47,99 дол., 2 988 глядачів. Дохід 994,34 + 2 975,38 = 3 969,72 дол., на глядача 1,3286 дол. Контроль: 187 × 4,99 + 74 × 39,99 = 3 892,39 дол., на глядача 1,2923 дол.

Важать три деталі:

• знаменник — усі глядачі групи, зокрема ті, хто так і не заплатив, бо рандомізація відбулася на paywall;
• річні плани приходять одним великим платежем, тож кілька річних покупців сильно зсувають суму: у контролі це 28% платників, але 76% доходу від перших оплат;
• «перша оплата» означає, що метрика зупиняється до будь-якого продовження, і це треба писати поруч із числом.

Тримай чотири знаки після коми до порівняння груп: різниця між ними — лише близько чотирьох центів.

Результат тесту має три частини, і всі три входять у прочитання: ефект (тестова група − контроль), його 95% інтервал і правило рішення, записане до запуску.

Ціновий тест Halves: ефект на дохід на глядача +0,036 дол. (+2,8% відносного приросту), інтервал від −0,30 до +0,37 дол. Відносно контрольних 1,29 дол. цей інтервал іде приблизно від 23% втрат до 29% виграшу. Правило було «підвищувати ціни, лише якщо весь інтервал вище нуля», тож правило не виконано.

Що це не означає:

• не «підвищення ціни спрацювало»: +2,8% — це точкова оцінка, а дані так само добре узгоджуються з великою втратою;
• не «майже значуще»: такої категорії немає, а фраза ще й припускає напрям;
• не «ефекту немає»: тест просто не зміг відрізнити кілька відсотків від нуля. Річні плани приходять шматками по 40 дол., тож дохід на глядача шумний, а приблизно 3 000 глядачів на групу недостатньо.

Чесний підсумок: ефект, інтервал, правило не виконано, і тест не мав потужності, щоб виявити ефект того розміру, який важить.

Непевний тест — це інформація для кращого тесту, а не привід далі за ним стежити. Тримати його й перевіряти кожні кілька днів, поки інтервал не відірветься від нуля, — це підглядання (peeking), яке пояснює урок Наскільки великий і наскільки довгий: повторні погляди роблять хибну перемогу значно ймовірнішою за 5%.

Три кроки перетворюють його на кращий тест:

1. Обери найменший ефект, заради якого варто діяти (мінімальний ефект, що виявляється, MDE), наприклад виграш, який виправдовує ризик зміни ціни.
2. Розрахуй розмір тесту під нього: скільки глядачів на групу дають достатню потужність, щоб виявити цей MDE з урахуванням шуму метрики. Шумна метрика на кшталт доходу на глядача потребує значно більше глядачів, ніж конверсія.
3. Зафіксуй тривалість заздалегідь, цілими тижнями, і прочитай результат один раз, наприкінці, за правилом.

Якщо тест такого розміру для Halves неможливий, так і скажи: тоді рішення про ціну спирається на судження, і записка має це сказати.

Підвищення ціни свідомо втрачає частину покупців. Питання — скільки воно може втратити, перш ніж дохід на глядача впаде. Дохід на глядача = конверсія в оплату × дохід на платника. Якщо кожна ціна зростає в ту саму кількість разів, а структура планів не змінюється, дохід на платника зростає так само, тож:

конверсія беззбитковості = поточна конверсія ÷ коефіцієнт ціни

Halves: контроль сконвертував 261 з 3 012 глядачів, 8,67%. Ціни +20%, коефіцієнт 1,2: беззбитковість = 8,67% ÷ 1,2 = 7,22%. Вище 7,22% вища ціна заробляє більше на глядача, нижче — менше.

Для зниження ціни та сама формула дає конверсію, потрібну для беззбитковості, і вона вища за поточну.

Два застереження. Формула припускає ту саму структуру планів; якщо більше покупців перейде на річний план, дешевший у перерахунку на місяць, дохід на платника зросте менше ніж на 20%. І порівняти спостережену конверсію (7,63%) з беззбитковістю недостатньо: її інтервал, від −2,42 до +0,35 пункту відносно контролю, сягає нижче 7,22%.

Конверсія в оплату в Halves проходить два кроки, і кожен може по-різному реагувати на ціну:

конверсія в оплату = частка стартів тріалу (тріали ÷ глядачі) × конверсія з тріалу в оплату (платники ÷ тріали)

У червневому ціновому тесті:

• контроль: 548 ÷ 3 012 = 18,19% почали тріал, 261 ÷ 548 = 47,63% тріалів заплатили, разом 8,67%;
• вища ціна: 509 ÷ 2 988 = 17,03% почали тріал, 228 ÷ 509 = 44,79% заплатили, разом 7,63%.

Обидва кроки трохи впали: вища ціна відлякала частину людей на paywall і ще кількох наприкінці тріалу, коли списуються гроші з картки. Тому старти тріалів і конверсія в оплату тут — запобіжні метрики: вони показують, де загубилися покупці, а падіння конверсії з тріалу — рання підказка про чутливість до ціни, яку пізніше можуть показати й продовження.

Читай запобіжні метрики так само, як основну, — як різниці з інтервалами. Показники кроків у кожній групі спираються на кількасот тріалів, тож різниця в кілька пунктів може бути шумом.

Рандомізований тест і порівняння «до і після» — різні види доказів, і важать вони по-різному. Дві ідеї Maya мають по одному з них.

Ціновий тест був рандомізований: глядачів розподілили між групами випадково, тож групи різняться лише ціною й шумом. Його різниця — це оцінка ефекту ціни, хай і непевна. Слабкість тесту — точність: інтервал надто широкий, щоб діяти.

Для редизайну paywall є лише порівняння «до і після»: конверсія з paywall у тріал 13,39% у квітні, 16,79% у червні. Між цими місяцями змінилося майже все інше: сезон поїздок, частка тригера валюти серед глядачів (11,79% → 39,35%), аудиторія. За квітневої структури тригерів (вирівнювання з уроку Як рахувати ARPU і ARPPU) червень конвертує на 12,71%, нижче за квітень. Порівняння «до і після» не відокремлює дизайн від сезону, хоч яким великим був би стрибок.

Тож слабкий тест усе одно кращий за переконливий графік, коли треба відрізнити причину від збігу, а чесний наступний крок для paywall — власний тест. Жоден із доказів нічого не каже про продовження підписок, до яких ціновий тест не дійшов.

Червневий ціновий тест міряв дохід від перших оплат на глядача, прочитаний 5 липня, коли всі тріали завершилися. Це чиста й рання метрика, але вона зупиняється на першому списанні. У підписці більшість грошей приходить пізніше, і зміна ціни може зсунути їх у будь-який бік:

• місячні передплатники за 5,99 дол. можуть скасовувати раніше, ніж за 4,99 дол., тож виграш на першій оплаті може зменшитися чи розвернутися за рік;
• річні покупці за 47,99 дол. продовжують лише через дванадцять місяців, тож їхні продовження рік лишаються невидимими.

Тож навіть чітка перемога підтримала б «вища ціна збільшує дохід від перших оплат», а не «вона збільшує дохід за весь час». Плануй продовження: тримай групи окремо й порівнюй продовження та накопичений валовий прибуток на глядача на місяцях 1, 3 і 6. Для рішення, яке так дорого скасувати, як ціну, це спостереження — частина рішення.

Як це складається докупи: недостатньо потужний ціновий тест, графік paywall зі змішаними причинами й метрика, що зупиняється на першій оплаті, — жодну зі змін ще не доведено. Кажи, що підтримує кожен доказ і який тест наступний. Модуль 7 відповів, чи заробляє Halves на Plus; наступний модуль питає, як він зростає.