Кейс: перший місяць проти критеріїв успіху

Підсумковий звіт називає дві половини успіху окремо, бо відповіді в них можуть бути протилежні. Виконання питає, чи зробила команда обіцяне; результат — чи досягло це того, заради чого був проєкт.

У Klasna 1 березня виконання є: фізика відкрилася 1 лютого, з дев’ятьма репетиторами, які пройшли демоурок, і витратами 586 300 грн проти стелі 600 000, на 13 700 менше. Результату немає: 21 + 14 + 12 + 11 = 58 пакетів до 28 лютого проти цілі в 120. Це 58 ÷ 120 = 48,33 % цілі, розрив — 62 пакети.

Змішування половин шкодить в обидва боки. «Ми відкрилися вчасно, отже, спрацювало» ховає результат. «Бронювань удвічі менше за ціль, отже, проєкт провалився» перекреслює виконання, якого команда справді досягла, і вказує не на тих людей. Окремо подані, вони кажуть Leo, якій половині потрібна увага: не тому, як вели проєкт, а шляху від відвідування до покупки, яким іде решта цього кейсу.

Коли результат не дотягує, пройди воронкою крок за кроком і порівняй реальну частку кожного кроку з припущенням, яке використав план. Ціль плану збудовано з цих припущень, тож розрив сидить в одному чи кількох із них.

У Klasna грудневий план припускав 2 500 відвідувань, 40 % відвідувачів, які починають діагностичний тест, 75 % тих, хто почав, що його завершують, і 16 % тих, хто завершив, що купують: 120 пакетів. Реальні лютневі числа: 2 620 відвідувань (за планом), 1 060 розпочатих тестів (40,46 %, за планом), 472 завершених. Завершення — 472 ÷ 1 060 = 44,53 % проти 75 %: перше велике протікання.

Потім подивися на крок, що протікає, тиждень за тижнем. Якщо частка стрибає, це може бути збій тижня запуску. У Klasna завершення щотижня тримається між приблизно 44 % і 46 %, тож проблема вбудована в тест, а не випадкова. Цей прохід ще й знімає звичного підозрюваного: хтось звинуватить рекламу, але трафік був вищим за план. Питання не в тому, хто провалився, а в тому, яке припущення виправила реальність.

Воронка може протікати не в одному місці, тож іди далі й після першого розриву. Наступний крок — покупка: скільки з родин, які завершили тест, купили?

У Klasna план припускав, що купуватимуть 16 % тих, хто завершив. У лютому завершили 472, а купили 21 + 14 + 12 + 11 = 58, тож частка покупок — 58 ÷ 472 = 12,29 %. Це друге протікання, менше за завершення, але реальне.

Кожне протікання заслуговує на окремий рядок у звіті, бо кожне вказує на інше виправлення. Проблема завершення живе в самому тесті: його довжина, поведінка на телефоні, що буває, коли зникає зв’язок. Проблема покупки живе після нього: як пояснено результат, ціни пакетів, крок бронювання. Якщо злити їх у «низька конверсія», ця різниця губиться.

Зверни увагу й на знаменник. Частку покупок міряють від тих, хто завершив (472), а не від тих, хто почав, чи відвідувачів; частка від неправильної бази звинуватила б крок покупки в родинах, які до нього не дійшли.

Дані воронки кажуть, де люди відпадають. Чому — кажуть рідко. Добрий висновок називає лише те, що підтримують числа, а решту позначає як гіпотези для перевірки.

У Klasna лютневі дані підтримують три висновки. Початки тесту відповідали плану (40,46 % проти 40 %). Завершення тесту — найбільше протікання, і найгірше воно на телефонах: телефони дають близько двох третин початків (720 з 1 060), і лише 252 ÷ 720 = 35 % завершують там, проти 220 ÷ 340 = 64,71 % на комп’ютерах. А крок покупки після тесту теж нижчий за план (12,29 % проти 16 %).

Чого вони не підтримують: що головною проблемою був трафік (відвідувань більше за план) чи що баг із розривом зв’язку, прийнятий під час передачі, — та сама причина. Цей баг — одна гіпотеза; 20-хвилинний тест на малому екрані — інша. Найдешевший спосіб їх розрізнити — подивитися, як п’ятеро батьків проходять тест на власних телефонах, ще до будь-якого виправлення. Виправлення не тієї причини коштує місяць і лишає протікання на місці.

Щоб вирішити, яке протікання виправляти першим, оціни розмір кожного: перерахуй результат так, ніби лише цей крок відповідав плану, а всі інші лишилися такими, якими були насправді.

У Klasna, якби завершення було запланованими 75 %: 1 060 початків × 0,75 = 795 завершень, помножені на реальну частку покупок 58 ÷ 472, дають 795 × 58 ÷ 472 = 97,69, тобто близько 98 пакетів. Якби натомість лише крок покупки відповідав своїм 16 %: 472 × 0,16 = 75,52, тобто близько 76. Проти реальних 58 виправлення завершення варте близько 40 пакетів на місяць, виправлення покупки — близько 18.

«Що, якби» навмисно змінює один крок за раз. Виправлення обох одразу множилося б, і це число спокушало б звіт його пообіцяти; чесна версія показує розмір кожного важеля окремо й дає планові вибрати.

Розміри ще й пояснюють, чому більше реклами — слабка відповідь: трафік уже був за планом, і кожне додаткове відвідування тече в той самий тест, що протікає. Найбільший важіль — крок із найбільшим розривом.

Число таке добре, як і група, яку воно охоплює. Перш ніж подавати частку, перевір її знаменник: кого вже можна було порахувати?

У Klasna відвідуваність на четвертому тижні виглядає як 71 %, трохи нижче цілі «троє з чотирьох». Але учень починає заняття в тиждень покупки, тож до 28 лютого четвертий тиждень завершили лише покупці першого тижня, 21 учень; із них ходять 15: 15 ÷ 21 = 71,43 %. Інші 37 покупців до четвертого тижня ще не дійшли, і рахувати їх такими, що кинули, не можна. Ділити 15 на всіх 58 (25,86 %) — помилка саме тому.

При 21 учні одна людина зсуває показник приблизно на п’ять пунктів: 16 ÷ 21 = 76,19 %, і це вже прохідний рівень. Тож число поки ні «так», ні «ні». Звіт подає його як раннє: «71 % (15 із 21 покупця першого тижня), повторна перевірка 28 березня для всіх 58». Назвати ціль пропущеною — значить прийняти шум за вирок; не показувати число, доки воно не стане гарним, — значить його сховати.

Підсумковий звіт також перелічує ризики, передані операційній команді, кожен із власником. Це вже не завдання проєкту, але ті, хто тепер веде роботу, мають їх бачити.

У Klasna дані про репетиторів показують один такий. Дев’ять репетиторів пропонували 240 слотів на тиждень, 960 за чотири тижні лютого, і провели 272 уроки: 272 ÷ 960 = 28,33 % слотів використано. План давав кожному репетиторові близько 15 учнів; вони отримали в середньому 58 ÷ 9 = 6,44. Репетиторам платять 430 грн за проведений урок з операційного бюджету, тож лютневі виплати разом — 272 × 430 = 116 960 грн, приблизно 12 996 на репетитора за місяць.

Репетитори, які мало заробляють, можуть піти до весняного піку іспитів, саме тоді, коли вони найпотрібніші Klasna. Тепер це операційний ризик, власник — Roman, який веде розклад і виплати. Звіт фіксує його з власником, але не перетворює на завдання проєкту, бо проєкт закривається, а виправлення належить тим, хто буде поруч у квітні.

Підсумковий звіт закінчується рекомендацією, і найчастіший тиск у цей момент — витратити більше, щоб окупилося вже витрачене. Витрачене не голосує. Наступний крок обирають за тим, скільки кожен варіант коштує звідси і що він змінить.

У Klasna Hanna очікує, що Leo спитає, чи більше реклами допоможе окупити 586 300 грн. Воронка відповідає «ні»: трафік був за планом, а найбільше протікання — завершення тесту на телефонах. Кожне додаткове відвідування тече в той самий тест, тож більше реклами дає мало пакетів, тоді як виправлення завершення варте близько 40 пакетів на місяць. Зупинити фізику було б так само неправильно: дані показують протікання, які можна виправити, і раннє число відвідуваності, а не мертвий продукт.

Тож рекомендація — з’ясувати, чому на телефонах кидають тест, подивившись, як його проходять п’ятеро батьків, потім виправити завершення, і лише тоді думати про трафік.

Як це складається докупи: відокрем виконання від результату, пройди воронкою, оціни протікання, познач ранні числа, передай ризики власникам і вирішуй, дивлячись уперед. Так закривається проєкт курсу — від брифу на одну сторінку в жовтні до звіту на одну сторінку в березні.