Довірчий інтервал: формула і похибка

Одне вибіркове середнє — це точкова оцінка: число, яке з замовленнями іншого тижня вийшло б трохи інакшим. Довірчий інтервал (ДІ) додає чесну частину: діапазон правдоподібних значень для справжнього середнього генеральної сукупності.

Підступ — у цих 95%. Вони описують процедуру, а не один конкретний інтервал. Уяви, що все повторюють багато разів: беруть нову випадкову вибірку, будують інтервал так само, знову і знову. Приблизно 95% таких інтервалів міститимуть справжнє середнє, а приблизно 5% його пропустять.

Коли інтервал уже обчислено, скажімо від 48,04 до 51,96 дол., справжнє середнє фіксоване. Воно або всередині, або ні, і ти не знаєш, як саме. Тож коректне формулювання: «ми на 95% впевнені, що інтервал містить справжнє середнє», тобто метод спрацьовує в 95% випадків.

У щоденних звітах цей нюанс рідко змінює рішення. Він важливий, коли інтервал сприймають як гарантію або читають 95% як частку клієнтів усередині.

Кожен довірчий інтервал для середнього починається зі стандартної похибки (SE): наскільки вибіркове середнє зсувалося б від однієї випадкової вибірки до іншої.

SE = s / √n

Тут s — вибіркове стандартне відхилення (наскільки різняться окремі замовлення), а n — кількість замовлень. Якщо s = 20 дол., а n = 400: SE = 20 / √400 = 20 / 20 = 1,00 дол. Окремі замовлення коливаються приблизно на 20 дол., а середнє з 400 таких визначене з точністю приблизно до долара.

Дві речі, на які варто зважати:

• квадратний корінь. Точність росте повільно: учетверо більше замовлень зменшує SE лише вдвічі;
• стандартне відхилення не зменшується з більшою кількістю даних. Воно описує клієнтів, а SE описує твою невизначеність щодо їхнього середнього.

Найчастіша помилка — ділити на n замість √n. З цими числами виходить 20 / 400 = 0,05 дол., тобто SE у двадцять разів менша, і кожен інтервал на її основі здаватиметься значно точнішим, ніж дозволяють дані.

Стандартна похибка показує, наскільки хитається середнє. Щоб перетворити її на інтервал, треба вирішити, наскільки впевненим хочеш бути, і саме це робить критичне значення.

Для 95% інтервалу на основі нормального розподілу критичне значення — приблизно 1,96: близько 95% вибіркових середніх лежать у межах 1,96 стандартної похибки від справжнього середнього. Перемнож їх і отримаєш похибку оцінки:

похибка оцінки = критичне значення × SE

Якщо SE = 2,50 дол.: 1,96 × 2,50 = 4,90 дол. Якщо SE = 1,00 дол., це просто 1,96 дол.

Похибка оцінки — це частина «±» в інтервалі, і саме її варто вголос назвати на зустрічі: «AOV — 50 дол., плюс-мінус приблизно 5 дол.». Це не те саме, що SE. Якщо назвати SE замість похибки оцінки, результат виглядатиме приблизно вдвічі точнішим, ніж він є при 95% довірчому рівні. Тож на слайді пиши похибку оцінки, а SE залиш для розрахунків.

Коли є стандартна похибка і критичне значення, інтервал записують в один рядок:

x̄ ± критичне значення × s / √n

Візьмімо вибірку зі 144 замовлень, де x̄ = 52,40 дол., а s = 24 дол.:

• SE = 24 / √144 = 24 / 12 = 2,00 дол.;
• похибка оцінки = 1,96 × 2,00 = 3,92 дол.;
• інтервал = 52,40 ± 3,92, від 48,48 до 56,32 дол.

Інтервал симетричний: точкова оцінка стоїть рівно посередині, а похибка оцінки — це відстань до кожного краю. Звідси швидка самоперевірка: середнє двох меж має повернути x̄ ((48,48 + 56,32) / 2 = 52,40).

Стеж, що саме віднімаєш. Якщо відняти SE (52,40 − 2,00 = 50,40), вийде межа приблизно 68% інтервалу, а не 95%, і діапазон здаватиметься вдвічі вужчим, ніж має бути. Якщо відняти s (52,40 − 24), розкид окремих замовлень сплутано з невизначеністю середнього. Для 99% замість 1,96 бери 2,576, і межі розійдуться ширше.

Коли довірчий рівень зафіксовано, фіксоване й критичне значення (1,96 для 95%). Єдине, що лишається змінювати, — стандартна похибка, SE = s / √n.

На s ти майже не впливаєш: воно відображає, наскільки різні замовлення клієнтів. Лишається n. Більша випадкова вибірка зменшує SE, а з нею й похибку оцінки.

Через квадратний корінь ціна росте швидко. Якщо s = 15 дол.:

• n = 225 дає SE = 15 / 15 = 1,00 дол. і похибку оцінки ±1,96 дол.;
• n = 900 дає SE = 15 / 30 = 0,50 дол. і похибку оцінки ±0,98 дол.

Учетверо більше замовлень — і лише вдвічі вужчий інтервал. Це варто знати, перш ніж обіцяти стейкхолдерові «точніше число до п'ятниці».

Косметика не допомагає. Округлення 50,00 дол. до 50 дол. не додає певності, а стандартне відхилення замість інтервалу відповідає на інше запитання (наскільки різні замовлення), а не на те, наскільки добре відоме середнє.

Ширина довірчого інтервалу визначається одним виразом: критичне значення × s / √n. Кожна частина тисне в передбачуваний бік:

• обсяг вибірки n: більший n, менша SE, вужчий інтервал;
• довірчий рівень: для 90% критичне значення приблизно 1,645, для 95% — 1,96, для 99% — приблизно 2,576. Нижчий рівень дає вужчий інтервал, але ціною частіших промахів повз справжнє значення;
• мінливість s: більший розкид даних, більша SE, ширший інтервал. Зменшити s за бажанням зазвичай не вийде, хоча чистіша метрика (без замовлень від ботів, з фіксованим вікном часу) іноді допомагає;
• спосіб відбору: у формулі його немає, але формула припускає випадкову вибірку. Підібрана вручну чи «зручна» вибірка може дати охайний вузький інтервал навколо хибного значення.

Тож коли інтервал підозріло вузький, спершу перевір останній пункт. Точність зі зміщеної вибірки гірша за чесний широкий інтервал, бо підштовхує до впевнених хибних рішень.

Кожен довірчий інтервал у цьому курсі будують за тими самими шістьма кроками, хай то середній чек чи коефіцієнт конверсії:

1. Зібрати випадкову вибірку. Усе подальше на цьому тримається.
2. Обчислити точкову оцінку: вибіркове середнє або вибіркову частку.
3. Обчислити стандартну похибку: s / √n для середнього, √(p(1 − p) / n) для частки.
4. Обрати довірчий рівень і знайти його критичне значення: 1,96 для 95%.
5. Помножити критичне значення на SE й отримати похибку оцінки.
6. Додати й відняти похибку оцінки від точкової оцінки.

Для замовлень минулого тижня: x̄ = 50,00 дол., s = 15 дол., n = 225, тож SE = 1,00 дол., похибка оцінки 1,96 × 1,00 = 1,96 дол., а інтервал — від 48,04 до 51,96 дол.

Порядок важливий не просто так: якщо крок 1 провалено, кроки 2–6 однаково дадуть охайні числа, але вони описуватимуть вибрану тобою вибірку, а не клієнтів.

Коефіцієнт конверсії, клікабельність і відтік — це частки: частка людей, які щось зробили. Рецепт інтервалу той самий; змінюється лише стандартна похибка:

SE = √(p(1 − p) / n)

де p — вибіркова частка у вигляді десяткового дробу, а n — кількість людей. s тут не потрібне: для результату «так / ні» розкид випливає із самого p.

Для 2 400 відвідувачів і конверсії 4%: 0,04 × 0,96 = 0,0384; поділене на 2 400 — 0,000016; корінь — 0,004, або 0,4 відсоткового пункту. 95% інтервал: 4% ± 1,96 × 0,4 = 4% ± 0,78 в. п., приблизно від 3,2% до 4,8%.

Дві звички тримають розрахунок чистим. Усередині формули тримай p десятковим дробом і переводь у відсоткові пункти наприкінці. І пам'ятай, що під коренем увесь дріб p(1 − p) / n: якщо ділити на n поза коренем, SE тут зменшиться приблизно в 49 разів. Наступні уроки використовують саме цю SE, щоб порівнювати два коефіцієнти конверсії.

Довірчий інтервал виправдовує місце у звіті, коли не дає людям переоцінювати дрібні зміни. Добрий рядок має три частини: точкову оцінку, діапазон і те, чого цей діапазон стосується.

«Середній чек: 50,00 дол. (95% ДІ 48,04–51,96 дол.)». Усно: «приблизно 50 дол., а справжнє середнє правдоподібно десь від 48 до 52 дол.».

Дві хибні інтерпретації трапляються знову і знову:

• діапазон описує клієнтів. Ні, він описує середнє. Окремі замовлення коливаються зі стандартним відхиленням, тут це 15 дол., тож розмах окремих чеків значно більший;
• перетин вирішує порівняння. Якщо інтервал наступного місяця перетинається з цим, це не доводить, що нічого не змінилося, а якщо ледь не перетинається — це теж не формальна перевірка. Для порівняння двох періодів потрібен критерій для різниці, до нього дійдемо далі в модулі.

Користь практична: коли наступного місяця вийде 49,50 дол., інтервал покаже всім, що це звичайний шум, а не «падіння».