Статті для продакт-менеджерів і маркетологів на тему «Дизайн A/B-тесту»: прості пояснення, приклади й типові помилки.
9 хв читання
Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
8 хв читання
Скільки має тривати A/B-тест: ділимо потрібну вибірку на щоденний трафік, округлюємо до цілих тижнів і враховуємо ефект новизни та розпродажі.
8 хв читання
Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.
10 хв читання
Як розрахувати розмір вибірки для A/B-тесту: формула, приклад із числами, як статистична потужність і MDE змінюють результат, і безкоштовний калькулятор.
7 хв читання
Що таке кореляція і чому вона не доводить причинність: конфаундери, зворотна причинність, зміщення вибірки і як перевірити ефект експериментом.
