Основи бектесту та його пастки

Бектест (backtest) проганяє записане правило на минулих цінах так, ніби за ним уже тоді торгували: кожен вхід, кожен вихід, кожна витрата. Він дешевий, потребує лише таблиці цін і є першим чесним поглядом на правило, яке пройшло тест на перевірюваність з уроку «Торговий план на одній сторінці».

Чесним його роблять дві звички. Проганяй правило на всіх цінах, які маєш, а не на відрізку, що подобається. І враховуй витрати в кожній угоді, бо правило, яке трохи виграє на угоді, після витрат може програвати.

Правило Nora на Bluefin Energy показує обидві. Її 9 угод у лютому–квітні дали +1 233 після витрат. Усі 20 угод із січня по вересень дали −57: до витрат лише +23, а 20 входів і виходів по 4,00 коштували 80.

За кожним результатом бектесту йде одне питання: що може бути не так із цією перевіркою? Гарне число — це початок перевірки, а не її кінець.

Угоди поза тестовим вікном Nora розповідають решту історії. Угода 1 (+160) і угода 11 (+62) стоять одразу перед підйомом і одразу після нього. Угоди 12–20, з травня по вересень, усі збиткові: від −50 до −259. Разом 11 угод поза вікном дають −1 290.

У травні правило не змінилося. Змінився ринок. Після квітня тренд Bluefin закінчується, і ціна ходить убік: заходить на новий 10-денний максимум, а потім його віддає, як хибні пробої з уроку «Підтримка, опір і пробої» (модуль 5). Правило, що купує кожен новий максимум, купує кожен такий стрибок на вершині.

Зверни увагу й на кількість. На всьому ряді 20 угод. Менше ніж 30 — замало, щоб довіряти результатові, хоч доброму, хоч поганому, тож навіть −57 не вирок. Він лише каже, що +1 233 у вікні дав тренд, а не правило.

Перша пастка — перевірити правило на одному відрізку, який випадково йому пасує. З 3 лютого до 18 квітня Bluefin виросла приблизно з 40 до 56. На стабільному зростанні виграє майже будь-яке правило «купуй»: на новому максимумі, на просіданні, по понеділках. Тоді перевірка вимірює тренд, а не правило.

Правило, що йде за трендом, і діапазон (range) погано поєднуються, а на кожному ринку є і те, і те. Тож чесна перевірка охоплює кілька типів ринку: зростання, падіння й боковий рух, як в уроці «Тренд і діапазон» (модуль 5). Якщо правило заробляє лише в одному з них, запиши це як його межу; це корисне знання, а не провал.

Швидка перевірка для будь-якого тесту: що робила ціна в тестовому вікні? Якщо відповідь «весь час росла», результат мало що каже про правило купівлі.

Задній розум (hindsight) — це вибір способу перевірки, коли відповідь уже відома. Nora вибрала лютий–квітень, «бо там графік виглядав гарно». А гарно він виглядав, бо ціна росла, тож перевірку визначив той самий результат, який вона мала перевірити.

Ліки — трохи дисципліни до того, як дивитися:

• обери період заздалегідь, наприклад «увесь 2025 рік», і використовуй його весь, разом із боковими місяцями;
• поділи його: будуй й налаштовуй правило лише на першій частині;
• останню частину не чіпай і прогони на ній готове правило один раз, як фінальну перевірку.

Недоторкана частина працює, лише поки її не торкаються. Подивилися, підкрутили, прогнали знову — і вона стала ще однією підігнаною частиною.

Витрати, ціни виконання й кількість угод — окремі перевірки; жодна з них не лагодить період, вибраний заднім розумом.

Перенавчання (overfitting) — це підкручування правила, доки воно не пасуватиме до одного конкретного минулого, разом із шумом. Звичний шлях: спробувати багато версій на тих самих цінах і лишити найкращу. Nora перебрала всі періоди від 5 до 20 днів; версія з 5 днями дала +1 907, а її початкова з 10 днями — −57.

Найкраще з багатьох — частково везіння. Якщо версій досить, одна завжди виглядатиме чудово на будь-якому ряді цін, бо випадково збігається з його випадковими коливаннями. Ці коливання не повторяться.

Ознаки, на які варто зважати:

• спробували багато версій, показують лише переможця;
• дуже точні налаштування («5 днів, стоп 2,3 %, лише у вівторки»);
• більшість прибутку з одного короткого відрізка.

Прості правила з кількома налаштуваннями перенавчаються менше. А чесний крок після будь-якого перебору — той самий, що й проти заднього розуму: один раз прогнати обрану версію на цінах, яких ніхто не бачив. Якщо там вона розвалюється, її підігнали, а не знайшли.

Коли тобі показують найкращу з багатьох версій, попроси решту списку. У таблиці Nora 16 періодів на тих самих цінах Bluefin і з тими самими витратами. Найкращий, 5 днів, дав +1 907. Середнє всіх 16 — 6 023 ÷ 16 ≈ 376, а середина списку — близько +148.

Тож переможець приблизно вп'ятеро більший за типову версію. Цей розрив — та частина +1 907, яку варто очікувати втратити на нових цінах: вона походить з підгонки під коливання цього року, а не з ідеї.

Важить і форма таблиці. Результати плавно падають від 5 днів до 10, а далі майже не змінюються. Це каже, що короткі періоди здебільшого захопили більше того самого підйому в лютому–квітні — пастки одного вдалого періоду в новій формі.

Чесний підсумок перебору показує типовий результат і розкид, а не верхній рядок.

Остання пастка ховається в чужих перевірках. Допис на форумі перелічує «десять правил, що п'ять років обігрували ринок». Які правила могли потрапити до списку? Лише ті, що досі працюють. Правила, що «вибухнули», тихо прибрали, тож список показує тих, хто вижив, і видає їх за типових.

Це упередження виживання (survivorship bias): ти бачиш лише те, що вижило. Так само працюють списки «найкращих фондів десятиліття»: фонди, що закрилися, просто зникають із таблиці, і середнє виглядає кращим за реальний результат будь-кого. Часто той, хто ділиться списком, навіть не знає, що невдачі зникли.

Питання, яке це виправляє: скільки було на старті, а не лише скільки лишилося? Десять переможців із десяти — вражає; десять із п'ятисот — саме стільки дало б саме везіння.

Разом з одним вдалим періодом, заднім розумом, перенавчанням і замалою кількістю угод це п'ять способів, якими тест виглядає кращим за саме правило.

У бектесті кожен ордер виконується точно за ціною з таблиці. Справжні — ні: ринкові й стоп-ордери трохи прослизають, а ранковий розрив ціни може відкритися одразу за стопом, як показали прослизання й розриви з модулів 1 і 3. Тож реальний результат зазвичай трохи гірший за бектест, тож досвідчені трейдери, як-от Marc, зменшують кожен результат, перш ніж йому довіряти.

Це завершує питання, що йдуть за кожним результатом бектесту:

• витрати враховано? увесь період, обраний заздалегідь?
• скільки версій спробували? один прогін на небачених цінах?
• щонайменше 30 угод? чи не бракує невдач?
• ціни виконання, які справді можна отримати?

Правило, що пройшло все це, не доведене — лише ще не спростоване. Минуле не обіцяє майбутнього.

Як це складається докупи: бектест — дешевий доказ, і кожна пастка робить його кращим за правило. Правило, що пройшло чекліст, заслуговує на наступний крок: малими угодами на демо-рахунку, із записом кожної угоди в журнал.