перенавчання (overfitting)
Підгонка правила, доки воно ідеально пасує до минулих даних, через що воно блищить там і підводить на нових цінах.
Перенавчання (overfitting) — це надмірна підгонка правила під минулі дані, коли випадкові коливання сприймаються як закономірність. Тоді правило може чудово виглядати на даних, за якими його створили, і не працювати на нових спостереженнях.
Таке часто трапляється, коли випробовують багато налаштувань і залишають лише найкращий історичний результат. Дрібні особливості одного періоду стають прихованими умовами правила, хоча можуть більше не повторитися.
Окремий, не використаний раніше період даних допоможе виявити проблему, але не гарантує успіху надалі. До складного правила з ідеальним бектестом слід ставитися обережно.
Приклад
Nora перевіряє 20 версій правила на 40 вигаданих днях Spark Coin. Випадково одна версія виграє 30 разів і програє 10; середній виграш — $2, збиток — $3.
Розрахунок: 30 × $2 = $60 виграшів; 10 × $3 = $30 збитків; підсумок до витрат = $30. Але в наступні 20 днів ця версія виграє 8 разів і програє 12: 8 × $2 − 12 × $3 = $16 − $36 = −$20 до витрат. Перший результат міг виникнути через випадковість і підгонку, а не стійку закономірність.
Типові помилки
- Перевіряти багато налаштувань і показувати лише найкраще.
- Знову використовувати тестові дані для підлаштування правила.
- Плутати точну відповідність минулим цінам із доказом щодо майбутніх цін.
- Більшість людей, які торгують, втрачають гроші.
Вивчити в курсі
- Основи бектесту та його пастки · Перевірте правило на минулих цінах і побачте пастки: один вдалий період, задній розум, забагато підгонки і зниклі невдачі.