Торговая гипотеза — проверяемое утверждение о связи наблюдаемых условий с последующим результатом. «После такого рисунка цена обычно растёт» недостаточно: нужны точное определение рисунка, момент его доступности, горизонт измерения и критерий сравнения.
Сначала протокол, затем результат
До расчётов зафиксируйте набор инструментов, период, правила входа и выхода, размер позиции, допустимые данные и модель издержек. Назовите основную метрику и разумный базовый вариант: например, отсутствие сделок или простое правило без исследуемого признака. Список всех испытанных вариантов тоже относится к результатам исследования.
Иначе удачную комбинацию легко выбрать задним числом среди множества неудачных.
Разделение по времени
Учебный пример: 2018–2021 годы используются для разработки, 2022 — для выбора среди заранее перечисленных вариантов, 2023–2024 — для однократной независимой оценки. Это не рекомендуемые даты, а иллюстрация разделения задач.
После просмотра независимого периода и изменения правил этот период перестаёт быть независимым. Новая версия требует нового, ещё не использованного проверочного отрезка.
Случайное перемешивание соседних рыночных наблюдений опасно: одна и та же информация может попасть в обе части. Если результат сделки измеряется через несколько баров, около границы исключают обучающие случаи, чьи интервалы результата пересекаются с проверочными.
Что такое walk-forward
В последовательном тесте модель настраивают только на прошлом, фиксируют и оценивают на следующем отрезке. Затем окно сдвигают. Правила сдвига и перенастройки определяют заранее; результаты проверочных окон объединяют, не выбирая лишь лучшие.
Walk-forward не отменяет переобучение, если десятки его конфигураций сравнивались по одной и той же итоговой истории.
Что должно войти в отчёт
Указывайте чистый результат после издержек, число наблюдений, максимальную просадку, распределение выигрышей и потерь, чувствительность к допущениям исполнения и результаты по различным режимам. Зависимые сделки не становятся независимыми только из-за большого числа строк.
Слабый или неопределённый результат — допустимый итог исследования. Не следует менять критерий успеха после его получения.
Проблема выбора лучшего бэктеста среди многих вариантов рассмотрена в работе Bailey и соавторов — The Probability of Backtest Overfitting. Здесь описан общий исследовательский подход, а не подтверждённая торговая стратегия.