Проверка бэктеста
Красивая кривая капитала ничего не доказывает: её получают, перебирая комбинации, пока одна не сработает. Любительский бэктест от профессионального отличает не результат, а то, что было сделано, чтобы себя не обмануть. Этот модуль — шесть инструментов для этой второй части и три экрана, где они уже есть.
Команда TradingCalculator.Pro · Обновлено · О нас
Начать 7 дней бесплатно →Чему вы научитесь
Четыре смещения, создающие ложное преимущество
Look-ahead: использование информации, которой тогда не было, — закрытия дня для решения в середине сессии. Выживаемость: тестирование только на бумагах, которые ещё торгуются, без обанкротившихся. Data snooping: перебрать тысячу комбинаций и оставить лучшую, которая лучшая случайно. Переобучение: добавлять правила, пока прошлое не сядет идеально — вместе с шумом. Все четыре дают отличные результаты, и ни один не переживает рынок.
В выборке и вне выборки
Откладывается кусок истории — скажем, последние 30 % — и поиск параметров его не касается. Когда лучший набор правил выбран, на нём делается ОДНА оценка. Если заглянуть туда и подкрутить, это уже не вне выборки: кусок стал частью обучения. Результат, существующий только внутри выборки, — описание прошлого, а не прогноз.
Walk-forward: как это торговалось бы на самом деле
Один набор параметров, подогнанный под всю историю, использует знание будущего: в январе вы не знали, какая скользящая сработает в декабре. Walk-forward переоптимизирует по окнам — обучиться на первом, торговать следующее, сдвинуться — то есть так, как было бы в жизни. Важна эффективность: какая доля обучающего преимущества выживает при переносе вперёд. Ниже 0,5 — классический признак подгонки.
Монте-Карло по ПОРЯДКУ сделок
Ваш бэктест показал ОДНУ последовательность сделок, и увиденная просадка зависит от порядка, в котором они выпали. Перетасовка тех же сделок тысячи раз даёт распределение просадок, которые эта система могла бы дать. Смотрите на 95-й перцентиль, а не на среднее: именно он отвечает «сколько я должен быть готов вытерпеть?». Он почти всегда заметно хуже единственной прожитой последовательности.
Сколько сделок нужно
Меньше 30 сделок не говорят ничего. Сто — минимум для решения, двести убеждают, пятьсот дают сильную значимость. И есть скидка, которую почти никто не применяет: КОРРЕЛИРОВАННЫЕ сделки — несколько в одном тренде, в один день, в одном секторе — весят меньше независимой выборки. Триста сильно коррелированных сделок информативнее восьмидесяти независимых не делают. На малых выборках ошибка в пять пунктов в оценке точности может утроить получаемую долю Келли.
Скидка за интенсивность поиска
Проверьте сорок семь комбинаций на полностью случайных данных — лучшая будет выглядеть хорошо. Это арифметика, а не мастерство. Дефлированный Шарп считает, что дал бы поиск того же размера чисто случайно на системе БЕЗ преимущества, и требует, чтобы ваш это превзошёл. Это отличает «мой бэктест дал 40 %» от «мой бэктест дал 40 %, и это больше, чем дала бы удача». Меньше двадцати комбинаций — и сама поправка неточна: пройти её там значит признак, а не доказательство.
Почему опубликованное преимущество перестаёт работать
Самый чистый случай — «pre-FOMC drift»: исследование 2015 года задокументировало, что значительная часть премии рынка акций США зарабатывалась за двадцать четыре часа до объявлений ФРС. Более поздние работы на расширенной выборке находят, что после 2015 года он практически исчез. Дело не в том, что вывод был ложным: публикация его арбитражировала. Поэтому историческое преимущество никогда не гарантирует будущего, и поэтому стоит следить за тем, которым торгуешь: аналитика дневника считает, выходит ли недавнее падение вашей системы за пределы того, что объясняет случай.
