Монте-Карло: измеряем «разброс удачи» в просадке

Вывод: максимальная просадка в бэктесте — это лишь «один прогон»

Максимальная просадка (DD) из отчёта бэктеста — это значение для случая, когда прошлые движения цены случайно выстроились именно в таком порядке. Даже при одинаковом наборе прибыльных и убыточных сделок просадка может оказаться и мелкой, и глубокой — всё зависит от порядка.

Метод Монте-Карло — это многократное перемешивание порядка сделок, чтобы увидеть, в каком диапазоне разбрасывается просадка. Мы рекомендуем при выборе советника смотреть на максимальную просадку из бэктеста не как на одну точку, а как на положение внутри распределения. Впрочем, многого этот метод не показывает. О его ограничениях напишем во второй половине статьи.

Принцип: от перемешивания итог не меняется, меняется только просадка

Что именно меняется при перемешивании

При фиксированном лоте суммарный результат не зависит от порядка сделок. PF и доля прибыльных сделок тоже не меняются. При реинвестировании, когда лот выбирается как постоянная доля капитала, результаты сделок перемножаются, поэтому итоговый баланс также остаётся прежним.

Меняется путь по ходу торговли. Если убытки случайно сойдутся в одну кучу, просадка станет глубже; если прибыли и убытки будут чередоваться, она будет мельче. От порядка зависит и длина серий убытков.

Чем ниже доля прибыльных сделок, тем шире разброс

Например, у ATLAS в бэктесте доля прибыльных сделок составила 33.2%, а максимальная серия убытков — 13. У трендовых систем с низким винрейтом серии убытков возникают легче. После перемешивания вполне возможны комбинации, где серия убытков окажется длиннее зафиксированных в бэктесте 13. Рассуждение «в бэктесте максимум 13 убытков подряд, значит, больше не будет» неверно.

Порядок проверки: как сделать самому

В тестере MT5 нет стандартной функции перемешивания сделок. Поэтому реалистичнее выгрузить список сделок из отчёта и обработать его в таблице или скриптом.

1. Выгрузите из отчёта бэктеста MT5 список прибылей и убытков по закрытым сделкам
2. Случайно перемешайте порядок результатов
3. По новому порядку заново постройте кривую баланса и запишите максимальную просадку и максимальную серию убытков
4. Повторите шаги 2–3 примерно 1 000 раз
5. Отсортируйте записанные значения просадки по возрастанию и посмотрите медиану и значение около верхних 5%
6. Определите, в какой части распределения находится максимальная просадка из бэктеста

Если просадка из бэктеста лежит на «мелкой» стороне распределения, возможно, исторические данные просто сложились в «удачный порядок». В таком случае безопаснее определять размер депозита, ориентируясь на «глубокую» сторону распределения.

Что показывает каждый метод

Одно лишь перемешивание даёт только один итоговый результат. Если нужен ещё и разброс на стороне прибыли, добавьте ресэмплинг.

Ограничения и предостережения: Монте-Карло — не панацея

Предположение о независимости сделок

Перемешивание исходит из того, что сделки никак не связаны друг с другом. В реальном рынке периоды высокой волатильности и бестрендовые периоды приходят блоками. Скопление убытков — это чаще не случайность, а следствие рыночной фазы. При случайной расстановке такая «структура кучности убытков» размывается, и существует риск занизить просадку по сравнению с реальной.

Учитываются только закрытые результаты

Кривая баланса, построенная по списку сделок, не включает плавающий убыток во время удержания позиций. Например, у GOLD KING v6 просадка по балансу в бэктесте составила 7.45%, тогда как эффективная просадка с учётом плавающего убытка — 91.3%. Если перемешивать только закрытые результаты у такого советника, риск будет сильно недооценён. Особенно осторожными будьте с мартингейлом, сеточными советниками и теми, кто держит позиции долго.

То, что вне исходных данных, не видно

Перемешивание — это всего лишь перестановка сделок, которые уже были. Убытки на рынке, которого не было в периоде тестирования (резкая смена правил, исчезновение ликвидности и т. п.), в распределении не появятся, сколько бы раз вы ни повторяли прогон. У советников с малым числом сделок исходная выборка мала, поэтому и само распределение становится ненадёжным.

Гарантии вроде «если взять депозит, выдерживающий просадку из верхних 5%, всё будет в порядке» не существует. Метод показывает лишь «разброс удачи в пределах перестановок прошлых сделок».

Итоги

• Максимальная просадка одного бэктеста — лишь один образец, полученный из одного порядка сделок
• При перемешивании сделок суммарная прибыль, PF и доля прибыльных сделок не меняются, а просадка и длина серий убытков меняются
• Повторите прогон примерно 1 000 раз, постройте распределение просадки и посмотрите, где в нём находится значение из бэктеста
• Чем ниже доля прибыльных сделок у советника, тем легче возникают порядки с серией убытков длиннее, чем в бэктесте
• Концентрация убытков по рыночным фазам, плавающий убыток и рынок вне периода тестирования перемешиванием не улавливаются
• Депозит и лот выбирайте с запасом, ориентируясь на «глубокую» сторону распределения

Максимальные серии убытков, просадки по балансу и эффективные просадки каждого советника собраны в рейтинге по реальным замерам всех советников. Список сделок трендового DONCHIAN ENGINE с долей прибыльных сделок 34.5% — удобный материал для тренировки перемешивания. Другие статьи о методах проверки собраны в разделе Советники и MT5: знания.