Почему не стоит доверять бэктестам с малым числом сделок

Почему не стоит доверять бэктестам с малым числом сделок

Глядя на бэктест советника, большинство сначала смотрит на профит-фактор или годовую доходность. Но решает, можно ли доверять этим цифрам, количество сделок. Если сделок мало, даже самый эффектный профит-фактор может оказаться простой случайностью.

PF 5.56 при 28 сделках — это может быть просто везение

Рассмотрим конкретный пример. Один трендовый советник для биткоина на D1 (дневном таймфрейме) показал на 8-летней верификации по реальным тикам такие результаты:

• профит-фактор 5.56
• максимальная просадка всего 3.2%
• количество сделок — 28

PF 5.56 — превосходный показатель. Многие на этом месте сразу же увлекаются. Но стоит увидеть, что за 8 лет было всего 28 сделок, как оценка меняется кардинально. Если сделок всего 3-4 в год, то несколько крупных удачных сделок могут кардинально исказить всю статистику. А что если из этих 28 сделок 3 оказались случайными крупными выигрышами? Убери эти три — и преимущество может исчезнуть вовсе.

С другой стороны, трендовый советник для USDJPY за 9.4 года совершил 631 сделку с профит-фактором 1.50 и винрейтом 34.5%. PF выглядит скромно, но 631 сделка убедительно говорит о том, что этот показатель 1.50 — не случайность. Убери из этих 631 сделок даже несколько — результат почти не изменится.

Почему количество сделок так важно — пример с подбрасыванием монеты

Если подбросить монету три раза и три раза выпадет орёл, можно ли сказать, что «эта монета чаще выпадает орлом»? Нет. Три орла подряд у обычной монеты выпадают с вероятностью один к восьми — событие вполне обычное.

То же самое происходит и с советниками. При малом числе сделок невозможно отличить «просто повезло с рынком» от «настоящего преимущества». Чем больше сделок, тем труднее объяснить результат случайностью, и тем выше вероятность, что цифры отражают реальность. В статистике это называется «размером выборки».

Ориентир: сколько сделок нужно для доверия

Строгого порога не существует, но на практике можно ориентироваться на следующее:

Ещё важнее рассматривать это в связке с периодом верификации. Если 500 сделок сконцентрированы в пределах одного года, значит, тест охватывает лишь одну фазу рынка. Считать результат устойчивым можно только тогда, когда 500+ сделок охватывают несколько разных режимов рынка — например, кризис Lehman, коронакризис, период повышения ставок.

Уловки, которыми маскируют малое количество сделок

Продающие страницы используют несколько приёмов, чтобы скрыть малое количество сделок.

• Раздувание чистой прибыли за счёт сложного процента: цифры вроде «+5000%» получаются не за счёт количества сделок, а за счёт умножения сложного процента. Даже при малом числе сделок итоговая прибыль может выглядеть колоссальной.
• Акцент только на профит-факторе: как в примере с PF 5.56 (28 сделок) — количество сделок не указывается, подчёркивается только PF.
• Публикация только годовой доходности: годовая доходность удобна именно тем, что скрывает количество сделок.

Поэтому при просмотре бэктеста всегда ищите количество сделок. Если его не указано — это само по себе тревожный знак.

Проверьте сами

Наш бесплатный советник (пробой Donchian по закрытым барам) — с открытым исходным кодом, проверен на реальных тиках и имеет 631 сделку на истории USDJPY H1. Запустив бэктест самостоятельно, вы сможете своими глазами увидеть количество сделок, профит-фактор и прибыль/убыток по годам. Это отличный практический пример того, как выглядит советник с «большим количеством сделок, охватывающих несколько рыночных фаз» со статистической точки зрения.

Подробнее о Donchian Trend Engine (бесплатный советник)

Для платных продуктов мы применяем тот же стандарт и публикуем количество сделок, период верификации и реальные данные по всем продуктам. Продукты, у которых сделок всего несколько десятков, мы не ставим в число основных, даже если их PF высок.

Итоги

• Надёжность бэктеста определяется количеством сделок (размером выборки)
• PF 1.50 на 631 сделке надёжнее, чем PF 5.56 на 28 сделках
• Ориентир — от 500 сделок и выше, охватывающих несколько рыночных режимов
• Сложный процент, изолированный PF и годовая доходность часто используются для маскировки малого числа сделок
• Относитесь с подозрением к бэктестам, где не указано количество сделок

Похожие статьи: Как читать отчёт бэктеста MT5 · Почему один и тот же советник даёт противоположные результаты на реальных тиках и на OHLC · Как распознать подгонку под кривую (curve fitting)