Одинаковое число сделок, разная надёжность: независимость

Вывод: число сделок нужно пересчитать как «число независимых испытаний»

Чем больше сделок в бэктесте, тем легче доверять результату. Но это верно только тогда, когда каждая сделка независима от остальных. Если советник открывает несколько позиций в одно и то же время в одну сторону или если несколько советников по разным инструментам реагируют на одно и то же движение рынка, эффективный размер выборки может оказаться заметно меньше, чем число сделок в отчёте.

Оценивая советники, мы тоже смотрим не на то, «сколько раз он торговал», а на то, «сколько независимых решений было принято». В этой статье собраны сам подход и порядок проверки.

Почему корреляция уменьшает размер выборки

Возможно, одно и то же решение посчитано пять раз

Допустим, советник при каждом сигнале одновременно открывает 5 позиций, и все 5 закрываются на одном и том же движении цены. В отчёте будет 100 сделок, но рынку было «задано» всего 20 решений. 100 бросков монеты и 20 бросков, результат каждого из которых переписан по 5 раз, — это совершенно разная степень защиты от случайности.

В статистике считается, что чем сильнее корреляция между сделками, тем меньше эффективный размер выборки. В простой модели, если число сделок равно n, а средняя корреляция между сделками равна ρ, эффективный размер выборки примерно равен n ÷ (1 + (n − 1) × ρ). При ρ = 0 он равен числу сделок, но стоит ρ стать чуть положительной — и эффективная выборка резко сокращается. Реальная корреляция не бывает ровной и постоянной, поэтому используйте эту формулу лишь как ориентир для понимания масштаба.

«Другой советник» — не обязательно независимый

Эта проблема не ограничивается одним советником. Например, наши MEGAMAX DONCHIAN и DONCHIAN ENGINE в бэктесте на USDJPY H1 за один и тот же период (2017.01.01 - 2026.06.01) показали 629 и 631 сделку, а среднее время удержания — 32:58:21 и 32:42:37. Цифры настолько близки, что естественно предположить: моменты входа и выхода во многом совпадают (сделки мы по одной не сопоставляли, поэтому степень совпадения утверждать не беремся). Если запустить оба советника одновременно, это не будет диверсификацией, подтверждённой 1,260 независимыми сделками.

Основные случаи, нарушающие независимость

В портфельных решениях по нескольким инструментам, таких как ATLAS, качество диверсификации определяется самим сочетанием инструментов. Какая часть из 1193 сделок в бэктесте пришлась на периоды с низкой корреляцией, по одному лишь числу сделок не понять.

Порядок проверки

1. Выгрузите историю исполнений в CSV. Это можно сделать на вкладке «Сделки» в отчёте бэктеста MT5.
2. Сгруппируйте сделки по времени входа. Сделки, открытые на одной свече (для H1 — в один и тот же час) в одну сторону, объединяются в одну группу. Число групп — ориентир «числа независимых решений».
3. Посмотрите на перекрытие сроков удержания. Если среднее время удержания у советника больше интервала между сделками, возможно, он постоянно держит несколько позиций.
4. Пересчитайте по дневному результату. Если взять за одно наблюдение не сделку, а прибыль и убыток за день, и заново посчитать долю прибыльных сделок и PF, завышение из-за одновременных позиций заметно уменьшится.
5. Сравните советники, которые используются вместе. Выложите рядом дневные результаты двух советников и проверьте, не совпадают ли у них прибыльные и убыточные дни.

Базовые принципы проверки мы также собрали в разделе EA и MT5: знания.

Ограничения и предостережения

У всего сказанного выше есть пределы.

• Корреляция не постоянна. Даже инструменты, которые обычно слабо связаны, при резком движении рынка часто идут в одну сторону. Данные спокойного периода могут показывать «независимость», но в самый трудный момент это допущение рушится.
• При агрегации по дням информация тоже теряется. Вы приближаетесь к независимости, но размер выборки уменьшается, и оценивать результат становится трудно уже по другой причине. Единого правильного ответа, по какой единице агрегировать, нет.
• Мы пока не пересчитали все наши советники. Результаты применения описанной здесь процедуры ко всем советникам пока нельзя опубликовать. Показанное число сделок — это количество исполнений в отчёте.
• Проверка независимости не гарантирует прибыли. Она лишь показывает, насколько результат можно объяснить случайностью, и не говорит ничего о будущих результатах.

Итоги

• При одинаковом числе сделок статистическая надёжность падает, если сделки коррелированы
• Одновременные позиции, перекрытие сроков удержания, сильно коррелированные инструменты и совместное использование советников с похожей логикой уменьшают эффективный размер выборки
• «Число независимых решений» можно оценить, сгруппировав сделки по времени входа или пересчитав по дневному результату
• Даже если в спокойное время всё выглядит независимым, при резком движении корреляция может усилиться
• При сочетании нескольких советников судите не по инструментам и названиям, а по тому, не совпадают ли моменты сделок