Параметры выбирают по плато, а не по одному пику

Вывод: выбираем не одну точку с лучшим результатом, а середину устойчивого диапазона

Отсортировать результаты оптимизации по доходности и взять самую верхнюю строку — по нашему убеждению, это кратчайший путь к подгонке под историю (curve fitting).

Мы смотрим не на максимум. Нас интересует, не разваливается ли результат вокруг оптимального значения. Диапазон, в котором результат остаётся плавным при небольшом сдвиге параметра, мы называем «плато», и берём значение из его центральной части. Цифры при этом выглядят скромнее, чем в точке с лучшим результатом, и нас это устраивает.

Почему одиночный пик опасен

В пике есть «случайное попадание»

Оптимизация — это поиск среди сотен и тысяч комбинаций той, что лучше всего подошла прошлым данным. Чем больше попыток, тем выше шанс, что в верхние строки попадёт комбинация, которой просто повезло поймать несколько крупных выигрышных сделок.

Если при сдвиге на соседнее значение результат резко падает, мы считаем, что он держится не на преимуществе стратегии, а на нескольких конкретных сделках.

Рынок не повторяет форму оптимизированного периода

Будущий рынок немного отличается от прошлого и по волатильности, и по периодичности движений. Это похоже на ситуацию, когда вы торгуете с параметрами, слегка смещёнными относительно оптимальных.

Параметры, вокруг которых результат не разваливается, способны поглотить небольшое смещение. У острого пика такого запаса нет.

Почему берём центр

Если выбрать край плато, с одной стороны сразу окажется обрыв. В центре при сдвиге в любую сторону вы всё ещё остаётесь на плато.

Мы выбираем не высоту результата, а расстояние до обрыва.

Порядок проверки: смотрим, как ведёт себя окрестность в MT5

Чек-лист

1. Не делайте шаг слишком грубым. При крупном шаге не отличить плато от изолированной точки. Когда перспективный диапазон найден, повторите запуск с мелким шагом только вокруг него.
2. Выберите два параметра и откройте двумерное отображение. Результаты оптимизации в MT5 можно показать в виде поверхности. Если тёмный цвет занимает целую область — это плато, если закрашена одна клетка — пик.
3. Не судите только по PF. Сравнивайте соседние значения также по числу сделок и просадке. Если PF сохранился, а число сделок резко упало, возможно, стратегия превратилась в другую.
4. Выберите центр диапазона и запишите разницу с максимумом. Зафиксировав, сколько результата вы уступили, вы сможете позже проверить своё решение.
5. Проверьте на периоде, не участвовавшем в оптимизации. Плато — это лишь свойство тех же самых данных. Сохраняется ли форма вне периода, нужно проверять отдельно.

С генетическим алгоритмом нужна осторожность. Поиск концентрируется на перспективных областях, и окрестность может остаться недостаточно проверенной. Надёжнее перепроверить её полным перебором в суженном диапазоне.

Основы работы с MT5 собраны в разделе Знания об EA и MT5.

Что можно сделать пользователю

Ту же проверку можно выполнить и с готовыми EA. Достаточно немного сдвигать основные параметры от значений по умолчанию в обе стороны, прогонять бэктест и смотреть, не рушится ли результат.

Например, DONCHIAN ENGINE по бэктесту показывает PF1.5, 631 сделку и 9.4 года тестирования. Старшая версия MEGAMAX DONCHIAN по бэктесту — PF1.55 и 629 сделок.

Но здесь нужно честно оговориться. Это результаты для одной точки — выбранных параметров, и по этим цифрам нельзя понять, плато ли вокруг. Нешумный PF не доказывает наличие плато. Проверку со сдвигом параметров нельзя заменить опубликованными цифрами.

Фактические результаты бэктестов всех EA собраны в рейтинге по реальным замерам.

Ограничения и предостережения

• Плато не гарантирует будущую прибыль. Даже широкое плато — лишь устойчивость на тех же исторических данных. Если природа рынка изменится, плато может уйти вниз целиком.
• Граница «где кончается плато» субъективна. Если допустимое снижение результата подбирать задним числом под себя, это тоже будет разновидностью подгонки. Критерий нужно определить до оптимизации.
• При большом числе параметров всё не проверить. В двумерной поверхности помещаются только два. Просадки, возникающие из-за взаимодействия трёх и более параметров, можно упустить.
• При малом числе сделок сама форма плато недостоверна. Цвет поверхности меняется от нескольких сделок.
• Мы и сами не можем утверждать, что этого метода достаточно. На форвард-тесте на демо-счёте несколько EA идут в минус. Даже с параметрами, выбранными с оглядкой на плато, убыточных периодов избежать не удалось.

Итоги

• В оптимизации ищите не одну точку с лучшим результатом, а диапазон, вокруг которого результат не разваливается
• Берите центральную часть плато: важнее не высота результата, а расстояние до обрыва
• Сравнивайте соседние значения не только по PF, но и по числу сделок и просадке
• Результаты генетического алгоритма перепроверяйте полным перебором в окрестности
• Плато — это устойчивость на исторических данных, а не обещание будущего результата
• По опубликованной цифре для одной точки нельзя судить, плато ли вокруг. Проверяйте сдвигом параметров самостоятельно