파라미터는 고원으로 고른다｜1점 피크 피하는 최적화

결론: 최고 성적의 1점이 아니라, 무너지지 않는 범위의 한가운데를 고른다

최적화 결과를 성적순으로 나열해 맨 위 행을 채택한다. 저희는 이것이 커브 피팅으로 가는 가장 빠른 길이라고 생각합니다.

저희가 보는 것은 최고값이 아닙니다. 최적값 주변에서 성적이 무너지지 않는지입니다. 파라미터를 조금 움직여도 성적이 완만하게 유지되는 범위를 '플래토(고원)'라고 부르고, 그 중앙 부근의 값을 채택합니다. 최고 성적의 점보다 숫자는 초라해 보이지만, 그래도 괜찮다는 입장입니다.

왜 1점 피크는 위험한가

피크에는 '우연한 적중'이 섞여 있다

최적화는 수백~수천 가지 조합 중에서 과거 데이터에 가장 잘 맞는 것을 찾는 작업입니다. 시도 횟수가 많을수록 우연히 몇 번의 큰 승리 거래를 잡아낸 조합이 상위에 오릅니다.

바로 옆 값으로 조금 옮겼을 뿐인데 성적이 크게 떨어진다면, 그 성적은 전략의 우위라기보다 특정 몇 건의 거래에 의존하고 있을 가능성이 높다고 봅니다.

시장은 최적화한 기간과 같은 모습으로 오지 않는다

미래의 시장은 변동성도, 가격 움직임의 주기도 과거와 조금씩 어긋납니다. 이는 파라미터 쪽이 조금 어긋난 상태로 운용하는 것과 비슷한 상황입니다.

주변이 무너지지 않는 파라미터라면 어느 정도의 어긋남은 흡수할 여지가 있습니다. 뾰족한 피크에는 그 여지가 없습니다.

중앙값을 채택하는 이유

플래토의 가장자리를 고르면 한쪽은 곧바로 절벽입니다. 중앙이라면 어느 방향으로 어긋나도 아직 고원 위에 남을 수 있습니다.

고르는 기준은 성적의 높이가 아니라 무너지기까지의 거리입니다.

확인 절차: MT5에서 주변의 붕괴를 확인한다

체크리스트

1. 간격을 너무 거칠게 잡지 않는다: 스텝이 거칠면 고원인지 고립된 점인지 구분할 수 없습니다. 유망한 범위가 보이면 그 주변만 간격을 촘촘히 해서 다시 실행합니다.
2. 파라미터 2개를 골라 2차원으로 표시한다: MT5의 최적화 결과는 면으로 표시할 수 있습니다. 진한 색이 면으로 넓게 퍼져 있으면 플래토, 한 칸만 진하면 피크입니다.
3. PF만으로 판단하지 않는다: 거래 수와 드로다운도 이웃한 값끼리 비교합니다. PF가 유지되어도 거래 수가 급감했다면 다른 전략으로 바뀐 것이 아닌지 의심해야 합니다.
4. 범위의 중앙을 고르고, 최고값과의 차이를 기록한다: 성적을 얼마나 양보했는지 남겨 두면 나중에 판단을 검증할 수 있습니다.
5. 최적화에 쓰지 않은 기간에서 확인한다: 플래토는 어디까지나 같은 데이터 안에서의 이야기입니다. 기간 밖에서도 모양이 유지되는지는 따로 확인합니다.

유전 알고리즘을 쓸 때는 주의가 필요합니다. 탐색이 유망한 영역에 집중되기 때문에 주변이 충분히 시험되지 않은 채 끝나는 경우가 있습니다. 주변 확인은 범위를 좁힌 전수 탐색으로 다시 하는 편이 확실합니다.

MT5의 기본 조작은 EA·MT5 노하우에 정리해 두었습니다.

이용자 입장에서 할 수 있는 일

배포되고 있는 EA에서도 같은 확인을 할 수 있습니다. 주요 파라미터를 초기값에서 앞뒤로 조금씩 움직여 백테스트를 돌리고, 성적이 급격히 무너지지 않는지 보면 됩니다.

예를 들어 DONCHIAN ENGINE은 백테스트에서 PF1.5·631거래·검증 9.4년이라는 실측값입니다. 상위 버전인 MEGAMAX DONCHIAN은 같은 백테스트에서 PF1.55·629거래입니다.

다만 여기서 솔직하게 적어 두어야 할 것이 있습니다. 이 수치들은 채택한 파라미터 1점에서의 결과이며, 이 숫자만으로는 주변이 고원인지 알 수 없습니다. 화려한 PF가 아니라는 사실이 플래토의 증명이 되지는 않습니다. 파라미터를 움직여 확인하는 작업은 공개된 숫자로 대신할 수 없습니다.

각 EA의 백테스트 실측값은 실측 랭킹에서 한눈에 볼 수 있습니다.

한계와 주의점

• 플래토는 미래의 수익을 보장하지 않습니다. 넓은 고원처럼 보여도 같은 과거 데이터 위에서의 안정성에 불과합니다. 시장의 성질이 바뀌면 고원째 가라앉을 수 있습니다.
• '어디까지가 고원인가'의 경계는 주관적입니다. 허용하는 성적 하락 폭을 나중에 입맛대로 정하면 그것도 일종의 커브 피팅이 됩니다. 기준은 최적화 전에 정해 두어야 합니다.
• 파라미터가 많으면 다 확인하기 어렵습니다. 2차원 면으로 볼 수 있는 것은 2개까지입니다. 3개 이상이 얽힌 붕괴 방식은 놓칠 수 있습니다.
• 거래 수가 적으면 고원의 모양 자체를 믿기 어렵습니다. 몇 건의 거래만으로 면의 색이 바뀌기 때문입니다.
• 저희 자신도 이 방법으로 충분하다고 단언할 수 없습니다. 데모 계좌 포워드 테스트에서 손익이 마이너스로 推移하는 EA가 여러 개 있습니다. 플래토를 의식해 고른 파라미터라도 손실 구간을 피하지는 못했습니다.

정리

• 최적화에서는 최고 성적의 1점이 아니라, 주변이 무너지지 않는 범위를 찾는다
• 채택하는 것은 플래토의 중앙 부근. 성적의 높이보다 무너지기까지의 거리를 택한다
• PF뿐 아니라 거래 수와 드로다운도 이웃한 값끼리 비교한다
• 유전 알고리즘의 결과는 주변을 전수 탐색으로 다시 확인한다
• 플래토는 과거 데이터 위에서의 안정성이며, 미래 성적을 약속하는 것이 아니다
• 공개된 1점의 숫자만으로는 고원인지 판단할 수 없다. 직접 움직여 확인한다