몬테카를로 검증으로 DD의 '운의 폭' 재기

결론: 백테스트의 최대 DD는 '한 번의 결과'일 뿐입니다

백테스트 리포트에 나오는 최대 드로다운(DD)은 과거의 가격 움직임이 우연히 그 순서로 늘어섰을 때의 값입니다. 이기는 거래와 지는 거래의 내용이 같아도 배열 순서가 다르면 DD는 얕아지기도 하고 깊어지기도 합니다.

몬테카를로 검증은 거래 순서를 여러 번 바꿔 가며 DD가 어느 범위에 흩어지는지 살펴보는 방법입니다. 저희는 EA를 고를 때 '백테스트의 최대 DD'를 하나의 점으로 보지 말고, 분포 안에서 어디쯤에 있는지로 보시기를 권합니다. 다만 이 방법으로 알 수 없는 것도 많습니다. 한계는 뒷부분에서 정리합니다.

원리: 순서를 바꿔도 총손익은 그대로이고 DD만 달라집니다

셔플로 무엇이 바뀌는가

고정 랏이라면 거래 순서를 바꿔도 합계 손익은 같습니다. PF와 승률도 변하지 않습니다. 자금 대비 일정 비율로 랏을 정하는 복리 운용에서도 손익을 곱셈으로 이어 가므로 최종 잔고는 같아집니다.

바뀌는 것은 중간 경로입니다. 패배가 우연히 몰려 있으면 DD는 깊어지고, 승리와 패배가 번갈아 오면 DD는 얕아집니다. 연패의 길이도 배열 순서에 따라 달라집니다.

승률이 낮은 EA일수록 폭이 넓어지기 쉽습니다

예를 들어 ATLAS는 백테스트에서 승률 33.2%, 최대 연패 13이었습니다. 승률이 낮은 추세추종형은 패배가 이어지는 배열이 나오기 쉬운 경향이 있습니다. 순서를 섞으면 백테스트에서 기록한 13연패보다 긴 연패가 나오는 조합도 당연히 있을 수 있습니다. '백테스트에서 최대 연패가 13이었으니 그 이상은 오지 않는다'고 말할 수는 없습니다.

확인 절차: 직접 해 보는 경우의 흐름

MT5 테스터에는 거래 순서를 섞는 기능이 기본으로 들어 있지 않습니다. 그래서 리포트의 거래 목록을 내보내 스프레드시트나 스크립트로 처리하는 것이 현실적입니다.

1. MT5 백테스트 리포트에서 청산 완료된 거래의 손익 목록을 내보낸다
2. 손익의 배열 순서를 무작위로 바꾼다
3. 바꾼 순서대로 잔고 곡선을 다시 만들고 최대 DD와 최대 연패를 기록한다
4. 2~3을 1,000회 정도 반복한다
5. 기록한 DD를 작은 순서대로 늘어놓고 중앙값과 상위 5% 부근의 값을 본다
6. 백테스트에서 나온 최대 DD가 분포의 어디에 있는지 확인한다

백테스트의 최대 DD가 분포의 얕은 쪽에 있다면 과거 데이터는 '운이 좋은 배열'이었을 가능성이 있습니다. 그 경우 운용 자금은 분포의 깊은 쪽을 전제로 정하는 편이 안전합니다.

방법별로 알 수 있는 것

셔플만으로는 최종 손익이 한 가지로만 나옵니다. 이익 쪽의 폭도 보고 싶다면 복원 추출을 함께 사용하세요.

한계와 주의: 몬테카를로는 만능이 아닙니다

거래가 서로 독립이라는 전제

셔플은 '각 거래는 서로 무관하다'고 간주합니다. 실제 시장에서는 변동성이 높은 시기나 추세가 나오지 않는 시기가 한꺼번에 찾아옵니다. 패배가 집중되는 것은 우연이 아니라 시장 국면이 원인인 경우가 많습니다. 무작위로 늘어놓으면 이런 '패배가 모이는 구조'가 옅어져 DD를 실제보다 얕게 추정할 우려가 있습니다.

청산 손익만 보고 있습니다

거래 목록으로 만든 잔고 곡선에는 보유 중인 평가손실이 들어 있지 않습니다. 예를 들어 GOLD KING v6는 백테스트에서 잔고 DD가 7.45%였지만, 평가손실을 포함한 유효 DD는 91.3%였습니다. 이런 EA의 청산 손익만 셔플하면 리스크를 크게 잘못 판단하게 됩니다. 물타기나 그리드 계열, 보유 시간이 긴 EA에서는 특히 주의하세요.

원본 데이터 바깥은 보이지 않습니다

셔플은 과거에 일어난 거래를 재배열한 것에 불과합니다. 검증 기간에 한 번도 없었던 시장 상황(급작스러운 제도 변경, 유동성 고갈 등)에서 생기는 손실은 몇 번을 돌려도 분포에 나타나지 않습니다. 거래 수가 적은 EA는 원본 표본이 작아서 분포 자체도 믿기 어려워집니다.

'상위 5%의 DD까지 견딜 수 있는 자금이면 괜찮다'는 보증은 없습니다. 알 수 있는 것은 어디까지나 '과거 거래를 재배열한 범위에서의 운의 폭'입니다.

정리

• 백테스트 한 번의 최대 DD는 하나의 배열 순서에서 나온 표본 하나일 뿐입니다
• 거래 순서를 섞어도 총손익·PF·승률은 변하지 않고, DD와 연패의 길이가 변합니다
• 1,000회 정도 반복해 DD 분포를 만들고, 백테스트의 값이 분포의 어디에 있는지 봅니다
• 승률이 낮은 EA일수록 백테스트보다 긴 연패가 나오는 배열이 생기기 쉽습니다
• 국면에 따른 패배 집중·평가손실·검증 기간 밖의 시장은 셔플로는 포착할 수 없습니다
• 자금과 랏은 분포의 깊은 쪽을 전제로 여유 있게 정합니다

각 EA의 최대 연패와 잔고 DD·유효 DD는 전체 EA 실측 랭킹에서 한눈에 볼 수 있습니다. 승률 34.5%의 추세추종형인 DONCHIAN ENGINE의 거래 목록은 셔플 검증 연습용으로 쓰기 좋은 소재입니다. 검증 방법에 관한 다른 글은 EA·MT5 노하우에 모아 두었습니다.