거래 횟수가 적은 백테스트를 신뢰해서는 안 되는 이유

거래 횟수가 적은 백테스트를 신뢰해서는 안 되는 이유

EA의 백테스트를 볼 때 많은 사람이 가장 먼저 보는 것은 프로핏 팩터나 연 수익률입니다. 하지만 그 수치를 믿어도 되는지를 결정하는 것은 바로 거래 횟수입니다. 거래 횟수가 적으면 아무리 화려한 프로핏 팩터라도 단순한 우연일 수 있습니다.

PF5.56이라도 거래 28회라면, 그것은 운일 수 있다

구체적인 예로 생각해 보겠습니다. 어느 비트코인 D1(일봉) 트렌드 EA는 8년간의 실제 틱 검증에서 다음과 같은 수치를 보였습니다.

• 프로핏 팩터 5.56
• 최대 드로다운 단 3.2%
• 거래 횟수 28회

PF5.56은 훌륭한 수치입니다. 많은 사람이 여기서 바로 달려듭니다. 하지만 8년간 단 28회라는 거래 횟수를 본 순간, 평가는 완전히 달라집니다. 1년에 3~4회밖에 거래하지 않는다면, 그중 몇 번이 크게 이긴 것만으로도 전체 수치는 극적으로 좋아 보일 수 있습니다. 28회 중 3회가 우연히 크게 이긴 것이라면? 그 3회를 제외하면 엣지는 사라질 수도 있습니다.

반면 어느 USDJPY 트렌드 EA는 9.4년간 631회의 거래, 프로핏 팩터 1.50, 승률 34.5%였습니다. PF는 수수해 보이지만, 631회라는 횟수는 그 1.50이 우연이 아님을 강하게 시사합니다. 631회 중 몇 번을 제외해도 결과는 거의 달라지지 않습니다.

왜 횟수가 중요한가 — 동전 던지기의 예

동전을 3번 던져 3번 다 앞면이 나왔다면, "이 동전은 앞면이 잘 나온다"고 말할 수 있을까요? 말할 수 없습니다. 3번 연속은 일반적인 동전으로도 8분의 1의 확률로 일어납니다.

같은 일이 EA에서도 일어납니다. 거래 횟수가 적으면 "우연히 좋은 시세에 걸렸을 뿐"인 경우와 "진짜 엣지"를 구별할 수 없습니다. 횟수가 늘어날수록 우연으로는 설명할 수 없게 되고, 수치가 진짜일 확률이 높아집니다. 통계에서는 이를 "샘플 크기"라고 부릅니다.

기준: 어느 정도면 신뢰할 수 있는가

엄밀한 임계값은 없지만, 실무적인 기준은 다음과 같습니다.

더 중요한 것은 검증 기간과 함께 보는 것입니다. 500회의 거래가 1년에 집중되어 있다면, 그것은 단 하나의 시장 국면만 본 것입니다. 500회 이상이 리먼 사태·코로나·금리 인상 국면 등 여러 레짐에 걸쳐 있을 때 비로소 견고하다고 할 수 있습니다.

적은 거래 횟수를 숨기는 트릭

판매 페이지는 거래 횟수가 적다는 사실을 숨기기 위해 몇 가지 수법을 씁니다.

• 복리로 순이익 금액을 부풀린다: "+5,000%" 같은 수치는 거래 횟수가 아니라 복리 곱셈으로 만들어집니다. 횟수가 적어도 순이익 금액은 거대하게 보이게 할 수 있습니다.
• 프로핏 팩터만 크게 보여준다: PF5.56(28회)처럼 횟수는 적지 않고 PF만 강조합니다.
• 연 수익률만 제시한다: 연 수익률은 거래 횟수를 숨기기에 편리합니다.

그러므로 백테스트를 볼 때는 반드시 거래 횟수를 찾아보십시오. 적혀 있지 않다면, 그 자체가 경고 신호입니다.

직접 확인해 보기

저희의 무료 EA(클로즈드 바 기반 Donchian 브레이크아웃)는 소스 공개·실제 틱 검증을 거쳤으며, USDJPY H1에서 631회의 거래 실적을 보유하고 있습니다. 백테스트를 직접 실행해 보면 거래 횟수·프로핏 팩터·연도별 손익을 모두 자신의 눈으로 확인할 수 있습니다. "횟수가 많고 여러 시세를 통과한" EA가 통계적으로 어떻게 보이는지에 대한 실제 사례로 활용할 수 있습니다.

Donchian Trend Engine(무료 EA) 자세히 보기

유료 제품도 동일한 기준으로 전 제품의 거래 횟수·검증 기간·실제 데이터를 공개하고 있습니다. 거래 횟수가 겨우 수십 회에 불과한 제품은 PF가 높더라도 주력 제품으로 두지 않습니다.

정리

• 백테스트의 신뢰성은 **거래 횟수(샘플 크기)**로 결정됩니다
• 28회의 PF5.56보다 631회의 PF1.50이 더 신뢰할 수 있습니다
• 기준은 500회 이상이면서 여러 레짐을 통과했는지 여부입니다
• 복리·PF 단독·연 수익률은 적은 거래 횟수를 숨기는 데 사용됩니다
• 거래 횟수가 적혀 있지 않은 백테스트는 의심하십시오

관련 글: MT5 백테스트 리포트 읽는 법·같은 EA가 실제 틱과 OHLC에서 정반대 결과가 나오는 이유·커브 피팅 구별하는 법