거래 수가 같아도 신뢰도는 다르다｜독립성이라는 조건

결론: 거래 수는 '독립된 시행의 횟수'로 다시 세어야 합니다

백테스트의 거래 수가 많을수록 결과를 믿기 쉬워집니다. 다만 이는 거래 하나하나가 서로 독립적일 때만 성립하는 이야기입니다. 같은 시각에 같은 방향으로 여러 포지션을 잡는 EA나, 같은 시장 움직임에 반응하는 여러 종목의 EA에서는 리포트에 찍힌 거래 수보다 실질 표본 수가 훨씬 적은 경우가 있습니다.

저희도 EA를 평가할 때는 "몇 번 거래했는가"보다 먼저 "독립된 판단이 몇 번 있었는가"를 봅니다. 이 글에서는 그 사고방식과 확인 절차를 정리합니다.

상관이 있으면 왜 표본 수가 줄어드는가

같은 판단을 5번 세고 있을 뿐일 수 있습니다

예를 들어 어떤 EA가 시그널이 나올 때마다 포지션 5개를 동시에 잡고, 5개 모두 같은 값 움직임에서 청산된다고 해 봅시다. 리포트에는 거래 100회로 나오지만, 시장에 대해 내린 판단은 20번뿐입니다. 동전을 100번 던진 것과, 20번 던져서 각 결과를 5번씩 베껴 적은 것은 우연을 배제할 수 있는 정도가 전혀 다릅니다.

통계에서는 거래끼리의 상관이 강할수록 실질 표본 수가 작아진다고 봅니다. 단순한 모델로 말하면, 거래 수를 n, 거래 간 평균 상관을 ρ라고 할 때 실질 표본 수는 대략 n ÷ (1 + (n − 1) × ρ)입니다. ρ가 0이면 거래 수 그대로지만, ρ가 조금만 양수가 되어도 실질 표본 수는 크게 줄어듭니다. 실제 상관은 깔끔하게 일정하지 않으므로, 이 식은 감을 잡기 위한 기준 정도로만 사용하시기 바랍니다.

'다른 EA'라고 해서 독립은 아닙니다

이 문제는 EA 한 개 안에서만 끝나지 않습니다. 예를 들어 저희의 MEGAMAX DONCHIAN과 DONCHIAN ENGINE은 둘 다 USDJPY H1, 같은 검증 기간(2017.01.01 - 2026.06.01) 백테스트에서 거래 수가 629회와 631회, 평균 보유 시간이 32:58:21과 32:42:37이었습니다. 숫자가 이 정도로 가까우니 매매 타이밍이 상당히 겹친다고 보는 것이 자연스럽습니다(거래를 하나씩 대조한 것은 아니므로 어디까지 일치하는지는 단정할 수 없습니다). 두 EA를 함께 돌리더라도 독립된 1,260회 분량의 검증으로 뒷받침되는 분산이 되지는 않는다고 봐야 합니다.

독립성을 해치는 주요 패턴

여러 종목을 다루는 ATLAS 같은 포트폴리오형에서는 종목 조합 자체가 분산의 질을 좌우합니다. 백테스트의 1193건 거래 중 얼마나 많은 비율이 상관이 낮은 국면에서 나왔는지는 거래 수만 봐서는 알 수 없습니다.

구체적인 확인 절차

1. 체결 내역을 CSV로 내보냅니다. MT5 백테스트 리포트의 '체결' 탭에서 내보낼 수 있습니다.
2. 진입 시각별로 묶습니다. 같은 봉(H1이라면 같은 1시간)에서 같은 방향으로 진입한 거래를 한 그룹으로 만듭니다. 그룹 수가 '독립된 판단의 수'에 대한 기준이 됩니다.
3. 보유 기간의 중첩을 봅니다. 평균 보유 시간이 거래 간격보다 긴 EA는 항상 여러 포지션을 들고 있을 가능성이 있습니다.
4. 일별 손익으로 다시 셉니다. 거래 단위가 아니라 '하루의 손익'을 표본 하나로 놓고 승률과 PF를 다시 계산하면, 동시 보유로 부풀려진 부분이 상당히 걷힙니다.
5. 병용하는 EA끼리 비교합니다. 두 EA의 일별 손익을 나란히 놓고, 같은 날 승패가 일치하지 않는지 확인합니다.

검증의 기본적인 생각은 EA·MT5 노하우에도 정리해 두었습니다.

한계와 주의

지금까지의 이야기에도 한계가 있습니다.

• 상관은 일정하지 않습니다. 평소에는 상관이 낮은 종목끼리도 급변 시에는 한꺼번에 같은 방향으로 움직이기 쉽습니다. 평상시 데이터에서 '독립'처럼 보여도, 가장 곤란한 순간에 그 전제가 무너질 수 있습니다.
• 일별로 묶으면 정보도 줄어듭니다. 독립성에 가까워지는 대신 표본 수가 작아져서, 또 다른 의미로 판단이 어려워집니다. 어떤 단위로 묶는 것이 옳은지에 정해진 답은 없습니다.
• 저희 EA도 전부 다시 세어 본 것은 아닙니다. 이 글에서 소개한 절차를 모든 EA에 적용한 결과는 아직 공개할 수 있는 형태가 아닙니다. 표시된 거래 수는 리포트상의 체결 횟수입니다.
• 독립성을 확인했다고 해서 수익이 보장되는 것은 아닙니다. 알 수 있는 것은 '그 성적이 우연으로 얼마나 설명되는가'에 대한 기준뿐이며, 미래의 성적은 아닙니다.

정리

• 거래 수가 같아도 거래끼리 상관이 있으면 통계적 신뢰도는 떨어진다
• 동시 보유, 보유 기간의 중첩, 상관이 높은 종목, 비슷한 로직의 EA 병용은 실질 표본 수를 줄인다
• '독립된 판단의 수'는 진입 시각별로 묶거나 일별 손익으로 다시 세어 보면 기준을 잡을 수 있다
• 평상시에 독립으로 보여도 급변 시에는 상관이 강해질 수 있다
• 여러 EA를 조합할 때는 종목이나 이름이 아니라 매매 타이밍이 겹치지 않는지로 판단한다