시판 EA 800개 이상을 실틱으로 검증하고 알게 된 것

"이 EA, 백테스트에서 연간 수천%가 나오는데 진짜인가요?"라는 질문을 그동안 수없이 받아왔습니다. 답을 내놓기 위해, 질문을 받는 쪽이 아니라 직접 검증하는 쪽에 서 보기로 했습니다. MQL5 마켓 인기 랭킹 상위권에서 시판 EA를 800개 이상 다운로드해, 하나하나 실틱으로 백테스트에 돌린 것입니다.

이 글은 그 검증의 기록입니다. 결론부터 말하면, 살아남은 EA의 개수는 판매 페이지의 화려함에서는 상상할 수 없을 만큼 적었습니다.

데모 수치를, 실틱으로 바꿔본다

많은 판매 실적은 조악한 봉 데이터나 이상적인 스프레드로 만들어져 있습니다. 저희는 같은 EA를 실제 가격 움직임에 가까운 실틱(틱 단위 가격 재현)으로, 실제 발생하는 스프레드를 적용해 다시 돌렸습니다. 검증은 데모가 아니라 매년 동일한 초기 자금으로 리셋하는 방식으로 진행해, 복리로 부풀려진 겉보기 성적을 배제했습니다.

방식만 맞췄을 뿐인데 결과는 완전히 다른 것이 되었습니다. 인기 랭킹 상위일수록 골드 계열 EA에 집중되어 있는데, 그 골드 계열 다수가 실틱으로 바꾼 순간 최대 드로다운이 급등하며 계좌 자체가 녹아내렸습니다.

800개가 넘는 EA는 이렇게 걸러졌다

단계별로 설명하겠습니다. 우선, 애초에 정상적으로 완주해 플러스로 마감한 EA는 전체의 2할 정도에 불과했습니다. 나머지는 거래가 발생하지 않거나, 너무 무거워서 시간 초과가 나거나, 로드 시 오류로 중단되는 등의 이유로 판정 대상에도 오르지 못했습니다.

다음으로, 완주한 것들 중에서 "실운용을 견딜 만한 안전성" 조건을 부과합니다. 프로핏 팩터(PF)가 일정 수준 이상이고, 드로다운이 상식적인 범위 안에 들며, 순이익이 플러스일 것. 이 단계를 통과한 것이 전체를 통틀어 수십 개였습니다. 여기까지 오면서 인기 상품 대부분이 탈락했습니다.

살아남은 수치에도, 두 번째 함정이 있다

여기서부터가 본론입니다. 안전성 조건을 통과한 생존 EA에는 아직 걸러내야 할 함정이 남아 있었습니다.

제품 바이너리의 "빌드일"을 하나씩 조사했습니다. 그러자 좋은 성적을 낸 EA는 전부 저희 검증 기간보다 뒤에 빌드된 것으로 나타났습니다. 과거의 답을 이미 알고 있는 상태에서 과거에 맞춰 넣으면, 그래프는 얼마든지 아름답게 만들 수 있습니다. 이는 실력의 증명이 아니라 단순한 사후 짜맞추기입니다.

까다로운 점은 이 빌드일을 판매 페이지에서는 확인할 수 없다는 것입니다. MQL5 상품 페이지가 돌려주는 "업데이트일"은 최초 공개일의 복사본일 뿐, 지금 배포되고 있는 버전의 날짜가 아닙니다. 2017년에 등록된 제품이라도 실제로 내려받게 되는 바이너리는 2026년에 컴파일된 것일 수 있습니다. 그래서 저희는 상품 페이지 표시가 아니라, 바이너리 자체에 새겨진 컴파일 시각을 읽어 판정했습니다. 내려받은 1,146개를 실측한 결과 70%가 2026년 빌드였습니다.

즉 "오래된 제품이라면 안심"이라는 선택 기준은 성립하지 않습니다. 개발자는 잘 팔리는 제품일수록 계속 손을 대기 때문에, 오래된 제품이라도 현재 배포되는 바이너리는 최신입니다. 빌드일이 검증 기간보다 앞선, 진정한 의미에서 "미지의 기간에 시험된" EA만 남기자 후보는 0개가 되었습니다.

마지막에 남은 개수

빌드일 단계에서 이미 후보가 0개가 되었지만, 세 번째 조건도 확인해 보았습니다. "실제 운용 실적은 있는가"입니다. 백테스트가 아무리 아름다워도, 실계좌에서 장기간 플러스를 유지한 기록이 없다면 그것은 탁상 위의 숫자에 불과합니다.

결과는 같았고, 이쪽도 0개였습니다. 실틱 안전 기준을 통과한 EA 중 자기 자신의 장기 라이브 실적을 공개하고 있는 것은 하나도 없었습니다.

800개가 넘는 시판 EA를 실틱으로 검증하고, 빌드일로 사후 짜맞추기를 제외한 뒤, 마지막으로 실운용 실적을 요구한 결과, 세 가지 조건을 모두 충족하는 것은 단 하나도 남지 않았습니다. 화려한 데모 성적을 내세우는 제품일수록 실운용의 뒷받침이 없었습니다.

이번 검증에서 말할 수 있는 것

데모 백테스트는 EA를 "탈락시키기" 위해서는 쓸 수 있습니다. 실틱으로 계좌가 녹는 EA, 빌드일이 검증 기간보다 늦은 EA는 그 시점에서 후보에서 제외할 수 있습니다. 하지만 그 반대는 성립하지 않습니다. 데모 백테스트가 아무리 우수해도, 그것만으로는 실운용에서 통한다는 증명이 되지 않습니다.

그렇기 때문에 저희는 자사 EA에 대해 화려한 데모 수치를 내세우는 것을 그만두고, 실틱 실측치만 게재하며, 좋은 수치도 나쁜 수치도 모두 공개하는 방침으로 전환했습니다. 검증의 정당성은 빌드일로 담보하고, 실틱에서 무너지는 것은 주력에서 제외합니다. 화려함보다 긴 기간을 살아남는 것을 우선순위에 두고 있습니다.

EA를 고를 때, 판매 페이지의 수치는 "탈락시키는 근거"로 활용하시기 바랍니다. 정말로 믿어도 되는 것은 실틱 실측치와, 실계좌에서 쌓인 실운용 기록뿐입니다. 저희의 실측 랭킹은 EA 비교 페이지에서 공개하고 있습니다. 검증 방식을 더 자세히 알고 싶으신 분은 실틱 검증 리포트도 함께 참고해 주세요.