[61] Vì sao không nên tin backtest có số lệnh quá ít

Vì sao không nên tin vào backtest có số lệnh giao dịch quá ít

Khi xem backtest của một EA, phần lớn mọi người sẽ nhìn vào Profit Factor hoặc lợi nhuận theo năm trước tiên. Nhưng yếu tố quyết định con số đó có đáng tin hay không chính là số lệnh giao dịch. Nếu số lệnh quá ít, thì cho dù Profit Factor có ấn tượng đến đâu, đó cũng có thể chỉ là sự may mắn ngẫu nhiên.

PF đạt 5.56 nhưng chỉ 28 lệnh — có thể chỉ là may mắn

Hãy xem một ví dụ cụ thể. Một EA theo xu hướng trên khung D1 (theo ngày) cho Bitcoin, khi kiểm chứng bằng tick thực trong 8 năm, cho ra các con số sau:

• Profit Factor 5.56
• Drawdown tối đa chỉ 3.2%
• Số lệnh giao dịch 28 lệnh

PF 5.56 là một con số tuyệt vời. Nhiều người sẽ vội vàng bị thu hút bởi điều này. Nhưng ngay khi nhìn thấy con số chỉ 28 lệnh trong suốt 8 năm, đánh giá sẽ hoàn toàn thay đổi. Nếu mỗi năm chỉ giao dịch 3–4 lần, thì chỉ cần vài lệnh thắng lớn trong số đó cũng đủ khiến toàn bộ kết quả trông cực kỳ ấn tượng. Nếu 3 trong số 28 lệnh đó là những cú thắng ngẫu nhiên thì sao? Loại bỏ 3 lệnh đó đi, edge của hệ thống có thể sẽ biến mất hoàn toàn.

Ngược lại, một EA theo xu hướng cho USDJPY, trong 9.4 năm đã thực hiện 631 lệnh giao dịch, Profit Factor 1.50, tỷ lệ thắng 34.5%. PF nhìn có vẻ khiêm tốn, nhưng con số 631 lệnh lại là bằng chứng mạnh mẽ cho thấy PF 1.50 đó không phải ngẫu nhiên. Dù có loại bỏ vài lệnh trong số 631 lệnh, kết quả tổng thể gần như không thay đổi.

Vì sao số lệnh giao dịch lại quan trọng — ví dụ về tung đồng xu

Nếu tung đồng xu 3 lần và cả 3 lần đều ra mặt ngửa, liệu có thể kết luận "đồng xu này thiên về mặt ngửa" hay không? Không thể. Ngay cả với một đồng xu bình thường, xác suất ra 3 lần liên tiếp giống nhau vẫn là 1/8.

Điều tương tự cũng xảy ra với EA. Khi số lệnh giao dịch quá ít, ta không thể phân biệt được giữa "chỉ đơn giản là gặp may trong một giai đoạn thị trường thuận lợi" và "edge thực sự". Số lệnh càng nhiều, khả năng kết quả đó là do ngẫu nhiên càng thấp, và xác suất con số đó phản ánh thực chất càng cao. Trong thống kê, đây được gọi là "cỡ mẫu" (sample size).

Mức tham chiếu: cần bao nhiêu lệnh mới đủ tin cậy

Không có một ngưỡng chính xác tuyệt đối, nhưng mức tham chiếu thực tế như sau:

Điều quan trọng hơn nữa là cần xem xét kết hợp với khoảng thời gian kiểm chứng. Nếu 500 lệnh giao dịch tập trung trong vòng 1 năm, thì đó chỉ mới phản ánh một giai đoạn thị trường duy nhất. Chỉ khi hơn 500 lệnh trải dài qua nhiều chu kỳ khác nhau — như khủng hoảng Lehman, đại dịch COVID, giai đoạn tăng lãi suất — thì mới có thể coi là bền vững.

Những chiêu trò che giấu số lệnh giao dịch ít

Các trang bán sản phẩm thường dùng một số thủ thuật để che giấu việc số lệnh giao dịch quá ít.

• Thổi phồng lợi nhuận ròng bằng lãi kép: Những con số như "+5,000%" được tạo ra bởi phép nhân lãi kép, không phải bởi số lệnh giao dịch. Dù số lệnh ít, lợi nhuận ròng vẫn có thể được trình bày trông rất lớn.
• Chỉ nhấn mạnh Profit Factor: Giống như PF 5.56 (chỉ 28 lệnh), chỉ nêu bật PF mà không đề cập đến số lệnh giao dịch.
• Chỉ công bố lợi nhuận theo năm: Lợi nhuận theo năm là cách tiện lợi để che giấu số lệnh giao dịch thực tế.

Vì vậy, khi xem backtest, hãy luôn tìm kiếm thông tin về số lệnh giao dịch. Nếu không thấy con số này được ghi rõ, bản thân điều đó đã là một dấu hiệu cảnh báo.

Tự mình kiểm chứng

EA miễn phí của chúng tôi (chiến lược breakout Donchian trên nến đóng) đã công khai mã nguồn, được kiểm chứng bằng tick thực, và có thành tích 631 lệnh giao dịch trên USDJPY khung H1. Bạn có thể tự mình chạy backtest để kiểm tra số lệnh giao dịch, Profit Factor và lợi nhuận/thua lỗ theo từng năm. Đây là ví dụ thực tế cho thấy một EA "có số lệnh giao dịch nhiều và đã trải qua nhiều giai đoạn thị trường khác nhau" sẽ trông như thế nào dưới góc độ thống kê.

Chi tiết Donchian Trend Engine (EA miễn phí)

Đối với các sản phẩm trả phí, chúng tôi cũng áp dụng cùng một tiêu chuẩn và công khai số lệnh giao dịch, khoảng thời gian kiểm chứng, dữ liệu thực tế của toàn bộ sản phẩm. Những sản phẩm chỉ có vài chục lệnh giao dịch, dù PF có cao đến đâu, cũng sẽ không được chúng tôi đưa vào danh sách sản phẩm chủ lực.

Tóm tắt

• Độ tin cậy của backtest được quyết định bởi số lệnh giao dịch (cỡ mẫu)
• PF 1.50 với 631 lệnh đáng tin cậy hơn PF 5.56 với 28 lệnh
• Mức tham chiếu là trên 500 lệnh và đã trải qua nhiều chu kỳ thị trường khác nhau
• Lãi kép, PF đơn lẻ, lợi nhuận theo năm thường được dùng để che giấu số lệnh giao dịch ít
• Hãy nghi ngờ những backtest không ghi rõ số lệnh giao dịch

Bài viết liên quan: Cách đọc báo cáo backtest MT5 · Vì sao cùng một EA lại cho kết quả trái ngược hoàn toàn giữa tick thực và OHLC · Cách nhận biết curve fitting