[62] Perché non fidarsi di un backtest con poche operazioni

Perché non bisogna fidarsi di un backtest con poche operazioni

Quando si guarda il backtest di un EA, la maggior parte delle persone osserva per prima cosa il profit factor o il rendimento annuo. Ma ciò che stabilisce se ci si può fidare di quel numero è il numero di operazioni. Se le operazioni sono poche, anche il profit factor più appariscente potrebbe essere semplicemente frutto del caso.

Anche con un PF di 5,56, se le operazioni sono 28 potrebbe essere solo fortuna

Vediamo un esempio concreto. Un EA trend su Bitcoin a D1 (timeframe giornaliero), verificato su 8 anni di dati tick reali, presentava questi numeri:

• Profit factor 5,56
• Drawdown massimo appena il 3,2%
• Numero di operazioni: 28

Un PF di 5,56 è un numero eccellente. Molti si lascerebbero conquistare subito da questo dato. Ma nel momento in cui si nota che si tratta di solo 28 operazioni in 8 anni, la valutazione cambia completamente. Se l'EA opera solo 3-4 volte all'anno, basta che poche di quelle operazioni siano state vincite eccezionali per far apparire il risultato complessivo straordinario. E se 3 delle 28 operazioni fossero state vincite fortunate? Escludendole, il vantaggio statistico (edge) potrebbe sparire del tutto.

Al contrario, un EA trend su USDJPY, in 9,4 anni ha eseguito 631 operazioni, con un profit factor di 1,50 e un tasso di successo del 34,5%. Il PF è modesto, ma un numero di 631 operazioni suggerisce fortemente che quell'1,50 non sia frutto del caso. Anche escludendo alcune di quelle 631 operazioni, il risultato cambierebbe di poco.

Perché il numero di operazioni conta — l'esempio del lancio di una moneta

Se si lancia una moneta 3 volte e escono 3 volte testa, si può dire che "questa moneta tende a dare testa"? No. Ottenere tre volte lo stesso risultato di fila può capitare anche con una moneta normale, con una probabilità di 1 su 8.

Lo stesso vale per gli EA. Con poche operazioni, è impossibile distinguere tra "è capitato per caso in un buon momento di mercato" ed "edge autentico". Più aumenta il numero di operazioni, meno il risultato può essere spiegato dal caso, e più cresce la probabilità che il numero sia genuino. In statistica questo si chiama "dimensione del campione".

Un criterio di riferimento: quante operazioni servono per fidarsi

Non esiste una soglia rigorosa, ma un criterio pratico è il seguente:

Ancora più importante è considerare questo dato insieme al periodo di verifica. Se 500 operazioni sono concentrate in un solo anno, significa che l'EA ha attraversato una sola fase di mercato. Solo quando oltre 500 operazioni coprono più regimi di mercato diversi — come la crisi Lehman, il Covid, le fasi di rialzo dei tassi — si può parlare di robustezza reale.

I trucchi per nascondere un numero di operazioni troppo basso

Le pagine di vendita usano diversi espedienti per nascondere un numero di operazioni ridotto.

• Gonfiare l'utile netto con l'interesse composto: numeri come "+5.000%" derivano dalla moltiplicazione dell'interesse composto, non dal numero di operazioni. Anche con poche operazioni, l'utile netto può apparire enorme.
• Mettere in risalto solo il profit factor: come nel caso del PF 5,56 (28 operazioni), si evidenzia solo il PF senza indicare il numero di operazioni.
• Mostrare solo il rendimento annuo: il rendimento annuo è comodo per nascondere il numero di operazioni.

Per questo, quando si esamina un backtest, bisogna sempre cercare il numero di operazioni. Se non è indicato, questo è già di per sé un segnale d'allarme.

Verificalo di persona

Il nostro EA gratuito (breakout Donchian su barra chiusa) ha codice sorgente pubblico, è stato verificato con dati tick reali e vanta 631 operazioni su USDJPY H1. Facendo girare il backtest, puoi verificare con i tuoi occhi il numero di operazioni, il profit factor e il risultato anno per anno. È un esempio concreto di come appare, dal punto di vista statistico, un EA "con molte operazioni che ha attraversato più fasi di mercato diverse".

Dettagli sul Donchian Trend Engine (EA gratuito)

Anche per i prodotti a pagamento applichiamo lo stesso criterio: pubblichiamo il numero di operazioni, il periodo di verifica e i dati reali di tutti i prodotti. Un prodotto con solo poche decine di operazioni non lo inseriamo mai tra i nostri EA di punta, anche se il PF è elevato.

In sintesi

• L'affidabilità di un backtest dipende dal numero di operazioni (dimensione del campione)
• Un PF di 1,50 su 631 operazioni è più affidabile di un PF di 5,56 su 28 operazioni
• Come criterio, servono almeno 500 operazioni che abbiano attraversato più regimi di mercato
• Interesse composto, PF isolato e rendimento annuo sono espedienti usati per nascondere un numero di operazioni troppo basso
• Diffida di un backtest che non riporta il numero di operazioni

Articoli correlati: Come leggere un report di backtest MT5 · Perché lo stesso EA dà risultati opposti tra dati tick reali e OHLC · Come riconoscere il curve fitting