Backtest non riproducibile: i 5 punti da controllare

«I risultati pubblicati non corrispondono al backtest che ho fatto io». Per gli EA che distribuiamo, è una delle richieste che riceviamo più spesso.

Comincio dalla conclusione. Anche testando lo stesso EA sullo stesso periodo, basta una sola differenza nell'ambiente per ottenere risultati diversi. Nella maggior parte dei casi la causa non è l'EA in sé, ma le condizioni di test. I punti da sospettare, in ordine, sono più o meno questi cinque:

1. Orario del server e fuso orario
2. Specifiche del simbolo
3. Swap
4. Dati storici
5. Modello di test (metodo di generazione dei tick)

Tuttavia, anche allineando tutti e cinque i punti, non è detto che i risultati coincidano perfettamente. Ne parlo con onestà nella sezione finale sui «limiti».

Perché lo «stesso EA» può dare risultati diversi

Un EA è una macchina che decide in base ai prezzi e alle informazioni sul simbolo che riceve. Se l'input cambia anche di poco, il momento dell'ingresso si sposta. Se salta il primo trade, capitale, lotti e posizioni aperte cambiano a catena, e in un test di diversi anni il risultato finale può sembrare molto diverso.

Il problema della riproducibilità si capisce meglio così: una piccola differenza in un solo punto viene amplificata con il passare del tempo.

I 5 punti da controllare

1. Orario del server e fuso orario

In MT5 l'orario non è quello del computer, ma quello del server del broker. Cambia da broker a broker: alcuni passano all'ora legale, altri no.

L'impatto è maggiore per EA come questi:

• EA con filtri orari, ad esempio «solo sessione di Tokyo» o «escludi la sessione di New York»
• EA basati su apertura, massimo e minimo della candela giornaliera (l'orario di chiusura del giornaliero cambia da broker a broker)
• EA con logiche speciali all'apertura della settimana o prima della chiusura del venerdì

Con i broker che formano una breve candela giornaliera la domenica, cambia proprio il numero di candele giornaliere. Per un EA di breakout basato sul giornaliero, questo può già bastare a produrre un risultato completamente diverso.

2. Specifiche del simbolo

Anche con lo stesso nome, «XAUUSD», il contenuto non è necessariamente lo stesso. Nella finestra delle specifiche controllate queste voci:

• Cifre decimali e dimensione del punto
• Dimensione del contratto
• Lotto minimo e passo del lotto
• Stop level (distanza minima a cui si possono piazzare ordini pendenti e stop)
• Metodo di calcolo del margine

Se le cifre decimali sono diverse, uno stop loss indicato «in punti» può risultare in realtà 10 volte più largo o più stretto. Con i broker che hanno uno stop level ampio, un ordine con stop molto stretto può addirittura essere rifiutato.

3. Swap

Il tester di MT5 calcola applicando il valore di swap presente nelle impostazioni del simbolo al momento dell'esecuzione del test a tutto il periodo. Non usa l'andamento reale degli swap nel passato. Per questo, anche con lo stesso broker, il risultato può cambiare se il test viene fatto in giorni diversi.

• Più a lungo l'EA mantiene le posizioni, maggiore è l'impatto
• Il giorno in cui viene addebitato lo swap triplo varia da broker a broker
• Nei conti senza swap (swap-free) possono essere applicate commissioni di altro tipo

Per gli EA che tengono le posizioni per diversi giorni, la differenza di swap può emergere chiaramente come differenza di profitti e perdite.

4. Dati storici

I dati di prezzo usati dal tester vengono scaricati dal server del broker a cui si è connessi. Inizio dei dati, lacune e densità dei tick cambiano da broker a broker.

• I dati non sono completi nella parte iniziale del periodo di test
• Il download è incompleto e al secondo test il risultato cambia
• Anche con lo stesso broker, un aggiornamento dei dati lato server può modificare i risultati a posteriori

Va sempre controllato che nella scheda Log non compaiano segnalazioni di «sincronizzazione dei dati» o di «dati storici mancanti».

5. Modello di test

Scegliere «Solo prezzi di apertura», «OHLC a 1 minuto», «Ogni tick» oppure «Ogni tick basato su tick reali» cambia completamente il risultato, anche con lo stesso EA. Più vicini sono stop loss e take profit, più l'EA è sensibile al modo in cui i tick vengono generati.

Vanno verificati anche questi due aspetti:

• Impostazione dello spread: scegliendo lo «spread attuale», il test resta fisso sullo spread della fascia oraria in cui è stato eseguito. Se lo avviate nel weekend o la mattina presto, potreste testare con uno spread ampio
• Impostazione del ritardo di esecuzione: per gli EA di trading a breve termine, i risultati si dividono a seconda che il ritardo sia attivo o no

Checklist di riproducibilità

Quando confrontate i risultati con quelli pubblicati, compilate la tabella seguente dall'alto verso il basso: è più facile restringere la causa.

L'ultima voce, i «parametri di input», è sorprendentemente trascurata. Controllate ogni volta che non siano rimasti i valori modificati nel test precedente.

Se avete dubbi sulle impostazioni di base di MT5, la strada più rapida è rivedere la procedura della configurazione di MT5.

Limiti e avvertenze

Qui arriva la parte scomoda.

• Anche allineando tutti e cinque i punti, con i dati di un altro broker i risultati possono non coincidere perfettamente. Dipende dal fatto che gli stessi tick sono diversi da broker a broker, e chi esegue il test non può risolverlo
• Anche i valori dei backtest che pubblichiamo sono stati misurati con i dati di un broker specifico e di un momento specifico. Non garantiscono che nel vostro ambiente si ottengano gli stessi numeri
• In certi casi non è possibile isolare con precisione «quale differenza pesi e quanto». Se emerge una differenza, l'unico metodo è modificare una voce alla volta e rifare il test
• Anche quando i backtest coincidono, restano solo una verifica su dati storici. Non promettono risultati futuri

Al contrario, si può dire che un EA i cui risultati non crollano cambiando broker è più affidabile. Testare su più broker e confrontare richiede fatica, ma è un metodo di verifica efficace. Le differenze di specifiche tra i broker sono riassunte nel confronto dei broker Forex.

Riepilogo

• Anche con lo stesso EA e lo stesso periodo, i risultati cambiano per differenze di ambiente. Spesso la causa è nelle condizioni di test, non nell'EA
• L'ordine dei sospetti è: orario del server, specifiche del simbolo, swap, dati storici, modello di test
• Attenzione: per lo swap si usa il valore «al momento del test» su tutto il periodo
• Impostazioni di spread, ritardo e parametri di input residui sono facili da trascurare
• Anche allineando tutto, con broker diversi i risultati possono non coincidere perfettamente
• Capire se un EA regge anche cambiando broker è un criterio utile nella scelta

Altri consigli di verifica sono raccolti in Guide su EA e MT5.