Oltre IS/OOS: come progettare le finestre walk-forward

Conclusione: se l'OOS è un solo intervallo, resta una "prova singola"

Dividere i dati in una parte per l'ottimizzazione (IS) e una per la verifica (OOS) è un buon primo passo per sospettare un overfitting. Ma se la divisione avviene una sola volta, il risultato OOS dice soltanto "com'è andata in quell'unico intervallo".

La nostra conclusione è questa: si verifica l'OOS su più finestre, avanzando nel tempo, e si guarda se ogni finestra chiude in utile, non il totale. Anche se il totale è in utile, quando i profitti si concentrano in una finestra specifica la valutazione resta sospesa.

I punti deboli della divisione fissa

Il punto di taglio condiziona il risultato

Con una divisione fissa è lo sviluppatore a decidere dove tagliare. Se l'OOS cade per caso in un periodo con un trend ben definito, il sistema sembra migliore di quanto sia davvero. Se cade in un periodo opposto, si rischia di scartare una logica valida. In entrambi i casi il risultato dipende da una sola scelta: il punto di divisione.

Guardare l'OOS troppe volte lo rende non più OOS

Un altro problema riguarda il comportamento dello sviluppatore. Se i risultati OOS sono scadenti, si correggono i parametri e si riguarda l'OOS. Ripetendo il ciclo, di fatto si sta scegliendo ciò che si adatta all'OOS. Formalmente sono dati mai usati, nella sostanza sono stati impiegati per l'ottimizzazione. È un errore che può capitare anche a noi, e solo una procedura vincolante riesce a prevenirlo.

Come costruire le finestre walk-forward

Il walk-forward consiste nel considerare come una finestra la coppia "periodo di ottimizzazione + periodo di verifica immediatamente successivo", e nel ripetere l'operazione spostandosi in avanti nel tempo. Il periodo di verifica è sempre successivo a quello di ottimizzazione, e si ottengono così più segmenti OOS.

Come stabilire la lunghezza delle finestre

Conviene stabilire la lunghezza delle finestre in base al numero di trade più che agli anni di calendario. Se nel periodo di verifica entrano troppo pochi trade, l'utile o la perdita sono decisi dal caso. Più una logica ha tempi di detenzione lunghi e frequenza operativa bassa, più il periodo di verifica deve essere esteso.

Procedura per verificare finestra per finestra

1. Disporre le finestre in modo che i periodi di verifica non si sovrappongano
2. Ottimizzare in ogni finestra e applicare i parametri ottenuti solo al periodo di verifica immediatamente successivo
3. Registrare per ogni periodo di verifica profitto/perdita, PF, numero di trade e drawdown massimo
4. Controllare quante finestre hanno PF pari o superiore a 1.0 e in quali periodi si trovano quelle in perdita
5. Verificare che, escludendo la finestra con il maggior profitto, la somma delle restanti sia ancora in utile
6. Osservare se i parametri scelti nelle varie finestre saltano da un valore all'altro in modo marcato

I punti essenziali del controllo sono tre:

• Le finestre in utile non devono essere concentrate in poche
• Le perdite delle finestre in rosso non devono essere eccessive rispetto ai profitti di quelle in utile
• I parametri ottimali di finestre adiacenti non devono cambiare in modo estremo

Non riteniamo necessario che tutte le finestre siano in utile. Un sistema trend following perde normalmente nelle finestre prive di direzione. Ciò che va considerato un problema è non saper spiegare perché una finestra perde, e il fatto che la profondità della perdita superi le attese.

Limiti e avvertenze

Con pochi trade le finestre non reggono

Il backtest di ATLAS conta 1193 trade su 7.5 anni di verifica: anche dividendolo in più finestre, in ciascuna rimane un numero ragionevole di operazioni. Il backtest di ETHEREUM EA, invece, conta 154 trade su 7.5 anni di verifica. Se si taglia una logica a bassa frequenza di questo tipo in finestre fini, ogni finestra contiene pochissimi trade, e l'utile o la perdita per singola finestra non offrono quasi nessun elemento di giudizio. Non resta che allargare le finestre oppure considerare la valutazione per finestra come un semplice riferimento.

I valori pubblicati si riferiscono all'intero periodo

PF e percentuale di vincita riportati nella classifica dei risultati misurati sono valori calcolati sull'intero periodo di verifica. Non sono risultati per finestra, quindi da soli non permettono di stabilire se ci sia overfitting. Va tenuto conto di questo aspetto nella lettura.

Anche il design delle finestre può essere ottimizzato

Se si cambiano lunghezza e numero delle finestre e si sceglie la combinazione che dà il risultato migliore, anche questo è overfitting. Il presupposto è che il design delle finestre venga deciso prima di avviare la verifica e non venga più modificato. Dall'esterno, non esiste quasi alcun modo di accertare che questo presupposto sia stato rispettato.

Il futuro resta comunque ignoto

Superare il walk-forward non significa saper gestire mercati mai visti in passato. Anche nei forward test su conto demo che stiamo conducendo, diversi EA sono in perdita. Si tratta di conti demo e non di risultati su conto reale, e il tempo trascorso dall'inizio è breve: sia i risultati buoni sia quelli cattivi non permettono ancora conclusioni. I metodi di verifica sono strumenti per ridurre gli errori, non promesse di successo.

Riepilogo

• La divisione fissa IS/OOS dipende dal punto di taglio e dal numero di volte in cui si rivede l'OOS
• Il walk-forward crea più periodi di verifica e li controlla avanzando nel tempo
• Si guarda il risultato per finestra, non il totale: si verificano la concentrazione dei profitti e la stabilità dei parametri
• Le logiche con pochi trade diventano tanto più instabili nel giudizio quanto più le si divide in finestre
• Il design delle finestre va fissato in anticipo; superare il test non dice nulla sui risultati futuri

L'approccio alla verifica è raccolto anche nella nostra raccolta di know-how.