Au-delà de IS/OOS : concevoir les fenêtres du walk-forward

Conclusion : un OOS sur une seule période n'est encore qu'« un seul test »

Séparer les données en une partie d'optimisation (IS) et une partie de validation (OOS) est un bon premier réflexe pour détecter une suroptimisation. Mais avec un seul découpage, le résultat OOS ne dit que ce qui s'est passé sur cette période précise.

Notre conclusion est la suivante : il faut répartir l'OOS en plusieurs fenêtres, valider en avançant dans le temps, et regarder si chaque fenêtre est rentable, non le total. Même si le total est positif, si les gains se concentrent sur quelques fenêtres, nous suspendons notre jugement.

Les faiblesses du découpage fixe

Le point de coupure influence le résultat

Avec un découpage fixe, c'est le développeur qui choisit où couper. Si l'OOS tombe par hasard sur une période de tendance nette, la logique paraît meilleure qu'elle ne l'est. Si elle tombe sur la période inverse, on écarte une logique pourtant exploitable. Dans les deux cas, le résultat dépend d'un seul choix : le point de coupure.

À force de regarder l'OOS, il cesse d'en être un

L'autre problème tient au comportement du développeur. Quand les résultats OOS sont mauvais, on retouche les paramètres, puis on regarde de nouveau l'OOS. En répétant ce cycle, on finit par sélectionner ce qui convient à l'OOS. Les données sont censées être « vierges », mais elles servent en réalité à l'optimisation. C'est une erreur qui peut nous arriver à nous aussi, et que seule une procédure stricte permet d'éviter.

Comment construire les fenêtres walk-forward

Le walk-forward consiste à former une fenêtre avec une « période d'optimisation » suivie immédiatement d'une « période de validation », puis à répéter l'opération en décalant le tout dans le temps. La période de validation se situe toujours après la période d'optimisation, ce qui donne plusieurs OOS.

Comment choisir la longueur des fenêtres

Il vaut mieux déterminer la longueur d'une fenêtre par le nombre de trades plutôt que par le nombre d'années. Si la période de validation contient trop peu de trades, le fait d'être gagnante ou perdante relève du hasard. Plus la durée de détention est longue et la fréquence de trading faible, plus la période de validation doit être étendue.

Procédure de vérification fenêtre par fenêtre

1. Aligner les fenêtres de sorte que les périodes de validation ne se chevauchent pas
2. Optimiser dans chaque fenêtre, puis appliquer les paramètres obtenus uniquement à la période de validation qui suit
3. Consigner pour chaque période de validation le résultat, le PF, le nombre de trades et le drawdown maximal
4. Compter combien de fenêtres ont un PF supérieur ou égal à 1.0 et repérer à quelles périodes se situent les fenêtres perdantes
5. Retirer la fenêtre la plus profitable et vérifier que le total des autres reste positif
6. Examiner si les paramètres retenus d'une fenêtre à l'autre ne sautent pas dans tous les sens

Trois points sont essentiels dans cette vérification :

• Les fenêtres gagnantes ne sont-elles pas concentrées sur une petite partie de la période ?
• La perte des fenêtres perdantes n'est-elle pas disproportionnée par rapport au gain des fenêtres gagnantes ?
• Les paramètres optimaux ne changent-ils pas de façon extrême entre fenêtres voisines ?

Nous ne pensons pas que toutes les fenêtres doivent être gagnantes. Un EA suiveur de tendance perd normalement dans les fenêtres sans direction. Ce qui pose problème, c'est de ne pas pouvoir expliquer pourquoi une fenêtre perd, ou de voir la profondeur des pertes dépasser ce qui était prévu.

Limites et précautions

Sans assez de trades, les fenêtres n'ont pas de sens

Le backtest d'ATLAS compte 1193 trades sur 7.5 ans de validation ; même découpé en plusieurs fenêtres, chacune conserve un nombre raisonnable de trades. En revanche, le backtest d'ETHEREUM EA ne compte que 154 trades sur 7.5 ans de validation. Si l'on découpe une logique à si faible fréquence en fenêtres fines, chaque fenêtre ne contient que très peu de trades et le fait d'être gagnante ou perdante ne fournit presque aucune information. Il faut soit élargir les fenêtres, soit ne considérer l'évaluation par fenêtre que comme une simple indication.

Les chiffres publiés portent sur l'ensemble de la période

Le PF et le taux de réussite du classement mesuré sont des valeurs calculées sur toute la période de validation. Ce ne sont pas des résultats par fenêtre ; ils ne suffisent donc pas à juger d'une éventuelle suroptimisation. Il faut les lire avec cette réserve.

La conception des fenêtres peut elle-même être optimisée

Si l'on change la longueur ou le nombre de fenêtres pour retenir la combinaison qui donne les meilleurs résultats, c'est encore de la suroptimisation. La conception des fenêtres doit être arrêtée avant de lancer la validation et ne plus être modifiée ensuite. Vu de l'extérieur, il n'existe pratiquement aucun moyen de vérifier que cette condition a été respectée.

Même ainsi, l'avenir reste inconnu

Réussir un walk-forward ne protège pas contre des marchés qui n'ont jamais existé dans le passé. Dans nos forward tests sur compte démo, plusieurs EA affichent un résultat négatif. Il s'agit de comptes démo et non de résultats en réel, et la durée depuis le lancement est courte : on ne peut tirer de conclusion ni des bons ni des mauvais résultats. Une méthode de validation est un outil pour réduire les erreurs, non une promesse de gains.

En résumé

• Avec un découpage IS/OOS fixe, le résultat dépend du point de coupure et du nombre de fois où l'OOS a été revu
• Le walk-forward crée plusieurs périodes de validation et vérifie en avançant dans le temps
• On regarde le résultat de chaque fenêtre, non le total ; on contrôle la concentration des gains et la stabilité des paramètres
• Plus une logique a peu de trades, plus le découpage en fenêtres rend le jugement instable
• La conception des fenêtres doit être fixée à l'avance ; la réussir ne dit rien des performances futures

Notre approche de la validation est également présentée dans le recueil de savoir-faire.