Backtest non reproductible : 5 points à vérifier

« Les performances publiées ne correspondent pas au backtest que j'ai lancé moi-même. » C'est l'une des questions que nous recevons le plus souvent à propos des EA que nous distribuons.

Commençons par la conclusion : même avec le même EA sur la même période, il suffit qu'un seul élément de l'environnement diffère pour que les résultats divergent. Dans la plupart des cas, la cause n'est pas l'EA lui-même, mais les conditions de test. Voici, à peu près dans l'ordre, les 5 points à soupçonner :

1. L'heure du serveur et le fuseau horaire
2. Les spécifications du symbole
3. Le swap
4. Les données historiques
5. Le modèle de test (méthode de génération des ticks)

Cela dit, même en alignant ces 5 points, une concordance parfaite n'est pas garantie. Nous l'expliquons honnêtement dans la partie « Limites et précautions ».

Pourquoi un « même EA » donne-t-il des résultats différents ?

Un EA est une machine qui décide à partir des prix et des informations de symbole qu'on lui fournit. Si les données d'entrée diffèrent, même légèrement, le moment d'entrée se décale. Une fois le tout premier trade décalé, le capital, les lots et les positions ouvertes évoluent en cascade, et sur un test de plusieurs années le résultat final peut sembler très différent.

Il est plus simple de voir le problème de reproductibilité comme celui d'« un petit écart en un point précis, amplifié au fil du temps ».

Les 5 points à soupçonner

1. L'heure du serveur et le fuseau horaire

L'heure affichée dans MT5 n'est pas celle de l'horloge de votre ordinateur, mais celle du serveur du courtier. Elle varie d'un courtier à l'autre : certains passent à l'heure d'été, d'autres non.

Les EA les plus concernés sont les suivants :

• Les EA dotés d'un filtre horaire, par exemple « session de Tokyo uniquement » ou « exclure la session de New York »
• Les EA qui se basent sur l'ouverture, le plus haut et le plus bas de la bougie journalière (l'heure de clôture de la bougie journalière diffère selon le courtier)
• Les EA qui appliquent un traitement particulier à l'ouverture de la semaine ou avant la clôture du vendredi

Chez les courtiers qui créent une courte bougie journalière le dimanche, le nombre même de bougies journalières change. Pour un EA de type breakout basé sur la bougie journalière, cela suffit parfois à produire un résultat tout autre.

2. Les spécifications du symbole

Un symbole nommé « XAUUSD » n'a pas forcément le même contenu partout. Vérifiez les éléments suivants dans la fenêtre des spécifications :

• Le nombre de décimales et la taille du point
• La taille du contrat
• Le lot minimal et le pas de lot
• Le niveau de stop (distance minimale à laquelle on peut placer un ordre limite ou stop)
• Le mode de calcul de la marge

Si le nombre de décimales diffère, un stop loss exprimé en « points » peut en réalité varier d'un facteur 10. Chez un courtier dont le niveau de stop est large, un ordre avec un stop loss serré peut même être tout simplement refusé.

3. Le swap

Le testeur de MT5 applique à toute la période la valeur de swap des paramètres du symbole au moment où le test est lancé. Ce n'est pas l'historique réel des swaps. Par conséquent, même chez un même courtier, le résultat peut changer selon le jour où vous lancez le test.

• Plus la durée de détention est longue, plus l'impact est grand
• Le jour où le swap est facturé trois fois varie selon le courtier
• Sur un type de compte sans swap (swap-free), d'autres frais peuvent s'appliquer

Pour les EA qui conservent leurs positions plusieurs jours, la différence de swap se traduit nettement par un écart de gains et de pertes.

4. Les données historiques

Les données de prix utilisées par le testeur sont téléchargées depuis le serveur du courtier auquel vous êtes connecté. D'un courtier à l'autre, la date de début des données, les lacunes et la densité des ticks diffèrent.

• Les données ne sont pas complètes au début de la période de test
• Le téléchargement est inachevé, et le résultat change lors d'un second test
• Même chez un même courtier, une mise à jour des données côté serveur peut modifier le résultat après coup

Il faut absolument consulter l'onglet Journal pour voir si des mentions de « synchronisation des données » ou de « données historiques manquantes » y figurent.

5. Le modèle de test

Selon que vous avez choisi « Prix d'ouverture uniquement », « OHLC sur 1 minute », « Chaque tick » ou « Chaque tick basé sur des ticks réels », le résultat d'un même EA peut être complètement différent. Plus le stop loss et le take profit d'un EA sont proches, plus il est sensible à la façon dont les ticks sont générés.

Deux autres réglages sont à vérifier en même temps :

• Le réglage du spread : si vous choisissez « spread actuel », il reste figé à la valeur de la plage horaire où vous lancez le test. En le lançant le week-end ou tôt le matin, vous risquez de tester avec un spread large
• Le réglage du délai d'exécution : pour les EA de trading à court terme, les résultats se séparent selon que le délai est activé ou non

Liste de contrôle de reproductibilité

Pour comparer avec les performances publiées, remplissez le tableau suivant de haut en bas : cela aide à cerner la cause.

Le dernier point, « Paramètres d'entrée », est étonnamment souvent négligé. Vérifiez à chaque fois qu'aucune valeur modifiée lors d'un test précédent n'est restée en place.

Si vous avez des doutes sur la configuration de base de MT5, le plus rapide est de reprendre la procédure du guide d'installation de MT5.

Limites et précautions

Voici la partie qui nous arrange moins.

• Même en alignant les 5 points, il peut rester impossible d'obtenir une concordance parfaite avec les données d'un autre courtier. Les ticks eux-mêmes diffèrent d'un courtier à l'autre, et ce n'est pas un problème que l'utilisateur puisse résoudre de son côté
• Les chiffres de backtest que nous publions ont eux aussi été mesurés avec les données d'un courtier précis à un moment précis. Rien ne garantit que vous obtiendrez les mêmes chiffres dans votre environnement
• Il arrive qu'on ne puisse pas isoler précisément quelle différence pèse pour quelle part. Si un écart apparaît, la seule méthode consiste à modifier les éléments un par un et à relancer le test
• Même si les backtests concordent, il ne s'agit que d'une vérification sur des données passées. Cela ne promet en rien les performances futures

À l'inverse, un EA dont les résultats ne s'effondrent pas quand on change de courtier est plus digne de confiance. Tester et comparer chez plusieurs courtiers demande du travail, mais c'est une méthode de vérification efficace. Les différences de spécifications entre courtiers sont réunies dans notre comparatif des courtiers Forex.

En résumé

• Même EA, même période : les différences d'environnement font diverger les résultats. La cause se trouve souvent dans les conditions de test plutôt que dans l'EA lui-même
• Ordre des soupçons : « heure du serveur, spécifications du symbole, swap, historique, modèle de test »
• Pour le swap, retenez que « la valeur au moment du test » est utilisée sur toute la période
• Le spread, le délai et les paramètres d'entrée résiduels sont également faciles à oublier
• Même en alignant tout, une concordance parfaite n'est pas garantie si le courtier diffère
• Savoir si un EA résiste à un changement de courtier est un critère de choix utile

D'autres conseils de vérification sont réunis dans Savoir-faire EA et MT5.