Backtest nicht reproduzierbar? 5 Punkte zum Prüfen

„Die veröffentlichten Ergebnisse stimmen nicht mit meinem eigenen Backtest überein.“ Bei den EAs, die wir vertreiben, gehört das zu den häufigsten Anfragen, die uns erreichen.

Vorab das Fazit: Selbst wenn Sie denselben EA im selben Zeitraum testen, weichen die Ergebnisse ab, sobald sich auch nur eine Umgebungsbedingung unterscheidet. Die Ursache liegt meist nicht im EA selbst, sondern in den Testbedingungen. In dieser Reihenfolge sollten Sie prüfen:

1. Serverzeit und Zeitzone
2. Symbolspezifikation
3. Swap
4. Kursverlauf (Historie)
5. Modellierungsart (Tick-Generierung)

Auch wenn Sie alle fünf Punkte angleichen, ist eine vollständige Übereinstimmung nicht garantiert. Dazu schreiben wir im späteren Abschnitt „Grenzen“ offen.

Warum der „gleiche EA“ unterschiedliche Ergebnisse liefert

Ein EA ist eine Maschine, die auf Basis der übergebenen Kurse und Symbolinformationen entscheidet. Weicht die Eingabe auch nur minimal ab, verschiebt sich der Einstiegszeitpunkt. Verschiebt sich der erste Trade, ändern sich in der Folge Kapital, Lotgröße und Positionslage in einer Kettenreaktion. Bei einem Test über mehrere Jahre kann das Endergebnis dadurch deutlich anders aussehen.

Am besten verstehen Sie Reproduzierbarkeit als Problem, bei dem „eine kleine Abweichung an einer einzigen Stelle mit der Zeit verstärkt wird“.

Die 5 Punkte, die Sie prüfen sollten

1. Serverzeit und Zeitzone

Die Zeit in MT5 ist nicht die Uhr Ihres Computers, sondern die Serverzeit des Brokers. Sie unterscheidet sich je nach Broker: Manche stellen auf Sommerzeit um, andere nicht.

Besonders betroffen sind diese EAs:

• EAs mit Zeitfiltern, etwa „nur Tokio-Session“ oder „New-York-Session ausgeschlossen“
• EAs, die sich an Eröffnung, Hoch und Tief der Tageskerze orientieren (die Tagesgrenze liegt je nach Broker anders)
• EAs mit Sonderbehandlung zum Wochenstart oder vor dem Freitagsschluss

Bei Brokern, die sonntags eine kurze Tageskerze bilden, ändert sich sogar die Anzahl der Tageskerzen. Bei einem Breakout-EA auf Tagesbasis kann allein das zu einem völlig anderen Ergebnis führen.

2. Symbolspezifikation

Auch bei gleichem Namen „XAUUSD“ ist der Inhalt nicht zwingend identisch. Prüfen Sie im Spezifikationsfenster folgende Punkte:

• Anzahl der Nachkommastellen (Digits) und Punktgröße
• Kontraktgröße
• Mindestlot und Lotschritt
• Stop-Level (Mindestabstand für Pending-Orders und Stops)
• Berechnungsmethode der Margin

Bei abweichenden Digits kann ein in „Punkten“ angegebener Stop-Loss tatsächlich um den Faktor 10 differieren. Bei Brokern mit großem Stop-Level werden enge Stop-Loss-Orders unter Umständen gar nicht erst angenommen.

3. Swap

Der MT5-Tester wendet den Swap-Wert aus den Symboleinstellungen zum Zeitpunkt der Testausführung auf den gesamten Zeitraum an. Es handelt sich nicht um den tatsächlichen historischen Swap-Verlauf. Deshalb kann sich das Ergebnis selbst beim selben Broker ändern, wenn Sie an einem anderen Tag testen.

• Je länger die Haltedauer des EAs, desto größer der Einfluss
• Der Wochentag mit dreifachem Swap unterscheidet sich je nach Broker
• Bei Kontotypen ohne Swap (swapfrei) können stattdessen andere Gebühren anfallen

Bei EAs, die Positionen über mehrere Tage halten, zeigt sich ein Swap-Unterschied deutlich im Gewinn und Verlust.

4. Kursverlauf (Historie)

Die Kursdaten des Testers stammen vom Server des verbundenen Brokers. Beginn der Daten, Lücken und Tick-Dichte unterscheiden sich von Broker zu Broker.

• Zu Beginn des Testzeitraums fehlen Daten
• Der Download ist noch nicht abgeschlossen, und der zweite Test liefert ein anderes Ergebnis
• Auch beim selben Broker kann sich das Ergebnis später durch Datenaktualisierungen auf dem Server ändern

Prüfen Sie im Reiter „Journal“ unbedingt, ob Einträge zu „Datensynchronisierung“ oder „fehlender Historie“ auftauchen.

5. Modellierungsart

Je nachdem, ob Sie „Nur Eröffnungspreise“, „1-Minuten-OHLC“, „Jeder Tick“ oder „Jeder Tick basierend auf echten Ticks“ wählen, fällt das Ergebnis desselben EAs völlig anders aus. Je näher Stop-Loss und Take-Profit am Kurs liegen, desto empfindlicher reagiert der EA auf die Art der Tick-Erzeugung.

Zusätzlich sollten Sie diese beiden Punkte prüfen:

• Spread-Einstellung: Wählen Sie „Aktueller Spread“, wird der Spread zum Zeitpunkt des Tests fest übernommen. Wer am Wochenende oder früh am Morgen testet, testet mitunter mit einem weiten Spread
• Ausführungsverzögerung: Mit oder ohne Verzögerung gehen die Ergebnisse bei kurzfristig handelnden EAs auseinander

Checkliste zur Reproduzierbarkeit

Wenn Sie mit den veröffentlichten Ergebnissen vergleichen, grenzen Sie die Ursache am besten ein, indem Sie die folgende Tabelle von oben nach unten ausfüllen.

Der letzte Punkt, „Eingabeparameter“, wird erstaunlich oft übersehen. Prüfen Sie jedes Mal, ob noch Werte aus dem vorherigen Test eingestellt sind.

Wenn Sie bei den MT5-Grundeinstellungen unsicher sind, überprüfen Sie am schnellsten die Schritte im MT5-Setup.

Grenzen und Hinweise

Jetzt kommt der unbequeme Teil.

• Auch wenn Sie alle fünf Punkte angleichen, stimmen die Ergebnisse mit den Daten eines anderen Brokers womöglich nicht exakt überein. Das liegt daran, dass die Ticks selbst je Broker verschieden sind. Das lässt sich auf Seiten des Testenden nicht lösen
• Auch die von uns veröffentlichten Backtest-Werte wurden mit den Daten eines bestimmten Brokers zu einem bestimmten Zeitpunkt ermittelt. Wir garantieren nicht, dass Sie in Ihrer Umgebung dieselben Zahlen erhalten
• Es gibt Fälle, in denen sich nicht genau bestimmen lässt, welche Abweichung wie stark wirkt. Treten Unterschiede auf, bleibt nur, die Punkte einzeln zu ändern und den Test jeweils neu auszuführen
• Selbst wenn die Backtests übereinstimmen, handelt es sich nur um eine Prüfung an historischen Daten. Sie ist kein Versprechen für zukünftige Ergebnisse

Umgekehrt gilt: Einem EA, dessen Ergebnis auch beim Wechsel des Brokers nicht stark einbricht, können Sie eher vertrauen. Der Vergleich von Tests bei mehreren Brokern ist aufwendig, aber eine wirksame Prüfmethode. Die Unterschiede in den Spezifikationen der einzelnen Broker haben wir im Broker-Vergleich zusammengestellt.

Zusammenfassung

• Auch bei gleichem EA und gleichem Zeitraum weichen die Ergebnisse durch Umgebungsunterschiede ab. Die Ursache liegt häufig in den Testbedingungen, nicht im EA selbst
• Prüfreihenfolge: Serverzeit, Symbolspezifikation, Swap, Kursverlauf, Modellierungsart
• Beachten Sie, dass beim Swap der „Wert zum Testzeitpunkt“ auf den gesamten Zeitraum angewendet wird
• Spread-Einstellung, Verzögerung und übrig gebliebene Eingabeparameter werden leicht übersehen
• Auch bei vollständiger Angleichung ist bei einem anderen Broker keine exakte Übereinstimmung garantiert
• Ob ein EA auch bei einem Brokerwechsel stabil bleibt, ist ein wichtiges Entscheidungskriterium bei der Auswahl

Weitere Praxistipps zur Verifikation finden Sie unter EA- und MT5-Know-how.