MT5-Tester: Falle durch gespeicherte Eingabewerte

Fazit: Gehen Sie davon aus, dass im Tester noch die „letzten Werte" stehen

Der MT5-Strategietester merkt sich für jeden EA die zuletzt verwendeten Eingabewerte. Das ist praktisch, kann aber nach einem EA-Update oder direkt nach einem anderen Test dazu führen, dass die Konfiguration, die Sie zu testen glauben, und die tatsächlich gelaufene Konfiguration voneinander abweichen.

Unsere Gegenmaßnahme ist einfach: Vertrauen Sie nicht den Werten, die im Tester-Fenster angezeigt werden. Schreiben Sie alle Parameter in den Abschnitt [TesterInputs] der Konfigurationsdatei und prüfen Sie anhand der im Report gespeicherten Eingabewerte nach. In diesem Artikel erklären wir, warum und wie.

Warum testet man versehentlich eine andere Konfiguration?

Der Tester speichert Eingabewerte und verwendet sie wieder

Der MT5-Tester speichert die zuletzt genutzten Parameter pro EA und lädt sie, sobald Sie denselben EA erneut auswählen. Das erspart das manuelle Eintippen, führt aber in Situationen wie diesen zu Fehlern:

• Sie haben den EA überarbeitet und den Standardwert geändert, im Tester stand aber noch der alte Wert
• Nach einer Optimierung mit extremen Werten lief der normale Backtest mit genau diesen Werten weiter
• Lot- oder Filtereinstellungen, die Sie für ein anderes Währungspaar angepasst hatten, wurden in den nächsten Test übernommen

All das ließe sich bei genauem Hinsehen erkennen. Hat ein EA aber Dutzende Eingabefelder, übersieht man leicht, dass nur eines abweicht.

Heikel: Das Ergebnis sieht „plausibel" aus

Der Tester meldet auch bei falschen Einstellungen keinen Fehler. Ist das Ergebnis völlig abwegig, fällt es auf. Problematisch wird es, wenn glaubwürdig wirkende Zahlen herauskommen.

Als Beispiel stellen wir zwei Donchian-EAs gegenüber, die beide auf USDJPY H1 laufen (beides gemessene Werte aus MT5-Backtests unter realen Bedingungen):

PF und Trade-Anzahl sind nahezu gleich, der effektive DD unterscheidet sich jedoch stark. Die Unterschiede im Design stehen auf der jeweiligen EA-Seite. Hier geht es um etwas anderes: Allein anhand von PF und Trade-Anzahl lässt sich nicht erkennen, mit welcher Konfiguration der Test gelaufen ist. Schon ein einziger abweichender Eingabewert kann die Risikobewertung komplett verändern.

Unsere Prüfroutine

1. Alle Parameter in [TesterInputs] der Konfigurationsdatei schreiben

MT5 kann den Tester mit einer Konfigurationsdatei (ini) starten. Tragen Sie in den Abschnitt [TesterInputs] nicht nur die geänderten, sondern sämtliche Eingabewerte ein.

[Tester]
Expert=MyEA
Symbol=USDJPY
Period=H1
Model=4

[TesterInputs]
InpLots=0.10||0.10||0.01||1.00||N
InpPeriod=20||10||5||50||N

Das Format lautet „Wert||Start||Schritt||Ende||Optimieren (Y/N)". Für einen normalen Backtest setzen Sie das Ende auf N.

Wir verlassen uns nicht darauf, mit welchem Wert ein hier nicht aufgeführter Parameter läuft, denn das kann je nach Umgebung variieren. Die Annahme „das ist doch sicher noch der Standardwert" ist genau die Ursache der Fehler, um die es in diesem Artikel geht.

2. Die Eingabeparameter im Report abgleichen

Im Tester-Report sind die tatsächlich verwendeten Eingabewerte hinterlegt. Nach dem Test gleichen Sie die Werte der ini-Datei mit denen des Reports ab. Zuverlässiger als ein Vergleich mit bloßem Auge ist es, beides als Text zu exportieren und die Differenz zu bilden.

3. Einen aktualisierten EA wie einen „anderen EA" behandeln

Wenn Sie bei einer Überarbeitung Standardwerte geändert haben, speichern Sie den EA mit der Versionsnummer im Dateinamen unter neuem Namen. So verhindern Sie von vornherein, dass alte gespeicherte Werte automatisch geladen werden.

Checkliste

• Alle Eingabeparameter stehen in [TesterInputs]
• Nach einer Optimierung ist bei allen Parametern am Ende wieder N eingetragen
• Die Eingabewerte im Report stimmen mit der ini-Datei überein
• Nach einer EA-Überarbeitung wurde der Dateiname geändert
• Symbol, Zeiteinheit und Modellierung sind ebenfalls in [Tester] explizit angegeben

Grenzen und Hinweise

Auch mit dieser Routine lassen sich nicht alle Fehler ausschließen.

• Interne Konstanten, die der EA nicht als Eingabewert bereitstellt, lassen sich per ini nicht steuern. Ob der Quellcode identisch ist, müssen Sie auf anderem Weg prüfen.
• Selbst bei korrekten Eingabewerten ändert sich das Ergebnis, wenn Kursdaten oder Spreads abweichen. Der Abgleich der Eingabewerte ist nur ein Baustein für reproduzierbare Ergebnisse.
• Wir können nicht behaupten, dass alle Tests, die wir vor der konsequenten Anwendung dieser Routine durchgeführt haben, fehlerfrei waren. Soweit uns etwas aufgefallen ist, haben wir Tests wiederholt, aber ein vollständiges Ausschließen von Übersehenem ist nicht möglich.

Wie Sie die von uns angebotenen EAs einrichten, steht unter EA-Einrichtung, weiteres Know-how rund ums Testen finden Sie in der Wissensdatenbank.

Zusammenfassung

• Der MT5-Tester merkt sich die letzten Eingabewerte und übernimmt sie unbemerkt
• Abweichende Einstellungen lösen keinen Fehler aus und liefern plausibel wirkende Zahlen, deshalb fallen sie kaum auf
• Die Gegenmaßnahme: alle Parameter in [TesterInputs] schreiben und mit den Eingabewerten im Report abgleichen
• Nach einer EA-Überarbeitung unter neuem Namen speichern, damit keine alten gespeicherten Werte geladen werden
• Interne Konstanten und abweichende Datenbedingungen bleiben dennoch ein Risiko, die Verwaltung der Eingabewerte ist daher nur ein Teil der Validierung