Mehr als IS/OOS: Walk-Forward-Fenster richtig gestalten

Fazit: Ein einzelner OOS-Abschnitt ist nur ein einziger Test

Die Daten in einen Optimierungsteil (IS) und einen Validierungsteil (OOS) zu trennen, ist ein sinnvoller erster Schritt, wenn man Überoptimierung vermutet. Bei nur einer Aufteilung sagt das OOS-Ergebnis aber lediglich, wie es in genau diesem einen Abschnitt gelaufen ist.

Unser Fazit lautet: Das OOS wird in mehrere Fenster unterteilt, die Schritt für Schritt vorwärts wandern, und man betrachtet nicht die Summe, sondern ob jedes einzelne Fenster profitabel ist. Ist die Summe im Plus, der Gewinn aber auf bestimmte Fenster konzentriert, bleibt das Urteil offen.

Die Schwächen einer festen Aufteilung

Der Trennpunkt beeinflusst das Ergebnis

Bei einer festen Aufteilung legt der Entwickler fest, wo getrennt wird. Fällt das OOS zufällig in eine Phase mit klarem Trend, sieht der Ansatz besser aus, als seine Substanz hergibt. Fällt es in die gegenteilige Phase, verwirft man womöglich eine brauchbare Logik. In beiden Fällen hängt das Ergebnis an einer einzigen Entscheidung: dem Trennpunkt.

Wer das OOS mehrfach ansieht, hat kein OOS mehr

Ein weiteres Problem liegt im Verhalten des Entwicklers. Ist das OOS-Ergebnis schlecht, werden die Parameter angepasst und das OOS erneut angesehen. Wiederholt man das, wählt man faktisch das, was zum OOS passt. Formal sind die Daten unbenutzt, tatsächlich dienen sie der Optimierung. Dieser Fehler kann auch uns selbst unterlaufen, und er lässt sich nur durch einen festen Ablauf verhindern.

So bilden Sie die Fenster beim Walk-Forward

Beim Walk-Forward bilden ein Optimierungszeitraum und der unmittelbar folgende Validierungszeitraum zusammen ein Fenster, das Schritt für Schritt in der Zeit nach vorn verschoben wird. Der Validierungsabschnitt liegt dabei immer in der Zukunft des Optimierungsabschnitts, und man erhält mehrere OOS-Ergebnisse.

Wonach sich die Fensterlänge richten sollte

Sicherer ist es, die Fensterlänge an der Zahl der Trades statt an Kalenderjahren festzumachen. Fallen zu wenige Trades in den Validierungsabschnitt, entscheidet der Zufall über Gewinn oder Verlust. Je länger die Haltedauer und je seltener gehandelt wird, desto länger muss der Validierungsabschnitt sein.

Vorgehen: jedes Fenster einzeln prüfen

1. Die Fenster so anordnen, dass sich die Validierungsabschnitte nicht überlappen
2. In jedem Fenster optimieren und die gefundenen Parameter nur auf den direkt folgenden Validierungsabschnitt anwenden
3. Für jeden Validierungsabschnitt Gewinn/Verlust, PF, Trade-Anzahl und maximalen Drawdown festhalten
4. Prüfen, wie viele Fenster einen PF von 1.0 oder mehr haben und in welchen Phasen die Verlustfenster liegen
5. Prüfen, ob die Summe der übrigen Fenster im Plus liegt, wenn man das gewinnstärkste Fenster herausnimmt
6. Beobachten, ob die je Fenster gewählten Parameter stark springen

Drei Punkte sind dabei entscheidend:

• Ob sich die profitablen Fenster auf wenige konzentrieren
• Ob die Verluste der Verlustfenster im Verhältnis zu den Gewinnen der Gewinnfenster zu groß sind
• Ob sich die optimalen Parameter in benachbarten Fenstern extrem verändern

Dass alle Fenster profitabel sein müssen, glauben wir nicht. Trendfolgende Systeme verlieren in Fenstern ohne klare Richtung normalerweise. Problematisch ist, wenn sich der Verlust eines Fensters nicht erklären lässt oder die Tiefe der Verluste die Erwartung übersteigt.

Grenzen und Hinweise

Zu wenige Trades: Fenster tragen nicht mehr

Der Backtest von ATLAS umfasst bei 7,5 Jahren Testzeitraum 1193 Trades, sodass auch bei mehreren Fenstern in jedem noch eine gewisse Zahl an Trades verbleibt. Der Backtest von ETHEREUM EA dagegen kommt bei 7,5 Jahren Testzeitraum auf nur 154 Trades. Zerlegt man eine so selten handelnde Logik in feine Fenster, bleiben je Fenster nur sehr wenige Trades, und Gewinn oder Verlust pro Fenster taugt kaum noch als Entscheidungsgrundlage. Man muss die Fenster gröber wählen oder die Bewertung je Fenster nur als Anhaltspunkt nehmen.

Veröffentlichte Zahlen sind Werte über den gesamten Zeitraum

PF und Gewinnquote im Ranking der Messwerte sind Werte über den gesamten Testzeitraum. Es sind keine Ergebnisse einzelner Fenster, daher lässt sich allein damit nicht beurteilen, ob Überoptimierung vorliegt. Bitte lesen Sie sie mit diesem Abschlag.

Auch das Fensterdesign lässt sich überoptimieren

Wer Länge und Anzahl der Fenster variiert und die Kombination mit dem besten Ergebnis auswählt, betreibt ebenfalls Überoptimierung. Voraussetzung ist, dass das Fensterdesign vor dem Testlauf festgelegt und danach nicht mehr verändert wird. Von außen lässt sich kaum prüfen, ob diese Voraussetzung eingehalten wurde.

Die Zukunft bleibt trotzdem offen

Auch wer den Walk-Forward besteht, ist auf Märkte, die es früher nicht gab, nicht vorbereitet. Auch im Forward-Test auf dem Demokonto, den wir betreiben, liegen mehrere EAs im Minus. Es handelt sich um ein Demokonto und nicht um Ergebnisse eines Echtgeldkontos, und die Laufzeit seit dem Start ist kurz. Weder gute noch schlechte Ergebnisse erlauben bereits ein Urteil. Validierungsmethoden sind ein Werkzeug, um Fehlgriffe zu verringern, kein Versprechen auf Treffer.

Zusammenfassung

• Bei einer festen IS/OOS-Aufteilung hängt das Ergebnis vom Trennpunkt und davon ab, wie oft das OOS erneut angesehen wurde
• Walk-Forward bildet mehrere Validierungsabschnitte und prüft sie schrittweise vorwärts
• Entscheidend sind Gewinn und Verlust je Fenster, nicht die Summe; geprüft werden die Gewinnverteilung und die Stabilität der Parameter
• Je weniger Trades eine Logik hat, desto unsicherer wird das Urteil bei feinerer Fensterung
• Das Fensterdesign wird vorab festgelegt; ein bestandener Test sagt nichts über künftige Ergebnisse

Unsere Überlegungen zur Validierung haben wir auch in der Wissenssammlung zusammengestellt.