[61] Backtests mit wenigen Trades: nicht vertrauen

Warum man Backtests mit wenigen Trades nicht vertrauen sollte

Beim Blick auf den Backtest eines EAs schauen die meisten zuerst auf den Profitfaktor oder die jährliche Rendite. Ob man diesen Zahlen jedoch trauen darf, entscheidet die Anzahl der Trades. Ist die Anzahl der Trades gering, kann selbst der spektakulärste Profitfaktor reiner Zufall sein.

Auch PF 5,56 kann bei 28 Trades reines Glück sein

Ein konkretes Beispiel: Ein D1-Trend-EA für Bitcoin lieferte in einer 8-jährigen Real-Tick-Verifizierung folgende Zahlen:

• Profitfaktor 5,56
• Maximaler Drawdown von nur 3,2 %
• 28 Trades

Ein PF von 5,56 ist eine beeindruckende Zahl. Viele würden hier sofort zugreifen. Doch sobald man sieht, dass es in 8 Jahren nur 28 Trades waren, ändert sich die Bewertung grundlegend. Bei nur 3 bis 4 Trades pro Jahr reichen wenige große Gewinner aus, um das Gesamtergebnis dramatisch gut aussehen zu lassen. Was, wenn 3 der 28 Trades reine Zufallstreffer waren? Lässt man diese 3 Trades weg, könnte der Edge komplett verschwinden.

Ein USDJPY-Trend-EA hingegen erzielte über 9,4 Jahre 631 Trades bei einem Profitfaktor von 1,50 und einer Trefferquote von 34,5 %. Der PF wirkt unspektakulär, doch 631 Trades sind ein starkes Indiz dafür, dass dieser Wert von 1,50 kein Zufall ist. Selbst wenn man einige der 631 Trades herausnimmt, ändert sich das Ergebnis kaum.

Warum die Anzahl der Trades so entscheidend ist – das Münzwurf-Beispiel

Wenn man eine Münze dreimal wirft und dreimal Kopf erhält, kann man daraus schließen, dass diese Münze bevorzugt Kopf zeigt? Nein. Auch bei einer fairen Münze tritt eine solche Serie mit einer Wahrscheinlichkeit von 1 zu 8 auf.

Bei EAs verhält es sich genauso. Bei wenigen Trades lässt sich nicht unterscheiden, ob es sich um "zufällig gute Marktbedingungen" oder einen "echten Edge" handelt. Je mehr Trades vorliegen, desto weniger lässt sich das Ergebnis durch Zufall erklären, und desto höher ist die Wahrscheinlichkeit, dass die Zahlen echt sind. In der Statistik nennt man das "Stichprobengröße".

Richtwert: Ab wie vielen Trades kann man vertrauen?

Eine feste Schwelle gibt es nicht, aber in der Praxis gelten folgende Richtwerte:

Noch wichtiger ist die Betrachtung im Zusammenhang mit dem Testzeitraum. Konzentrieren sich 500 Trades auf nur ein Jahr, wurde lediglich eine einzige Marktphase abgedeckt. Erst wenn sich die über 500 Trades über mehrere Marktregime erstrecken – etwa Lehman-Krise, Corona-Pandemie oder Zinserhöhungsphasen – kann man wirklich von Robustheit sprechen.

Tricks, um eine geringe Anzahl von Trades zu verschleiern

Verkaufsseiten nutzen verschiedene Methoden, um eine geringe Anzahl von Trades zu kaschieren:

• Aufblähen des Nettogewinns durch Zinseszins: Zahlen wie "+5.000 %" entstehen nicht durch die Anzahl der Trades, sondern durch die Zinseszinsrechnung. Auch bei wenigen Trades lässt sich so ein riesiger Nettogewinn präsentieren.
• Nur den Profitfaktor groß darstellen: Wie bei PF 5,56 (28 Trades) wird oft nur der PF hervorgehoben, ohne die Anzahl der Trades zu nennen.
• Nur die jährliche Rendite zeigen: Die jährliche Rendite eignet sich gut, um die Anzahl der Trades zu verschleiern.

Achten Sie deshalb bei jedem Backtest unbedingt darauf, die Anzahl der Trades zu finden. Fehlt diese Angabe, ist das bereits ein Warnsignal.

Selbst nachprüfen

Unser kostenloser EA (Donchian-Breakout auf Basis geschlossener Kerzen) ist quelloffen, mit Real-Tick-Daten verifiziert und weist auf USDJPY H1 einen Track-Record von 631 Trades auf. Führen Sie den Backtest selbst aus, um Anzahl der Trades, Profitfaktor und jährliches Ergebnis mit eigenen Augen zu prüfen. Er dient als praktisches Beispiel dafür, wie ein EA statistisch aussieht, das "viele Trades über mehrere Marktphasen hinweg" vorweisen kann.

Details zur Donchian Trend Engine (kostenloser EA)

Auch bei unseren kostenpflichtigen Produkten legen wir nach demselben Maßstab Anzahl der Trades, Testzeitraum und Realdaten aller Produkte offen. Produkte mit nur wenigen Dutzend Trades gehören bei uns nicht zum Kernsortiment, selbst wenn der PF hoch ist.

Fazit

• Die Verlässlichkeit eines Backtests hängt von der Anzahl der Trades (Stichprobengröße) ab
• Ein PF von 1,50 bei 631 Trades ist verlässlicher als ein PF von 5,56 bei 28 Trades
• Als Richtwert gelten über 500 Trades über mehrere Marktregime hinweg
• Zinseszins, isolierter PF und jährliche Rendite werden genutzt, um eine geringe Trade-Anzahl zu verschleiern
• Seien Sie skeptisch bei Backtests ohne Angabe der Trade-Anzahl

Verwandte Artikel: So liest man einen MT5-Backtest-Report · Warum derselbe EA mit Real-Ticks und OHLC-Daten gegensätzliche Ergebnisse liefert · Curve-Fitting erkennen